研究评测研究论文

TaoD2C-Bench 揭示视觉相似不等于工业 UI 实现正确

浙江大学与淘宝天猫团队发布 TaoD2C-Bench,以 2,861 个生产界面和 97,652 条专家标注,评测多模态模型能否推断并实现组件、分组、对齐与定位约束。

为什么值得关注

生成界面看起来接近设计稿,仍可能选错组件、破坏容器关系或写出无法适应状态变化的布局。该基准把视觉还原与实现约束分开评测。

技术细节

作者从 17 个商业平台整理设计图、图层元数据与目标组件库,并在 421 个复核样本上评测 8 个模型。端到端任务中,各模型平均组件类型 F1 为 57.37、属性 37.19、分组 53.04、对齐 23.30、定位 32.22;提供专家需求后,所有模型的代码维度均改善,但平均视觉指标变化很小,说明视觉分数不能替代实现验证。

适合哪些读者

生成式 UI 与 design-to-code 研究者、前端平台和设计系统团队

原始来源

修订与更正记录 (1)

— Primary arXiv abstract and full HTML paper were read. Submission date, affiliations, dataset scale, evaluated subset, model count, per-dimension results, visual-versus-code finding and licensing limits were verified. This is a distinct industrial UI-code evaluation event not present in the catalog.

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。