研究评测研究论文

Design Creativity Bench 发现模型生成 UI 合规但更趋同

研究者用 80 组任务、160 个提示评测 15 个前沿模型生成的 2,400 个桌面 UI;模型普遍满足需求,却在跨模型原创性和随领域变化的创意跨度上明显落后于人类参考。

为什么值得关注

界面能正确渲染并不等于设计空间被充分探索。该研究把“合规但重复”从主观感受转化为可检验的生成式 UI 风险。

技术细节

基准分别测量同一提示下跨模型差异、同一目标跨产品领域时的变化,以及需求验收项满足率。作者报告汇总原创性为 0.592、创意跨度为 0.581,低于人类参考的 0.764 和 0.902;所有模型的合规率均超过 90%。评测覆盖 15 个模型,每个模型生成 160 个独立 HTML 页面,并用经人工标签校验的分段视觉相似度方法评分。

适合哪些读者

生成式 UI 研究者、模型评测人员、产品与设计系统团队

原始来源

修订与更正记录 (1)

— The arXiv abstract and full HTML paper were read. Submission date, sample size, metrics, pooled results, evaluation method, stated limitations and competing interests were verified from the primary paper. This is a distinct research event not present in the catalog.

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。