研究评测研究论文

InterWebCoder 用可执行测试训练多步交互网页

10 月 20 日提交的 InterWebCoder 把网页生成奖励从截图或 GUI 代理判断,转向可重放的测试脚本与逐状态视觉相似度。

为什么值得关注

生成网页能渲染并不代表点击、输入、导航和状态转换正确;可执行测试为交互行为提供更快且可复查的反馈。

技术细节

其 TEDS 流程从真实交互轨迹生成自包含网页和测试脚本,并将失败归因给网页代码或测试。作者从 2,058 个任务得到 1,736 个验证样本,随后用 test-ID 加权 SFT 与 GRPO 同时优化测试通过率和状态级视觉相似度。论文报告 9B 模型在 IWR-Bench 与 Vision2Web 的最终分数为 48.54 和 48.42;本地测试把每样本奖励计算从 92.40–130.01 秒降至 2.08 秒。

适合哪些读者

交互式网页生成、UI-to-code、测试驱动训练与生成式 UI 评测团队

原始来源

修订与更正记录 (1)

— New original research discovered outside the existing source directory; full paper and submission record verified, with attributed results, explicit limitations and counterexamples.

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。