研究评测研究论文

VeriCUA 学会在 GUI 终态里主动找证据再判成功

10 月 19 日提交的 VeriCUA 让可训练 Judge 决定检查什么、何时停止,再由冻结的 Probe 在真实终态里取证;作者报告其 4B 版本以更少 Probe token 超过 few-shot GPT-5.4 的奖励一致率。

为什么值得关注

只看截图或代理自述会漏掉文件内容、跨应用状态和隐藏后条件。把主动取证变成可学习的验证策略,为生成式 UI 的完成判定、奖励建模和失败解释提供了比“第一张截图”更强的证据链。

技术细节

VeriCUA 只在 OSWorld 上训练 Judge,再零样本评测 MobileWorld 与 WebArena-Verified;各环境使用专用冻结 Probe。作者在可执行评测器稳定的终态上做四次独立运行,报告 4B 模型宏平均一致率 74.08%,比 few-shot GPT-5.4 的 68.72% 高 5.36 点,并少用 47.6%–59.8% 的 Probe token;1B 版本为 71.62%。作为冻结奖励源训练同一 4B Actor 时,Pass@4 总体提高 3.21 点,74 个未见 MultiApp 任务提高 5.40 点。

适合哪些读者

设计 GUI 代理评测、可执行后条件、奖励模型、主动取证与运行审计的研究及平台团队

原始来源

修订与更正记录 (1)

— Historical backfill discovered from a new GUI-agent research directory; publication date, method, benchmark scope, exact author-reported metrics, public code status and reproducibility caveats were verified in the arXiv record, full paper and official repository.

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。