VeriCUA 学会在 GUI 终态里主动找证据再判成功
10 月 19 日提交的 VeriCUA 让可训练 Judge 决定检查什么、何时停止,再由冻结的 Probe 在真实终态里取证;作者报告其 4B 版本以更少 Probe token 超过 few-shot GPT-5.4 的奖励一致率。
为什么值得关注
只看截图或代理自述会漏掉文件内容、跨应用状态和隐藏后条件。把主动取证变成可学习的验证策略,为生成式 UI 的完成判定、奖励建模和失败解释提供了比“第一张截图”更强的证据链。
技术细节
VeriCUA 只在 OSWorld 上训练 Judge,再零样本评测 MobileWorld 与 WebArena-Verified;各环境使用专用冻结 Probe。作者在可执行评测器稳定的终态上做四次独立运行,报告 4B 模型宏平均一致率 74.08%,比 few-shot GPT-5.4 的 68.72% 高 5.36 点,并少用 47.6%–59.8% 的 Probe token;1B 版本为 71.62%。作为冻结奖励源训练同一 4B Actor 时,Pass@4 总体提高 3.21 点,74 个未见 MultiApp 任务提高 5.40 点。
适合哪些读者
设计 GUI 代理评测、可执行后条件、奖励模型、主动取证与运行审计的研究及平台团队
原始来源
- VeriCUA authors / arXiv and official repository ↗arxiv.org
- Full paper, evaluation and reproducibility statement ↗arxiv.org
- Official Apache-2.0 repository ↗github.com
修订与更正记录 (1)
— Historical backfill discovered from a new GUI-agent research directory; publication date, method, benchmark scope, exact author-reported metrics, public code status and reproducibility caveats were verified in the arXiv record, full paper and official repository.