研究评测研究论文

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

为什么值得关注

代理自述“完成”或最后一张截图无法证明文件已保存、设置已持久化或每个约束都满足。把验证做成带来源属性的主动探索,并允许在证据不足时 abstain,可减少将失败轨迹误收为训练数据或错误触发后续业务动作。

技术细节

在线模式先映射应用包、目录与数据库 schema,再为每项硬性需求生成跨不同 surface 的检查器;执行层只允许白名单读取,拒绝可夹带 shell 控制的参数,并比较持久化目标前后摘要。固定证据规则要求成功由 attested evidence 支撑,失败需独立探针交叉反驳,未解决则弃权。以 gemini-3-flash-preview 为统一 backbone 时,AndroidWorld 准确率为 90.5%、假阳性率 7.7%,OSWorld 为 79.5%/13.9%,ScienceBoard 为 86.4%/5.4%;相应 VLM judge 假阳性率为 15.4%、27.9%、24.8%。离线模式在 OSReward-Hard、OSReward、WebArena、AndroidWorld 和 OSWorld 上的准确率也高于所比较的单次或结构化 judge。作者还发现混合 GUI+代码读取比仅 GUI 把 AndroidWorld 决策覆盖率从 45% 提到 82%,且未增加 3/41 的假阳性计数。

适合哪些读者

设计 GUI 代理验收、训练数据过滤、奖励模型、生成式 UI 后条件、审计证据链和高风险动作门控的研究与平台团队

原始来源

修订与更正记录 (1)

— Publish a new primary-source study that unifies online and offline GUI-agent verification through source-aware active evidence, while explicitly distinguishing it from an unrelated same-name VeriCUA project.

相关事件

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。

研究评测

IGG 把界面定位从“看见后点击”推进到“先恢复可见性,再完成点击”

10 月 23 日提交并被 EMNLP 2026 主会接收的 IGG 基准,要求代理先通过滚动、悬停、拖动、等待或状态切换使目标可见,再在八步内点击;它用 16 个可控模拟界面的 601 项任务测量静态截图定位没有覆盖的可见性恢复能力。