研究评测研究论文

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。

为什么值得关注

长程 GUI 任务的难点不只在记住操作历史,还在区分哪些结果已经成立、哪些输入仍缺失,以及失败轨迹中哪些局部步骤值得保留。TAM 用面向任务结果的状态和带验证条件的操作记忆替代单纯追加历史,为跨应用连续性和失败经验复用提供了更明确的工程边界。

技术细节

在线阶段将用户目标编译为需求,Advancement State 随可观察结果更新已完成项、绑定对象和待办;文本不足时 Evidence Cache 保留带来源关联的截图或裁剪。任务结束后,模型审查局部结果及后续确认或反证,只保留有证据支持的操作,并记录入口输入、预期变化、验证条件、对象角色及其 GUI 实现。在 MobileWorld GUI-only 的统一 Qwen3-VL-32B-Instruct、50 轮预算下,基础代理成功率为 12.0%,单加 Advancement State 为 28.2%,完整 TAM 为 34.2%;最强列示基线 MemGUI-Agent 为 29.1%。TAM 平均 20.6 步、EQA@50 为 29.2,作者报告每个已解决任务的全生命周期 token 比最强基线低 38.7%。在 SPA-Bench 英文 Level 3、GPT-4o + Set-of-Mark 设置中,TAM 报告 57.0%,高于 GUI-explorer 的既有 53.7%。

适合哪些读者

设计长程 GUI 代理、跨应用工作流、任务状态压缩、视觉证据缓存、经验记忆与终态核验的研究和工程团队

原始来源

修订与更正记录 (1)

— 新论文直接研究 GUI 代理如何把已核验进展用于在线执行与跨任务操作学习;日期、方法、比较条件、结果和限制均由 arXiv 记录与全文核验,适合原创双语研究摘要并并入任务终态/主动核验趋势。

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

IGG 把界面定位从“看见后点击”推进到“先恢复可见性,再完成点击”

10 月 23 日提交并被 EMNLP 2026 主会接收的 IGG 基准,要求代理先通过滚动、悬停、拖动、等待或状态切换使目标可见,再在八步内点击;它用 16 个可控模拟界面的 601 项任务测量静态截图定位没有覆盖的可见性恢复能力。