TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作
10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。
为什么值得关注
长程 GUI 任务的难点不只在记住操作历史,还在区分哪些结果已经成立、哪些输入仍缺失,以及失败轨迹中哪些局部步骤值得保留。TAM 用面向任务结果的状态和带验证条件的操作记忆替代单纯追加历史,为跨应用连续性和失败经验复用提供了更明确的工程边界。
技术细节
在线阶段将用户目标编译为需求,Advancement State 随可观察结果更新已完成项、绑定对象和待办;文本不足时 Evidence Cache 保留带来源关联的截图或裁剪。任务结束后,模型审查局部结果及后续确认或反证,只保留有证据支持的操作,并记录入口输入、预期变化、验证条件、对象角色及其 GUI 实现。在 MobileWorld GUI-only 的统一 Qwen3-VL-32B-Instruct、50 轮预算下,基础代理成功率为 12.0%,单加 Advancement State 为 28.2%,完整 TAM 为 34.2%;最强列示基线 MemGUI-Agent 为 29.1%。TAM 平均 20.6 步、EQA@50 为 29.2,作者报告每个已解决任务的全生命周期 token 比最强基线低 38.7%。在 SPA-Bench 英文 Level 3、GPT-4o + Set-of-Mark 设置中,TAM 报告 57.0%,高于 GUI-explorer 的既有 53.7%。
适合哪些读者
设计长程 GUI 代理、跨应用工作流、任务状态压缩、视觉证据缓存、经验记忆与终态核验的研究和工程团队
原始来源
修订与更正记录 (1)
— 新论文直接研究 GUI 代理如何把已核验进展用于在线执行与跨任务操作学习;日期、方法、比较条件、结果和限制均由 arXiv 记录与全文核验,适合原创双语研究摘要并并入任务终态/主动核验趋势。