研究评测研究论文

Agent S4 让代理从任务轨迹中演化自己的操作接口

10 月 20 日提交的 Agent S4 把接口设计变成元代理能力:读取无成功标签的合成任务轨迹,增删操作与观察接口,再用隐藏的验证任务选择可继续演化的接口仓库。

为什么值得关注

这里的“界面”主要是代理可调用的观察与操作层,而不是给人看的组件。它表明提升任务完成率不只靠更大模型,也可以缩短截图、鼠标和键盘之间的低效转换,让代理为反复出现的应用对象建立可复用入口。

技术细节

作者固定 Qwen3.8-27B 与 Prime Agent harness,在 OSWorld V2 用 30 个无验证器合成任务提供轨迹、15 个官方任务做选择,演化 30 个后代。论文报告完整 108 任务上,Qwen CUA 固定接口的二元成功率为 5.56%,无 scratch VM 的演化仓库为 21.30%;任务求解模型成本估计从每任务 1.39 美元降至 1.10 美元。独立的 ScienceBoard 演化使用 48 个合成任务和 15 个验证任务,种子仓库在 169 任务上的成功率为 55.03%,演化后为 58.58%,增加了 ChimeraX、GRASS GIS 与 KAlgebra 操作接口。代码、任务和 agent_s4 目录已公开。

适合哪些读者

研究 GUI 代理、工具发现、可演化 harness、应用操作抽象与小模型效率的研究及平台团队

原始来源

修订与更正记录 (1)

— Original paper and official repository confirm a new interface-evolution method, release date, code availability, experimental setup and measurable counterevidence. The article distinguishes agent-facing interfaces from human-facing generative UI and preserves validation, cost and safety limitations.

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。