Agent S4 让代理从任务轨迹中演化自己的操作接口
10 月 20 日提交的 Agent S4 把接口设计变成元代理能力:读取无成功标签的合成任务轨迹,增删操作与观察接口,再用隐藏的验证任务选择可继续演化的接口仓库。
为什么值得关注
这里的“界面”主要是代理可调用的观察与操作层,而不是给人看的组件。它表明提升任务完成率不只靠更大模型,也可以缩短截图、鼠标和键盘之间的低效转换,让代理为反复出现的应用对象建立可复用入口。
技术细节
作者固定 Qwen3.8-27B 与 Prime Agent harness,在 OSWorld V2 用 30 个无验证器合成任务提供轨迹、15 个官方任务做选择,演化 30 个后代。论文报告完整 108 任务上,Qwen CUA 固定接口的二元成功率为 5.56%,无 scratch VM 的演化仓库为 21.30%;任务求解模型成本估计从每任务 1.39 美元降至 1.10 美元。独立的 ScienceBoard 演化使用 48 个合成任务和 15 个验证任务,种子仓库在 169 任务上的成功率为 55.03%,演化后为 58.58%,增加了 ChimeraX、GRASS GIS 与 KAlgebra 操作接口。代码、任务和 agent_s4 目录已公开。
适合哪些读者
研究 GUI 代理、工具发现、可演化 harness、应用操作抽象与小模型效率的研究及平台团队
原始来源
- Agent S4 authors / arXiv and official repository ↗arxiv.org
- Full paper and evaluation ↗arxiv.org
- Official Agent S repository and Agent S4 code ↗github.com
修订与更正记录 (1)
— Original paper and official repository confirm a new interface-evolution method, release date, code availability, experimental setup and measurable counterevidence. The article distinguishes agent-facing interfaces from human-facing generative UI and preserves validation, cost and safety limitations.