AG-UI.AI / OUR ANALYSIS

评测与工程走出第一张截图,进入任务终态、因果历史和主动验证

生成式 UI 与 GUI 代理的验收正转向隐藏目标恢复、多步终态、可核验进展、消息因果关系,以及对界面、文件与结构化状态的主动取证。两篇彼此独立但同名的 VeriCUA 论文分别学习何时调用 Judge/Probe,或让验证代理通过只读 GUI、无障碍树、文件和数据库检查主动探索证据;Malva 则从 40 个开源应用确认 335 个工具交互缺陷,显示观察、动作与反馈契约可以让代理和真实界面静默分叉。

了解编辑与核验方法 ↗

专题更新 2026-10-30

支持事件与证据链

框架工具

json-render 0.21.3 修复重复流操作与补丁状态漂移

json-render 0.21.3 于 10 月 24 日发布:流编译器不再丢弃内容相同的连续 JSONL 操作,YAML move/copy 会同步后续编辑所依据的工作状态,并限制继承属性与越界数组路径。

研究评测

IGG 把界面定位从“看见后点击”推进到“先恢复可见性,再完成点击”

10 月 23 日提交并被 EMNLP 2026 主会接收的 IGG 基准,要求代理先通过滚动、悬停、拖动、等待或状态切换使目标可见,再在八步内点击;它用 16 个可控模拟界面的 601 项任务测量静态截图定位没有覆盖的可见性恢复能力。

研究评测

TAM 把已核验的任务进展变成 GUI 代理的在线状态与可复用操作

10 月 27 日提交的 Task Advancement Memory(TAM)把“已经可靠完成了什么”同时用于当前任务压缩和跨任务学习:任务内维护可核验的进展、剩余目标与视觉证据,任务后从局部成功片段中提炼可复用操作,即使整条工作流最终失败。

框架工具

AI SDK 7.0.157 稳定工具筛选 API,但工具可见性仍不等于执行权限

AI SDK 7.0.157 于 10 月 29 日发布:`filterActiveTools` 从实验名称转为稳定导出,`LanguageModelStreamPart` 也成为稳定类型,旧别名保留并标记弃用;同时修复遥测运行时检测在 Next.js Edge 中触发 Node API 警告的问题。

框架工具

AI SDK 7.0.149 收紧审批去重、禁用工具与断流边界

10 月 22 日发布的 AI SDK 7.0.149 只接受每个工具调用的首个审批响应,修复 toolChoice: none 仍可能执行工具的问题,并新增 interrupted 结束原因以阻止断流后的工具与 UI 继续运行。

框架工具

assistant-ui 10 月 28 日发布把生成提示预审、工具结果归属与配置写入边界一起收紧

assistant-ui 于 10 月 28 日发布一组同提交包:Generative Frame 0.0.9 会先把 widget 与 MCP App 提示填入 composer 供用户查看再发送;assistant-stream 0.3.55 修复后续工具响应遗漏内容时仍保留旧模型内容,以及工具调用 id 重用时待定结果错挂的问题;CLI 同时收紧配置路径与计划修订边界。

研究评测

GUI 代理的成功自述会污染完成判定

10 月 21 日提交并获 ICSE 2027 研究轨接收的论文发现,把代理自己的成功报告交给完成判定器,会降低对危险误报的识别;作者用报告隔离、结构化轨迹证据与确定性规则重建审核边界。

研究评测

PrefDiag-Bench 拆解个性化 GUI 代理为何在何时失效

10 月 22 日提交的 PrefDiag-Bench 用 318 个端到端任务和 1,664 个诊断探针,追踪偏好如何改变执行以及应在何种界面状态生效;11 个系统在个性化任务上均弱于基础任务。

研究评测

VeriCUA 学会在 GUI 终态里主动找证据再判成功

10 月 19 日提交的 VeriCUA 让可训练 Judge 决定检查什么、何时停止,再由冻结的 Probe 在真实终态里取证;作者报告其 4B 版本以更少 Probe token 超过 few-shot GPT-5.4 的奖励一致率。

框架工具

AI SDK 7.0.153 分离完整回复与结构化结果的解析输入

AI SDK 7.0.153 于 10 月 24 日发布:当 OpenAI 或 Azure Responses 的非流式响应含多条 JSON assistant 消息时,SDK 只把最后一条 final_answer 交给结构化输出解析,同时保留完整文本、注释、消息历史与用量。

框架工具

AI SDK 7.0.154 让运行中的代理接收转向消息并闭合失败步骤

AI SDK 7.0.154 于 10 月 26 日发布实验性 steering:用户可在代理仍运行时排队追加消息,在下一步边界交付;新 onStepError、onError 与 onAbort 回调补齐无输出流和后续 provider 失败的生命周期记录。

框架工具

AI SDK 7.0.155 移除类型可保证输入的重复运行时校验

AI SDK 7.0.155 于 10 月 27 日发布:文本与对象生成不再逐步用 ModelMessage schema 重验消息历史,并移除多类可由 TypeScript 保证的形状检查,以降低长对话和多步骤运行中的线性开销。

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。