AG-UI.AI / OUR ANALYSIS

专用模型、本地交互与可演化接口

专用训练、受限决策和本地运行时正在拆分界面智能的成本层。GUI‑JEPA 显示,当宿主能枚举可信动作候选时,0.50B 判别策略可用一次隐空间批量打分替代 7B 模型逐 token 动作解码;Agent S4 则让接口本身参与演化。模型能力、输出模态、候选目录、规划器与渲染运行时正成为可独立优化的层。

了解编辑与核验方法 ↗

专题更新 2026-10-29

支持事件与证据链

框架工具

AI SDK 7.0.150 增加实验性流式语音接口

AI SDK 7.0.150 于 10 月 22 日发布 experimental_streamSpeech,可把字符串或持续到达的文本片段流式转换为语音,并暴露音频流、完整事件流、用量、警告和提供商元数据。

产品

OpenAI 将 Decisions API 正式用于低延迟界面分支

OpenAI 于 10 月 22 日正式推出 Decisions API:用 GPT-6 Luna 对文本、图像或结构化输入返回概率、选项或分数,并可在 GPT-Live 会话里用 decision.event 驱动头像表情等实时界面状态。

研究评测

Agent S4 让代理从任务轨迹中演化自己的操作接口

10 月 20 日提交的 Agent S4 把接口设计变成元代理能力:读取无成功标签的合成任务轨迹,增删操作与观察接口,再用隐藏的验证任务选择可继续演化的接口仓库。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。