OUI-1 发布:面向生成式界面的开放权重模型
Thesys 发布以 DiffusionGemma 微调的 OUI-1,生成 OpenUI Lang,并探索消费级设备上的本地界面生成。
专用训练、受限决策和本地运行时正在拆分界面智能的成本层。GUI‑JEPA 显示,当宿主能枚举可信动作候选时,0.50B 判别策略可用一次隐空间批量打分替代 7B 模型逐 token 动作解码;Agent S4 则让接口本身参与演化。模型能力、输出模态、候选目录、规划器与渲染运行时正成为可独立优化的层。
了解编辑与核验方法 ↗Thesys 发布以 DiffusionGemma 微调的 OUI-1,生成 OpenUI Lang,并探索消费级设备上的本地界面生成。
技术文章展示模型生成界面规范后,由运行时处理筛选与查询,而非每次交互都重新调用模型。
研究将自然语言与轻量可执行 UI 动作结合,用于收集信息、调整偏好和确认操作。
AI SDK 7.0.150 于 10 月 22 日发布 experimental_streamSpeech,可把字符串或持续到达的文本片段流式转换为语音,并暴露音频流、完整事件流、用量、警告和提供商元数据。
OpenAI 于 10 月 22 日正式推出 Decisions API:用 GPT-6 Luna 对文本、图像或结构化输入返回概率、选项或分数,并可在 GPT-Live 会话里用 decision.event 驱动头像表情等实时界面状态。
10 月 20 日提交的 Agent S4 把接口设计变成元代理能力:读取无成功标签的合成任务轨迹,增删操作与观察接口,再用隐藏的验证任务选择可继续演化的接口仓库。
OpenAI 于 10 月 26 日发布 GPT‑6.1 Terra,定位为视觉理解、精确计算机操作与高吞吐专业工作的高性价比模型;API 支持图像输入、结构化输出、计算机操作、MCP 与工具搜索。
10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。