Interface Quilt 用计算机使用代理把生成式 UI 叠成现有应用的持久补丁
Autodesk Research 的 Interface Quilt 将计算机使用代理与生成式 UI 结合：代理先从屏幕像素探索现有应用的控件和可观察状态，再由编码代理生成覆盖在原应用上的界面补丁。论文展示了它在 PowerPoint、Affinity、Fusion、Slack 与 Overleaf 上重排控件、加入语音和标记菜单、显示就地参数以及延迟或确认发送消息，且不依赖源代码、应用 API 或无障碍树。
为什么值得关注
这项工作把生成式 UI 从一次性回答推进到可重复使用的应用改造层。新界面不只显示模型结果，还持续读取宿主状态并把交互翻译成宿主动作；因此像素、状态同步、OS 输入与生成代码权限共同成为产品边界。
技术细节
系统分为构建期与运行期。构建期用 OmniParser v2、Apple Vision OCR 和 Holo2-8B 识别控件与坐标，再用 Claude Code 生成 TypeScript 补丁。运行期在 macOS 上用透明 Electron surface 承载补丁，Node 控制器分发事件，Swift daemon 操作系统输入并提供本地视觉服务。补丁可持续把应用状态映射到滑块、就地菜单或使用轨迹，也可把按钮动作映射回原应用；部分示例会调用外部语音、转写或分析模型。
适合哪些读者
研究可塑软件、计算机使用代理、桌面自动化、辅助交互和生成式 UI 运行时的产品、设计与工程团队。
原始来源
修订与更正记录 (1)
— Backfill a newly discovered primary research source directly about generative UI and computer-use agents, preserving the real submission date, system architecture, demonstrations, and explicit privacy, security, synchronization, and evaluation limits.