ControlAnything 让编码代理即时生成空间控件与物理设备连接器

ControlAnything 在 Meta Quest 3 中让用户指向一个物体并描述手势目标；运行于笔记本的 Muse Spark 编码代理随后编写、测试并部署 MIDI、蓝牙或按键连接器，再返回 AR 旋钮、按键、触控面或逐帧手势程序。论文于 11 月 5 日提交，开放仓库提供真实设备、模拟器、证据记录和可回放路径。

为什么值得关注

这项工作把生成式 UI 从“模型选择页面组件”推进到“模型现场生成界面、输入映射和设备胶水代码”。它也暴露出更严格的验证边界：软件与传输确认只能证明命令被接收，不能证明真实设备产生了预期物理效果。

技术细节

系统用 SAM 3.1 标出透视画面中的物体，用户选中对象后，由 Muse Spark 在 Mac 上使用终端、文件和设备工具生成连接器。连接器作为 Node 后台进程运行；AR 控件绑定经过验证的动作。最多 4KB 的手势 JavaScript 会先在服务器的受限 node:vm 中校验和试运行，再在 Quest 的受限 Web Worker 中逐帧执行，运行时限制动作、钳制数值、限速并用看门狗停错。论文的单次技术评估由作者本人作为唯一佩戴者，10 个请求覆盖 5 个目标，其中 9 个进入 ready、1 个由佩戴者停止；不计语音转写的中位 ready 时间为 32.5 秒，顺序模型调用占中位耗时 89.9%，输入 token 的 91.7% 来自提示缓存。

适合哪些读者

研究空间计算、WebXR、可穿戴交互、生成式 UI、现场设备集成及代理代码执行安全的产品与工程团队。

原始来源

• ControlAnything paper and open-source implementation ↗arxiv.org
• ControlAnything full text ↗arxiv.org
• ControlAnything open-source implementation and evidence ledger ↗github.com