CanvasObs 用结构化状态补足画布智能体看不见的信息
10 月 19 日提交的 CanvasObs 为截图之外的画布智能体提供对象身份、可见性、原生关系和离屏坐标等结构化状态，并在固定动作管线中测试其作用。
事件 原文发布 本站收录 最后核验
为什么值得关注
像素截图无法可靠揭示被遮挡或离屏对象、原生绑定与精确几何；生成式界面的运行时需要暴露可操作语义，而不能要求模型从画面重建全部状态。
技术细节
作者在 10 个定向配置、3 个模型、每条件 20 次运行中完成 1,200 次试验。合并结果里，正确目标选择从 16.5% 升至 48.3%，完整任务成功从 4.3% 升至 25.0%。不过选对目标后仍只有 153/290 次正确放置（52.8%），显示“找到对象”和“完成动作”是两个不同瓶颈。
适合哪些读者
画布智能体、设计工具、生成式 UI 运行时与评测团队
原始来源
修订与更正记录 (1)
— Historical catch-up: the original PDF now supplies methods, denominators, confidence intervals and limitations.