EnvOS 用可重建环境审计“世界已变化”时的计算机代理
10 月 29 日提交的 EnvOS 把界面、工具、状态变化、观测投递和判分证据一起存档,用于测试代理在预约、保单等事实已变化后是否重新核对,而不是沿用记忆或提示中的旧值。
为什么值得关注
生成式界面的可靠性不能只看最后截图或动作日志。宿主需要证明代理看到的状态确实已更新、任务仍可完成、关键证据已送达,并能让独立审计者重建运行。
技术细节
论文以两套合成工作流展示现象型任务构造。诊所预约中,Opus 5 在没有额外信息时 16 次均未重新核对;加入提醒/链接后仅 2/16 核对,而把当前值直接呈现后 15/16 核对,论文全局校正后 p=0.00293。保险工作流中 Opus 5 为 10/10;Sonnet 5 从 1/10 升到 9/10,但全局校正后不显著。框架还归档状态突变、可解性、观测投递、判分器和证据,允许独立重建。
适合哪些读者
构建计算机代理评测、可审计生成式 UI、状态恢复、合规验收和回归测试的研究与平台团队
原始来源
修订与更正记录 (1)
— Publish a primary-source audit framework that links state mutation, observation delivery, terminal verification and independent reconstruction, while preserving its synthetic scope and adversarial counterevidence.