研究评测研究论文

EnvOS 用可重建环境审计“世界已变化”时的计算机代理

10 月 29 日提交的 EnvOS 把界面、工具、状态变化、观测投递和判分证据一起存档,用于测试代理在预约、保单等事实已变化后是否重新核对,而不是沿用记忆或提示中的旧值。

为什么值得关注

生成式界面的可靠性不能只看最后截图或动作日志。宿主需要证明代理看到的状态确实已更新、任务仍可完成、关键证据已送达,并能让独立审计者重建运行。

技术细节

论文以两套合成工作流展示现象型任务构造。诊所预约中,Opus 5 在没有额外信息时 16 次均未重新核对;加入提醒/链接后仅 2/16 核对,而把当前值直接呈现后 15/16 核对,论文全局校正后 p=0.00293。保险工作流中 Opus 5 为 10/10;Sonnet 5 从 1/10 升到 9/10,但全局校正后不显著。框架还归档状态突变、可解性、观测投递、判分器和证据,允许独立重建。

适合哪些读者

构建计算机代理评测、可审计生成式 UI、状态恢复、合规验收和回归测试的研究与平台团队

原始来源

修订与更正记录 (1)

— Publish a primary-source audit framework that links state mutation, observation delivery, terminal verification and independent reconstruction, while preserving its synthetic scope and adversarial counterevidence.

相关事件

研究评测

另一项 VeriCUA 把 GUI 任务验收改为主动取证,并允许证据不足时弃权

Google 与香港大学团队 10 月 29 日提交了一项同名但独立的 VeriCUA:验证器先查看环境或轨迹建立任务 rubric,再用 GUI、无障碍树、文件、数据库等只读检查补齐证据,并把需求判为满足、违反或未知。在线实验中,它在 AndroidWorld、OSWorld 与 ScienceBoard 上均降低了相对基线的假阳性。

研究评测

InterA11y 让 LLM 代理主动检查交互式网页无障碍问题

10 月 29 日提交的 InterA11y 把规则、准则量表与浏览器交互工具结合,在 10 项常见 WCAG 标准、682 个整理测试和 54 个真实网页衍生的 197 个专家标注样例上评估无障碍错误检测。

研究评测

GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码

10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择:它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换,在一次批处理中为无障碍树候选打分,不再让 7B 视觉语言模型逐 token 生成动作。