GUI 代理的成功自述会污染完成判定
10 月 21 日提交并获 ICSE 2027 研究轨接收的论文发现,把代理自己的成功报告交给完成判定器,会降低对危险误报的识别;作者用报告隔离、结构化轨迹证据与确定性规则重建审核边界。
为什么值得关注
代理界面中的“已完成”标签不能同时充当待验证主张和证明材料。应把自然语言自述与独立执行轨迹分开,否则自信叙述可能让失败任务静默通过。
技术细节
在相同任务与轨迹上仅隐藏代理自述,Qwen3.5-35B-A3B 和 DeepSeek-284B-A13B 的轨迹侧危险误报召回分别提高 43.4 与 13.3 个百分点。结构化审核器在 465 条审核目标记录上达到 F1 0.75–0.78,在 130 条留出 Batch 2 上达到 0.77–0.81。把 FLAG 和 REVIEW 都阻断自动通过时,可拦下 74%–90% 的危险误报,但审核目标集内人工检查负载为 45%–56%。
适合哪些读者
GUI 代理、自动化测试、生成式 UI 验收与高风险工作流团队
原始来源
修订与更正记录 (1)
— The original abstract and full PDF provide a direct GUI-agent completion-judging result with held-out evaluation, deployment trade-offs and explicit limitations.