PrefDiag-Bench 拆解个性化 GUI 代理为何在何时失效
10 月 22 日提交的 PrefDiag-Bench 用 318 个端到端任务和 1,664 个诊断探针，追踪偏好如何改变执行以及应在何种界面状态生效；11 个系统在个性化任务上均弱于基础任务。
事件 原文发布 本站收录 最后核验
为什么值得关注
生成式与代理界面不能只记住偏好，还必须从历史证据中选对规则，并在正确的界面状态触发。否则“个性化”可能在排序、流程或确认边界上变成错误自动化。
技术细节
基准把偏好分为结果、约束、排序、流程和交互五类，并比较显式用户画像与行为记忆日志。最佳系统 Seed-2.0-Pro 的基础任务成功率为 81.13%，显式画像和行为日志下的个性化平均成功率分别为 62.64% 和 65.66%；其显式画像流程偏好仅 47.17%。在 85 个任务子集上给日志标注支持证据与噪声，使 Seed-2.0-Pro 从 76.47% 升至 83.53%，但删除噪声反而回落到 81.18%。
适合哪些读者
构建个性化代理、长期记忆、偏好触发、确认流程和 GUI 自动化评测的团队
原始来源
- PrefDiag-Bench authors / arXiv and official repository ↗arxiv.org
- Full paper, results and limitations ↗arxiv.org
- Official code and data repository ↗github.com
修订与更正记录 (1)
— Paper, full text and official repository verify date, benchmark size, results and construction method; caveats preserve synthetic-context and intervention limits.