1700 万 GUI 元素研究显示无障碍标签缺口会同时形成代理训练债务与评测选择偏差
11 月 11 日提交并获 AISSA 2026 接收的论文分析 Rico 与 AndroidControl 中 17,373,614 个界面元素。按作者的编码规则，需要 content description 的元素覆盖率分别为 17.74% 与 57.27%；输入控件在两套语料中最差。
事件 原文发布 本站收录 最后核验
为什么值得关注
计算机使用代理与屏幕阅读器读取同一无障碍树。缺失标签既阻碍用户，也让训练、评测和运行中的代理看不到界面语义；若基准任务更常触及恰好有标签的元素，报告的代理能力还可能偏乐观。
技术细节
作者将 26,205 个任务动作解析到被触及元素，发现在无文本的可点击图形中，演示触及有描述元素的比例比同屏其他元素高 9.0 个百分点，其中约 3.5 点来自屏内目标选择。两人对 300 个元素独立编码，角色与标签状态 κ 分别为 0.96 和 0.91；代码、代码本、流水线和数值溯源仓库公开。
适合哪些读者
训练或评估 GUI 代理、构建生成式界面、维护移动应用语料、无障碍树和基准测试的研究、产品与工程团队。
原始来源
- arXiv primary paper and reproducibility repository ↗arxiv.org
- Methods and reproducibility repository ↗github.com
修订与更正记录 (1)
— New primary empirical research with a reproducibility repository; dates, sample sizes, effects, and limits verified.