IGG 把界面定位从“看见后点击”推进到“先恢复可见性，再完成点击”

10 月 23 日提交并被 EMNLP 2026 主会接收的 IGG 基准，要求代理先通过滚动、悬停、拖动、等待或状态切换使目标可见，再在八步内点击；它用 16 个可控模拟界面的 601 项任务测量静态截图定位没有覆盖的可见性恢复能力。

为什么值得关注

真实生成式 UI 与界面代理经常面对折叠区、遮挡、延迟出现和视口外内容。只评估首屏可见元素会把“识别目标”和“找到正确操作、位置与参数以显露目标”混为一体；IGG 的干预实验把主要瓶颈定位在后者。

技术细节

论文报告人类在 21 项固定子集的 315 次试验中成功 298 次（94.6%，平均 19.8 秒）；完整 601 项上 GPT‑5.5 为 79.4%，最强开源基线 GUI‑Owl‑1.5 为 31.6%，Qwen3‑VL 为 30.8%。只告诉 Qwen3‑VL 应使用哪类显露动作仅升至 33.9%，而替它执行真实显露步骤后升至 81.9%，说明目标出现后的识别并非主要缺口。以 479 项训练、120 项隔离验证进行频率平衡 SFT 与浏览器反馈 GRPO 后，Qwen3‑VL 从 40.0% 升至 59.2%，InternVL3.5 从 28.3% 升至 47.5%，GUI‑Owl‑1.5 从 35.0% 升至 52.5%。官方仓库提供 16 个自包含 Next.js 模拟应用、评测器和 481 项公开任务；120 项验证集暂不公开以降低污染。

适合哪些读者

评估 GUI 代理、计算机使用模型、生成式 UI 可见性恢复、交互策略训练与浏览器反馈的研究和工程团队

原始来源

• IGG authors, EMNLP 2026 paper, project page and official repository ↗arxiv.org
• IGG full paper, experiments and limitations ↗arxiv.org
• Official benchmark repository and public-data boundary ↗github.com
• Official IGG project page ↗igg-bench.github.io