GUI‑JEPA 用候选隐空间打分替代逐 token 动作解码
10 月 27 日提交的 GUI‑JEPA 面向移动 GUI 单步动作选择：它把无标签界面截图预训练得到的 JEPA 表征按候选动作和区域变换，在一次批处理中为无障碍树候选打分，不再让 7B 视觉语言模型逐 token 生成动作。
为什么值得关注
界面代理的实时性不一定只能靠压缩生成模型。若宿主能枚举可信动作候选，动作选择可以从开放式文本生成改成受限判别问题，以更低延迟和显存进入本地或高频交互路径；但它同时把覆盖率、目录质量和规划能力转移给候选生成与上层运行时。
技术细节
GUI‑JEPA 使用 224px ViT‑L/16 编码截图，以动作和 ROI 条件化的残差预测器产生每个候选的隐表示，再由结构头、文本 span 排序器和 click 重排器选择动作。模型约 0.50B 参数，其中约 132M 参与训练；AndroidControl 训练使用 13,594 个 episode、74,714 个 step，论文报告三个训练 seed。与作者在同一截图、候选、历史、判分器、H20 GPU 和 batch 1 下微调的 Qwen2.5‑VL‑7B 参照相比，GUI‑JEPA 的 IDD AC‑Low/High 为 84.1%/61.0%，参照为 91.0%/70.9%；前者仅约 6% 参数。100 个真实 AC‑High IDD step 上，GUI‑JEPA 的 p50 为 74.3ms（fp32）或 51.5ms（bf16），7B vLLM 为 206.7ms，对应 2.8–4.0 倍速度和约 4.6–6.4 倍更低峰值显存。完整测试 AC‑Low/High 为 78.6%/53.8%，OOD High 通过两个文本排序器从 43.85% 提到 47.67%。
适合哪些读者
设计移动 GUI 代理、候选动作目录、端侧交互、低延迟视觉策略和分层规划运行时的研究与工程团队
原始来源
- GUI-JEPA authors / arXiv and official repository ↗arxiv.org
- Full paper, experiments, limitations and reproducibility statement ↗arxiv.org
- Official repository — README-only at verification ↗github.com
修订与更正记录 (1)
— GUI-JEPA 给出生成式/代理界面实时路径的重要反例：受控候选场景可用专用判别策略替代逐 token 动作生成。论文日期、方法、同硬件延迟、准确率、统计口径与局限已由 arXiv 全文核验，官方代码仓库的空壳状态也已明确记录。