26. WebArena 与 BrowserGym:Web Agent 的可复现环境
Benchmark 专题 · 3~5 小时
学习目标
- 理解 Web Agent 为什么需要自托管环境
- 掌握网页任务的 Functional Correctness 思想
- 认识 BrowserGym 的环境抽象价值
前置知识
- 第 5、10、12 章
本章产物: 设计一个可 reset 的最小 Web Eval Environment。
26.1 Live Web 很真实,但不稳定
直接让 Agent 访问真实网站会遇到:
- 页面变化;
- 登录态;
- A/B;
- 广告;
- 地理位置;
- 网络;
- 数据更新;
- 反爬。
这使历史结果难以比较。
26.2 WebArena 的核心
WebArena 通过自托管的真实功能 Web 应用构建可复现环境,并设计长链路任务。
核心思想:
尽量保持真实交互,同时把环境控制在可 reset、可验证范围。
26.3 Functional Correctness
Web Agent 不应只看“点了哪些按钮”。
例如:
在论坛发布指定内容。
应验证:
post exists
author correct
content correct
visibility correct
no duplicate最终 backend state 往往比截图更可靠。
26.4 BrowserGym
BrowserGym 提供统一 Gym 风格环境,用于集成 WebArena、WorkArena 等环境。
值得借鉴的是:
Environment Adapter
Observation Space
Action Space
Task
Reward使 Agent 与具体 benchmark 解耦。
26.5 Browser Trace
至少保存:
- URL;
- DOM/accessibility snapshot;
- screenshot(必要时);
- action;
- target element;
- result;
- final backend state。
26.6 Web Eval 的 Flakiness
常见原因:
- animation;
- delayed render;
- async network;
- selector instability;
- cookies;
- clock;
- external links。
测试环境要尽量冻结。
26.7 验收问题
- 为什么真实互联网不一定是好的 Benchmark Environment?
- Functional Correctness 为什么比“点击轨迹”更重要?
- BrowserGym 的抽象层对平台有什么价值?