GOCLAWAGENT EVALUATION
GoClaw 首页

26. WebArena 与 BrowserGym:Web Agent 的可复现环境

Benchmark 专题 · 3~5 小时

学习目标

  1. 理解 Web Agent 为什么需要自托管环境
  2. 掌握网页任务的 Functional Correctness 思想
  3. 认识 BrowserGym 的环境抽象价值

前置知识

本章产物: 设计一个可 reset 的最小 Web Eval Environment。

26.1 Live Web 很真实,但不稳定

直接让 Agent 访问真实网站会遇到:

这使历史结果难以比较。

26.2 WebArena 的核心

WebArena 通过自托管的真实功能 Web 应用构建可复现环境,并设计长链路任务。

核心思想:

尽量保持真实交互,同时把环境控制在可 reset、可验证范围。

26.3 Functional Correctness

Web Agent 不应只看“点了哪些按钮”。

例如:

在论坛发布指定内容。

应验证:

post exists
author correct
content correct
visibility correct
no duplicate

最终 backend state 往往比截图更可靠。

26.4 BrowserGym

BrowserGym 提供统一 Gym 风格环境,用于集成 WebArena、WorkArena 等环境。

值得借鉴的是:

Environment Adapter
Observation Space
Action Space
Task
Reward

使 Agent 与具体 benchmark 解耦。

26.5 Browser Trace

至少保存:

26.6 Web Eval 的 Flakiness

常见原因:

测试环境要尽量冻结。

26.7 验收问题


本章依据

  1. WebArena — Zhou et al., 2023
  2. BrowserGym 官方仓库 — ServiceNow