37. 论文阅读地图与 Benchmark Card

学习与参考 · 持续进行

学习目标

1. 建立 Agent Evaluation 论文阅读顺序
2. 学会区分方法贡献与实验结果
3. 使用统一 Benchmark Card 记录知识

前置知识

• 全书任意章节

本章产物： 至少完成 8 篇核心论文阅读卡。

37.1 第一阶段：全景与方法论

1. Evaluation and Benchmarking of LLM Agents: A Survey
2. An Evaluation-Driven Approach to Designing LLM Agents
3. Establishing Best Practices for Building Rigorous Agentic Benchmarks
4. AlphaEval: Evaluating Agents in Production

读完回答：

• What to Evaluate？
• How to Evaluate？
• Production 与 Benchmark 差异？
• Eval 本身如何验证？

37.2 第二阶段：通用 Benchmark

1. AgentBench
2. AgentBoard
3. GAIA

重点看：

• environment；
• task design；
• progress；
• generality。

37.3 第三阶段：交互/状态

1. τ-bench
2. τ²-bench
3. WebArena

重点看：

• user simulator；
• database state；
• reproducible environment。

37.4 第四阶段：工具/代码

1. ToolLLM / ToolBench
2. StableToolBench
3. BFCL
4. SWE-bench

重点看：

• structured calls；
• execution；
• environment stability；
• tests。

37.5 第五阶段：安全

1. AgentDojo
2. Agent-SafetyBench
3. OpenAgentSafety

重点看：

• threat model；
• benign utility；
• attack success；
• real tools。

37.6 第六阶段：Evaluator

1. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
2. Agent-as-a-Judge

重点看：

• agreement；
• bias；
• process-level judge。

37.7 Benchmark Card 模板

Title:
Year:
Authors:
Problem:
Agent type:
Environment:
Task source:
Action space:
Observation:
Success signal:
Metrics:
Human validation:
Number of runs:
Strength:
Known limitation:
Contamination risk:
License:
What we should borrow:
What we should not copy:

37.8 三遍阅读法

第一遍：问题、结构、主要结论。 第二遍：Task、Environment、Metric、实验设置。 第三遍：只复现一个最关键评测机制。

不要把论文中的模型排名当作最重要知识；真正值得复制的是评测设计。

本章依据

1. Evaluation and Benchmarking of LLM Agents: A Survey
2. Establishing Best Practices for Building Rigorous Agentic Benchmarks — Zhu et al., 2025
3. AlphaEval: Evaluating Agents in Production — Lu et al., 2026
4. AgentBench: Evaluating LLMs as Agents — Liu et al., 2023
5. AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents — Ma et al., 2024
6. GAIA: a benchmark for General AI Assistants — Mialon et al., 2023
7. $\tau$-bench — Yao et al., 2024
8. WebArena — Zhou et al., 2023
9. SWE-bench — Jimenez et al., 2023 / ICLR 2024
10. AgentDojo — Debenedetti et al., 2024