15. Human Evaluation：把人类判断变成可靠数据
Evaluator 技术 · 3～4 小时
学习目标
- 设计 Blind Review 与 Pairwise Review
- 理解 Reviewer Agreement 与专家差异
- 建立升级与仲裁机制
前置知识
- 第 13～14 章
本章产物： 创建一份 Human Review Guideline 和标注表。
15.1 人工评测不是“让同事随便看看”
Human Eval 需要：
- 明确 Rubric；
- Reviewer Training；
- Blind 条件；
- 样本随机化；
- 重复标注；
- 冲突仲裁；
- 记录理由。
否则只是 Anecdotal Feedback。
15.2 Pointwise vs Pairwise
Pairwise 往往更容易回答：
A 和 B 哪个更好？
但版本很多时成本上升。
Pointwise 更适合长期绝对门槛，但需要更好评分锚点。
15.3 Blind Review
尽量隐藏：
- Agent 名；
- Model 品牌；
- Baseline/Candidate 身份；
- 团队信息。
避免 Reviewer 先验偏好。
15.4 Reviewer Agreement
至少关注：
raw agreement
pairwise agreement
confusion
dimension disagreement如果“安全性”维度 Reviewer 一致率很低，问题可能是 Rubric，而不是 Reviewer。
15.5 Expert Eval
某些任务必须专家：
- 法律；
- 医疗；
- 金融合规；
- 安全；
- 复杂工程设计。
这类 Case 不应假装 LLM Judge 可以完全代替专家。
15.6 Human Baseline
有些 Agent Benchmark 还需要让人完成同一 Environment，以确认：
- 任务本身可完成；
- Instructions 足够；
- 时间预算合理；
- Evaluator 不会误判。
15.7 Escalation
推荐：
Rule/State confident → 自动
Judge uncertain → 二级 Judge
Critical / Conflict → Human人工不是所有 Case 的默认路径，而是高价值升级通道。
15.8 验收问题
- Human Eval 为什么也需要校准？
- Blind Review 解决什么问题？
- 哪些情况下必须有 Human Baseline？