4. 证据模型：到底什么能证明 Agent 做对了

核心方法论 · 2～3 小时

学习目标

掌握 Outcome、State、Trajectory、Artifact、Human 五类证据
建立证据强度意识
学会为每个任务选择最小充分证据

前置知识

第 1～3 章

本章产物： 为 20 个 EvalCase 标注主证据与辅助证据。

4.1 “Agent 说完成了”不是证据

评测最容易犯的错误，是把 Agent 自己生成的自然语言声明当成成功事实。

推荐证据优先级：

可执行 / 可查询真实状态
        >
结构化工具回执
        >
确定性 Artifact 验证
        >
参考答案比较
        >
人工专家判断
        >
LLM Judge
        >
Agent 自述

这个排序不是绝对的；开放式专业任务可能只能依赖 Rubric + 专家。但能直接验证真实状态时，应优先直接验证。

4.2 Outcome Evidence

Outcome 是任务目标是否达成。

例如“生成一份合法发票 PDF”，可以验证：

文件存在；
PDF 可解析；
必要字段存在；
金额计算正确。

4.3 State Evidence

对于有外部副作用的任务，State 往往最强。

例如：

SELECT status, refund_amount
FROM orders
WHERE id = '123';

State-based evaluator 通常比“看对话”更不容易被表述风格干扰。

4.4 Trajectory Evidence

有些任务即使最终状态对了，过程仍可能违规。

例如：

必须先征得确认才能转账；
禁止读取未授权数据；
不能使用某个高风险工具；
必须先校验再删除。

这时必须评价动作序列，而不是只有终态。

4.5 Artifact Evidence

Agent 产生代码、文档、表格、SQL、配置时，可用专门验证器：

Code → unit/integration test
JSON → JSON Schema
SQL → parser + test DB
Terraform → validate/plan
Kubernetes → API schema + dry-run + state
Document → structural/content rubric

4.6 Human / Judge Evidence

对于策略报告、复杂写作、设计质量、开放研究，无法完全确定性验证。此时需要 Rubric 和 Reviewer。

重要原则：

Judge 不是“弱证据”，但它的误差必须被测量。

4.7 Evidence Matrix

为 Case 建议明确：

证据	必需？	权重/门槛
Final State	是	必须 PASS
Tool Policy	是	0 violation
Final Answer	是	完整告知用户
Trajectory	辅助	冗余率 < 阈值
Judge	辅助	>= 4/5

4.8 验收问题

哪些任务必须使用 State Evidence？
为什么 Final State 正确仍可能需要 Trajectory Eval？
LLM Judge 应该在什么时候成为主证据？

本章依据

原理性结论优先来自原始论文和官方文档。论文中的实验数字只属于论文声明的模型、数据、环境和评测设置，不能直接外推为你的生产结论。