32. Inspect Agent、Tool、Sandbox 与外部 Agent

Inspect AI · 4～6 小时

学习目标

本章产物： 用 Inspect 运行一个具备工具调用的外部 Agent。

Inspect 支持：

这意味着被测 Agent 不必使用 Inspect 自己实现。

我们的正确关系：

Inspect Runner
     ↓
Agent Adapter
     ↓
Your Agent API / CLI
     ↓
Agent Runtime

这样评测工具不侵入 Agent 产品架构。

Inspect Tool 模型是：

model generates structured tool request
        ↓
Inspect invokes tool
        ↓
tool result returned

适合构造可控测试工具。

对：

必须隔离。

Inspect 提供 sandbox abstraction，可用 Docker，也可扩展其他 provider。

Sandbox 是执行隔离容器；Environment 还包括：

不要把两者概念混淆。

Inspect 允许人类在相同 Task / Sandbox / Scorer 下执行，这对 Human Baseline 很有价值。

长 Agent 必须有：

turn limit
message limit
token limit
time limit

Eval 不应因为 Agent 循环无限跑。