过去几周，我们把开源权重的大语言模型放进 Deep Agents 评测框架里跑了一轮，初步结果显示，它们已经是可以使用的选项——既可以替代闭源前沿模型，也可以与之并行使用。GLM-5（来自 z.ai）和 MiniMax M2.7 在文件操作、工具调用、指令遵循等核心 agent 任务上的得分，与闭源前沿模型相近。

如果你一直通过 SWE-Rebench、Terminal Bench 2.0 等大量公开基准关注开源模型的进展，这个结果并不意外。工具调用是可靠的，指令遵循是稳定的。对于在生产环境部署 agent 的开发者来说，开源模型现在提供的稳定性和可预测性，让真实工作流变得更为可行。

为什么关注开源模型

在考察开源模型时，构建者和客户通常关注几个关键因素：成本、延迟和任务表现。

理想状态下，每个任务都用最聪明的前沿模型、开最高推理档位，当然最好。但现实里有两个约束让它行不通：成本和延迟。在高吞吐场景下，闭源前沿模型的成本可能高出 8 到 10 倍，而且对于交互式产品所要求的响应时间来说，它们往往太慢。

把定价放在具体语境里看：一个每天输出 1000 万 token 的应用，用 Opus 4.6 大约每天 250 美元，而用 MiniMax M2.7 大约每天 12 美元，一年相差约 8.7 万美元。

开源模型通常比闭源前沿模型更小，可以在专门的推理基础设施上加速—— Groq、Fireworks、Baseten 这类提供商在延迟和吞吐上的优化程度，远超大多数团队自己能做到的水平。OpenRouter 的数据显示，GLM-5 跑在 Baseten 上平均延迟 0.65 秒、每秒 70 个 token，而 Claude Opus 4.6 是 2.56 秒、每秒 34 个 token。对延迟敏感的产品来说，这个差距很难靠工程手段绕过去。

我们如何评测

我们的评测方法此前在《How we build evals for Deep Agents》里详细写过。评测通过托管推理提供商运行，但 Deep Agents 也支持用 Ollama、vLLM 等在本地和私有环境跑模型。

针对开源模型，我们跑了七个评测类别：文件操作、工具调用、检索、对话、记忆、摘要，以及 " 单元测试 "。这些覆盖的都是基本功——模型能不能可靠地调用工具、遵循结构化指令、操作文件。这些能力决定了模型到底能不能用在 agent 框架里。

每个评测用例定义了两类断言：成功断言是硬性检查，决定对错；效率断言是软性检查，衡量模型是怎么走到答案的。我们报告四个指标：

正确率：通过的测试数除以总测试数。0.68 意味着 68% 的用例被正确解决，这是主要的质量信号。

解决率：准确度和速度的综合指标。每个测试计算预期步数除以实际耗时秒数，失败的测试计零分，最后取所有测试的平均值。又对又快的模型得分最高。

步数比：模型实际走的 agent 步数，对比预期步数。1.0 表示正好用了预期步数，高于 1.0 说明用了更多步、效率偏低，低于 1.0 说明比预期还少。

工具调用比：和步数比同理，只是统计的是单次工具调用次数。1.0 是预算内，高于就是超支，低于就是没花完。

步数比和工具调用比是效率指标，不影响测试是否通过，但能看出模型解题的经济性。一个任务用 2 步解决而不是预期的 5 步，既正确又高效。

评测发现

这些是早期结果，我们正在持续维护和扩充评测集。你可以在我们的 GitHub 仓库和共享的 LangSmith 项目中实时查看最近的运行。

对每个模型，我们选择使用提供商默认的思考档位。对 Gemini 3+，是 high；对 OpenAI，是 medium；对 Claude，是不启用扩展思考。

自己动手：在本地跑 Deep Agent 评测

我们的 CI 在 52 个模型上跑同一套评测，按组划分。其中有一个 open 组（baseten:zai-org/GLM-5、ollama:minimax-m2.7:cloud、ollama:nemotron-3-super），每次评测工作流都会跑。你可以指定任意模型组：

跑所有开源模型：pytest tests/evals --model-group open

跑指定模型：pytest tests/evals --model baseten:zai-org/GLM-5

这样就可以用同一套任务、同一套评分标准，方便地把开源模型相互比较，也与闭源前沿模型比较。

在 Deep Agents SDK 里使用开源模型

换成开源模型只需改一行：

GLM-5：

# pip install langchain-baseten

from deepagents import create_deep_agent

agent = create_deep_agent ( model="baseten:zai-org/GLM-5" )

MiniMax M2.7：

# pip install langchain-openrouter

from deepagents import create_deep_agent

agent = create_deep_agent ( model="openrouter:minimax/minimax-m2.7" )

就这样。框架会处理其余的事——它会检测模型的上下文窗口大小，禁用不支持的模式，并把正确的身份注入系统提示，让 agent 知道自己正在和什么模型协作。