随着企业 AI 使用成本持续攀升,一类名为 " 模型路由器 " 的技术正迅速从边缘工具走向主流。这类系统能够根据任务复杂程度自动调配最合适的 AI 模型,在不显著牺牲质量的前提下大幅压缩开支,正在吸引从初创公司到大型企业的广泛关注。
模型路由器的核心逻辑在于:并非所有任务都需要最昂贵的前沿模型。总结邮件、检索文档等基础工作完全可以交由开源模型或旧版专有模型处理,成本仅为顶级模型的一小部分。Snowflake 和 Palo Alto Networks 等企业已向 The Information 证实,通过为特定任务替换更廉价的模型,实现了可观的成本节约。
这一趋势正在催生真实的商业回报。建筑公司 McCarthy Building 表示,通过 Palantir 的路由工具 Evolve,其当季 AI token 使用量较去年同期减少了 60%。Palantir 自身也披露,在一个具体案例中,该工具通过将任务从 OpenAI 的 GPT-5.1 切换至更小的 GPT-5.4 Nano 模型,将计算成本压缩了 97%。
模型路由器的概念并非全新,但真正走入大众视野,是在 OpenAI 发布 GPT-5 之后。该模型在 ChatGPT 内部根据用户提示的复杂程度自动在不同模型之间切换,将路由逻辑内嵌于产品之中。此后,能够跨多家供应商进行模型调度的路由器开始快速普及。
目前市场上的路由器形态多样:既有独立产品,也有云计算服务商内置的功能模块,还有企业 IT 部门自行搭建的定制化方案。这些工具的共同目标是替代用户手动选择模型的操作,从而在降低成本的同时维持输出质量。
Databricks 推出的 Unity AI Gateway 便是其中一例。该公司 CEO Ali Ghodsi 表示,这款工具 " 非常受欢迎 ",原因在于许多企业 " 正在以过快的速度耗尽预算 "。Databricks 在向客户推出该产品之前,已在内部使用了一段时间。
路由器赛道正在吸引不同规模的参与者。据 The Information 此前报道,今年 4 月,提供路由技术的初创公司 OpenRouter 完成了 1.2 亿美元新一轮融资,资本市场对这一方向的热情可见一斑。
OpenRouter 的 " 自动路由器 " 根据用户对成本与质量的偏好(在 0 至 10 的刻度上自行设定)来决定调用哪个模型。数据显示,该路由器约三分之一的时间会选择谷歌相对廉价的 Gemini 2.5 Flash Lite,而调用 OpenAI 更强大的 GPT-5.5 的比例仅约 10%。OpenRouter 的自动路由器底层由初创公司 Not Diamond 提供支持,后者专注于为 AI 编程智能体开发路由系统。
日本 AI 实验室 Sakana AI 近期发布了一套基于路由器的多模型协同系统。该系统在测试中将数学问题主要分配给 OpenAI 的 GPT-5.5,将科学问题分配给谷歌的 Gemini,理由是系统判断这两个模型在各自领域优于其他选项。Sakana AI 称,该系统整体表现在编程、工程、科学任务和推理等基准测试上与 Anthropic 的 Fable 5 和 Mythos Preview 模型 " 并驾齐驱 "。
AI 编程应用 Cognition 本周也发布了新路由器,利用其内部基准测试识别不同智能体的相对优势,并引入一个 "sidekick" 智能体处理较简单的任务。Cognition 表示,该路由器在某编程基准测试上达到了 Fable 5 的得分水平,成本却低了 35%。
并非所有企业都需要购买专业路由产品。开发者可以使用 Claude Code 等 AI 编程智能体自行搭建路由器,甚至直接让一个 AI 模型来决定哪个模型最适合处理某个特定查询。
Arcee AI 负责 AI 智能体工作的 Hunter Bown 表示,他习惯使用 DeepSeek V4 Flash 来进行模型选择,原因是其成本低廉。他的做法是向 DeepSeek 提供一份模型列表,让其判断哪个模型最适合处理当前提示。
不过,这类 " 快速搭建 " 方案也有其局限性。路由器提供商 Martian 的创始人 Shriyash Upadhyay 指出,更复杂的路由器有时会展示出亮眼的基准测试成绩,但实际表现未必与之相符。他还提到,即便是更精密的路由器,仅凭用户的第一条提示来预测最佳模型也颇具难度。
Upadhyay 表示,模型迭代速度快、能力差异持续变化,使得路由决策愈发复杂。" 各家公司没有关于所有不同任务的无限数据,因此你必须真正深入模型内部,弄清楚这些模型擅长什么。" 为此,Martian 在做路由决策时,不仅参考模型的输出结果,还会考量构成这些模型的内部计算过程。
企业对 AI 成本的焦虑并非短期现象。随着员工对高级 AI 模型的使用量(即 "tokenmaxxing" 现象)持续增加,管理层对 AI 支出的审视也在加强。这一背景为模型路由器提供了持续的需求驱动力。
Palantir 的 Evolve 工具在路由功能之外,还能根据所选模型自动调整提示内容,并防止请求被重复发送给模型——后者是导致超额收费的常见原因之一。McCarthy Building 的案例表明,通过优化提示结构,企业可以在使用前沿模型时消耗更少的 token,同时获得相同的输出结果。
对于投资者而言,模型路由器赛道的升温意味着:一方面,OpenRouter 等专注路由技术的初创公司正在获得资本青睐;另一方面,Databricks、Palantir 等将路由功能整合进企业 AI 平台的公司,也在以此强化其产品竞争力。随着 AI 基础设施支出持续扩张,帮助企业控制这一支出的工具层,正在成为不可忽视的新兴市场。


