光子星球 19小时前
Jev引爆决策模型,大模型进入无限游戏
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

撰文  | 郝   鑫

编辑  | 王   潘

决策模型正在从一个新概念变成模型、API 和数据平台,都在发布的产品类别。

决策模型也称 "System One 模型 ",以 TypeSafe 的 Jev 开始,在随后不到一个月内涌现出十余款模型,微软、AWS、Perplexity、Snowflake 等厂商相继入场。

一时间,整个行业梦回 " 百模大战 ",这样的速度即使在 AI 行业也罕见。

决策模型的兴起,本质上是将智能体的决策层从推理层中解耦出来。这一趋势背后的逻辑是,智能体在工作过程中会产生大量小型、重复性的决策,这些决策决定了 Agent 下一步动作,判断是否通过验证,以及路由到哪个模型或工具。

现实中,产生决策并不需要大模型复杂的推理能力,但却占据了大量调用次数和成本。决策模型正是为这类高容量、有边界的 Agent 决策而设计。

决策模型也为中国企业 Agent 落地送来了一场 " 及时雨 "。

在光子星球与一线企业与大厂交流中了解到,数字化底子好的企业已经进入了 AI 切入工作流环节。现阶段,很多企业已经放弃了训练垂直大模型的想法,取而代之的是在融入业务逻辑基础上,解决各个业务环节卡点。

工单该分给谁,请求是否需要人工介入,当前步骤是否继续。Agent 在工作流中产生的这类判断,在企业 Agent 场景中密度极高。

决策模型的出现,为这类判断提供了专门的执行层。

决策层独立

过去两年构建 Agent 的做法,是让通用大模型处理复杂推理到简单工具路由的所有环节。这种方式在 Agent 刚起步时存在合理性,一个模型解决所有问题,简单直接。

但当 Agent 真正跑起来后,瓶颈便开始暴露。因为在一个 Agent 任务里存在大量琐碎的判断,这些判断答案空间有限、调用量大还在关键路径上。用性能最好的通用大模型每做一次判断,任务的延迟就会按秒叠加,账单也会按 Token 不断增加。

决策模型在其中充当了执行判断的角色,不生成文本,只在给定一组固定选项时返回校准后的概率分数。以微软发布的 Microsoft-Decision-1 为例,模型支持是非题、选择题和评分选项,也支持依据评分标准评估 AI 回复和智能体操作。

把决策层从大模型中拆出来,意味着 Agent 工作流中的每一个判断节点都可以被独立优化。决策模型不会取代大模型,而是与之形成分工与共存的关系。通用模型负责需要复杂推理和生成的 " 重 " 任务,决策模型负责 Agent 工作流中大量 " 轻 " 的重复性判断。

这一分工背后的直接驱动力是成本和延迟。TypeSafe 公布的数字显示,Jev 的端到端延迟在 70 到 500 毫秒之间,比同类大语言模型快了 20 到 200 倍。

微软 Decision-1 在 Xbox Research 处理超过 10000 条反馈时,质量与 GPT-6 Sol 相当,速度提高 14 倍,成本降低 200 倍。这种差距在单次 Agent 调用中看不出来,只有在高频、连续的决策链条中才会显现。

微软的 DEMO 中直观展现了分析类场景,使用决策模型返回速度的提升。使用 ChatGPT Sol 和 Microsoft-Decision-1 执行同一个分类并路由的请求,Microsoft-Decision-1 仅用 182 毫秒就返回,而 Sol 用了 6.4 秒。

需要提到的是,当前的决策模型仍存在明显的边界。比如 Jev 目前图像输入仅支持 PNG、JPEG 静态图片,边长须在 256 至 1568 像素之间,单张图片不超过 16MiB,费用按输入 Token 计算。官方提醒,Jev 处理多模态任务时的表现仍不如纯文本任务。决策模型更适合作为业务流程中的一个判断组件,承担分类、排序、筛查或建议下一步的职能。

在微软给出的决策模型 17 个用途中,几乎都是高频、重复、嵌入工作流的 " 节点 "。梳理完这些用途,实际构成了 Agent 系统的两个基础设施层。由安全筛查、数据验证、AI 审评等构成的 " 免疫系统 " 层,负责识别判断和验证;由模型路由、智能体控制、事件响应路由等构成的 " 交通系统 " 层,主要负责评估、选择和调度。

模型分工显现

一个值得注意的趋势是,决策模型在极小的参数规模下,实现了与通用模型竞争的质量。

例如,开源决策模型 THX-01 只有 3.22 亿参数,开发团队在包含 2843 条英语、俄语、土耳其语和阿塞拜疆语客服工单的内部测试中,报告其分类准确率为 98.4%,略高于 Jev 1.13 的 97.4%,报告的 GPU 推理延迟约为 10 毫秒。

这说明,在选项明确、任务边界清晰的多语言工单分类上,一个参数规模很小的专用决策模型,也能达到与更大型模型服务有竞争力的表现,并显著降低推理延迟。

这种现象不是小模型 " 逆袭 ",而是模型分工开始显现。

决策模型在有限任务上以较小参数模型达到有竞争力的表现,很容易被解读为 " 小模型追上了大模型 "。但更确切地说,通用模型与决策模型所承担的工作不同,所以不需要用同一个模型包办所有环节。

通用模型的价值在于,处理开放、复杂、变化多的任务,例如理解模糊意图、进行多步推理、整合多种信息等。决策模型的工作范围则更窄,在已有状态、规则和候选动作之中,判断哪一个更合适,或给出各选项的概率与评分。

一句话总结为,前沿模型驱动能力,决策模型驱动效率。这种分工与传统软件架构的演进相似,当一项能力变得高频且边界清晰的时候,就有动力把它从通用组件中抽离出来,做成专用模块。

这时候,AI 系统的能力竞争,就开始从模型有多大延伸到任务是否拆得更清楚。当业务问题可以被定义为状态、标准和有限动作,专用的小模型可能比通用大模型更适合承担高频的判断。未来的优势未必来自用一个模型包办一切,而是把不同任务分配给合适的模型和规则,并让其在可靠的流程中协同工作。

对于中国 Agent 团队来说,决策层的竞争壁垒将从模型规模,转移到场景理解。当下,决策模型的质量更多取决于,训练数据的质量和判断逻辑的清晰度。中国团队更多的机会,在于把特定业务场景中的判断逻辑,比如什么情况下升级、等待、转化为人工,转化为可训练、可部署和可校准的决策层。

参数规模已经不再是门槛,场景绑定才是。

在新机会面前,可能带来新一轮的格局洗牌。通用大模型公司最擅长的是投入巨额资源,打造面向广泛任务的基础模型。而许多决策模型的竞争力来自任务定义、行业数据、决策标准和流程集成。这些资产往往掌握在行业软件商、企业内部团队和垂直领域创业公司手里。大型模型可以提供底座,但未必天然拥有每个细分行业的业务规则、例外样本和结果反馈。

因此,市场可能会逐渐呈现分层。少数几个模型厂商提供基础决策模型和通用 API,更多团队围绕金融、客服、制造、医疗、物流等具体场景,开发专用决策能力与工作流。竞争焦点将转化为谁能以可接受的成本,持续做出符合业务要求的判断,并把判断安全、稳定地接入实际流程。

落地场景,恰好是决策层的用武之地

国内比国外更强调 " 场景 ",这一点从切入决策模型的动作就可以看出。

以微软为代表的国外公司,倾向于把通用决策模型 API 化,即用一个后训练的基础模型,通过云平台按 Token 计价分发,再让开发者调用。而中国团队的路径则更侧重,场景决策深度嵌入,即把决策能力直接嵌入到企业的业务系统、Agent 框架和工作流中,以开源模型和本地化部署为主,解决具体场景中的判断问题。

一方面,金融、医疗、政务等领域的数据合规要求严格,闭源 API 调用在很多场景下不可行。另一方面,中国企业的 Agent 落地往往涉及与现有业务系统的深度集成。决策层需要理解具体的业务规则、权限体系和工作流逻辑,而这些信息不是通用 API 能够提供。

模型路由是国内落地最成熟的切入点,也是 Agent 工作流中决策频次最高、规则相对清晰的场景。

办公 Agent 实践已经表明,路由调度正在成为规模化使用的经济账。但模型路由只是起点,决策层更大的价值在于作为业务规则的执行引擎。例如,云知声开源的 U2-Decision 4B 围绕,任务交给谁、任务是否能执行和任务沿什么路径完成来搭建框架,对应的三项核心能力是智能模型路由、安全决策和工作流路由。

类似的 " 前置判断 " 能力对企业场景至关重要,落地到一个保险理赔 Agent 的决策层就需要知道,哪些材料缺失可以自动补全,哪些必须退回以及哪些需要人工核验。

路由解决的是 " 任务分配给谁 " 的问题,企业场景需要做到把决策与业务知识绑定,形成可复用的决策资产。

Chinese-Jev 展示了一条可操作的路线,先用 1000 万条通用决策样本训练中文决策能力,再针对医疗、法律和金融分别微调。微调后的模型在医疗测试集上比 Jev 高 4.0%,在专业领域的平均准确率达到 Jev 的 92%,并实现约 17 倍加速,每个样本平均延迟 15 毫秒。这说明,部分领域判断模式可以通过专门训练沉淀到模型参数中。

说到底,国内团队强调 " 场景 ",强调的是判断权的归属。当决策能力被嵌入业务系统,打通数据和与规则绑定后,Agent 才能从回答问题变成承担责任的生产系统。

模型路由只是第一个证明,真正的主场是安全、权限、流程与合规。把判断变成可以复用和沉淀的企业资产,这条路才刚刚开始。

微信号|TMTweb

公众号|光子星球

  别忘了扫码关注我们!

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论