8月31日晚19点50分,当智谱财报会即将开始的时候, DeepSeek-V4-Flash-Vision-Exp正式开源。
事实上,这是DeepSeek-V4系列模型中的首个实验性多模态模型,此前8月21日上线DeepSeek API平台, 基于DeepSeek-V4-Flash架构,集成视觉模块、经过持续训练、解锁视觉理解能力。
与DeepSeek-V4-Flash-0731相比,V4-Flash-Vision-Exp在多模态智能体能力上有所提升, 在真实世界软件工程测试DeepSWE中,以59.3%的成绩反超了Opus-4.8,成为第一名。
而与此同时,智谱发布了2026年上半年财报,共计60页——堪称一篇大型Paper了。
上半年,智谱营收9.54亿元,同比增长近400%;开放平台及API业务收入达到8.25亿元,同比增长2736%,占总收入86.5%,业务毛利率提升至24.6%。
截至2026年8月31日,智谱MaaS平台年化收入规模(ARR)按月度计算达到16亿美元、周度计算20亿美元,企业及开发者用户超过740万,Token调用量较年初增长超过40倍,付费日活用户增长603%,前十大客户日均调用量增长98%,API平均售价提升约101%。
继续理解一下红线位置:口径很重要,是按天x365,还是按52周,还是按12月,智谱管理层没提名字,却说如果按友商的周口径,那智谱ARR已经超过20亿美金了——大家都知道是MiniMax(ARR 8亿美金)。
不止是商业化,智谱创始人唐杰在业绩说明会上反复提及GLM-5.3的多模态技术能力。
他指出,GLM-5.3花了很长时间,数据和训练能力从2022年就已经开始,而且这种多模态不是简单的视觉理解,智谱也不完全要往Agent和Coding方向发展,而是要走Co-Work。
在唐杰看来,模型能力的演进并非并列的产品线,而是一条必须依次攀登的阶梯:
Chat → Coding → Agent → Co-work → Autonomous AI
我似乎看到了唐杰和DeepSeek梁文锋的底层认知共识:Coding不是结局, DeepSeek Harness也不是一个Agent,而模型公司是要做的 真正AGI,是自主人工智能技术。
AGI路线似乎要走通了。
毕竟老黄都说了: 在很多任务上,我们已实现了AGI。
从路线之争,到AI底层认知重合
如果翻看智谱和DeepSeek,两家公司一直走着两条路。
其中,作为成立于2019年的清华系公司,智谱在涉及大模型链路的许多方面推出了丰富的产品, 追逐做中国的OpenAI。
这里包含各种尺寸的通用GLM大模型,还有基于通用模型而来的对话产品、AI助手智谱清言,代码模型CodeGeeX,文生图模型CogView以及多模态对话模型VisualGLM,多模态理解模型,智能体产品AutoGLM甚至还有硬件,从算法到产品,智谱实现了完全自研。
这家在OpenAI的ChatGPT一鸣惊人之前,就投身大模型研发的公司,强调自己与OpenAI的英雄所见略同。他坚持着预训练的大模型的研发,也想抓住API市场实际上同时存在B端和C端两类用户。
2024年起,智谱开始思考商业化,从Agent部署端侧、做企业大模型MaaS方案,再到去年开始的Coding浪潮,一步步进入API销售阶段,转型成"中国的Anthropic"。
而DeepSeek则是量化出身、堆砌算力,从"蒸馏"模型开始,到后来一步步做开源模型, 把成本打到地板的价格屠夫, 最后到DeepSeek-V3和R1,风靡全球。
而过去几年,DeepSeek在外界的认知在于——只做大模型,做超大模型、API调用付费,大厂都会用,也会有企业进行垂直行业模型部署。
所以,无论是智谱,还是DeepSeek,对于多模态和视频模型总是独立迭代,显得"慢半拍"。
这不是技术路线之争,而是" 把模型做便宜"与"把模型卖出去"两种成功学 之争。
两家都拿到了市场投票(DeepSeek 的用户量、智谱的财报),所以谁也无法用结果说服谁,只能靠话语维持分庭抗礼。
但问题在于,Agent时代到来,token背后的模型需求在增加,Agent、Coding、多模态、上下文、自进化Loop等,都是模型技术提升的需求点。
最终,DeepSeek推出了 V4-Flash-Vision-Exp,还发布了"毛坯房"DeepSeek Harness。而且,DeepSeek还推出了MLA、GRPO、多Token预测、infra等技术能力,用工程创新证明"算力少也能强"。
不仅如此,DeepSeek还在加速融资、获得营收, DeepSeek 的年度经常性 收入 ( ARR )已经达到5亿美元。
DeepSeek不止要做模型,如今还要开启商业化加速之路。
而与DeepSeek类似,唐杰也在业绩沟通会上直言:"能力不止是参数一个因素,训练和后训练是当前余量最大的那一个","Scaling 依然有效,主要看Scaling做成什么东西。"
所以,DeepSeek和唐杰两家,如今都在回答同一个问题—— 边际收益轮换 ,哪个因素当前回报最高就押哪个。
唐杰还提出,类似于DeepSeek self-evolution的技术——ForceFT,完全自训练、递归自我改进,下一代 GLM 在上一代搭建的环境里自训练。
当两家都在押"自进化"技术,他们其实在描述同一个AGI——自主人工智能。
简单来说,Autonomous AI(自主 AI)不是"更聪明的聊天模型",而是从 "生成回答"到"接管行动"的范式转换。
智谱透露,任务边界越往上层走,市场空间也会逐级扩大。按照量级粗略估算:Chat对应的搜索市场约为1000亿美元,Coding对应约5000亿美元的软件研发支出;协同办公对应约5万亿美元的知识工作开支;从更长期来看,AI重构操作系统与人机交互方式,带动各行业升级,对应约30万亿美元的市场空间。
相应地,行业的评价标准也在发生转变:从单次问答效果和Token消耗量,转向长任务成功率、单位智能成本、结果可验证性,以及客户的实际经营产出。
"2026年上半年,GLM在智能体规划、工具调用、持续执行与长程任务方面的能力持续提升,业务从单一的编程应用扩展到软件工程、网络安全、数据分析与复杂自动化等高价值场景。交易方式从按调用收费进一步转向订阅制销售和端到端任务结果交付。协同工作(Co-work)是当前阶段正在拓展的领域:模型连接企业数据、工具与业务系统,嵌入采购、财务、客服、研发、IT运维等环节,从理解需求走向执行任务;企业的真实工作流反过来成为模型可学习的环境与数据。报告期内,本公司已在网络安全、法律、金融、教育等领域展开尝试,其中网络安全进展最快,其余方向仍处于早期阶段,尚未形成规模化收入。"
大家都在思考一件事:如何从Co-Work早期开始商业化布局,在到来AGI之时获得巨大的商业先机。
" 我们认可单点的领先本身并不能形成长期定价权。 "
智谱透露,公司的重心位于阶梯的第二级(编程开发)到第四级(协同合作)之间。编程方向已经全部走通,网络安全进入协同合作的验证阶段,法律等方向还处于早期阶段。
唐杰的思路非常明确:
SOTA不代表长期的领先。而在对的时间,用对的数据,训练对的规模,才能得到对的模型。模型不是简单越大越好,而是要找在当前数据与算力的约束下、把训练深度做足之后,智能上限回报最高的那个模型。
所以从商业化来说: 卖模型→卖调用→卖订阅→卖端到端任务结果。
智谱亏损收窄了
除了上述两家公司的底层追逐方向,这次长达60页的智谱财报,值得讲的数据有很多,其中就是营收预期和亏损额。
在财报发布之前,市场分析师对智谱的营收预期是 13.5亿左右,但最终却是9.54亿,差了近三成左右。
不仅如此, 财报指出期内亏损20.72亿,同比收窄12.1%;而经调整净亏损19.64亿,同比扩大12.1%。
亏损额有两个口径,一个收窄、一个扩大。
数据显示,这亏损额不同点在于,2025 年上半年智谱为了追IPO上市,就把 优先股全部转成普通股,这笔负债连同它的增值亏损一起消失,上半年只确认了0.22亿。去掉这4亿,经营本身多亏了2.47亿。
换句话说,今年的净亏损额其实是经营亏损——原因包括研发投入增加、算力成本增加,还有收购了中科加禾等。
2026年上半年,智谱公司的研发投入约为21.31亿元人民币,约合3.17亿美元。
亏损基本等于研发,研发是收入的两倍多。
而且,6月5日,智谱和北京中科加禾智能科技有限公司的权益持有人签订了收购协议,以人民币2.9192亿元的总现金对价,收购中科加禾百分之60%的股权。
根据收购协议,对价会分四期支付,其中人民币1.41亿元已经在2026年6月支付完毕。中科加禾主要从事AI Infra基础设施的研发工作,这次收购已经在2026年6月完成。
这就是今年上半年,智谱整体调整后净亏损增加的原因。
所以唐杰也坦言,当前算力确实追不上美国,但现在我们要做的就是用有限算力做出更高智能能力的模型。
"下一代的模型,我们现在其实已经开始预研。我们有信心,下一代大模型出来的第一天,就一定能让大家都用得上,而不是做一个大而用不上的模型。"唐杰说。
智谱董事长刘德兵则直言,接下来,就轮到了更大的用户规模、商业规模或全球影响力来继续验证它。路还长,但智谱方向不变。
以下是智谱8月31日业绩说明会的QA部分整理,不改变原意下有一定删减和润色。
问:我们先观察到,今年以来这波模型在编程 Coding 上能力表现非常突出,在行业内也建立了很明显的领先优势。当然我们理解,Coding 本身也不仅局限于编程的应用场景,同时也是互联网所有产品的内容基础语言。所以这边想请教两个问题。
第一个,站在公司的内部视角,这套在 Coding 上的领先身位,您觉得后续可以维持多长时间,会面临哪些比较关键的变量?第二个,公司这套沉淀下来的模型能力,是打算如何迁移到除了 Coding 代码以外的其他业务场景,有没有比较落地的路径上的考量?
唐杰(智谱创始人):首先我们非常诚实地认为,任何单点的领先都是有时限的。今天一个 Coding benchmark 第一,可能这些 benchmark 都以周或月为单位更新,很快就会被追平,所以市场有起伏。
在这次半年报中,我们也诚实地表达了对 SOTA 的理解:对 SOTA 的理解,就是领先多久这个问题,但更值得追问的是,持续领先的能力有多强。
回顾过去约 11 个月,整个 GLM 模型家族从 4.6、4.7、5.1、5.2 到 5.3,连续完成多代迭代,能力曲线持续往上走;同时单位任务成本,也基本保持在相对健康的水平。这对我们而言,是一种持续迭代的能力,它比某一次单一的榜单第一更重要。
第二,我们对 Coding 的理解,并不是把它当成一个从 Go-to-market 或商业角度看、收入很快的产品线,它更像是我们整个技术逻辑上必须突破的卡点。因为沿着 Coding 往下走,我们才能真正往 Agentic、往长程任务、往 Agent-as-a-Service,以及我们最后讲的 Fully Self-Training 方向演进。
原因其实比较具体。比如一个 Coding Agent,要完成一个复杂的工程任务,还需要做需求理解、任务拆解、代码阅读、工具调用、修改代码、运行测试等等,最后还要重新规划、验证结果。更重要的是,它在这一整套环境和工作流中,有非常强的正反馈。
这是我们一开始,无论从技术逻辑还是产品角度,选择 Coding 入手的原因。因为代码能不能运行、测试过不过、性能有没有改善、bug 有没有修好,都可以非常清楚地客观验证。这个问题对强化学习非常重要,因为很多知识工作最大的问题,不是模型会不会做,而是很难判断到底有没有做对。
Coding 恰好提供了一个规模化、自动化、低成本、可验证的场景。所以模型每执行一次任务,都能获得真实环境的反馈,非常适合训练多步规划、工具调用、错误恢复、长程任务执行、自我修正这一系列能力。
所以比如我们的 GLM-5.3,训练环境已从传统的 Coding exercise,扩展到真实的专家工程任务。一些专门任务,已经相当于资深工程师数千个小时的工作。这一点非常重要。以上这些思考,其实是想分享:Coding 的能力,从逻辑上讲已经可以泛化、可以迁移,而不只是局限于这个场景的预设。
比如我们的 5.3,在前沿工程能力之外,还涌现出一个特别的能力——网络安全 Security Agent。这也是一个很清楚的例子。
漏洞的发现并不是简单被 CVE 收录的逻辑,真正的困难在于,模型怎么理解代码、怎么发现异常、怎么调用工具验证,建立多阶段的工具与防御,特别是网络安全防御的能力,并根据环境反馈持续调整方案。这和复杂 Coding Agent 所需要的底层能力高度一致,也是在这个基础上的延伸。
随着 5.3 的能力扩大到长程任务环境和后训练的加强,网络安全能力上,5.3 出现非常明显的提升。比如刚才我们董事长介绍的,在 CyberBench 中,5.2 的分数大概是 77.2,5.3 直接提升接近七个百分点到 84.5;ExploreBench 在 5.2 时大概是 24.4,5.3 直接提升 30 个百分点到 54.4。
还有一个很有意思的现象:越往完整的、需要长程规划去走的探索性任务,5.3 相比 5.2 的提升越明显。我们也把这一整套能力放到真实代码环境中验证,看是不是我们的误判。结果是非常强有力的支撑。
从 5.2 以来,公司已和多家国内安全团队合作,在真实代码库中累计发现、经专家筛选去重的漏洞达 2436 个,其中超过 1000 个是高危漏洞,覆盖 269 个项目。这个结果,回到我最初的思考,比单纯的 benchmark 更重要。因为它说明,从 Coding 中训练出来的长程任务能力,已经顺着延伸,非常自然地迁移到网络安全这种新的专业场景。
所以总结一下,我们不会简单地把 Coding 的领先或护城河,定义成在某些 benchmark 上永远领先多少分。我们真正希望建立的,正如您提问所问到的,是一个长效的能力牵引机制。
通过 Coding 提供高密度、可验证的环境,训练模型的长程规划、工具调用、错误恢复能力;这些能力再迁移到 Security,再到数据分析、复杂自动化和更多专业场景的入口。因为我们已经清楚地意识到,Coding 继续往下走,非常自然的延伸就是协同工作。但这个协同,和一开始大家理解的所谓办公完全不同,它恰恰是在更多极其专业的领域、对真实复杂工作流的替代。
所以后面的整个 Co-work 场景,也不是拍脑袋选的,我们有三个非常清晰的标准:
第一,看任务有没有足够高的治理门槛;
第二,看任务能不能被有效验证;
第三,看完成这些任务有没有足够高的经济价值。
目前网络安全是验证出来最清晰的一站。除网络安全外,法律、金融、数据分析等方向我们也在尝试,但因为可靠性的门槛和验证机制不同,商业化的节奏也不一样。
所以 Coding 的持续领先,以及是否能在每个 benchmark 上持续领先,我觉得不是最本质的问题。真正重要的是:当 Coding 继续往下延伸,我们能不能自然地把这套能力迁移到下一层,特别是 Co-work 这个更复杂、更高价值的层面。
如果每一代模型都能承担比上一代更长、更完整、更专业的工作,那么 Coding 本身就变成一个元能力(Meta-capability),公司能服务的高价值任务边界就会持续向外扩张。这个迁移速度和迭代速度,这种沿着能力不断解锁新场景的速度,才是我们想真正建立的长期壁垒。我先回答到这。
问:我们这边特别关注公司算力层面的规划,想问一下:目前算力扩张的进度如何?现有资源能够支撑多大规模的训练和商业化供给?感谢。
唐杰:这是一个大家都特别关心的问题。第一,算力供给的问题,现在在中国的模型公司、在行业内,其实是一个共性问题。从智谱的角度,我们一直在努力获得算力的扩容和储备,所以算力今年以来,一直沿着非常健康的节奏持续扩张,同时训练侧和推理侧都在增加投入。
但现在可能已经到了下半场,行业内越来越意识到,不能简单地用"你有多少张卡"或某种型号的卡的数量,来衡量一家公司在算力支持和供给侧的能力。原因在于,大多数行业内的公司今天都一样,算力的来源和用途已经比较多元化。比如以智谱为例,算力资源来源同时包括自有集群、算力租赁和算力服务采购;用途上也投入到不同方向,比如预训练、中训练、后训练,以及生产推理。不同代际、不同架构的芯片,简单说就是多元异构,实际的训练效率和推理分布差异非常大。所以简单把卡加起来,不是一个简单的数学问题,它不能直接反映算力供给和调度的能力。
我们内部比较关注什么呢?除了刚才从商业和报表健康度角度讲的算力乘数概念,另一个概念,是我们更关注"有效的算力"。简单讲,就是有多少算力已经安装,能够稳定调度、长期运行,最终转化为模型训练和稳定可计费的 Token。所以对于一个大模型公司而言,本质上要回答的问题,不是有多少张卡,而是这些资源最终能支撑多快的模型迭代水平,以及能有多大规模的商业化供给。
过往半年,行业内也有一个非常大的变化:因为推理侧的业务体量已经到一个比较大的规模,大家都不会把单一渠道的来源,无论是进口卡还是国内卡,作为唯一的规模化来源。截至今年上半年,公司已实现大概 10 万卡级别的国产芯片规模化低成本推理。
在 GLM-5.3 的发布中,我们也做了一次超大规模真实流量下的实验。我们最早这个模型是匿名上线,背后全面使用国产芯片集群提供服务。我们当时就是想试一下,在超大规模流量上能不能经受住考验,事实证明经受住了。当时 6 天大概 60 万亿 Token 的调用,无论对 OpenLook 还是 OpenCode 两个平台,都是历史级的、从未经受过的超大流量。我们非常自豪,国产卡承受住了这种超大规模和流量的推理,并提供了非常好的服务。
这里的关键是,我们要更进一步:看算力问题,不能只看国产卡能不能跑。这次 5.3 Flash 已经证明,国产的加速卡和推理卡肯定能跑、而且跑得很好。现在进入深水区的问题是,怎么验证国产卡的经济情况。针对国产卡或国产芯片在算力容量、带宽、长上下文约束等方面的客观情况,每个模型公司都一样,但这里面会有能力上不同资源投入和侧重的方向。
智谱从半年前开始,就有 Infra 的策略,非常重视算力调度这块的投入。所以从 5.3 开始,我们重新做了推理引擎和框架,包括编码解码(KV Cache)、PD 分离的量化、Layer Split、缓存命中优化等工作。所以 5.3 发布时我们有过披露:在相同的国产硬件或算力基础上,这套基础设施的能力端到端相比初始基线,实现了 3 倍的服务性能提升。这件事非常有象征意义。它意味着,你面对有限的资源、复杂的算力供给环境,如何通过调度能力的提升,在限定范围的算力供给下,用更高效率持续供给更优质的 Token。这比简单通过某些渠道、各种办法去尽可能扩张海外卡来源,可能更本质,也是未来大家会越来越多面对的问题。
这是推理侧的情况。训练侧稍有不同。前沿模型的训练,对结构的要求越来越重要,它不是一个量上的要求,而是结构的要求。特别是大规模同构集群的稳定性、网络通信软件,以及长期运行的要求都非常高。目前这是一个结构性的错配,但在慢慢改善。因为国内算力环境的现状还是以异构算力为主,国产卡的主要供给还没有到非常大的放量阶段。但我相信,可能在很快的 3 到 6 个月内,能看到大量先进的国产卡厂商迎来放量,到那时,目前异构算力定型的情况能得到比较大的改善。所以我们的下一代基座模型训练已经在推进。在算力配置上,我们会优先保证关键训练窗口,不会因为推理侧需求的历史性放量,就把所有资源都堆到推理上。
总结来看:算力侧,物理算力供给的扩容肯定会继续;第二,从结构上看,会有更多国产芯片进入推理;第三,对大模型公司越来越重要的事,是 Infra 能力——如何通过模型和 Infra 的优化,提高每单位物理算力产生的有效 Token,同时算力乘数继续提升。这是我们的思考。下一阶段我们给自己的定位是,真正的主要矛盾,是如何把每一单位算力转化成最多的有效 Token 和最多的商业价值。
问:第一个问题:基本市场上有一个看法,认为模型公司最终会被商品化,而中间的 harness 或 Token 分发的 Orchestration 层面会带来更高价值。我不知道管理层同不同意这个看法。因为我们也看到,SOTA 以外的第一梯队模型公司越来越多,我不知道模型层会不会有商品化风险。
第二个问题:刚才分享的末段提到全球影响力。我们也有跟踪唐老师在社交网络上的一些发言。我不知道现在我们在跟海外头部模型拉近距离,是否足够让我们的模型带去全球影响力;或者在未来训练路径上,会不会有一天,别人会在社交网络上反过来问:海外的模型需要多久才能追赶到智谱的下一代模型?
唐杰(智谱创始人):我来回答第一个问题。
我们认可单点的领先本身并不能形成长期定价权。今天某个 benchmark 第一,可能几周之后就被追平。所以我们真正想建立的,不是永远保持某个榜单第一,而是持续把能力和成本前沿往外推。我们主要看四件事。
第一是迭代速度。过去约 11 个月里,GLM 从 4.6、4.7 到 5.3,连续迭代了 6 代,某个评估上的智能指数从 32 提升到 60;同时旗舰模型单任务成本基本维持在 0.2 美元量级,GLM-5.3 Flash 又把这个成本推进到约 0.045 美元。单次领先是可以被复制的,但如果一个团队能持续以较快节奏提高智能、同时控制单位任务成本,这条能力曲线就更难被复制。
第二,从分级 benchmark 拉开到真实任务完成率。业界或很多公开分析认为,benchmark 能力一定会越来越趋同,但任务越长,差异越容易被放大。让两个模型回答同一道题,可能只差几分;但让它们连续执行几个小时的软件工程任务,自己理解代码库、调用工具、处理失败、重新规划并最终交付结果,差距会非常明显。GLM-5.3 的训练和评测,已越来越多转向这种长程、可执行、可验证的任务,而不只是追逐静态题库。
第三,从低价值任务进入高价值任务,真正决定定价权的不是 Token 本身,而是这些 Token 最终能完成什么任务。同样 100 万 Token,用来闲聊,或用来完成一个工程任务、修复一个生产系统漏洞,为客户创造的价值完全不同。所以我们的路径是从 Coding 走向 Agent、Co-work:模型能承担的任务越完整,客户购买的东西就越从 Token 接近任务结果。到了这个阶段,客户更关心一次任务能不能完成、减少多少工程师时间、降低多少错误和风险,而不是单纯比较每百万 Token 便宜几毛钱。
第四,进入客户工作流以后,形成使用深度或迁移成本。基础模型最终不是一个孤立的 API 模型,一旦进入客户代码库、工具链、内部数据和工作流程,客户就会围绕它积累 prompt、评估体系、权限体系、评测标准和工程流程。这时切换模型,考虑的就不只是 API 单价,而是整体任务完成率、稳定性,以及重新适配的成本。
上半年的商业数据已经开始验证这个逻辑:API 平均售价提高约 101% 的同时,Token 调用量仍在大幅增加;按收入计,前十大用户日均调用量较年初增长 98 倍。换句话说,我们看到价格在提高,但核心客户反而用得更深。这说明用户不是单纯因为便宜才用,而是在模型能力提高后,愿意把更多真实任务交给它,并为更强的能力支付更高价格。
所以,我们认为未来行业会出现两条价格曲线:一是同等智能的价格一定会持续下降,Flash 就是在做这件事;但对于真正能打开新任务边界、显著提升任务成功率的 frontier model,仍然有定价权,甚至有进一步提价的空间。我们真正希望拉开的,不是某个 benchmark 的几分,而是四个差距:更快的模型迭代、更高的真实任务完成率、更低的单位智能成本,以及进入更高价值的工作流。只要这四件事持续成立,单次领先被追平并不会消灭定价权。真正决定定价权的,是用户下一次更难的任务,是否优先选择我们的模型。谢谢。
公司管理层:我来补充第二个问题,关于整个海外,无论是商业上还是模型竞争上的一些考量和进展。
智谱从 2025 年开始,就有比较有规模的出海业务。分阶段来看,最早我们卖本地化部署这种形态时,海外业务出海的形态以主权大模型项目为主。当时我们也披露过,比如马来西亚的主权大模型项目,是智谱最早通过部署方式进行的出海尝试。后期随着业务形态发生质变,目前业务主体已转向开放平台 API 业务。
所以这次 GLM-5.3 Flash,我刚才讲到也是一个尝试。我们也确实看到,目前中国模型整体在前沿能力上,诚实地讲,跟海外特别头部的模型之间还有一定差距。但在一定技能水平下,综合考虑智能和成本两个维度的帕累托最优,智谱的 GLM 模型——无论是 5.3 作为高阶智能的代表,还是 5.3 Flash 作为普惠且性价比高的代表——牢牢卡住了两个生态位。
这次在半年报的描述中,我们有一张双帕累托最优的图,阐述得比较清楚:在高价值任务层和普惠层,我们都做到了不错的位置。所以从海外竞争格局和出海业务逻辑角度,我们在非常积极地推进与海外 CSP 平台的合作。未来肯定会考虑通过开源模型、本地托管、收入分成等方式,进行出海的拓展。我相信很快,在 1 到 2 个月内,会有比较好的进展和大家分享。我先补充到这,请下一位提问。
问:如何规划下一代模型能力?尤其 GLM-5.5、GLM-6,您觉得最核心的提升方向是什么?参数规模、架构和训练方式会有哪些变化?谢谢。
唐杰(智谱创始人):感谢提问,我来回答。对于 Scaling,我们并没有停止,我们的目标就是做智能创新,所以我们一直在把模型智能水平进一步提升。这也是我们曾经的选择。比如我们之前也做了很多多模态、视频生成,包括图像更新的一些研究。但后来我们发现一个问题:很多多模态、包括生成视频这类任务,其实并不能对智能提升起到很大帮助。这也是为什么后来我们关注文本,以及文本和多模态互相帮助的形态。
另一方面,我们也发现,模型原来简单地回答问题,也就是知识类任务。一开始,基座模型训得越来越大,就能把很多知识存进去。但后来我们发现,应用需求以及智能创新越来越多地偏向"做事情"。所以我们慢慢把工作重心转向 Coding,甚至转向最近的 Co-work 这样的工作。
对下一代的研究,我们更多也是一样的思路。第一,现在网上的文本数据其实已经没有那么多了,更多时候我们在用合成数据。所以对基础模型,我们会进一步扩大规模,把基础模型做得更大。一方面,基础模型做大,会更多地存取知识,并把知识表示得更好,使智能创新的天花板更大;另一方面,我们还会做很多事,比如增强推理能力。原来的推理能力需要把激活参数做得特别大,但激活特别大时,推理就会特别慢。比如一个很大的基座模型,如果激活也特别大,推理速度就会特别慢,可能每秒只有几十个 Token,很慢,成本也很高,模型就很难被重复使用。
所以我们这里会采用很多新技术:通过不大的激活,但通过扩展推理深度,使模型能更深度的推理,从而把推理成本做得比较低。这是我们第二个思考。
另外,后训练方面我们会大大加强。我们不仅把精力放在基础模型,还会把后训练做得很重。这样使得我们在追赶——说实话,我们中国的算力永远赶不上美国那些巨头和 Anthropic 的算力,但我们必须想一些新技术方法,包括工程方法。后训练方面我们现在有优势,因为早年,我记得 OpenAI 在 2022 年 11 月 30 日发布 ChatGPT 时,我们就成立了几百人的数据标注团队,在数据、环境搭建上花了很多功夫。所以这一次大家看到 5.3 的发布,一下子比 5.2 效果好很多:我们在数据环境上搭建了几十倍的数据环境,效果大大提升。基于这个数据环境,我们做了很多相关工作,未来也会进一步增强。
当然最重要的是未来。如果要做到 6.0 这个水平,我把它定义叫做完全自监督训练,美国那边很多人会把它叫做 RSI,也就是模型具有自进化的能力。我们这边把它定义为完全自训练:模型从预训练、到元(前)训练、再到 post-training,都可以完全自己训练自己,并做自进化。这是一个很大的挑战。最大的问题是什么?模型能自己判断自己,什么时候停止自己,什么时候纠正自己。这是最大的难题,而不是简单让模型训大、直接往下训。所以未来模型研究中,我们会把它作为一个重点。当然我刚才也提到,未来研究还会把伦理、社会治理考虑到模型中。这是我们下一阶段的一些考量。感谢提问。
问:我有个问题,市场上有一些关于智谱模型参数或后训练的质疑;同时我们看到部分竞对开始向推理侧方式推进。从短期看,公司在参数上相对克制的原因是什么?刚刚可能也回答了一部分。另外,我们后面参数量的提升节奏大概是什么样?谢谢。
唐杰:我来回答这个问题。其实这是一个选择。
大家知道,在不同时候,我们都可以做预训练、做后训练、做数据,这有几个方面。我就发现一个观点在探讨相关问题:一方面是手上的算力;第二方面,是我们每做一个东西,到底应该做成什么样子;第三是用户能在什么时候来用。
比如我们现在来思考一个问题:我们现在手上有多少数据。现在国内,一般来讲数据规模都在 30-50P,也就是 30-50 万亿 Token 的训练数据规模。在这个训练规模下,如果用 scaling law 来探讨,其实训得特别大,收益并不是特别大;同时我们的算力也有限。这时你训多大是最优的,就是一个值得商榷的问题。
第二,因为我们现在在 pre-training 和 post-training 中,都没有把潜力打满,也就是没有把它用尽。这时我们简单地给一个数值来判断是最关键的。但你说我们在什么时候要不要预训练这个基础、要预训练多大?难道我们就不预训练吗?也不是,这是我们其实有自己的布局。
所以从年初到现在,我们有一个非常清晰的路线。1 月份的时候,我们定了 5.3 这个基座,我们平时是 774B(约 7740 亿参数)。我们训这个大小的时候,就决定了这个模型要用半年以上。用半年以上,我们会在中间做什么?比如 5.1 会做什么、5.2 会做什么、5.3 会做什么,其实我们从年初就有相关规划,包括 pre-training 环境要搭建多少数据、post-training 会加多少数据。这是我们的研究规划。
当然到今天,如果你问我同样一个规划,我们应该做下一代模型,下一代的模型细节参数我就不说了,但它会是一个很大的基座。在下一个很大的基座基础上,我们会做什么样的中训练、什么样的后训练,这是下一步要进一步探讨的。我们对每一个基座模型的基本思维是:每一个基座都会把它的能量放大到最大;最后,每一个基座都能让大家用得上。所以现在这个模型,我们把推理成本优化得非常好了,这使得我们开源出来,很多公司装上以后就能用、真的能用得上。对我们自己来讲,有项目能用上,推理成本也比较低,这才使得我们能支撑如此大规模的调用。
下一代的模型,我们现在其实已经开始预研。我们有信心,下一代大模型出来的第一天,就一定能让大家都用得上,而不是做一个大而用不上的模型。
©本文为原创内容
未经授权,禁止转载


登录后才可以发布评论哦
打开小程序可以发布评论哦