火种：当所有人仰望云端，他决定去做端侧大模型

那是一个简陋，但是中国大模型行业不该忘记的晚间聚会。

时年 22 岁的曾国洋简单支了张桌子，放了个电脑，展示了一个打字机一样的网页——打几个字，按 Tab 键，它就能自动往后补内容，不断吐出略显奇怪的内容情节。这个 " 打字机 " 背后，是中国第一个大语言模型 CPM-1。

那是 2020 年，大模型的前传时代。GPT-3 出现了，但只引起了曾国洋这样一小撮 AI 研究者的注意。曾国洋发现，和之前 AI 训练主流路线 BERT 不一样，GPT-3 " 不是理解，而是生成。生成模型让我们看到了一个无法想象的上限。" 曾国洋第一时间就想在国内也做一个。于是，在智源研究院的支持下，曾国洋作为核心工程负责人，负责训练框架、算力调度、模型落地，最终有了这个能展示 " 打字机 " 的夜晚；再之后，才又有了更大尺寸的盘古、悟道模型项目。

曾国洋那晚支的桌子不大，里里外外围了两三圈人，这就是中国最早了解大模型、注意到 Transformer 架构能量的一小撮 " 革命火种 "，其中就包括曾国洋所在、以清华 NLP 实验室成员为创始班底的面壁智能。

当云端大模型激战正酣，曾国洋所在的面壁智能作为在中国很早看到大模型威力、也是很早一批成立的 AI 模型公司，却选了一条少有人走的冷清道路：做端侧大模型，浓缩到能跑进手机、汽车甚至一个毛绒玩具里。

" 未来的智能不可能只存在于云端。历史上，计算本身就一直同时存在超级计算、云计算、端侧计算，人工智能也一定会是这样。" 面壁智能创始人刘知远曾说，" 既然已经有人在做云端模型，我们为什么还要重复做同样的事情？而端侧，既有非常清晰的技术支撑，也有非常清晰的历史类比。"

突围：用大模型开源和端侧推理框架，推开端侧 AI 的大门

做端侧大模型，在技术上并不比做大模型更简单。恰恰相反，如何在压缩模型尺寸的同时，却不显著减损智能，是技术难题，也是工程难题。还要配合端侧推理框架的极致优化，应对芯片功耗与电池电量的双重约束。面壁智能在端侧大模型上的底气在于，提出了一套原创方法论—— " 模型风洞 "，即在小规模实验中快速验证和预测模型效果。面壁智能相信，" 知识密度 " 是衡量模型的真正标尺，并喊出一条 " 密度定律 "：智能密度每 3.5 个月翻一番，同等智能所需的参数规模呈指数级下降。

最初，市场也快速给出了正反馈。面壁智能发布的一款 2B 参数的端侧大模型 MiniCPM，表现碾压了同期 8B 的同行竞品。他们坚持大模型开源策略，将 MiniCPM 的模型权重和配套的端侧推理框架悉数开源，迅速引发社区关注。开源发布后，模型还适配了安卓手机，跑了速度、挂了榜单。手机厂商一下就卷起来了，纷纷来问 " 为什么我的（速度）没他的快 "。

但是，走通端侧 AI 这条路，意味着大量的约束条件。云端模型跟最终用户的距离，可以短到只有一个聊天窗口；但走端侧大模型这条路，要在真实世界里闯过重重关卡，任何一关卡住，终端用户的感知就为零。

所以，过去三年，热闹都是云端模型的，面壁智能却在一片喧嚣中坚持走上端侧大模型这条旁路。当云端大模型领域追逐一个又一个 " 天才少年 "、技术偶像时，大二就在清华 NLP 实验室实习、22 岁做出中国第一个大语言模型、24 岁担任面壁智能 CTO 的曾国洋，却鲜少在媒体露面。

那么，这家中国较早做大模型的公司，和 " 年纪很小、资格很老 " 的曾国洋在做什么？

在做芯片和内存适配，把端侧推理框架做到极致。面壁智能已完成对高通、联发科、英特尔、瑞芯微、英伟达、AMD 等主流芯片平台的全面适配，让端侧大模型在不同硬件上都能获得流畅的推理体验。在内存价格飞涨的当下，面壁智能新发布的 BitCPM-CANN 模型系列，能跑在华为昇腾芯片上，通过端侧推理框架的深层优化，让同一块内存多装约 6 倍大的模型，或者让本来带不动的设备带得动，大幅降低了端侧 AI 的部署门槛。

在做 " 更懂你 " 的端侧大模型。端侧的操作更智能更简洁，才能战胜上一代人机操作的体验。现在的记忆框架一般只是把你的对话记录存进数据库，但面壁智能引入了行为模式库，一句 " 去接孩子 " 即可自动补全目的地、规划路径并结构化为待办提醒——这才是真正融入生活的端侧 AI 助理。

在做端侧所需、更自然的人机交互。面壁智能的全双工全模态端侧大模型 MiniCPM-o4.5 像一个时刻在线的真人，能边看、边听、边说。你可以随时打断它，它也能根据你的实时反应调整语速和情绪，让交互从 " 触发指令 " 变成了 " 自然对话 "，代表着端侧 AI 交互体验的质变。

" 做模型就是做数据 "：一个CTO的偏执，和端侧AI量产落地的最后一公里

这背后，依然渗透着曾国洋和面壁智能对 AI 模型的理解。

" 做模型就是做数据。" 曾国洋反复强调。端侧大模型要追上云端大模型，光靠架构不够，真正卡上限的是训练数据的知识密度。面壁智能把数据治理拆成 L0 到 L4 五级，像芯片制程一样分层精炼：原始数据、过滤、精筛、合成增强，再到可直接编排，每一级都对应明确的处理标准和训练阶段。

他要求每个算法工程师必须亲自看数据，一百多个训练数据集要挨个检查到 " 没有任何问题 " 才会开始训练。他举了一个令人印象深刻的反例：上万条微调数据中，仅两条因为处理不当截断了半句话，训练完的模型就开始在和人的对话中 " 说到一半戛然而止 "。" 两万条里两条有问题，模型就学坏了。" 这种近乎偏执的数据洁癖，正是端侧大模型在极有限参数下保持高智能的关键。

曾国洋相信，用 AI 来训练 AI，是模型进化的必然之路。据其介绍，面壁智能开发了全球第一个完全由 AI 编写的生产级大模型训练框架 ForgeTrain。这意味着更高的工程效率，和能在更紧的算力预算下保持前沿端侧大模型的研发节奏；面壁智能配套提出的 Forge Engineering 是一种新的软件工程范式：把代码从 " 一份需要长期维护的实现 " 解绑成 " 按需锻造的一次性快照 "。同一套评测标准，可以为不同硬件、不同场景各自算出最优实现，通用性和效率不再二选一，这又反向加速了大模型开源生态的繁荣，让开发者可以基于开源的端侧推理框架快速定制自己的端侧模型。

简单来说，过去两年，走上端侧之路的面壁试图变得越来越懂工程、懂落地——在电池和芯片约束最小的智能汽车上，面壁已经在吉利、上汽大众、广汽、马自达等的车型上完成定点、走向量产，让端侧大模型驱动的智能座舱走进真实驾驶舱——但面壁和曾国洋依然很懂模型。

当端侧 AI 的数据、推理框架、芯片适配、交互体验等一道道坎被陆续跨越，电影《Her》中那个无处不在却又无声无息的智能伴侣，正从科幻走向现实。而在这条少有人走的路上，面壁智能正凭借端侧大模型核心实力、坚定的大模型开源路线和极致的端侧推理框架优化，悄然定义着端侧 AI 的未来形态。

免责声明：此文内容为本网站转载企业资讯，仅代表作者个人观点，与本网无关。所涉内容不构成投资、消费建议，仅供读者参考，并请自行核实相关内容。