作者｜包永刚

编辑｜林觉民

DeepSeek 的火热，不仅点燃了资本与市场的激情，也让 AI 推理的需求在短时间内骤然升温。需求膨胀的同时，产业内部出现了两种截然不同的判断。

" 我认为未来 AI 推理主要在云和端侧，边缘推理的需求会越来越小。"AI 芯片公司的销售晨坤认为，" 因为边缘 AI 的性能和成本都不占优势，会是一个过渡状态。"

另一位资深芯片销售嘉铭有不一样的观点，"端侧提升 AI 性能，功耗和价格难以平衡，并不是一个好选择。我认为边缘 AI 推理的需求会持续增加。"

这种对未来格局的分歧，也折射出 AI 推理市场的不确定性。端、边、云的占比至今难有定论，但可以明确，在泛安防这个巨大的端侧 AI 推理市场，即便大模型掀起一场技术革命，格局依旧稳固。占据市场份额的公司依然处于易守难攻的位置。

然而，AI 算力需求 100TOPS 以上的边缘推理市场，正悄然酝酿着一场变局。无论是待上市的摩尔线程、沐曦、燧原科技、天数智芯、登临科技，还是已经上市的云天励飞，或者是发布了新品的江原科技、后摩智能，都试图抢占 AI 推理市场的先机。

他们必须直面同一个强大的对手——英伟达 4090。

"国产芯片没有一款能全面超越英伟达 4090，但通过极致的性能优化，可以在特定领域实现超越英伟达 4090 的极致性价比。" 嘉铭直言。这些特定领域包括信创、交通、能源、通信、消费等领域。

2025 年的 AI 推理市场，是一场双重博弈，既是国产芯片对英伟达 4090 的一次集体围攻，也是一次攸关未来格局的关键卡位战。

谁能从中切下更大的一块蛋糕？获取更多国产 AI 推理芯片的信息添加作者微信 BENSONEIT互通有无。雷峰网

AI 推理，边缘和端侧市场谁的空间更大？

无论是 ChatGPT 还是 DeepSeek，当下最受关注的 AI 应用几乎都依赖云端 AI 推理。在可预见的未来，云端依然会在 AI 发展中扮演核心角色。但云、边、端三者究竟如何协同，业界存在明显分歧。

在深入探讨之前，有必要先明确：什么是云、边、端？在 CNN（卷积神经网络）时代，如果按算力划分，小于 8TOPS 为端侧，小于 64TOPS 为边缘，大于 64TOPS 为云端。

然而，大模型正在重新定义端、边、云的边界。在本文中，将使用 70B 模型进行 AI 推理，单卡 AI 算力超过 100TOPS@TF32，使用单台或少量服务器的应用视为边缘 AI 市场；小于 10B 模型的推理场景，则归入端侧市场。

"CNN 时代之所以诞生边缘计算，是因为泛安防场景下，一路摄像头就需要 4 兆带宽。带宽不够时，就必须在边缘增加计算盒子。" 晨坤说，" 当前的 AI 推理主要以文本为主，即便未来向多模态发展，也不再需要处理实时视频流。端侧小模型（10B 以内）完全可以满足识别和检测的需求。如果需要更高性能，直接调用云端 AI 就够了。因此，未来边缘推理的需求会逐渐下降。"

晨坤认为，随着端侧小模型能力不断提升，边缘 AI 在成本和性能上难以形成优势。生成式 AI 时代的推理需求，将主要由云端和端侧主导。

嘉铭持不同观点，在端侧大幅增加 AI 算力的必要性并不高，因为功耗与性价比难以兼顾。他认为，边缘 AI 推理的需求仍将保持快速增长。

江原科技董事长李瑛则认为，生成式 AI 时代的 AI 推理依旧会是云 - 边 - 端协同的格局。

从市场角度出发，云天励飞副总裁罗忆提出：" 目前云端推理市场的绝对规模不大，但其占比正在逐步提升；相比之下，泛安防的边缘和端侧推理虽然体量巨大，但整体份额正在下降。等云端应用逐渐饱和后，端侧推理的需求或将迎来新一轮增长。"

眼下，哪种观点更为准确尚无法定论，但这并不妨碍对边缘与端侧市场格局进行判断。

传统端侧推理市场易守难攻，新兴 AI 应用还未爆发

在生成式 AI 席卷市场之前，AI 推理最重要的战场，是泛安防。经历多年激烈角逐后，这一市场格局已相对稳定：华为、云天励飞、登临科技、算能科技、爱芯元智等公司各自握有优势。

" 泛安防的边缘和端侧这个万亿级市场，已经非常卷，增长也很缓慢。" 晨坤说。

罗忆也表示："泛安防属于典型的存量市场。目前最大的开销是运维。在各地预算紧张的大背景下，预算首先保证运维开销，剩余资金才可能投向少量新设备。"

今年，泛安防市场仍有一些大的设备更新的项目。

" 设备都有使用年限。原本计划 5 年更换的设备，一些地方用了 8 年，今年终于到了不得不更新的时候。" 罗忆说，" 不过各地做法不一：有的只是标清换高清，有的直接换成智能相机。从整体来看，智能摄像头的渗透率依然很低。"

那么，设备更新叠加生成式 AI 的浪潮，是否会撼动这个庞大的端侧 AI 市场？

罗忆判断，" 即便今年有大额订单，由于市场格局已经固化，除非新玩家带来颠覆式创新，否则很难改变现有格局。"

泛安防端侧推理市场需求分散，芯片类型繁多，有的擅长视频编解码，有的 AI 能力更强。经过多年市场筛选，目前仍留在市场上的国产 AI 芯片公司，都已经各自分得属于自己的蛋糕。

晨坤也强调：" 即便生成式 AI 带来一些变化，新玩家切入成本极高。"

实际上，在泛安防市场的客户目前更关注的是如何把有限的资源利用到极致。罗忆对此深有感触，" 能够用有性价比的方式帮助客户完成智能化升级，做更多精细化的工作，才能留住泛安防客户。"

除了泛安防这个 AI 推理的大市场，生成式 AI 正在催生大量新应用—— AI 玩具、AI 眼镜、AI 戒指，以及基于小模型的各种智能硬件，这些潜在产品将带来新的端侧 AI 芯片需求。

AI 芯片公司的资深市场泰玮说，"国内已有老牌芯片公司押注了这一赛道，专为 7B 模型设计芯片。"

与端侧相比，70B 以下模型的边缘推理芯片市场更受国产厂商关注，其成长性和潜力显然更具吸引力。想要进一步探讨端侧 AI 添加作者微信 BENSONEIT。

国产 AI 芯片围攻英伟达 4090，极致性价比的战场

年初，DeepSeek 的火热再次点燃了各行各业将 AI 引入工作流的热情。大模型一体机需求暴涨，边缘 AI 推理市场也随之升温。

"48G 的英伟达 4090，是当前边缘推理的王者。" 嘉铭直言，"想让客户为国产芯片买单，就要做到超越 4090 的极致性价比。"

泰玮对 " 极致性价比 " 有切身感受：" 我们瞄准商业市场，但商业市场的客户对成本有极致要求。他们甚至愿意用淘汰的英伟达 3090、4090 矿卡——这些二手 GPU 便宜得令人难以置信，但稳定性堪忧。我们只能靠性价比与稳定性，在这个市场与英伟达正面竞争。"

嘉铭也指出，4090 确实具备性价比优势，但毕竟是消费级产品，不适合 7 × 24 小时连续运行。对于有合规要求、需要全天候运作的客户，他们可能选择英伟达 L20，但使用量有限，性价比也不如 4090。

国产 AI 芯片的优势，除了稳定性，还在于大显存和大带宽。李瑛举例：" 运行满血版 DeepSeek 时，8 卡的 4090 服务器需要两台，而我们产品单台就能跑满血版 DeepSeek，TCO（总体拥有成本）优势明显。"

泰玮也说，" 我们一张售价 5000 元左右的加速卡，拥有 128G 的大显存，运行 30B 量化模型速度可达 20 token/s，性价比极高。"

Qwen3 和 DeepSeek 量化模型的首字延迟和每秒 Token 数只是敲门砖。嘉铭强调：" 如果这两个指标不够，说明 TCO 没有优势。但也几乎没有客户不因为这两个指标直接下单，还需要在实际场景中测试性能。"

在具体场景下做极致的软件优化，是国产 AI 芯片实现超越 4090 的关键。

嘉铭表示："芯片落地时一般三个关键流程，编译、调精度、调性能。若是 NPU 等专用芯片架构，这三步每一步可能都需 1 – 2 个月，累计可能需要数月时间，GPGPU 架构的芯片可大幅缩短落地时间，也降低了客户的 TCO。"

李瑛认为，" 若两种架构的芯片从零起步布局同一场景，GPGPU 因可依托已有的成熟生态体系，初期优势会比专用架构更突出。但随着专用架构芯片在算子库优化、软件生态构建等软件领域积累足够经验并达成成熟应用标准，且能充分满足主流业务的实际需求，GPGPU 的原有优势将大幅减弱，不再具备明显差异化特点。"

" 在 DeepSeek 火爆之后，AI 算子的种类已经锐减，这时候只要把有限的算子优化好，不仅能缩小 GPGPU 相比专用芯片在软件生态方面的优势，如果做好了特定场景的算子优化，还能实现相比 GPGPU 数倍的性价比优势。" 李瑛进一步表示。

罗忆也说，" 专用架构芯片虽然有专精领域，但适用场景会越来越广。"

华为 Atlas 300I Duo 已验证了这一点，专用架构芯片只要适配好场景，就能体现强大性价比。

因此，对于国产 AI 推理芯片而言，要与 4090 竞争，必须依靠大显存优势，同时针对客户场景和使用模型进行优化，实现极致性价比。

" 国内基于英伟达 5090 魔改的产品，性能调试已完成，很快将推向市场。性能比 4090 更强，价格接近，国产芯片还能有 TCO 或性价比优势吗？" 晨坤提出疑问。

嘉铭则保持乐观：" 我相信英伟达 5090 将成为新一代边缘 AI 推理王者，但并非无懈可击。国内各家公司也在设计下一代产品，准备与 5090 正面竞争。"

跑马未圈地，国产边缘推理芯片的卡位战

在下一代产品尚未上市之前，国产 AI 推理芯片公司的当务之急，是充分发挥现有产品优势，找到合适落地的场景。

国产替代需求最迫切的信创市场，成为了国产 AI 芯片最容易相遇的战场。

" 信创市场的规模没有想象中那么大，也没有那么容易进入。"罗忆认为，" 目前信创市场的刚需主要是 CPU，满足日常办公需求，AI 算力的需求还相对有限。再加上各地财政预算收缩，购买 AI 算力和设备的意愿并不高，因此现阶段信创市场并不是 AI 推理芯片的理想赛道。"

李瑛对此乐观一些，" 信创市场确实存在挑战，但也有机会。一方面，信创市场已经启动 AI 芯片测试报名，这意味着对 AI 算力的需求正在增长；另一方面，通过更灵活的产品形式，例如在 PC 上扩展加速卡，也能降低成本。"

雷峰网了解到，江原、沐曦、天数智芯都在信创市场寻找落地机会，同时积极拓展商业市场。

" 医疗和能源市场也是我们重点关注的方向。" 李瑛说，" 医疗领域涉及大量敏感数据，这个领域的客户对替换国产芯片也有比较高的意愿。"

在罗忆看来，AI 推理市场存在两个优质机会：一是互联网大厂，这些企业走在 AI 技术前沿，对算力需求庞大；二是各行业头部企业，这些公司也在数字化转型前沿，对 AI 算力有更多刚需。

" 云天励飞现有的 AI 芯片能实现 8TOPS-256TOPS 算力，既能巩固泛安防存量市场，也能面向增量市场。我们同时在规划下一代产品，充分发挥后发者优势。" 罗忆补充道，" 作为上市公司，我们不仅有战略决心，还拥有资金和人才优势。更重要的是，过去 11 年公司在智能硬件、智算中心、智慧城市等多个领域积累了大量实践经验。这些宝贵的第一手资料，为芯片设计提供了明确指导。"

在泛安防市场站稳脚跟的登临科技，也将重点关注商业市场，在预算 10 万元左右的客户群中寻找对 AI 推理有实际需求的企业，比如中小企业。

走存算一体技术路线的后摩智能则瞄准不同赛道。后摩智能创始人兼 CEO 吴强说，" 我们比较看重三个领域，一是平板和电脑这种消费终端类，这是大模型生产力工具，对 AI 性能有刚需。二是智能语音系统，大模型语音会议也是重点布局的一个方面。三是运营商的边缘计算，看中了 5G+AI 的趋势。"

吴强补充：" 目前这三个方向已有早期客户。我们精力有限，先把这几块做扎实，未来只要涉及大模型和对功耗敏感的应用场景，都会逐步拓展。"

整体来看，国内 AI 芯片公司都在积极布局快速增长的大模型边缘 AI 推理市场。罗忆形象地总结："大家现在是在跑马，但还没有真正圈地。要成功圈地，必须与大客户深度绑定。目前还没有厂商做到这一点。"

在这场 AI 推理的竞争中，生态合作伙伴尤其关键，其中 ISV（独立软件开发商）扮演不可替代的角色。相比芯片公司，ISV 更了解客户需求，也能在擅长的领域服务更多客户。

若把芯片公司和 ISV 的合作比作 "0 到 1" 的工作，那么芯片公司优化算子、提供高效编译器，让 ISV 开发解决方案，就是把 AI 从 "1 到 100" 实现规模化应用的过程。

这样说来，通过一家 AI 芯片公司的软件生态合作伙伴，不仅能了解其重点落地的领域，也能看出各家的竞争优势。

明年，切换全国产工艺的 AI 芯片将陆续发布，谁能在特定场景中发挥大显存和极致性价比优势，谁就有机会赢得大客户的深度绑定，也可能在端 - 边 - 云格局中抢占更有利的位置。

可以预见，国产 AI 芯片的 " 围攻战 " 才刚刚开始。未来，随着技术成熟、生态完善以及大模型应用的持续落地，谁能分到更大的蛋糕？关于国产 AI 推理芯片的更多讨论，欢迎添加作者微信 BENSONEIT。

注，文中晨坤、嘉铭、泰玮均为化名 雷峰网