据趋境科技消息，在第十届万物生长大会独角兽大会上，中国工程院院士郑纬民指出，人工智能（885728）正从 " 训练竞赛 " 进入 " 推理普及 " 新阶段，推理算力需求快速增长，催生低成本大模型推理系统这一新兴大产业。他强调，支撑模型运行的计算系统需相应变革，以应对从日常问答到专业场景中持续消耗的推理算力。

当前大模型推理基础设施主要呈现三类路径：

第一类是云上大并发推理。大型云端集群可部署满血版大模型服务海量用户，但在并发高峰时仍面临响应延迟、排队限流等问题，无法单独满足所有场景需求。

第二类是单位级私有化部署。适合数十人规模的机构在本地部署大模型，保障数据安全（885942）与业务连续性，但对成本、散热及机房条件要求较高，主要面向企业、科研等单位。

第三类是个人推理机。郑纬民院士重点介绍了趋境科技的 KTransformers 项目，其采用 " 一颗 CPU 加一块 GPU 卡 " 运行满血版大模型。通过分析模型参数对显存和带宽的不同需求，将 Attention 部分置于 GPU，而占比较大的 MoE 参数存放于 CPU 内存，实现 CPU 与 GPU 协同，从而在低成本、低功耗的设备上运行原本需多块高端 GPU 的模型。

郑纬民院士认为，这一技术意味着 AI PC 正从概念走向现实。未来的个人电脑将不仅是计算工具，更是能本地处理代码生成、专业问答、司法辅助、集成电路设计等复杂任务的个人智能工作站。

趋境科技的端侧推理方案已在金融、集成电路设计、司法辅助等领域展开应用探索。其意义在于重构推理系统成本结构，合理分配 GPU 与 CPU 的计算负载，并根据场景需求适配本地部署或集中式服务。

该公司的布局不仅限于 KTransformers 这一端侧技术路径。在分布式推理方向，趋境科技深度参与以 KV Cache 为中心的框架研发，优化大规模推理服务中的缓存管理；同时，面向企业客户推出高效能 Token 生产服务平台（ATaaS），具备日均万亿级别 Token 服务能力，满足高并发、长上下文等需求。技术与服务共同致力于更低成本、更稳定地生产 Token。

郑纬民院士类比计算机发展史指出，大模型推理系统可能重演从大型机到个人电脑的普及之路：云端超大规模集群类似 " 大型推理机 "，单位级部署如 " 小型推理机 "，而 CPU 加 GPU 的本地大模型则可能成为每个人的 " 推理机 "。随着大模型能力提升，推理将不再是少数平台的技术服务，而会深度融入个人与组织的日常生产，成为产业智能升级的核心部分。

原文：中国工程院院士郑纬民：推理成为 AI 新主场，低成本大模型推理系统正在形成新兴产业（来源：趋境科技）