10 月 27 日，高通官方宣布推出了面向数据中心的下一代 AI 推理优化解决方案——基于高通 AI200 和 AI250 芯片打造的加速卡和机架。这两大方案都以高通 NPU 技术为基础，具有丰富的软件栈，并与主流 AI 框架兼容，支持一键式模型部署，我爱音频网报道。

高通 AI200 带来了专为机架级 AI 推理打造的解决方案，针对大语言模型和多模态模型（LLM、LMM）推理和其他 AI 工作负载优化了性能，并具有总体拥有成本（TCO）更低的优势。该方案每张卡支持 768GB LPDDR 大内存，实现更高容量的同时，也能降低成本，带来更出色的扩展能力和灵活性。

另一个高通 AI250 解决方案则采用近内存计算的创新内存架构，提供超过 10 倍的有效内存带宽提升和更低的功耗，让 AI 推理工作负载实现效率和性能大幅提升。

上面提到的两款机架解决方案都采用直接液冷散热以提升效率，支持 PCIe 纵向扩展与以太网横向扩展、机密计算功能保障 AI 工作负载安全，机架级功耗为 160kW。

高通超大规模级的 AI 软件栈实现了从应用层到系统软件层的端到端覆盖，并针对 AI 推理进行深度优化。该软件栈支持主流机器学习框架、推理引擎、生成式 AI 框架，以及大语言模型 / 多模态模型推理优化技术，软件平台提供即用型的 AI 应用、综合工具等。

官方表示，凭借高通 AI200 与 AI250，正在重新定义机架级 AI 推理的可能性。这些创新的 AI 基础设施解决方案让客户能够以前所未有的总拥有成本部署生成式 AI，同时满足现代数据中心所需的灵活性与安全性。

高通此次推出的 AI200 和 AI250 预计分别在 2026 年和 2027 年商用，更多评测、拆解敬请期待我爱音频网。