【CNMO 科技消息】Orchestro 与 FuriosaAI 将围绕基于韩国国产 NPU 的人工智能基础设施展开商业化合作。按照双方规划，在完成真实客户验证之后，将把联合业务拓展到公共、金融和企业市场。

NPU

Orchestro 集团 21 日宣布，已于 18 日在首尔江南区的 FuriosaAI 总部与 FuriosaAI 签署了关于 NPU 基础 AI 基础设施及平台技术与业务合作的谅解备忘录。双方自今年年初起便推进将 FuriosaAI 第二代 NPU"RNGD" 与 Orchestro 的 AI 基础设施软件相结合的技术合作，把 FuriosaAI 的 NXT RNGD 服务器部署到 Orchestro 的 AI 基础设施环境中，验证了兼容性与主要功能，并分阶段实现了让基于 RNGD 的大语言模型在真实服务环境中稳定部署、服务和运营的相关技术。

在此基础上，Orchestro 将原本以图形处理器（GPU）为中心提供的 AI 推理运营平台 "CONCERTO A.I." 的支持范围扩展到 RNGD。CONCERTO A.I. 是一个集成支持 AI 模型部署与服务、计算资源管理、服务监控等功能的 AI 推理基础设施平台。双方表示，这一合作降低了客户直接搭建 NPU 基础大模型服务环境的负担，也为在 NPU 上构建和运营 AI 服务提供了条件。

双方还将加强同时使用 GPU 和 NPU 的异构 AI 基础设施运营技术。CONCERTO A.I. 支持根据请求特征和加速器资源构建推理路径的智能路由，以及基于拓扑的调度功能，从而可以依据服务和负载特征灵活使用 GPU 与 NPU 等不同的 AI 加速器，未来还计划进一步完善覆盖模型、推理运行时和 AI 加速器的统一运营与监控技术。