智东西

作者 | ZeR0

编辑 | 漠影

智东西 6 月 9 日报道，全球领先的开源解决方案提供商红帽公司于 5 月 19 日 -22 日在美国波士顿举行红帽全球峰会，宣布启动全新开源项目 llm-d，以满足生成式 AI 大规模推理需求。

峰会期间，红帽总裁兼首席执行官 Matt Hicks、红帽高级副总裁兼首席营收官 Andrew Brown、红帽高级副总裁兼首席产品官 Ashesh Badani、红帽首席技术官兼全球工程高级副总裁 Chris Wright、红帽合作伙伴生态系统成功高级副总裁 Stefanie Chiras 等多位红帽高管，与智东西等亚太区媒体进行了深入交流。

Matt Hicks 谈道，红帽的使命是为客户提供真正的选择和灵活性，无论是 Linux、容器还是自动化，其交付的每一层都保持开放且值得信赖，让用户能放心运行、调整并持续创新。这种开放性催生了 vLLM、Kubernetes、OpenShift 等项目中的大规模协作与共享标准生态。

Ashesh Badani 补充说，开源只是一个许可证，离不开背后社区的支持，新发布的 llm-d 正印证这一点。红帽与谷歌云、AMD、NVIDIA 等众多伙伴共同宣布这一项目，只有在共同创建并持续维护的前提下，开放才真正有意义。

Andrew Brown 称，红帽支持任何云、任何连接器、任何模型，没有锁定，客户因此能快速迁移并扩展。这一切都建立在开源之上，进一步加深了客户的信任。

一、红帽推出 llm-d 社区，助力大规模分布式生成式 AI 推理

全新开源项目 llm-d 旨在让生产型生成式 AI 像 Linux 一样无处不在，由红帽与创始贡献者 CoreWeave、谷歌云、IBM Research、NVIDIA 合作打造，联手 AMD、思科、Hugging Face、英特尔、Lambda 和 Mistral AI，并获得了来自加州大学伯克利分校 Sky Computing Lab（vLLM 的发起者）和芝加哥大学 LMCache Lab（LMCache 的发起者）的支持。

llm-d 采用原生 Kubernetes 架构、基于 vLLM 的分布式推理和智能 AI 感知网络路由，利用大规模生成式 AI 推理技术，能增强 vLLM 的能力，使得大语言模型（LLM）推理云能够满足苛刻的生产服务级目标（SLO），为 AI 推理解锁大规模生产。

根据知名市场调研机构 Gartner 的数据，到 2028 年，随着市场的成熟，80% 以上的数据中心工作负载加速器将专门部署用于推理，而不是训练用途。

随着推理模型日益复杂和规模不断扩大，其对资源需求的持续攀升限制了集中式推理的可行性，并有可能因成本过高和延迟过长，而使 AI 创新陷入瓶颈。红帽及其行业合作伙伴正通过 llm-d 应对这一挑战。

llm-d 项目提供了多项创新，包括：

vLLM 已迅速成为开源领域的事实标准推理服务器，为新兴的前沿模型提供 Day 0 模型支持，并支持各种加速器（现已包括谷歌云 TPU）。

预填充和解码分离将 AI 的输入上下文和 token 生成阶段分离成离散操作，然后将它们分布到多个服务器上。

键值缓存卸载，基于 LMCache，将键值缓存的内存负担从 GPU 内存转移到更具成本效益且容量更大的标准存储，如 CPU 内存或网络存储。

由 Kubernetes 驱动的集群和控制器可在工作负载需求波动时更高效地调度计算和存储资源，同时确保性能和较低的延迟。

AI 感知网络路由，用于将传入请求调度到最有可能拥有过去推理计算热缓存的服务器和加速器。

高性能通信 API 可实现服务器之间更快、更高效的数据传输，支持 NVIDIA 推理传输库（NIXL）。

使用 Kubernetes 久经考验的编排能力，llm-d 将先进的推理能力集成到现有企业 IT 基础设施中。该统一平台使 IT 团队能够满足关键业务工作负载的各种服务需求，同时部署创新技术以最大限度地提高效率，并显著降低与高性能 AI 加速器相关的总拥有成本（TCO）。

红帽认识到，在快速发展的生成式 AI 推理领域，充满活力且易于访问的社区至关重要。该公司计划积极推动 llm-d 社区的发展，为新成员营造一个包容的环境，并促进其持续发展。

二、聚生态之力支撑企业级 AI，两条路原生支持 AI Agent

Stefanie Chiras 谈道，生态合作写在红帽的基因里。红帽从上游社区做起，把成果延伸到 ISV、系统集成商以及云服务商，现在 RHEL 与 OpenShift 已能在 AWS、微软 Azure、谷歌云、IBM 云直接订购；Ansible Automation Platform 则通过红帽与 IBM 渠道销售。AI 时代让这种合作更加紧密。

在 Ashesh Badani 看来，AI 可能是过去 20 年来最深刻的 IT 变革，甚至可能超过云计算，因为它对日常工作的影响立竿见影。他谈道，从实时版 RHEL 到 AI 推理，红帽公布的每一层都是聚合了生态合作伙伴之力，将社区创新转化为企业级方案。

Stefanie Chiras 具体分享了三大亮点：

1、RHEL：实时内核与镜像现已同步上架 AWS、Azure、谷歌云和 Oracle Cloud。同时推出的 RHEL Partner Validation 计划允许 ISV 自助完成兼容性测试并贴上 "Validated on RHEL" 标签，上市周期大幅缩短。

2、OpenShift Virtualization：已通过 AWS、微软 Azure、谷歌云、IBM Cloud、Oracle Cloud Infrastructure 认证。正在评估本地虚拟化替代方案的客户，可获得一套随工作负载迁移而跨云一致的现代平台，并配备即插即用的存储、备份 / 灾备、网络与监控集成。

复星汽车、阿联酋航空等客户反馈，迁移到运行在 AMD EPYC 处理器上的 OpenShift Virtualization 后，TCO 最高降低 77%。

3、AI 推理：全新的 Red Hat AI Inference Server（内置 vLLM） 首发即支持谷歌云 TPU，以及 Intel、AMD、Arm、Power、IBM Z 的 CPU/GPU。对硬件伙伴而言，只需针对一个推理引擎做优化；对客户而言，可在开放与专有模型之间自由组合。

Chris Wright 透露说，红帽将通过两条路径原生支持 AI Agent：

1、运行无忧：确保 Agent 运行时在 OpenShift 与 RHEL 上都能高效工作，无论是在数据中心的 GPU，还是边缘节点的 CPU。

2、能力内嵌：把 Agent 能力融入自家产品组合，在 Lightspeed 旗舰下统一呈现。今天有 Ansible Lightspeed，未来还会有面向 RHEL 与 OpenShift 的 Lightspeed 功能。这些服务会暴露 API，供 Agent 调用，实现自动化和日常运维优化。

运行 VM（虚拟机）的同一套 OpenShift 平台，也承载红帽的 AI 堆栈。" 今天把 VM 现代化，就是为明天的生成式 AI 打地基。"Ashesh Badani 说。

Andrew Brown 认为 AI 的普及速度堪比早期电子商务，横跨所有行业，这是真正的势能，而非炒作。在他看来，缺乏 AI 技能的新毕业生很快就会被边缘化，而忽视生成式 AI 的企业则会损失数月的生产力。

据他分享，IDC 等市研机构预测，全球约 35% 的新增 AI 价值将来自亚太地区。客户选择红帽的原因很简单：平台自由——从小规模起步，快速扩展，并且随时在本地满足需求。

红帽最近发布的 OpenShift Virtualization、RHEL 镜像模式以及实时特性，让部署更容易，即使身处远离大型科技中心的地区，也能获得一致、安全、可靠的平台体验。

在亚太地区，红帽凭借 Red Hat AI Inference Server 拿下了不少 " 新 Logo"。这套平台 " 任何模型、任何连接器、任何云 " 都能跑，即便只有两名工程师，也能在本地小型集群上迅速搭起生成式 AI。

同时，红帽的老客户也在借助 Project AI 把大语言模型以容器式工件封装，在多云之间自由迁移。

其打法很简单：先帮客户压低 AI 成本，再提供一个高韧性、高安全的平台来补强（而非替换）现有环境。这套理念在亚太地区非常受认可，系统集成商和 ISV 已经排队启动试点，有六七个概念验证（PoC）将在本季度落地。

Stefanie Chiras 提到印度、中国和东南亚正出现 AI 井喷，为此红帽成立了面向亚太的共创团队，让他们的工程师与红帽专家并肩开发，再交由系统集成商交付给最终用户。

新推出的 RHEL Partner Validation 计划，为伙伴打通了快速上市通道，同时也向客户保证 " 它能在 RHEL 上运行 "，红帽会全程背书。该计划让 ISV 可自行在 RHEL 上完成验证，承诺第三方支持，之后再决定是否申请完整认证。

AWS 的 Distributor Seller of Record（DSOR）计划支持分销商把不同伙伴的产品打包上架。红帽已在澳大利亚把红帽解决方案与本地 ISV 的 AI 增值服务捆绑销售，未来 RHEL AI 和 OpenShift AI 上市后也会复制这一做法。

无论云厂商推出的是开放还是专有的 AI 工具，红帽都会 " 就地对接 "，确保工作负载在混合云之间可自由迁移。红帽承诺将客户的选择权放在核心位置，并与每一家超大规模云厂商（hyperscalers）实现无缝集成。

随着 AI 加速落地，Matt Hicks 认为混合云的格局已经翻转。五年前，主旋律还是 " 全部上公有云 "；两年前，大家开始承认，很多工作负载会继续留在本地，同时工厂、门店、车辆等边缘场景迅速崛起。AI 进一步放大了这一趋势：为了降低延迟、保证数据就地处理，推理往往必须贴近数据产生点执行。

Matt Hicks 说，如今混合云不再是可选项，而是默认架构。在 AI 时代，一致性、安全、运维管理这些老问题变得不可回避，谁能从核心到边缘把算力和数据统筹起来，谁就能释放巨大的价值。

三、vLLM 已成开源推理标准，开放将带来更优质的 AI 安全改进

正如红帽通过将 Linux 转变为现代 IT 的基石，开创了开源企业先河，如今红帽正推动构建 AI 推理。红帽的愿景非常清晰：无论采用何种 AI 模型、底层加速器或部署环境，vLLM 都能成为新型跨混合云环境推理的开放标准权威。

从 GitHub Star、下载量或贡献者增速来看，vLLM 已成事实上的开源推理标准。

Matt Hicks 认为，现在有两股动力把大家拉向 vLLM：一是越来越多厂商把模型 checkpoint 预先调优到 vLLM，缩短上市时间，也把维护成本摊给社区；二是英特尔、AMD、NVIDIA 以及各大云厂商的自研芯片团队，都在上游提交优化补丁，让自家硬件 " 开箱即用 "。

在他看来，当模型层和芯片层都在同一个项目里投资源，开放标准就会扎根。

Chris Wright 补充分享说，谷歌云 TPU、AWS Inferentia 等云端芯片都直接往 vLLM 仓库提 PR，连主推 Triton 的 NVIDIA 也为 vLLM 做适配，因为大多数新模型首先登陆 vLLM。用户只需 pip install vllm、加载模型，就能直接获得收益。

他谈道，在 AI 领域，" 开放 " 这一概念仍在成形。模型基于海量数据训练后，以工件（artifact）形式发布，常用 OSI 兼容许可证，允许用户微调、修改权重并再次分发。

早期开源曾被质疑稳健性与安全性，但透明度最终扭转了局面，任何人都能审计代码并修复漏洞，这也是为什么今天大多数加密标准都是开放的。

无论许可证开放还是专有，AI 的核心安全议题都是一致的：防止输出敏感或有害内容、阻断越狱（jailbreak）提示、抵御对抗样本与数据投毒。

学术界和社区对这些问题的研究非常活跃，而开放能加速解决方案的演进。红帽团队相信开放将继续带来更快速、更优质的安全改进。

结语：未来 AI 不应受到基础设施孤岛的限制

从 IBM 收购红帽的第一天起，双方就统一在三大支柱 RHEL、OpenShift、Ansible 之上。IBM Cloud Paks 很快就成为在 OpenShift 上构建和运行软件的参考架构，这种一致性变得更为牢固。同样的模式也延伸到虚拟化和 AI。IBM 的中间件与应用底层统一采用红帽平台。红帽 "RHEL + OpenShift 核心组合 " 如今已支撑越来越多的 IBM 产品，进一步巩固了整个产品线的整合。

AI 的未来不应受到基础设施孤岛的限制。红帽团队认为，未来企业可以在任意云环境中的任意加速器上部署任意模型，提供出色且更加一致的用户体验，并且无需高昂的成本。为了释放生成式 AI 投资的潜力，企业需要一个通用推理平台——一个用以推动未来数年中，更加无缝、更高性能 AI 创新的标准。