还得是「源神」D 老师，善呐！

自家推理引擎DeepInfer掏出来还不到一周，开源社区就纷纷交上了作业。

真乃一鲸 " 落 " 万物生，第一波开源效果已经新鲜出炉：

立志学习 DeepSeek、成为 DeepSeek、超越 DeepSeek。（bushi）

vLLM、SGLang 这些成熟的推理框架率先迎来 T0 升级包——

在各自披露的测试配置下，性能已经接近甚至部分超过 DeepInfer。

不戳不戳！DeepInfer 最初基于 vLLM 构建，设计上也借鉴了 SGLang 的思路。

如今 DeepSeek 把打磨后的实现公开，两家又接着吸收、继续优化。

哥几个才是把开源玩出了花。

还有些受 DeepInfer 灵感启发的开发者个人项目陆续上线，从硬件适配、推理加速到部署优化，画风各不相同。

但效果倒是出奇一致：都更能打了！

这下 DeepInfer 一开源，社区都热闹了起来。

推理竞速进入白热化，It ’ s showtime～

开源社区玩转 DeepInfer

先看vLLM。

这回交出的成绩，已经从「追平 DeepInfer」一路延伸到了整机架部署。

通过集成 DeepSeek 的开源内核，并对预填充和解码阶段进行大量优化，vLLM 现在的性能曲线已经可以与 DeepInfer 持平。

在相同解码配置（131K 上下文、每轮 3 个草稿 token）下，vLLM 使用 GB200 测得的吞吐量，在批大小为 8 到 256 的范围内，与 DeepInfer 差距仅为6%。

预填充这边，新增 token 的吞吐量也提升了 35.6%～43.9%。

再把部署规模拉到 NVIDIA GB300 NVL72 机架。

配合预填充与解码分离、扩大专家并行，vLLM 在 SemiAnalysis AgentX 测试中的每卡吞吐高达 95.4 万 tokens/s，是此前单节点结果的7.9 倍。

同一个 DeepSeek，还真被他们继续挤出了速度。。。

要说这些提升怎么来的？团队几乎做到了每一个细节都不放过。

比如处理输入时，稀疏注意力需要从一批候选中筛出值得关注的内容，这就涉及 top-k 选择。

此前的一条路径，会先把 DeepGEMM 输出的 BF16 分数转换成 FP32，再进行筛选。

新的实现则直接让DeepSelect处理 BF16 数据，把中间那次转换省掉。

少启动一道计算，看起来只是一个小改动，但在对应的算子测试中，这部分 top-k 处理速度能达到原来的约 3.7 倍。

vLLM 团队还自己另外改了一套 CPU 通信方式，采用递归倍增等方式交换信息，减少同步所需的轮次。

对应 Agent 常用的小批量解码，vLLM 也选择单独支持DSpark 草稿生成，并使用完整 CUDA Graph 执行专用解码路径。

SGLang紧接着交出的答卷，则走得更远，把输入、输出两个阶段都覆盖到了。

SGLang 分别在 4 张 B300、4 张 GB300 上测试预填充，最高吞吐比 DeepInfer 高出约 4%。

解码测试时，同样使用 64 张 GB300。

每卡 256 个请求时，DeepInfer 每步耗时 31.19 毫秒，SGLang 为 28.88 毫秒，单步时间缩短约 7.4%；每卡 8 个请求时，两者则基本持平。

具体操作中，SGLang 先是将 Mega 内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA 有界重放以及 Engram 优化通通集成。

达到对标 DeepInfer 的性能后，再继续迭代，引入更多内核融合方案。

随后通过支持可拆分 CUDA 图，实现高效预填充。

最终对比 DeepInfer 的开源版本，SGLang 更为完整，额外补充了关键的服务组件，包括 KV 缓存系统、预填充 / 解码分离架构以及负载均衡模块。

值得一提的是，SGLang 为了更严谨地对比，还在 GB300 和 B300 上，将 DeepInfer 重新跑了一遍。

结果不跑不知道，DeepInfer 部分配置的吞吐，比原先公布的成绩还高。。。

好家伙！原来 D 老师真是老实人，测试成绩相当实在！

推理加速循环

开发者 Eric Zhang 又把玩法往前推了一格。

此前他一直在开发一套用于搭建大模型推理引擎的实验性积木库——Resin。

它把多个模型都会用到的部分做成公共底座，比如调度器、KV 缓存管理等。再由用户自行补上特定模型、特定硬件需要的计算实现，就能组合出一个独立引擎。

Eric 自述，最近一周他受 DeepInfer 启发，成功让不少功能和并行机制跑了起来。

根据测试结果，在 DeepSeek-V4.1-Flash 上，Resin 的性能与 DeepInfer 相差约5%～10%，同时具备 HTTP 服务、前缀缓存和指标等功能。

接着，他又给这个底座配了个 Skill。

任务是教会 AI 如何基于 Resin 实现模型，再把 Codex 放上去通宵干。

据他披露，Agent 完成了支持 MTP 的GLM-5.3-Flash引擎；在 B200、EP4 配置下，输入吞吐最高达到 6 万 tokens/s，输出吞吐最高达到 1.6 万 tokens/s。

而且！Resin 依旧开源。

泪目了，大肥鱼，这开源盛世如你所愿。

DeepInfer 从开源来，又回归开源。成熟框架接着继续集成和优化，个人开发者也得以吸收其中的设计，接力开源。

So，大肥鱼才是真正领悟了可持续开源的真谛～

参考链接：

[ 1 ] https://vllm.ai/blog/2026-10-23-deepseek-v41-flash-pd-wide-ep

[ 2 ] https://gist.github.com/sglang-bot/f03d7d0dd268b0386177eb2ef09f8b3b

[ 3 ] https://x.com/BanghuaZ/status/2114083299102691751

[ 4 ] https://x.com/vllm_project/status/2112480719952138301

[ 5 ] https://x.com/ekzhang1/status/2114516258188153215

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见