快科技 10 月 19 日消息，据报道，一位名为 u/iamMess 的开发者通过纯软件层面的推理优化，让 NVIDIA RTX 3090 在运行 Qwen3.8-27B 大语言模型时，token 生成速度从默认的 82 tok/s（token/ 秒）暴增至 382 tok/s，提升幅度高达 4.6 倍。这一成果证明，在 AI 推理场景中，软件栈的优化潜力远未耗尽。

RTX 3090 虽然拥有 24GB 显存和 936.2GB/s 的内存带宽，但显存容量限制使其在运行 27B 参数模型时始终面临压力。大模型生成文本时逐个 token 串行输出，每生成一个 token 都需要从显存中完整读取模型权重。这种内存带宽瓶颈导致 GPU 算力大量闲置，成为推理速度上不去的根本原因。

开发者的核心思路是推测解码。系统用一个轻量级草稿模型快速猜测后续多个 token，再由主模型一次性批量验证，正确保留、错误丢弃。由于主模型拥有最终决定权，输出结果与正常推理完全一致，数学基准准确率稳定在 96.5%。

具体的优化分阶段叠加。首先启用 Qwen3.8-27B 内置的多 token 预测，单用户速度提升至 114 tok/s。

随后引入 DFlash2 模块，每次提议 7 个 token，并加入查找草稿器扫描对话历史中的重复文本。

最后将验证步长从 7 个 token 扩展到 16 个，在引用文档的任务中，16 个猜测中有约 15 个被接受，速度从 260 tok/s 推高至 382 tok/s。

代价同样存在。更长的验证步会占用请求槽位和约 8000 个 token 的上下文空间，文档加载时间也翻倍。普通聊天场景下速度约为 133 tok/s，仍比基线的 82 tok/s 有明显提升。通过更紧凑的存储格式，上下文窗口可扩展至 138,696 个 token，适合一次性加载长文档后反复提问的场景。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：红茶