快科技 8 月 12 日消息，AMD 今日正式发布 FastFlowLM 1.0，并将其纳入 AMD ROCm 软件生态。

FastFlowLM 是一个专为 AMD 锐龙 AI NPU 打造的本地大语言模型推理运行时，此前开发团队已于 7 月 17 日正式加入 AMD。整个软件包仅 17MB，安装只需约 20 秒。

锐龙 AI NPU 长期被闲置，如今通过 FastFlowLM，用户终于可以在搭载 XDNA2 NPU 的处理器上流畅运行各种 AI 模型。

FastFlowLM 的使用体验与 Ollama 高度相似。用户只需执行 flm run llama3.2:1b 即可拉取模型并进入聊天界面，flm serve 命令则会在本地启动一个兼容 OpenAI API 的服务器。

性能方面，FastFlowLM 的推理任务完全由 NPU 承担，CPU 和核显均不参与。官方宣称其能效比同类方案高出超过 10 倍，上下文窗口在 Qwen3-4B-Thinking-2507 等模型上可扩展至 256k tokens。

1.0 版本新增了对 SmolVLA 视觉 - 语言 - 动作模型的支持，将机器人技术相关负载纳入支持范围。flm bench 基准测试工具也进行了优化，默认在每个上下文长度仅运行 2 次迭代，避免耗时过长。

此外，该版本还修复了 qwen3vl-it 模型在处理双图像请求时无法识别任何一张图像的已知问题。

FastFlowLM 采用 MIT 许可证，NPU 加速的二进制内核通过 AMD 的 IRON 和 AIE-MLIR 工具链手工调优，允许免费用于包括商业在内的任何用途。

目前提供 Windows、Debian 13、Ubuntu 24.04/25.10/26.04 以及通用 Linux x86_64 二进制包。相关代码和预编译二进制文件已在 GitHub 上线。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：红茶