AMD这波良心！锐龙AI NPU免费工具上线：17MB安装包20秒装完

快科技8月12日消息，AMD今日正式发布FastFlowLM 1.0，并将其纳入AMD ROCm软件生态。 FastFlowLM是一个专为AMD锐龙AI NPU打造的本地大语言模型推理运行时，此前开发团队已于7月17日正式加入AMD。整个软件包仅17MB，安装只需约20秒。 锐龙AI NPU长期被闲置，如今通过FastFlowLM，用户终于可以在搭载XDNA2 NPU的处理器上流畅运行各种AI模型。 FastFlowLM的使用体验与Ollama高度相似。用户只需执行flm run llama3.2:1b即可拉取模型并进入聊天界面，flm serve命令则会在本地启动一个兼容OpenAI API的服务器。 性能方面，FastFlowLM的推理任务完全由NPU承担，CPU和核显均不参与。官方宣称其能效比同类方案高出超过10倍，上下文窗口在Qwen3-4B-Thinking-2507等模型上可扩展至256k tokens。 1.0版本新增了对SmolVLA视觉-语言-动作模型的支持，将机器人技术相关负载纳入支持范围。flm bench基准测试工具也进行了优化，默认在每个上下文长度仅运行2次迭代，避免耗时过长。 此外，该版本还修复了qwen3vl-it模型在处理双图像请求时无法识别任何一张图像的已知问题。 FastFlowLM采用MIT许可证，NPU加速的二进制内核通过AMD的IRON和AIE-MLIR工具链手工调优， 允许免费用于包括商业在内的任何用途。 目前提供Windows、Debian 13、Ubuntu 24.04/25.10/26.04以及通用Linux x86_64二进制包。相关代码和预编译二进制文件已在GitHub上线。