16GB内存跑7440亿模型有多慢！Arduino实测：7分钟才出3个词

快科技11月10日消息，将拥有7440亿参数的顶级AI大模型跑在一块Arduino开发板上会怎样？ 近日开发者Jim Bruges完成了一项看似不可能的挑战：他在仅有16GB内存的单板电脑上，成功运行了数据量高达419GB的GLM-5.3大模型。 本次挑战所使用的硬件是Arduino Ventuno Q，虽然名为Arduino，但其搭载了高通Dragonwing IQ8处理器，拥有8颗核心，并配备了16GB LPDDR5内存以及1TB的NVMe固态硬盘。 要让16GB内存强行吃下26倍于自身容量的模型数据，核心秘密在于GLM-5.3的MoE架构。混合专家模型通过路由机制，在每次推理时仅激活少部分专家权重，而无需调用全部7440亿参数。 配合开源工具Colibri，系统可以将暂不使用的权重存放在固态硬盘中，仅在需要时进行实时置换。 实测结果虽然成功，但效率令人汗颜。在回答请列举三个行星的简单测试中，系统耗时约7分钟才吐出地球、火星、金星三个词。 数据监控显示，该平台的生成速度仅为0.03 Token/s，这意味着生成一段100字的回答可能需要近一个小时。 在性能释放方面，高通芯片自带的Hexagon NPU拥有40 TOPS的算力，但由于软件后端支持尚不完善，本次实测全程由CPU硬扛。即便使用了量化技术来压缩数据精度，固态硬盘的读写速度依然成为了制约推理效率的最大短板。 简单来说，这更像是一场极客圈的肌肉展示，证明了边缘设备通过SSD置换技术运行超大模型的可能性。 虽然0.77 Token/s的小模型表现尚可，但对于744B这种巨无霸来说，目前的单板电脑性能还远远达不到实用门槛。