在消费类硬件 (RTX 4090) 上以 100T/s 运行 Qwen 3.8 Flash Next (125B)

【HN用户评论摘要】 我刚刚在简单的 50 个图像视觉基准测试中测试了 Strata。任务是输出所请求对象的精确坐标。通过 Strata 得到的结果的中位误差距离为 154.8 像素，平均值为 168.8。在 llama.cpp 上运行完全相同的 GGUF 和视觉适配器权重，得到的中值误差为 46.5，平均为 81.4。为了更好地理解这一点，这里通过 llama.cpp 提供了其他模型的更多数字：Median/AverageQwen 3.5 9B BF16: 46.5 / 193.3Qwen 3.6 35B Q4 K XL: 38.4 / 76.4Q文3.5 122B 我对低于 4 位量化持怀疑态度，因为质量可能会显着下降。我在以大约 1 美元/小时的价格租用的 RTX Pro 6000 上运行 4 位量化，每小时通过缓存获取约 120 万个代币和 4000 万个代币。 4 位量化的质量足以满足困难但范围广泛的编码任务。这是我正在使用的推理堆栈：https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK 我尝试了一下，效果出奇的好。在我的机器（Nvidia 4090、128GB DDR5、Ryzen 7950x3d）上，我每秒获得 124 个令牌，想在这里分享。https://huggingface.co/Qwen/Qwen3.8-Flash-Next Dwarfstar 已经支持这一点，好奇它的比较如何，但我每天使用 q4 Quant 并且它工作得非常好。https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen... 为什么本地 llama.cpp 中还没有这种类型的专家缓存？为什么我们需要一个单独的代码库？ 原始链接：https://github.com/Niko1221/Strata