Unsloth Qwen3.8-27B 量化 – 动态 v3.1 更新

Qwen3.8-27B 是一个 27B 参数密集模型 Qwen，具有视觉和推理功能、256K 上下文窗口，并在 17GB RAM/VRAM 设置上本地运行。 Qwen3.8 擅长代理编码、视觉和聊天任务，现在可以通过 Unsloth GGUF、NVFP4 和 Unsloth Desktop 运行。 11 月 11 日更新：Qwen3.8-27B GGUF 现在使用 Unsloth Dynamic V3.1，在同等规模（包括 Terminal Bench、DeepSWE 和更多基准测试）下，平均准确度提高了 5-10%。我们正在开发一个更好的动态量化版本，它将应用于 Qwen4 和未来的模型。运行 Qwen3.8 指南 下载 Unsloth 感谢 Qwen 的零日访问。 Unsloth Quants 还包括： 对 Codex 等代理工具的开发人员角色支持 工具调用：改进了解析嵌套对象，使工具更加成功 Unsloth Desktop Dynamic V3.1 更新中的动态 4 位 Qwen3.8-27B（2026 年 11 月 11 日） 我们很高兴能够使用更新的 Unsloth Dynamic V3.1（预览版）算法发布新的 Qwen3.8-27B GGUF，该算法改进了在大多数基准测试中，Unsloth 的量化精度在相同规模下提高了 5-10%，并且对于大多数任务（包括编码、代理工作负载和一般聊天）来说是同类中最好的。大多数从 2 位到 6 位的量化都会更新。我们发现 3 位 UD3 量化与 UD3.1 相当，因此我们不更新它们。我们正在积极努力让所有量化分析师变得更好！我们运行了包括 Terminal Bench 2.1、DeepSWE v1.1 在内的代理基准测试，以及 LiveCodeBench v6、GPQA Diamond、MMLU-Pro、AIME25 等通用基准测试。我们对所有代理基准使用 256K 上下文长度，对其余基准使用 128K。我们对 Qwen3.8-27B 遵循与 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 相同的方法，其中也使用了我们的 V3.1 预览算法。 Dynamic V3.1 完整细分 单击下面查看基准测试的完整详细信息及更多内容： 单击展开 完整详细信息和细分 Exllama-v3 注意事项 为了比较 GSQ-RCO 和 Exllama-v3，我们必须从 x 轴中排除令牌嵌入层，因为 Exllama-v3 使用 BF16。如果您考虑 Exllama-v3 的完整下载大小和总 RAM 使用情况，则添加 BF16 嵌入表并包括所有嵌入大小会更改绘图。我们的主图的 x 轴删除了所有量化提供商的嵌入层大小。然而，就纯 RAM 使用情况和磁盘空间使用情况与准确性而言，下图是实际使用情况的真实反映。我们还没有研究为什么 Exllama-v3 在 BF16 中保留 token 嵌入，但由于 lm_head 仍然被大量量化，嵌入层可能已经“吸收”了它的大部分量化损害。我们很高兴对新的 Exllama-v3 非 BF16 代币嵌入量进行基准测试，例如使用 8 位，并查看基准是否发生变化。 GSQ-RCO 结果具有误导性 对于 LiveCodeBench，GSQ-RCO 显示 Unsloth UD3 量化指标的表现始终比 ISTA 差。然而，我们发现相反的情况 - UD3 量化（我们的旧量化）在 LCB 上除最小尺寸外的所有尺寸上都比 ISTA 表现更好。 UD3.1 也进一步改进了 LCB。我们估计 GSQ-RCO 使用的上下文预算为 96K，因为这最适合我们运行的数据。在 96K 时，GSQ-RCO 的表现确实比 UD3 好一些，但在 128K 时，UD3 的表现要好得多。在另一个基准测试中，对于 ISTA GSQ-RCO 的 AIME25 基准测试，他们的量化达到了 100%、100%、100% 和 96.7% 的准确度恢复率。他们说我们的宽客表现更差。通过调查，我们估计 ISTA 只做了 1 次试验 - 我们进行了 14 次试验，我们显示平均恢复率为 93% 到 96% - 不是 100% 的准确度恢复。事实上，我们的 UD3 旧宽客在 14 次运行中的平均表现比他们的宽客在 1 次运行中表现更好，因此，如果您进行更多试验，我们会得出相反的结论。我们还使用 Math verify Dynamic 3.1 GGUF 和 LightEval 对我们的答案进行了检查和评分，我们发现了完全相同的结论。我们还尝试了贪婪解码（温度为 0），但这无法获得 ISTA 在多次贪婪运行中发现的 100% 准确度恢复，因为 GPU 本身是不确定的。这就是为什么基准测试应该运行多次。贪婪解码也不代表现实世界的用例。我们还检查了 96K（这很可能是 ISTA 的预算）和 128K，我们的量化分析师平均表现仍然更好。 Unsloth v3.1 与 v3 的 KLD 我们对 Unsloth UD3.1 量化和 UD3 量化的多个域进行了 KLD - 我们在大多数量化和大多数域中减少了 KLD - 我们没有替换 3 位的 KLD，因为我们发现 UD3 的表现大多都很好，并且 UD3.1 的基准精度恢复不够显着，不足以保证更新，因此我们没有更新它们。基准测试详细信息和设置 我们对所有基准测试遵循与 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 以及 Dynamic 3.1 GGUF 中讨论的相同程序。我们对 Qwen3.8-27B 使用温度 1.0、top_p 0.95、top_k 20、min_p 0、无存在或重复惩罚、preserve_thinking 和 xhigh 推理。 ⚙️ 使用指南 Qwen3.8-27B 要求：Qwen3.8- 27B 4 位量化器可像 RT 一样在 16-19GB VRAM 上工作