Qwen3.8-2.4T

Qwen3.8-2.4T-A95B-FP8 此存储库包含 Hugging Face Transformers 格式的训练后模型的 FP8 量化模型权重和配置文件。这些工件与 vLLM、SGLang、TokenSpeed 等兼容。量化方法是块大小为 128 的细粒度 fp8 量化，其性能指标与原始模型的性能指标几乎相同。对于寻求托管、可扩展推理且无需维护基础设施的用户，Qwen Cloud 提供官方 Qwen API 服务。特别值得一提的是，Qwen3.8-Max是基于Qwen3.8-2.4T-A95B的正式版本，增加了更多功能，如视觉输入&非思维支持、默认1M上下文长度、官方内置工具等。更多信息请参考Qwen3.8-Max概述。继 Qwen3.5 和 Qwen3.6 系列在社区中得到广泛采用后，我们很高兴推出 Qwen3.8，它是 Qwen 开放模型系列中迄今为止功能最强大的一代。 Qwen3.8首次带来Qwen-Max级模型公开发布。 Qwen3.8 建立在 Qwen3.5 的架构基础上，在编码、专业工作、研究和长期代理任务方面取得了巨大的进步。除了回答更难的问题之外，Qwen3.8 还旨在以更高的可靠性完成复杂的多步骤任务。 Qwen3.8 亮点 Qwen3.8 具有以下增强功能： 核心功能：编码、专业工作、研究和长期代理任务的全面改进。 Agent Execution：更强的自主规划和更好的环境反馈处理，从而更可靠地完成端到端任务。下游兼容性：对流行的工具和开发工具提供更广泛的支持，使其更容易集成到现有堆栈中。灵活的思维控制：推理深度可以通过 Reasoning_effort 进行调整，并且来自历史消息的推理上下文通过preserve_thinking 保留。欲了解更多详情，请参阅我们的博文 Qwen3.8-Max 。模型概述 类型：因果语言模型 训练阶段：训练前和训练后语言模型 参数数量：总共 2.4T，激活 95B 隐藏维度：8192 令牌嵌入：248,320（已填充） 层数：92 隐藏布局：23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)) Gated DeltaNet： 线性注意力头数量：V 为 128 个，QK 头为 16 个 维度：128 门控注意力：注意力头数量：Q 为 64 个，KV 头为 4 个 维度：256 旋转位置嵌入维度：64 专家混合： 专家数量：512 激活专家数量：10 个路由 + 1 个共享专家 中间维度： 2048 LM 输出：248,320（已填充）MTP（多令牌预测）：通过多个步骤进行训练上下文长度：本机 262,144，可扩展至 1,010,000 个令牌。基准测试结果 Opus 4.8 Fable 5 GPT 5.6 Sol（最大） Qwen3.7-Max Qwen3.8-Max Coding Agent Terminal Bench 2.1 84.6 84.6 88.8 74.5 86.6 SWE-bench Pro 69.2 80.0 64.6 60.6 67.7 DeepSWE 1.1 59.0 70.0 73.0 21.6 56.6 NL2Repo-Bench 69.4 -- -- 47.2 55.9 FrontierSWE 70.0 88.8 -- 40.7 73.5 MLS-Bench-Lite 42.8 49.9 46.2 31.7 41.0 PaperBench 80.3 88.8 90.5 64.8 93.0 AndroidBench 69.8 84.5 74.0 56.5 75.1 QwenSWEBench 84.0 86.3 73.5 63.4 80.7 QwenQoderBench 62.7 63.1 53.8 36.8 58.4 QwenReactBench 1694 1770 1564 1538 1724 QwenSVGBench 1648 1690 1758 1499 1713 总代理 CoWorkBench 72.3 75.9 71.5 64.6 74.8 WorkSpaceBench 66.8 68.7 65.6 61.4 67.7 JobBench 48.4 57.4 45.4 31.3 53.4 SkillsBench 65.1 70.9 73.5 61.2 70.2 代理最后考试（通过/分数） 27.0 / 45.1 -- / -- 30.6 / 53.6 11.8 / 31.1 27.0 / 52.4 Automation-Bench (Pass@1) 27.2 29.1 29.7 14.2 27.3 Toolathlon 验证 (Pass@1) 76.2 77.9 74.9 49.7 72.5 WideSearch 72.9 81.2 -- 75.2 81.9 带工具的 HLE 57.9 64.5 58.0 53.5 56.2一般功能 GPQA Diamond 92.0 92.6 94.1 92.4 92.6 HLE 45.7 53.3 47.2 41.4 43.6 IFBench 62.2 63.5 72.7 79.1 82.8 $OneMillion-Bench（专家评分） 41.8 55.9 53.8 44.4 52.5 HealthBench 52.4 -- 55.3 54.5 60.2 PLAwBench 69.6 70.2 72.3 58.9 73.2 PRBench-法律 52.7 57.6 57.6 48.5 57.6 PRBench-财务 51.9 55.8 55.5 46.8 58.3 MRCR v2 256K（8 针） 83.2 -- 93.8 86.7 92.9 LongBench v2 69.1 -- 67.1 65.3 66.3 1. Fable5 结果可能涉及回退。 2. 终端基准 2.1：使用 Claude 代码 (avg@10) 进行评估，使用 5 小时超时和 max_tokens=131,072。对于所有其他模型，我们报告了跨工具的最佳已发布分数：来自 Artificial Analysis 的 Claude Opus 4.8 和 Claude Fable 5 with Terminus 2 (https://artificialanalysis.ai/evaluations/terminalbench-v2-1)； GPT-5.6 Sol 与 Codex (https://openai.com/index/previewing-gpt-5-6-sol/)。 3. SWE-bench Pro：使用 Claude Codeharness、temp=1.0、top_p=0​​.95 和 256K 上下文窗口进行评估。有问题的任务已得到纠正，所有基线均在改进后的基准上进行了评估。 4. DeepSWE 1.1：使用 Claude 代码和迷你 SWE 代理工具进行评估，temp=1.0，top_p=0​​.95，