Kolibri 已落地：主权开放重量模型

研究 Aleph Alpha 03/10/2026 Kolibri 已落地：主权开放权重模型 在德国统一之日，我们将发布新模型：Kolibri。 Kolibri 是一款英德专家混合变压器，总参数为 78B，有效参数为 3B。它支持高达 1M 令牌的上下文长度。该模型可以在 Hugging Face 上下载完整权重，并根据 Apache 2.0 许可条款使用。 Kolibri 是我们模型训练工作不断迭代的结果。我们首先构建了一个模型训练管道，并通过构建 Kolibri Origin 对其进行了验证，Kolibri Origin 是一个总共 30B 的活动模型，具有更短的 65k 令牌上下文窗口。 Kolibri 运行相同的流程：从数据摄取和管理，通过消融、预训练和后训练，到最终评估。它可以运行数百个消融实验和稳定的预训练，当硬件出现故障或数据连接断开时，无需人员介入即可运行。我们持续监控培训指标和自定义基准的标准化监控。我们在这条管道的构建和迭代上投入的时间是一项宝贵的投资。我们从 Kolibri 比 Kolibri Origin 好得多，以及它们的发布间隔时间有多短中看到了这一点。 Kolibri 是一种专门的语言模型，专为公共管理、工业和航空航天等受监管领域的主权关键任务工作而构建。我们专门为 Kolibri 提供德语、推理、数学、代理行为以及客户在生产中所需的其他功能。这种专业化的目的是优化客户特定用例的性能。通过专业化，客户可以在人工智能运营中实现情境化绩效，并且可以监控其经济影响，从而使投资回报率保持可衡量并随着时间的推移而增长。仅靠专业化是不够的。主权同样重要。对我们来说，主权结合了两个维度：我们如何构建模型，以及如何将其转移给我们的客户。我们提供完整的供应链完整性，并考虑每个决策，从数据摄取、培训前后到最终评估。我们提供透明度。客户拥有完全的部署自由和知识产权安全，因此合规性是该模型的继承属性。请阅读我们的技术报告了解完整详细信息。 Kolibri 提供什么 我们考虑到各个领域特定领域的语言、监管和程序现实，优化了 Kolibri 的性能。其小而高效的尺寸为我们的客户提供了在本地高效运行的灵活性，而无需将内部数据发送到第三方推理服务。本节重点介绍模型的功能，然后我们将在“如何高速构建 Kolibri”部分中进行描述。企业和政府的基础功能 通过 Kolibri，我们使用 78B 总数中的 3B 个活动参数来优化模型功能和部署成本之间的权衡。无论是英语还是德语，Kolibri 都位于质量与服务成本的帕累托边界。帕累托前沿是经济学中的一个概念，标志着两个目标的最佳可实现组合，其中改进一个目标意味着放弃另一个目标的一些。所比较的模型都没有以相同的服务成本提供更高的质量，或者以更低的成本提供相同的质量。平均基准分数 [%] Kolibri Kolibri 起源 其他训练后模型 Pareto 前沿 英语（左）和德语（右）训练后模型的性能与吞吐量。指标显示针对每秒解码文本和 GPU 的未加权平均基准分数。越高越靠右越好。在数学、编码、基础和长上下文任务中，Kolibri 可以匹配多达四倍于其活动参数数量的模型，例如 Nemotron 3 Super。 AIME 2025 数学 AIME 2025 (DE) 数学 AIME 2026 数学 AIME 2026 (DE) 数学 GPQA（钻石级） 知识 GPQA（钻石级，DE） 知识 AA-全知指数 基础/幻觉公共集；从 −100 到 100 BrowseComp Agentic τ3-bench 银行 Agentic τ²-bench 零售 Agentic τ²-bench 航空公司 Agentic τ²-bench 电信 Agentic BFCL v4 整体 Agentic LiveCodeBench v6 Code HumanEval+ Code LongBench Pro 长上下文 AA-LCR 长上下文 Kolibri Kolibri Origin Qwen3.6-35B-A3B Nemotron 3 Super 120B-A12B Mistral Small 4 119B-A6B 显示编号 基准 Kolibri Kolibri Origin Qwen3.6-35B-A3B Nemotron 3 Super 120B-A12B Mistral Small 4 119B-A6B AIME 2025 96.9 81.9 84.6 91.7 79.8 AIME 2025 (德国) 87.5 73.5 82.9 85.6 72.3 AIME 2026 96.0 81.5 91.0 90.4 83.1 AIME 2026（德国） 90.0 75.2 84.4 87.5 78.5 GPQA（钻石） 84.3 68.1 83.4 78.0 74.7 GPQA（钻石级，DE） 81.3 58.5 80.6 76.6 72.9 AA-全知指数 -32.8 -64.0 -15.3 -36.5 -24.0 BrowseComp 29.4 4.4 26.9 29.1 – τ3-基准银行业务 38.1 5.7 10.6 15.5 5.7 τ²-基准零售 69.9 58.5 71.6 67.5 62.9 τ²-基准航空公司 76.7 58.7 70.7 72.7 40.0 τ²-基准电信 94.7 67.5 99.1 68.1 41.5 BFCL