Show HN：德国新的主权人工智能模型Kolibri

Kolibri 是来自 Aleph Alpha 的德语和英语的开放权重大型语言模型 (LLM)：拥有 780 亿个参数的专家混合体，其读取或写入的每个标记仅使用其中约 35 亿个参数。它于 2026 年 10 月 3 日在 Apache 2.0 许可证下发布，权重位于 Hugging Face 上，并在德国和芬兰的基础设施上从头开始进行训练。 （Kolibri 在德语中是蜂鸟的意思，对于一个以轻盈为核心的模特来说，这很可爱。）我住在德国，在 2024 年的纽约 SmashingConf 上，当我说我的基地时，我告诉了在场的人我在美国听到的一句话：“你监管，你不创新。”听到这个消息很伤心，而我在那个舞台上所希望的是中间的，“围绕数据隐私、数据管理、环境约束和能源需求的创新和监管之间的适当平衡。” Kolibri 对此给出了一个非常直接的答案：一个德国团队“从头开始”根据欧盟人工智能法案构建了它，并且在 Aleph Alpha 自己的评估中，它的得分高于两种语言中所有同等规模的比较模型。热烈祝贺 Aleph Alpha 建造它的每个人，其中包括我的好朋友 Michael Hofmann！这篇文章介绍了 Kolibri 的运作方式、它的强项、弱项、如何运行以及何时是正确的选择。这里的所有内容都来自 Aleph Alpha 的 189 页技术报告、模型卡和他们的发布帖子，以及我在其分词器上运行的一项实验。什么是 Kolibri？ Kolibri 1 参数 总共 781 亿个令牌，每个令牌 34.6 亿个 (4.4%) 语言 德语和英语 上下文 262,144 个令牌，测试了多达 1,048,576 个 权重和配置文件的许可证 Apache 2.0（Aleph Alpha 保留其训练代码和方法的权利） 内存 8 位浮点 (FP8) 中约 78 GB 权重 推理 4 个级别：无、低、中、高 工具调用 是 知识截止 2026 年 6 月 18 日 在 768 个 NVIDIA B200 图形处理单元 (GPU) 上训练约 24 万亿个代币，其中超过五分之一是德国代币，Aleph Alpha 称 Kolibri 主权，在他们的发布帖子中这意味着两件事。首先是它的构建方式：“团队在德国构建了模型，并根据欧洲和德国法律，在德国和芬兰的基础设施上对其进行了训练，没有外国控制。”第二个是客户得到的：“完全的部署自由和知识产权安全，因此合规性是一种继承财产。”简而言之，政府部门或汽车供应商可以在自己的服务器上运行它，其数据永远不会离开大楼，没有人可以更改或关闭其下的模型。 Aleph Alpha 还签署了欧盟通用人工智能 (GPAI) 实践准则。 Sovereign 并不意味着没有来自欧洲以外的任何东西进入，模型卡本身也是如此：英语网络文本被 Google 的 Gemma 4 重新表述，德语被 Mistral-NeMo 重新表述，而 Qwen3-32B 则为质量过滤器标记了数据。然后，他们过滤了训练数据，以找出这些模型可能存在的政治偏见，并在中国的开放模型中进行了测量。 Kolibri 的运作方式 Kolibri 是 6 个想法的叠加，每一个想法都是为了让德语更便宜、更长或更诚实。 1. 384 个专家，每个 token 看到 6 在正常（密集）模型中，每个 token 都会经过每个参数。在专家混合体（MoE）中，每一层都有一群称为专家的小型子网络和一个为每个令牌选择其中一些专家的路由器。 Kolibri 有 50 层，每层有 384 个专家，加上每个代币都经过的 1 个共享专家，它的路由器将每个代币发送到 384 个中的 6 个。这就是 781 亿个参数变成每个代币 34.6 亿个实际工作的方式。 2024 年，我做了一次名为“为什么小语言模型是未来”的演讲，我主张“参数更少、可能出错的地方更少、需要更少计算的更小的语言模型”。我的比喻是，一位读过世界上所有医学书籍的医生与一位血液学专家对抗：去找第一个患有血液病的医生，“他们可能不会做对，因为他们知道太多。”专家的混合体将一家充满专家的医院放入一个模型中，路由器是将每个令牌发送到右侧的接待员 6。不过，这个类比在两个地方中断。专家并不是像“德国法律”这样简洁的话题：当研究人员查看教育部模型时，他们大多会找到标记模式的专家，例如标点符号或专有名词，而不是人们会选择的主题。即使你只看到 6 名专家，医院也必须保留所有 384 名专家，因此 Kolibri 的计算就像一个 35 亿参数模型，但需要 780 亿参数模型的内存。模型卡清楚地说明了这一点：“完整的模型必须保存在内存中，即使在任何时候只有部分模型处于活动状态。” 2. 读取长德语单词的分词器模型不读取字母或单词，而是读取标记：来自固定词汇表的文本块，在训练分词器时选取。德语胶水词 t