Kimi K3，以及我们仍然可以从 Pelican 基准测试中学到什么

Kimi K3，以及我们仍然可以从 Pelican 基准中学到的东西 2026 年 7 月 16 日，中国人工智能实验室 Moonshot AI 今天早上宣布了 Kimi K3，并将其描述为“迄今为止最强大的模型，拥有 2.8 万亿个参数”。目前可通过他们的网站和 API 获取，但承诺“到 2026 年 7 月 27 日”将发布开放权重版本。 Moonshot 称其为第一个“开放 3T 级模型”（我猜他们将 2.8 万亿四舍五入到 3 万亿），从 DeepSeek 的 1.6T v4 Pro 手中夺走了桂冠。他们自我报告的基准测试显示，K3 大部分击败了 Claude Opus 4.8 max 和 GPT-5.5 high，但输给了 Claude Fable 5 和 GPT-5.6 Sol。人工分析报告对该模型的一些亮点：“在我们私人的长期知识工作评估中，Kimi K3 的总体 Elo 为 1547，比 Kimi K2.6 多了 732 分，仅落后于克劳德寓言 5。” “每个任务的成本（0.94 美元）与 GPT-5.6 Sol（1.04 美元）类似，约为 Opus 4.8 价格（1.80 美元）的 1/2，并且高于开放权重同行”“Kimi K3 在人工智能分析智能指数上的代币使用量显着下降，使用的输出代币比 K2.6 少了 21%。”该模型目前也是 Arena.ai 前端代码领域的领先模型，甚至超越了 Claude Fable 5。新模型的定价引人注目：3 美元/百万美元的输入代币和 15 美元/百万的输出代币，与 Anthropic 的 Claude Sonnet 系列处于同一水平，成为迄今为止中国人工智能实验室发布的最昂贵的模型。这比其早期型号（例如 Kimi K2.6）的 0.95 美元/4 美元有显着增长。 2.8 万亿个参数也是 1T 模型大小的两倍多。但鹈鹕是怎么做到的呢？我使用 OpenRouter（以避免注册 Moonshot API 密钥）和 llm-openrouter 插件来生成骑自行车的鹈鹕的 SVG： llm -m openrouter/moonshotai/kimi-k3 '生成骑自行车的鹈鹕的 SVG' 这是文字记录。看起来像这样：那只鹈鹕拿了 95 个输入令牌和 16,658 个输出令牌（13,241 个是推理令牌），总成本为 25 美分！由于 K3 接受图像输入，所以我将其与上面渲染的 SVG 进行对比（使用我的替代文本提示）并返回（花费 0.6 美分）：卡通插图，一只戴着红色围巾的白鹈鹕，沿着一条带有白色虚线的灰色道路骑着一辆红色自行车；鹈鹕有一个大的橙色喙和有蹼的橙色脚在蹬踏，后面有白色的运动线；背景是浅蓝色的天空，白云，黄色的太阳，两只飞翔的黑色小鸟，前景是开着白色小花的绿草。我们能从鹈鹕身上学到什么？我的生成鹈鹕骑自行车的 SVG 测试现在已经有 21 个月了。这从来都不是一个特别伟大的基准。它一开始只是一个笑话，说比较这些模型是多么困难，但在第一年，它与模型的实际效果有着令人惊讶的相关性。现在这种联系已基本被切断。 GPT-5.6 和克劳德寓言 5 鹈鹕被 GLM-5.2 超越，尽管我很喜欢 GLM，但我不认为那是寓言级模型。 （我仍然不相信实验室正在针对基准进行训练——如果是的话，我期望得到更好的结果。不过，Gemini 有可能针对车辆上的动物的任何组合进行了优化！）鹈鹕的最大限制是，它根本没有触及对当今模型最重要的事情：代理工具调用以及随着对话长度的增加而可靠地操作工具的能力。所以不要用鹈鹕来比较模型！尽管如此，我仍然可以从自己运行基准测试中获得相当多的价值。首先，它是实际尝试模型的强制函数。如果我向你展示一只鹈鹕，那就意味着我已经成功地通过它运行了提示。如果模型有官方 API，我会使用它，如果它是开放式的（并且足够小以适合 128GB M5 MacBook Pro），我会尝试在我自己的机器上运行它，通常通过 llama.cpp 或 LM Studio 或 Ollama 。我会经常使用 OpenRouter，因为它通常提供官方 API 的代理，而不需要新的 API 密钥。我的大多数鹈鹕都是使用我的 LLM CLI 工具生成的，这有助于鼓励我确保该工具支持最新模型（通过其插件之一）。但更重要的是，即使是一个提示“生成骑自行车的鹈鹕的 SVG”的行为也可以揭示有趣的模型特征。考虑今天 Kimi K3 的结果。运行这些简单的提示有助于强调有关模型的几个要点。它现在只有一项推理工作，“max”——它表明了这一点。该模型消耗了 13,241 个推理令牌来输出 3,417 个响应令牌。这很贵——鹈鹕要 25 美分！提示“生成骑自行车的鹈鹕的 SVG”如何将 95 个输入标记加起来？ OpenAI 的标记器计数为 10，Anthropic 的 Opus 4.6 计数为 10，Opus 4.7 计数为 30，Sonnet 5/Fable 5 计数为 25。向 Kimi K3 提示“hi”计数为 86 个标记