Kimi K3与神鬼寓言有竞争力； 《Kimi K3》和《神鬼寓言》是 SoTA

目录 我们如何测量 K3 是一个很好的模型。两个模型比一个更好 K3 在 Fireworks 上的成本可降低多达 50 倍。 🫳🎤 不要选择模型。路线。 K3 针对所有工作类型进行了成本优化 单一模型浪费且不再 SoTA 目录 K3 是一种前沿质量的开放模型，但成本仅为其一小部分。更重要的是，它可预测地补充了《神鬼寓言》，这使得通过路由任务获得最高质量的情报成为可能。 🧭 tl;dr：我们在约 1,000 个代理任务上运行 Kimi K3（开放）与 Fable 5（封闭），结果发现：我们在 K3 和 Fable 之间的路由方面实现了 93% 的准确率。在长代理循环上，结果比单独使用 Fable 的成本效益高出约 50 倍，并且每个用例的成本始终较低。我们如何衡量 我们对基准进行了平均，每个基准针对不同类型的工作，并通过相同的工具运行 K3 和神鬼寓言 5。真实代理循环中总共约有 1,030 个任务。系列 测试内容 任务 SWE Real repo bug 修复（SWE-bench 风格） 460 终端 长代理操作：安全、加密、反向工程、系统管理 89 算法 LeetCode / AtCoder 风格的问题 100 跨六种语言的多语言实现 225 法律 法律代理人基准（律师分级任务） 120 在我们进入结果之前，先做一个快速定义。 Oracle 路由是一种通过每个模型运行任务然后选择最便宜的正确选项（成本/性能上限）来衡量最佳理论性能的方法。在实际的路由器中，您无法针对多个模型运行任务。路由器会预测哪种模型具有最佳的成本和质量权衡，但最终这只是一个猜测。在本研究中，预言机路由证明 K3 被选择用于 72-96% 的任务。这表明，通过了解日常任务和前沿工作的真正长尾之间的差异，可能可以实现近乎完美的路由器。确切地说，这将需要更多的路由数据和现实世界的性能。 K3是一个不错的型号。从 10,000 英尺的高度来看，很容易看到这两个模型并认为它们势均力敌。例如，如果您查看头条基准 SWE，K3 获得 92.4%，Fable 获得 92.6%。在我们进行基准测试的五种类型的任务中，这两个模型往往彼此保持在几个点之内，Fable 在其编码语言广度（多语言）上稍稍领先。图 1 · 按类别划分的任务解决率。总体平均值几乎相同；擅长下面的不同事情。很容易就到此为止并说“它们大致相等”。消息是，它们在不同的任务类型上都有明显更好的表现。两个模型比一个模型更好如果您查看单个基准测试，您会发现不仅仅是最重要的准确度数字。以 SWE 为例，两者总体上都已经死了。如果您按问题领域划分 SWE，您可以看到每个模型的闪光点。 K3 在符号数学和开发工具方面最为敏锐； 《寓言》在网络和数据可视化工作上获胜。同样的模式也贯穿于多语言系列，其中《Fable》的广度涵盖了 Java、Python 和 C++，而 K3 甚至还借鉴了 JavaScript 和 Rust。图 2·SWE 域的点裕度（K3 减去 Fable）。就整体基准而言，两者仍然专注于各个领域。对于码头的长视距工作、驾驶炮弹并在系统上进行数十个转弯的刺探，K3 展现了它的真面目。它清除了一批《神鬼寓言》从未破解的任务：7z 哈希、FEAL 密码分析、泄露的秘密、实时漏洞、失控的异步作业。图 3 · 在 89 项终端任务中，K3 有 11 项单独获胜，而《神鬼寓言》则有 7 项，并在安全和加密集群方面完胜。 K3 在 Fireworks 上的成本最多可降低 50 倍。 🫳🎤 虽然质量接近高水平，但价格却相差甚远。图 4 · 每个任务的成本优势。其背后有两件事：代币定价，以及哪个模型运行时间更长取决于任务。那么如此巨大的价差从何而来？令牌定价、提示缓存和每项任务的工作量。例如，在 SWE 上，K3 比《神鬼寓言》要努力得多：一个任务大约需要 55 个回合和 130 万个代币，而一项任务则需要 21 个回合和 130K。在长终端任务中则相反：《神鬼寓言》是螺旋式上升的任务，运行 64 回合和 150 万个代币（有时直接超时）。图 5 · 每个任务的轮数（线性）和令牌（对数）。这两种模式都没有全面精简。额外的工作落在了 K3 的 SWE 和神鬼寓言的终端任务上。请注意，标记图的 y 轴是任务解决率。提示缓存完成了大部分工作，将这种努力转化为 K3 的价格优势：即使 K3 读取了十倍的令牌，缓存命中也意味着 SWE 的运行成本仍然低于 Fable。这是一个权衡。额外回合的任务通常意味着每次运行需要更多的挂钟时间，即运行速度较慢。如果您需要在两秒钟内得到答案，那很重要；如果您在后台大规模运行代理，那么规模的一小部分的账单就更重要。不要选型号。路线。如果哟