Inception“Mercury 3”，1000 tok/s 扩散法学硕士

今天我们要介绍 Mercury 3，这是迄今为止发布的最强大的基于扩散的法学硕士。在一系列基准测试中，Mercury 3 的性能优于 GPT-6 Luna 和 Claude Haiku 5.5，同时以每秒 1,000 多个代币的速度运行速度提高了 4-8 倍。 Mercury 3 证明了文本传播的规模。它比水星 1 号大 40 倍以上，并且更加智能，但速度同样快。抢先体验的合作伙伴已使用 Mercury 3 提供语音和聊天支持、实时辅导、数据工程和网络导航： Mercury 3 概览 质量：与 GPT-6 Luna 和 Claude Haiku 5.5 等前沿速度优化模型相当或更好。速度：在 NVIDIA GPU 上每秒 1,068 个令牌。背景：100 万个代币，高于 Mercury 2.5 的 26 万个代币价格：每百万个输入代币 0.20 美元，每百万个输出代币 0.70 美元。 Mercury 3 推出时可享受 50% 折扣，每 100 万输入 0.10 美元，每 100 万输出 0.35 美元。缓存代币比输入价格便宜 90%。大规模扩散 当我们推出 Mercury 1 时，这是可以为商业应用构建扩散法学硕士的第一个证据。人工智能社区中的一个悬而未决的问题是，扩散法学硕士是否可以扩展以在复杂用例上与自回归模型竞争。 Mercury 3 回答了这个问题：他们可以。我们已将 Mercury 的总参数扩展了 40 倍以上，一系列标准基准的智能程度也从 Mercury 1（迷你）提升到了 Mercury 3 的 3 倍。推动自回归模型进步的扩展法则也适用于扩散。 Mercury 3 投入生产 早期访问合作伙伴已经在运行 Mercury 3 来支持对延迟敏感的应用程序，例如浏览器使用代理、交互式教育、实时搜索代理和客户支持。浏览器使用代理代理在每一步都会等待模型，因此小的延迟会很快复合。无论代理是在浏览网站、跨源研究，还是分析日志和跟踪事件，Mercury 都能保持每次传递的速度。客服人员可以更快完成工作，并有时间在回答之前尝试更多方法。我们在生产网络代理工具中针对前沿模型运行了 Mercury 3，执行了 50 个实时 Mind2Web 导航任务。 Mercury 3 完成了其中的 50%，明显多于 GPT-6.1-Sol。它使用与前沿模型相同的代币数量和相同数量的代理步骤来实现这一点，而每个代币成本的一小部分。张书豪，TinyFish 人工智能互动教育联合创始人 学习运行在快速反馈循环上，任何延迟都会使学生脱离教材。 Mercury 会根据每个请求进行推理并近乎实时地做出响应，无论是进行对话的语音导师、评分作业的助理，还是根据学生刚刚做错的问题调整下一个问题的应用程序。 Mercury 3 使我们能够在不放弃推理的情况下为每个学生提供即时反馈。提示、标记的答案和定义现在大约在一秒钟内就会返回，其质量与我们之前运行的模型一样好或更好。当学生遇到问题时，这种速度可以让他们继续工作而不是等待，这是对我们现有堆栈的直接交换。 Michael Tong，联合创始人/首席技术官，General Learning 又名 RevisionDojo 实时搜索代理 搜索应用程序在短短几秒钟的延迟后就开始感觉没有响应。 Mercury 3 的运行速度足以处理数十个文档，并且在用户参与时仍然可以回答。在智能眼镜上，需要五秒钟的答案感觉很糟糕。在我们的 Sense API 测试中，Octen 搜索花费了大约 80 毫秒；模型生成是瓶颈。 Mercury 3 在我们测试的快速模型中提供了速度和质量的最佳平衡，中位生成时间为 0.9 秒，中位端到端响应时间为 2.2 秒。邹宽，Octen AI 创始人兼首席执行官 客户支持 支持代理必须快速答复，通常对于受监管的企业来说，错误的答复代价高昂。 Mercury 在不牺牲准确性的情况下保持回复的对话性。在 Lorikeet，我们帮助复杂且受监管的企业为其客户建立跨语音、聊天和电子邮件的礼宾服务。在聊天和语音中，客户需要快速响应，但我们不能在准确性或正确完成工作方面妥协。在早期测试中，Mercury 3 在延迟方面击败了其他模型，同时在评估和生产中也表现得更高。 Michael Gribben，Lorikeet 技术人员成员 实时产品组合 Mercury 3 是支持实时 AI 的不断扩大的产品组合中的旗舰型号。 Mercury Voice：Mercury Voice 是针对语音应用程序的极低延迟要求以及最大限度地缩短首次应答令牌时间 (TTFAT) 进行定制的，而不仅仅是端到端延迟。它已经为 Audivi AI、Altur 和 OpenCall 的代理提供支持。 Mercury Decide：Mercury Decide 是专为大容量分类而构建的决策模型。它在 JevBench 和 LegalBench 等基准测试中的表现优于 Jev。开始使用 Mercury 3 现已在 Inception API 平台上以及通过 OpenRouter、Baseten 和 Vercel 提供。它与 OpenAI API 兼容，因此