小型号已经到货

在过去的几周里，我一直在玩 gpt-5.6-luna 。它的能力惊人、快速且智能。我经常看到它的吞吐量约为 100 tps，并破坏我的代码库、电子邮件和知识库。当然，luna最大的问题就是成本。我尝试过运行一些相当复杂的研究线程，但要运行大笔费用非常困难。即使让它搜索数千封电子邮件，我最终的 API 成本也只有几十美分。通过 GLM 5.3，我们甚至在帕累托前沿有了一个新的选择。在进行编码工作时，我几乎总是使用最昂贵和功能最强大的模型（Fable 5、5.6 Sol）。因此，人们很容易忽视小型快速模型所取得的进步。我采访过的一些投资者提到过一件事：“奇怪的是，我们没有看到更多的消费者人工智能公司。这是为什么呢？”有一个简单的答案：代币成本。在人工智能之前的时代，大型消费应用程序的剧本看起来像这样......创建某种引人注目的网站，运行成本相当便宜，吸引一群用户（通常具有一定的病毒性）筹集资金，扩展到更多用户创建广告市场这大致描述了大多数大型消费公司（Google，Facebook，Snapchat 等）。但如果您想将人工智能添加到您的产品中怎么办？好吧，现在每个请求都有一些真正的推理成本！突然之间，所需的资金量急剧增加。我最喜欢的评估是建立一个每日新闻网站，为我个性化：在互联网上研究@calvinfo。弄清楚他们可能喜欢什么新闻。建立一个包含当今热门新闻的微型网站，并为他们量身定制。搜索 hn、reddit、twitter 等。使用上一代模型（Sonnet 类），您需要花费约 1 美元才能到达任何地方。对于消费者应用程序来说，每月收取 30 美元的费用是站不住脚的。显然，我们可以在这方面进行很多优化，但如果您按照《华尔街日报》或《经济学人》的收费标准收费，那么您最好提供类似的价值。但看看 luna，结果相当不错，平均成本约为 0.10 美元。现在我们正在说话！我认为这在商业世界变得更有趣。我的 Segment 联合创始人 Peter 和我最近正在交流徒步旅行的心得。在他的各种初创公司中，Peter 见过两种工作：“IQ 180”工作。一些疯狂的天才科学家想出了一些你从未想到过的疯狂解决方案。 “令牌喷洒”工作。反应灵敏，将球推过数十条不同的战线。彼得经营多家公司。除了细分市场之外，他还为 Charm Industrial 筹集了超过 1 亿美元的资金，并且最近刚刚为 Revoy 完成了 A 轮融资。他的时间安排非常有条理且高效。然而，Peter 提到，他所做的大约 95% 的工作都属于第 2 类。即接听电话。轻推人们。拦截和拦截。需要明确的是，Peter 表示，如果没有 IQ 180 的技术头脑来解决深层问题，他的公司今天就会陷入困境。只是他的大部分工作都属于第二类。我认为对“前沿级”模型的需求将会继续增加。特别是对于需要新突破或发现的领域（工程、硬科学、模型训练）。但我也认为对“快速/便宜/足够好”模型的需求即将起飞。想想你每天打交道的人：同事、供应商和客户。十分之九，您希望有人能够快速响应并为您处理事情。当今公司的大多数“人类代币”都是这样使用的——招聘严重偏向于快速/廉价/足够好的原型。要使快速/廉价/足够好的模型成为商业现实，需要做很多工作。新的工具，提示注入安全、角色和权限。但我相信我们会解决这个问题。如果您也在尝试让小模型变得有用，请给我写信。