OpenAI 即将吃 Jev 的午餐 – Arcturus Labs

OpenAI 会吃 Jev 的午餐吗？ TypeSafe 的 Jev 引入了一种新的大型语言模型，席卷了人工智能世界。 Vercel 表示，“Jev 的采用速度比 AI 网关历史上任何其他模型都要快。” ……但是地平线上有乌云正在形成。 OpenAI 无疑正在关注并决定下一步该做什么。我祝愿 TypeSafe 一切顺利，但如果他们真正兑现了他们的承诺，那么我担心 OpenAI 处于快速跟进的有利位置 - 不仅复制 Jev 的旗舰产品，而且还将这种功能融入到即将推出的模型和代理中，并提供一些 Jev 无法复制的真正有用的新行为。这是我的论文简介：OpenAI 多年来一直使用他们的法学硕士作为隐式分类器；他们只是没有对它们进行一般分类任务的培训，也没有将一般分类打包为独立的产品。如果 OpenAI 可以复制训练，那么他们将能够在短时间内复制 Jev。此外，OpenAI 的定位是在现有模型和代理中使用这种新的分类器，这对于快速模型选择、更高效的思维、更好的安全防护以及通常更智能、更快和更便宜的模型很有用。决定这一切的关键因素是TypeSafe是否有护城河来保护自己。我看到的最大的护城河是 TypeSafe 的训练数据和训练流程。旧的又是新的 在阐述我的观点之前，让我先陈述一下我的假设，并用 OpenAI 的一些相关历史和示例来支持它们。我的主要假设是 Jev 使用的东西非常接近传统的大型语言模型。作为这一点的证据，潜在空间报告说许多早期克隆确实是基于法学硕士的。这是我的想法。给定一个状态和一组问题，Jev 的 LLM 会生成一个标记，或者更准确地说，生成所有可能的下一个标记的概率分布。然后，与该步骤中每个可能的标记相关联的日志概率将被处理为 Jev 需要返回的任何格式。 （从这里开始，我只说“概率”而不是“logprobs”——出于我们的目的，它们是可以互换的。）对于 noul 问题，Jev 仅查看两个标记， true 和 false ，忽略其他所有内容，并将它们的概率标准化为答案为 true 的单个概率。对于选择问题，Jev 会被提示一系列可能性 - 比如 A = 快乐，B = 悲伤，C = 愤怒，D = 害怕 - 它会查看这四个标记的相对概率来构建完整的分布，选择最高的作为获胜者。这种选择模式与我早在 2025 年在 Supercharging LLM Classifications with Logprobs 中所写的博客差不多，即使没有进行微调，它也已经显示出了希望。 （叹息......他们对想法和执行的重要性有何看法？）我没有仔细考虑分数原语，但我怀疑它是同一模式的变体。这篇文章的部分前提是 OpenAI 可能会迅速利用这个想法，如果你了解如何利用这一点，这一点就会变得更清楚。至少自从引入工具调用以来，OpenAI 就一直隐式地使用大型语言模型作为专门的分类器。早在 2024 年初，我就写了《工具调用 – 展示 GPT 灵活性的奇迹》，其中我诱使 GPT 模型准确地揭示它如何决定调用工具。以下是聊天会话的内部结构。这里有一条用户消息，然后是没有工具调用的助理响应，然后是带有工具调用的用户消息：我对文本进行了颜色编码以指示令牌边界。如果您以前没有见过 ChatML，它是 OpenAI 引入的用于组织用户代理对话提示的内部标记语言。 <|im_start|> 和 <|im_end|> 是分隔消息的保留标记，<|im_start|> 之后的第一个标记标识说话者（用户或助理）。在 <|im_start|>assistant 之后，模型预测的第一个标记是 \n 或 to=function。 。如果它预测 \n ，它将继续正常的自然语言响应。如果它预测=功能。 ，那么该标记序列有效地充当分类器，决定是否应该调用工具。接下来的几个标记确定要调用哪个工具 - get_temp - 另一个分类器，这次是从可用工具列表中进行选择。之后，模型生成参数名称，然后是参数值，也可以模糊地将其视为分类器或估计器。最后，当模型生成 <|im_end|> 标记时，它也是一个分类器，当模型认为消息完整时，该分类器会读取“true”。有些法学硕士就是不知道什么时候该闭嘴——有趣的是。当我在 GitHub 开发 Copilot 时，我有机会使用 GPT-4 的非常新且非常原始的内部 API。出了大门，我们就知道事情有些不对劲，因为，af