这些初创公司正在追逐法学硕士的下一个重大目标

事实证明这个过程也适用于文本。 Inception 已经训练其法学硕士随机抽取一串单词并将其转化为有意义的句子。扩散法学硕士仍然使用转换器来编码含义，但通过一次生成整个文本块，它们使转换器以更少的成本做更多的事情。 Inception 的联合创始人兼首席执行官 Stefano Ermon 表示：“你仍在使用大型 Transformer 模型，但你可以同时预测许多代币。” “这就是为什么与当今大多数其他人构建的模型相比，这些模型更快且更具成本效益。”面临的挑战是采用一种专为图像生成而设计的技术并将其应用于文本。埃尔蒙说，对于图像，如果您需要将蓝色像素更改为红色像素，您可以逐步使用中间颜色。这不适用于文本：“当你有‘猫’和‘狗’时，之间就没有真正的东西了。”埃尔蒙也是斯坦福大学的研究员。 2024 年，他和两位斯坦福大学同事计算出了使扩散模型与文本一起工作的数学原理。他们训练了一个扩散模型，其性能与 GPT-2（OpenAI 在 2019 年建立的法学硕士）的性能相匹配，但速度快了 10 倍。对于埃尔蒙来说，这足以成立一家公司。今天他的目光投向了大联盟。 Inception 声称其最新模型 Mercury 2 的性能与 2023 年发布的 OpenAI 的一些 GPT-4 模型相当，但速度又快了 10 倍。 “我们看好这种方法，因为它会扩大规模，”埃尔蒙说。他补充道，唯一重要的是速度和成本：“最终，货币将是每一美元的情报。” Inception并不是唯一一家押注于扩散的公司。谷歌也在尝试这种方法，并建立了一个名为 Diffusion Gemma 的原型法学硕士。但埃尔蒙并不担心竞争。 “我认为这是有效的，”他说。 “这就是未来。” 04：超越语言 Pathway 是另一家位于帕洛阿尔托的初创公司，它可能是这批新公司中最极端的一个。它希望让法学硕士摆脱语言的限制。该公司建立了一种名为 Dragon Hatchling 的法学硕士（以 Terry Pratchett 的小说 Color of Magic 中的龙命名，如果你足够仔细地思考它们，它们就会成为现实）。迄今为止，它的突出成绩是在让法学硕士与超过 250,000 个非常难的数独难题进行比较的基准测试中取得了高分。幼龙已通关超过 97% 的谜题；来自顶级实验室的几位领先的法学硕士未能解决任何问题。