PrismML 希望其小型法学硕士能够改变我们使用人工智能的方式

如果 AI 实验室 PrismML 还没有引起您的注意，那么它应该引起您的注意 - 不是因为它筹集了大量资金（它还没有筹集到，只是 2225 万美元的种子轮），而是因为它涉及的技术人才以及它正在开发的可能改变行业的技术。 PrismML 认为，有能力、高性能、推理的大型语言模型实际上不必很大。它正在使推理模型变得如此之小，以至于可以安装在个人电脑和智能手机上。 （甚至有传言说它正在与苹果进行谈判，但首席执行官 Babak Hassibi 拒绝就此向 TechCrunch 发表评论。）周四，PrismML 发布了 Bonsai 2 27B，这是其系列模型中的最新产品，它将阿里巴巴广泛使用的开源模型 Qwen3.8 27B 压缩到 5.9 GB。它足够小，可以安装在个人电脑上，也可能安装在高端智能手机上。与原始内存相比，内存减少了 9 到 10 倍。 PrismML 由加州理工学院的一群研究人员创立，由加州理工学院教授、压缩技术专家 Hassibi 领导。该初创公司还聘请 Ion Stoica 作为顾问。 Stoica 是 Databricks（和其他公司）的联合创始人，也是伯克利著名的 Sky 计算实验室的主任，该实验室诞生了从 Letta 到 SGLang 等许多技术和初创公司。 PrismML 还得到了投资者 Khosla Ventures、Cerberus Capital 和加州理工学院的支持。这家初创公司当然不是唯一一家致力于 LLM 压缩技术的公司。另一个例子是由西班牙多诺斯蒂亚国际物理中心的一位知名教授创立的多元宇宙计算公司。 （MultiverseComputing 已经筹集了大量资金。）但 Hassibi 表示，PrismML 的压缩技术是独一无二的，因为与原始技术相比，其 LLM 几乎没有任何性能损失。 Bonsai 2 与 Qwen 总基准分数的 98% 相匹配。这比几个月前 3 月份发布的第一个盆景有所提高，匹配率为 95%。该公司表示，原始模型的下载量已超过 1100 万次，PrismML 的更小的模型又被下载了 260 万次。所以这表明 PrismML 的压缩结果从一个版本到下一个版本都有所改进。它是否能够达到 100% 的基准性能平价仍然是一个有待观察的问题。哈西比说，压缩可能总会产生一些影响。尽管如此，完美的基准平价还是相当学术性的。 LLM 在未压缩的形式下并不那么准确，基准测试也不能完美地反映实际任务，2% 的降级可能会对模型在实际使用中的表现产生有意义的影响。 （此外，周围的软件——模型运行的工具——对于准确性也很重要。）PrismML 表示，它通过缩小构成模型的“权重”来实现这一目标——权重本质上是模型在训练过程中学习和存储的信息。通常，每个权重需要 16 位。 PrismML 的方法称为“三元”权重，将其简化为三个：+1、−1 或 0。每个权重存储的值要小得多，因此模型占用的空间显着减少。 （要更深入地了解压缩技术，请访问该项目的 Hugging Face 页面。）这家初创公司的下一个目标是将这种压缩技术应用于更大的模型。 “我们希望在接下来的几个月内发布的下一个模型将在数千亿个参数范围内，我预计在那里保留情报会更容易，”Hassibi 告诉 TechCrunch。他补充道，随着模型尺寸的增大，“有更多的空间可以在不损失智能的情况下压缩它们。所以我想说，作为总体趋势，对于较大的模型，更容易达到 100%。”斯托伊卡告诉我们，他对这项技术感到兴奋，因为它使高级模型可以在用户的​​设备上运行。 “你将拥有触手可及的智能，而且它将是免费的，因为它将在你已经购买的设备上运行。它也将是私有的，因为你不会将其发送到云端。”