Petals：在家中以 BitTorrent 方式运行法学硕士

Petals 在家运行 BitTorrent 风格的大型语言模型 使用 Llama 3.1（高达 405B）、Mixtral (8x22B)、Falcon (40B+) 或 BLOOM (176B) 生成文本，并使用消费级 GPU 或 Google Colab 针对您的任务对其进行微调。您加载模型的一部分，然后加入为其其他部分提供服务的人员网络。 Llama 2 (70B) 的单批次推理速度高达 6 个令牌/秒，Falcon (180B) 的单批次推理速度高达 4 个令牌/秒，足以满足聊天机器人和交互式应用程序的需要。除了经典的 LLM API 之外，您还可以采用任何微调和采样方法，通过模型执行自定义路径，或者查看其隐藏状态。您可以通过 PyTorch 和 🤗 Transformers 的灵活性获得 API 的便利。感谢您的订阅！仅当我们有真正令人兴奋的更新时，我们才会向您发送电子邮件。立即在 GitHub 上的 Colab 文档中尝试 现在的主要贡献者： 正在加载...哎呀，无法加载网络状态... • 以及更多 贡献我的 GPU 在 Discord 中或通过电子邮件关注开发：订阅 我们每隔几个月发送一次更新。没有垃圾邮件。正在提交...我们向您发送了一封电子邮件以确认您的地址。点击它就可以了！特色：该项目是 BigScience 研究研讨会的一部分。