GitHub 热门项目：entropix

GitHub 项目：entropix 仓库地址：https://github.com/xjdr-alt/entropix 星级：3435 | 作者：xjdr-alt 项目描述：基于熵的采样和并行CoT解码 =================================================== 自述文件内容： # 熵基于熵的采样和并行 CoT 解码目标是使用熵来进行上下文感知采样。这应该允许我们模拟类似于 o1 的 CoT 或 Anthropics 的东西，以使用推理时间计算获得更好的结果。该项目是一个研究项目，也是一个正在进行的工作。它由推理堆栈、采样器和 UI（未来）组成。如果您有任何问题或疑虑，请通过 X 与我联系@_xjdr # 更新！！！对于 entropix 存储库的糟糕状态感到抱歉，我出乎意料地不得不埋头进行最后一分钟的实验室关闭清理工作，并且 AFK 了。现在我又进行了一些计算（向 @0xishand、@Yuchenj_UW 和 @evanjconrad 大声喊叫），我们处于一个令人惊奇的位置，我们需要开始考虑多 GPU 部署并测试更大的模型，以真正了解这个想法可以做什么。然而，大多数人不会使用或关心额外的复杂性。一旦我完成了最初的一组评估（huuuuge 向 @brevdev 大声喊出计算，我很快就会写一篇关于令人惊叹的开发体验的完整文章），考虑到所有这些，我将把 entropix 分成 2 个存储库：熵本地：它将针对单个 4090 和苹果金属，并专注于小型模型和测试的本地研究。它将有一个比 frog 分支中包含的更简单版本的采样器，但应该是一个很好的测试平台，用于研究和对采样器之外的许多东西进行原型设计，并且还将有一个为此目的构建的特定 UI。将有完全维护的 jax、pytorch 和 mlx 版本的代码。这将需要一些时间，您可以想象单人操作，但它很快就会发生（如果 MLX 团队的某人有一台备用机器，我可以借一点）。我保证不会再让这个仓库处于部分损坏的状态，并出现未合并的 PR 积压。 entropix（大男孩版）：将开始成为针对 8xH100 / TPU v4-16 -> 70B / DSCV2.5 和 tpuv4-64 -> 405B 的成熟推理实现。它将有一个人类风格的聊天用户界面和一个游乐场（类似于当前版本）。我们将专门针对 TPU 的 jax 和 GPU 的 pytorch。由于部署复杂性和分片，该存储库将更加复杂，包括更复杂的采样器实现，这将需要大量调整和 OpenAI 兼容的服务层。这一切都需要一些时间，所以我要求大家暂时推迟 PR，直到我可以将事情分解并让一切恢复到干净稳定的状态。我将浏览当前的每个 PR 并根据需要添加它们，然后将其关闭。我将继续欢迎并鼓励对 entropix-local 存储库的惊人参与，但可能不会将许多（如果有 UI 之外的）合并到大型模型存储库中，因为它将是一个非常复杂的实现，并且会在一段时间内进行中的更改。可能会有第三次重新