开源推荐
morning
GitHub 热门项目：grok-1
摘要
GitHub项目：grok-1 仓库地址：https://github。
the
and
weights
model
grok
2026-05-11
1 阅读
GitHub Trending
GitHub 项目：grok-1
仓库地址：https://github.com/xai-org/grok-1
星级：51540 | 作者：xai-org
项目描述：Grok 开放发布
===================================================
自述文件内容：
# 格罗克-1
该存储库包含用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。
确保下载检查点并将“ckpt-0”目录放置在“checkpoints”中 - 请参阅[下载权重](#downloading-the-weights)
然后，运行
````外壳
pip install -r 要求.txt
蟒蛇运行.py
````
测试代码。
该脚本在测试输入上加载模型中的检查点和样本。
由于模型规模较大（314B参数），需要有足够GPU内存的机器才能使用示例代码测试模型。
该存储库中 MoE 层的实现效率不高。选择该实现是为了避免需要自定义内核来验证模型的正确性。
# 型号规格
Grok-1 目前设计有以下规格：
- **参数：** 314B
- **架构：** 8 名专家 (MoE) 的混合
- **专家利用率：** 每个代币使用 2 位专家
- **层数：** 64
- **注意头：** 48 个用于查询，8 个用于键/值
- **嵌入大小：** 6,144
- **标记化：** SentencePiece 标记器，具有 131,072 个标记
- **附加功能：**
- 旋转嵌入 (RoPE)
- 支持激活分片和8位量化
- **最大序列长度（上下文）：** 8,192 个令牌
# 下载权重
您可以使用 torrent 客户端和此磁力链接下载权重：
````
磁铁:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannoun ce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
````
或直接使用 [HuggingFace ? Hub](https://huggingface.co/xai-org/grok-1)：
````
git 克隆 https://github.com/xai-org/grok-1.git && cd grok-1
pip 安装 Huggingface_hub[hf_transfer]
Huggingface-cli 下载 xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir 检查点 --local-dir-use-symlinks False
````
# 许可证
此版本中的代码和相关 Grok-1 权重已获得许可
阿帕奇 2.0 许可证。该许可证仅适用于本文件中的源文件
Grok-1 的存储库和模型权重。