GitHub 项目：BitNet
仓库地址：https://github.com/microsoft/BitNet
星级：39037 | 作者：微软
项目描述：1 位法学硕士官方推理框架
===================================================
自述文件内容：
# 位网.cpp
[](https://opensource.org/licenses/MIT)
[
](https://huggingface.co/microsoft/BitNet-b1.58-2B-4T)
通过此 [演示](https://demo-bitnet-h0h8hcfqeqhrf5gf.canadacentral-01.azurewebsites.net/) 进行尝试，或者在您自己的 [CPU](https://github.com/microsoft/BitNet?tab=readme-ov-file#build-from-source) 上构建并运行它或[GPU](https://github.com/microsoft/BitNet/blob/main/gpu/README.md)。
bitnet.cpp 是 1 位 LLM（例如 BitNet b1.58）的官方推理框架。它提供了一套优化的内核，支持 CPU 和 GPU 上 1.58 位模型的**快速**和**无损**推理（NPU 支持将在接下来推出）。
bitnet.cpp 的第一个版本是支持 CPU 上的推理。 bitnet.cpp 在 ARM CPU 上实现了 **1.37x** 到 **5.07x** 的加速，较大的模型获得了更大的性能提升。此外，它还能将能耗降低**55.4%**至**70.0%**，进一步提高整体效率。在 x86 CPU 上，加速范围为 **2.37x** 到 **6.17x**，能耗降低范围为 **71.9%** 到 **82.2%**。此外，bitnet.cpp 可以在单个 CPU 上运行 100B BitNet b1.58 模型，实现与人类阅读相当的速度（每秒 5-7 个令牌），从而显着增强在本地设备上运行 LLM 的潜力。更多详情请参阅【技术报告】(https://arxiv.org/abs/2410.16144)。
**最新优化**引入了具有可配置平铺和嵌入量化支持的并行内核实现，与跨不同硬件平台和工作负载的原始实现相比，实现了 **1.15 倍到 2.1 倍** 的额外加速。详细技术信息请参见【优化指南】(src/README.md)。
## 演示
在 Apple M2 上运行 BitNet b1.58 3B 模型的 bitnet.cpp 演示：
https://github.com/user-attachments/assets/7f46b736-edec-4828-b809-4be780a3e5b1
## 新消息：
- 01/15/2026 [BitNet CPU 推理优化](https://github.com/microsoft/BitNet/blob/main/src/README.md) 
- 05/20/2025 [BitNet 官方 GPU 推理内核](https://github.com/microsoft/BitNet/blob/main/gpu/README.md)
- 04/14/2025 [BitNet官方Hugging Face 2B参数模型](https://huggingface.co/microsoft/BitNet-b1.58-2B-4T)
- 02/18/2025 [Bitnet.cpp：三元 LLM 的高效边缘推理](https://arxiv.org/abs/2502.11880)
- 11/08/2024 [BitNet a4.8：1 位 LLM 的 4 位激活](https://arxiv.org/abs/2411.04965)
- 2024 年 10 月 21 日 [1 位 AI 基础设施：第 1.1 部分，快速且无损的 BitNet b1.58 CPU 推理](https://arxiv.org/abs/2410.16144)
- 2024 年 10 月 17 日 bitnet.cpp 1.0 发布。
- 2024 年 3 月 21 日 [1 位法学硕士时代__Training_Tips_Code_FAQ](https://github.com/micr