GitHub 热门项目：3FS

GitHub 项目：3FS 仓库地址：https://github.com/deepseek-ai/3FS 星级：10077 | 作者：deepseek-ai 项目描述： 一种高性能分布式文件系统，旨在解决人工智能训练和推理工作负载的挑战。 =================================================== 自述文件内容： # Fire-Flyer 文件系统 [](https://github.com/deepseek-ai/3fs/actions/workflows/build.yml) [](许可证) Fire-Flyer 文件系统 (3FS) 是一种高性能分布式文件系统，旨在解决人工智能训练和推理工作负载的挑战。它利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布式应用程序的开发。 3FS 的主要功能和优势包括： - 性能和可用性 - **分解架构** 结合了数千个 SSD 的吞吐量和数百个存储节点的网络带宽，使应用程序能够以不关心局部性的方式访问存储资源。 - **强一致性** 通过分配查询（CRAQ）实现链复制以实现强一致性，使应用程序代码简单且易于推理。 - **文件接口** 开发由事务键值存储（例如 FoundationDB）支持的无状态元数据服务。文件接口是众所周知的并且到处都在使用。无需学习新的存储 API。 - 多样化的工作负载 - **数据准备** 将数据分析管道的输出组织成分层目录结构，并有效管理大量中间输出。 - **数据加载器** 通过允许跨计算节点随机访问训练样本，消除了预取或洗牌数据集的需要。 - **检查点** 支持大规模训练的高吞吐量并行检查点。 - **KVCache for Inference** 为基于 DRAM 的缓存提供经济高效的替代方案，提供高吞吐量和显着更大的容量。 ## 文档 * [设计笔记](docs/design_notes.md) * [安装指南](deploy/README.md) * [USRBIO API 参考](src/lib/api/UsrbIo.md) * [P 规范](./specs/README.md) ## 性能 ### 1. 峰值吞吐量 下图展示了大型3FS集群上读压力测试的吞吐量。该集群由180个存储节点组成，每个存储节点配备2×200Gbps InfiniBand网卡和16个14TiB NVMe SSD。大约 500 多个客户端节点用于读取压力测试，每个客户端节点配置有 1x200Gbps InfiniBand NIC。通过训练作业的后台流量，最终的聚合读取吞吐量达到约 6.6 TiB/s。  要对 3FS 进行基准测试，请使用我们的 [USRBIO 的 fio 引擎](benchmarks/fio_usrbio/README.md)。 ### 2. 格雷排序 我们使用 GraySort 基准评估了 [smallpond](https://github.com/deepseek-ai/smallpond)，该基准衡量大规模数据集的排序性能。我们的实现采用两阶段方法：（1）使用键的前缀位通过随机播放对数据进行分区，以及（2）分区内排序。两个都