GitHub 热门项目：smallpond

GitHub 项目：smallpond 仓库地址：https://github.com/deepseek-ai/smallpond 星级：4951 | 作者：deepseek-ai 项目描述：基于DuckDB和3FS构建的轻量级数据处理框架。 =================================================== 自述文件内容： # 小池塘 [](https://github.com/deepseek-ai/smallpond/actions/workflows/ci.yml) [](https://pypi.org/project/smallpond/) [](https://deepseek-ai.github.io/smallpond/) [](许可证) 一个基于[DuckDB]和[3FS]构建的轻量级数据处理框架。 ## 特点 - ? 由 DuckDB 提供支持的高性能数据处理 - ? 可扩展以处理 PB 级数据集 - ?️ 操作简单，无需长时间运行的服务 ## 安装 支持 Python 3.8 至 3.12。 ````bash pip 安装小池塘 ```` ## 快速入门 ````bash # 下载示例数据 wget https://duckdb.org/data/prices.parquet ```` ````蟒蛇 进口小池塘 # 初始化会话 sp = 小池塘.init() # 加载数据 df = sp.read_parquet("prices.parquet") # 处理数据 df = df.repartition(3, hash_by="ticker") df = sp.partial_sql("从 {0} GROUP BY 股票代码中选择股票代码、最小值(价格)、最大值(价格)", df) # 保存结果 df.write_parquet(“输出/”) # 显示结果 打印（df.to_pandas（）） ```` ## 文档 详细指南和 API 参考： - [入门](docs/source/getstarted.rst) - [API 参考](docs/source/api.rst) ## 性能 我们使用 [GraySort 基准测试]（[脚本]）在一个由 50 个计算节点和 25 个运行 [3FS] 的存储节点组成的集群上评估了smallpond。 该基准测试在 30 分 14 秒内排序了 110.5TiB 的数据，实现了 3.66TiB/min 的平均吞吐量。 详细信息可以在[3FS - 灰色排序]中找到。 [DuckDB]：https://duckdb.org/ [3FS]：https://github.com/deepseek-ai/3FS [GraySort 基准测试]：https://sortbenchmark.org/ [脚本]：基准/gray_sort_benchmark.py [3FS - 灰色排序]：https://github.com/deepseek-ai/3FS?tab=readme-ov-file#2-graysort ## 发展 ````bash pip 安装。[开发] # 运行单元测试 pytest -v 测试/测试*.py # 构建文档 pip 安装。[文档] 光盘文档 制作html python -m http.server --目录 build/html ```` ## 许可证 该项目根据[麻省理工学院许可证]（LICENSE）获得许可。