开发者生态
morning
SQLite 上的分布式高性能 Blob 存储
2026-11-19
1 阅读
约6分钟阅读
ghostfoxgod
字号:
太长了;我们在 SQLite 之上构建了 Blobasaur,一个分片、分布式、轻量级的 Blob 存储服务器,以解决我们的高吞吐量 Blob 读/写用例。现在,从几 KB 到 MB 的 JSON blob 在商用硬件上每秒写入和读取数千次,同时保持个位数毫秒的延迟。在我们拥有约 2000 万客户的交易平台 Kite 上,用户可以大量定制他们的投资和交易屏幕。它们保存多图表布局、财务指标模板、矢量图形和各种任意 UI 首选项。此外,我们还提供终端模式,允许用户通过拖放和自定义小部件来设计自己的工作区。在幕后,我们的后端服务将这些用户首选项和元数据存储为不透明的 blob(主要是 JSON),范围从几千字节到几兆字节。许多年前,我们将此类 blob 存储在 CouchDB 中,结果证明它不适合我们开始看到的吞吐量。然后我们转向 SSDB ( ssdb ),这是一个使用 Redis 协议的 C++ 磁盘支持存储。这也使得集成变得非常容易。 SSDB 解决了我们眼前的性能问题,并在生产环境中可靠运行了好几年。随着时间的推移,有两个问题迫使我们寻找替代方案:SSDB 变得无人维护,这是一个明显的运营风险。它是用 C++ 编写的,这不属于我们的堆栈或专业知识的一部分,因此分叉和维护也是不可行的。缩放比例和大小限制。 SSDB不是分布式系统,只能运行在单个节点上。这给未来的扩展带来了重大挑战,包括一度迫使我们将 blob 大小限制在 1 MB,因为更大的有效负载会导致延迟降低。当我们添加终端模式等功能并加入更多内部服务时,我们需要一个强大的解决方案。我们的标准是: 具有简单 API 的键值 Blob 存储。专为多兆字节 blob 读/写操作和高吞吐量而设计。我们每秒承受数千到数万个读取和写入任意 blob 的请求。由于股市的波动,这些都是不可预测和突发的。水平可扩展、分布式。磁盘空间效率/压缩。易于维护且非常经济。因此,我们研究了针对高吞吐量 blob 存储进行优化的 FOSS 数据库,并研究了以下内容: ScyllaDB:我们已经针对高吞吐量工作负载运行了 ScyllaDB,但在我们的测试中,它对于大型 blob 来说并不是最佳选择。吞吐量显着降低,资源使用率显着提高。我们特别想要多兆字节的 blob。频繁覆盖和 TTL 过期导致的墓碑需要在 ScyllaDB 中进行仔细调整。 PostgreSQL:我们已经在堆栈中使用 Postgres 方面拥有丰富的经验,并尝试将 blob 存储为 BYTEA 列,但事实证明,在性能和磁盘空间效率方面,对于该用例来说,它再次严重次优。 YugabyteDB:将 blob 存储作为选项之一,但主要不是为此设计或优化的。此外,一个具有太多功能的大型系统。 RocksDB:拥有正确的原语,但同样不是针对高吞吐量多 MB blob 写入而设计的。 Ceph:严重的操作复杂性和资源需求。我们甚至没有去尝试一下。 SeaweedFS:这是最接近的候选者。然而,有一些阻碍因素。我们的用例是对同一个密钥进行大量覆盖(用户更改其工作空间),并且 SeaweedFS 在压缩之前不断追加,这可能会导致磁盘使用量无法控制地增长。 Blob 有自己的 ID,然后必须将其映射到单独数据库中的用户密钥,从而添加另一层。它不支持每个 blob 的 TTL。此外,具有许多部件的相当复杂的设置。 S3 和 MinIO:对象存储对于小 blob 的每次请求延迟较高,在写入繁重的工作负载下请求成本较高(写入占流量的 50%),并且生命周期 TTL 较粗略,而不是精确的密钥过期。更不用说,考虑到每秒数千次操作和每天数千万次操作,S3 将会产生巨大的成本。原始文件系统(每个 blob 一个文件):将 blob 直接放在磁盘上意味着实现原子写入和写入批处理、管理大量文件和目录、良好的旧原子读/写磁盘性能和索引节点头痛,以及为 TTL 维护单独的元数据索引。更不用说,通过 AWS 存储卷来协调这一点。大约在这个时候,我们正在另一个项目中使用 SQLite,并对它声称比文件系统快 35% 感到惊讶。我们还碰巧有一个查询缓存系统,每天在 Postgres 实例中创建数百万个表,这非常成功地将数据库推向了极限。我们想,将两个和两个放在一起,为什么不在 SQLite 之上构建一个系统来存储数百万个 blob,看看会发生什么?因此,我们最终构建了 Blobasaur,这是一个用 Rust 编写的开源分片 blob 服务器,它使用 Redis 协议和我们
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱