首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

Lakegres:现有 Open/Hudi/Iceberg 表上的矢量搜索

摘要

Today we are announcing vector search in Onehouse Lakegres , with a native index stored inside existing and new open tables. You can search embeddings through a Postgres endpoint on the same tables yo...

the search and data open index are tables have vector
2026-11-19 1 阅读 约6分钟阅读 cloud8bits
分享:
字号:
今天,我们宣布在 Onehouse Lakegres 中推出矢量搜索,并在现有和新打开的表中存储本机索引。您可以通过 Postgres 端点在数据湖中已有的相同表上搜索嵌入。索引和数据在您自己的存储桶中以开放格式进行管理。矢量搜索停留在应用程序数据库几年前,添加矢量搜索需要一个单独的数据库。 Postgres 现在有 pgvector ,OpenSearch 有 k-NN ,MySQL、Oracle、MongoDB 和 SQL Server 都有自己的实现。 Databricks 还在 Lakebase Search 中提供矢量搜索。相似性搜索已成为应用程序数据的标准索引类型。代理需要查询的大部分数据都在 Lakehouse 中。支持记录、日志、文档、产品目录和多年的事件历史记录存储在对象存储上的开放表中。这些数据集比典型的 Postgres 实例大 100 到 1,000 倍。要使用任何这些数据库搜索它们,您必须首先将数据复制到数据库中。将湖泊规模的数据集复制到关系数据库中只是为了搜索它们的向量是一个荒谬的要求。您最终需要支付两次费用来存储数据并运行管道以保持副本同步。昨天,我们宣布在 Onehouse 上进行非结构化数据处理,它解析文档、图像和视频并将它们的嵌入存储在开放表中。 Lakegres 现在可以索引和搜索这些向量,因此代理可以查询非结构化内容以及 Lakehouse 中已有的业务记录。如今市场如何搜索湖泊数据 Lakehouse 和仓库供应商也添加了矢量搜索。下面的每个供应商都将索引存储在打开的表之外,以需要其自己的引擎读取的服务或格式。这些供应商提倡开放表格式,同时将搜索索引保持为封闭格式。如果您迁移到另一个引擎,则必须以该供应商的格式重建每个索引,即使基础表是打开的。为什么数据库技术仅限于湖泊规模 目前大多数生产向量搜索都在 OpenSearch 或 Postgres 上运行。两者都提供 HNSW(OpenSearch 实现、pgvector 实现),这是一种当整个图适合内存时表现良好的图索引。 AWS 自己的 OpenSearch 大小调整公式是每个向量 1.1 × (4 × 维度 + 8 × m) 字节 RAM。我们的基准表有 2.47 亿个向量,维度为 1,024 个。当 m 设置为 16 时,一张表大约需要 1.15 TB 的内存,100 亿个向量大约需要 46 TB 的内存。 Postgres 中的 pgvector HNSW 索引还必须保留在共享缓冲区或页面缓存中才能快速运行,一旦工作集超过 RAM,延迟就会急剧下降。图遍历也不太​​适合对象存储,因为每一跳都是一次小的随机读取。这些设计非常适合具有数千万个向量的应用程序数据库。数据湖可以大几个数量级。 LinkedIn 报告称,2021 年其 Hadoop 集群容量为 EB。Uber 的数据湖容量为 350 PB,每天摄取 6 万亿行数据。 Pinterest 在 Iceberg 上运营着一个 500PB 的湖,Netflix 将其 Iceberg 仓库描述为 EB 级规模。即使嵌入这些数据集的一小部分也会产生数十亿个向量。对于大多数团队来说,在 RAM 中保留如此多的向量成本太高。训练数据管理也需要大规模的相似性搜索。训练后工作流程可以使用它来选择相关示例并删除大量候选数据中的近似重复项。重复搜索使得每次搜索的成本与延迟一样重要。 VAST 为 AI 训练提供存储,在其分布式元素存储中使用闪存上的聚集向量索引。它的发布材料将内存驻留索引描述为在数百或数千亿个向量上极其昂贵。 turbopuffer 还使用基于存储的集群。 Lakegres 通过开放索引将此方法应用于现有的 Hudi 和 Iceberg 表。我们构建的 Lakegres 将向量索引存储在表的元数据中,与数据文件位于同一存储桶中。插入、更新或删除行的提交也会更新索引。这使索引与表保持一致,无需单独的同步作业或向量的第二个副本。据我们所知,这是现有 Hudi 和 Iceberg 表唯一可用的开放向量搜索索引,该索引通过表写入进行维护并保持数据文件不变。 Iceberg 支持建立在 Apache XTable (Incubating) 中 Hudi 支持的索引工作之上。我们与 Uber 和沃尔玛的工程师一起公开开发了该设计,以支持他们的行星规模桌子。开放的 RFC 记录了存储布局、查询路径和一致性模型。设计已确定并于今日在 Lakegres 发货; Hudi 实现正在上游,XTable 正在其他引擎可以集成的 OSS 版本之前进行候选版本测试。 Lakegres 接受通过 Postgres 有线协议的查询,因此任何 Postgres 客户端或代理框架都可以运行
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱