Qdrant 输出连接器

功能发布 2026 年 7 月 29 日 • 5 分钟阅读亚毫秒向量搜索和有效负载 ACL 预过滤：宣布推出 Qdrant 输出连接器 我们很高兴地宣布正式发布 Qdrant 输出连接器 (oc-qdrant-output-connector)！ OpenCrawling 现在将企业文档存储库本地连接到 Qdrant（基于 Rust 的开源矢量搜索引擎），提供高速二进制 gRPC 更新插入、自动收集自动配置、标量量化和用于安全 RAG 的亚毫秒 ACL 有效负载预过滤。 01. 为什么选择 Qdrant 进行企业矢量搜索？随着人工智能应用在企业生态系统中扩展，矢量存储需要极高的查询吞吐量、低内存占用和严格的安全保证。虽然矢量数据库擅长相似性搜索，但企业内容存储库（如 SharePoint、Alfresco 和 Iceberg）需要文档级访问控制列表 (ACL)，以确保用户仅检索他们有明确权限查看的信息。 Qdrant 采用 Rust 设计，具有 SIMD 硬件加速功能，使其成为现有最快的矢量引擎之一。但真正让 Qdrant 在企业 RAG 中脱颖而出的是其有效负载索引引擎。通过直接支持向量点旁边的 KEYWORD 有效负载索引，Qdrant 允许在距离计算发生之前按有效负载属性（例如用户安全 SID）进行过滤，从而在不牺牲搜索性能的情况下防止安全泄漏。 ⚡ 亚毫秒级 ACL 预过滤：Qdrant 的有效负载索引允许 OpenCrawling 的 McpVectorServer 将文档 ACL 过滤器直接注入相似性​​查询中，确保零未经授权的向量返回。 02. 架构和解耦数据流 oc-qdrant-output-connector 直接集成到 OpenCrawling 的事件驱动解耦微服务架构中：解耦摄取管道 → Qdrant Collection Repository Connector → Apache Kafka → Tika & Token Splitter → oc-embedding-service → Qdrant Output Connector (gRPC) 存储库摄取：存储库连接器（Filesystem、Alfresco、Flowable、Camunda、 S3) 发现文档并将轻量级声明检查消息发布到 Kafka。文本提取和分块：IngestionConsumer 通过 Apache Tika 提取干净的文本，并生成具有关联文档 ACL 安全 SID 的分块有效负载。可扩展嵌入：oc-embedding-service 动态计算向量嵌入（通过 Ollama 或 OpenAI）并将嵌入块推送到 Kafka。高速二进制更新插入：QdrantStoreWriterConsumer 接收嵌入的块并使用 gRPC Java SDK ( io.qdrant:client ) 通过端口 6334 将 PointStruct 批次更新插入到 Qdrant 中。 03. 自动集合配置和有效负载 ACL 索引启动时，QdrantCollectionInitializer 会验证配置的目标集合（例如 enterprise_kb ）是否存在。如果没有，它会自动为集合提供所需的向量维度和距离度量（ COSINE 、 DOT 或 EUCLID ）。同时，连接器在安全负载字段上创建 KEYWORD 负载索引： security_allowed_read ：允许访问文档的用户/组 SID 列表。 security_denied_read ：显式拒绝 SID 优先于允许规则。 // oc-qdrant-output-connector 生成的 Qdrant 点 Payload 结构示例 { "id": "c8a912e4-712d-4b92-b2fa-1092a9f1a091", "vector": [0.0142, -0.0521, 0.0892, ...], "payload": { "text": "企业季度财务报告和预测...”，“uri”：“file:///data/finance/q3_report.pdf”，“security_allowed_read”：[“ROLE_FINANCE”，“USER_S-1-5-21-3623811015”]，“security_denied_read”：[“ROLE_EXTERN”]，“lastModified”：“2026-07-29T18:00:00Z” 04. 配置和部署 Qdrant 输出连接器可通过标准 Spring Boot YAML 属性或环境变量进行完全配置： 属性 环境变量 默认描述 spring.opencrawling.output.qdrant.host SPRING_OPENCRAWLING_OUTPUT_QDRANT_HOST localhost 自托管 Qdrant 或 Qdrant Cloud 实例的主机名 spring.opencrawling.output.qdrant.port SPRING_OPENCRAWLING_OUTPUT_QDRANT_PORT 6334 高性能 gRPC 端口（默认：6334） spring.opencrawling.output.qdrant.api-key SPRING_OPENCRAWLING_OUTPUT_QDRANT_API_KEY "" Qdrant Cloud 或 Enterprise 集群的可选 API 密钥 spring.opencrawling.output.qdrant.collection-name SPRING_OPENCRAWLING_OUTPUT_QDRANT_COLLECTION_NAME enterprise_kb 目标 Qdrant 矢量集合名称 spring.opencrawling.output.qdrant.dimensions SPRING_OPENCRAWLING_OUTPUT_QDRANT_DIMENSIONS 1024 矢量维度大小（例如 mxbai-embed-large 为 1024） spring.opencrawling.output.qdrant.distance SPRING_OPENCRAWLING_OUTPUT_QDRANT_DISTANCE COSINE 向量距离度量（ COSINE 、 DOT 、 EUCLID ） spring.opencrawling.output.qdrant.quantization SPRING_OPENCRAWLING_OUTPUT_QDRANT_QUANTIZATION NONE 量化模式（ NONE 、 SCALAR 、 BINARY ） ) 🧪 自动集成测试：您可以使用一个命令在本地测试端到端 Qdrant 管道： ./scripts/test-qdrant-de Coupled.sh 。的s