Cloudflare详解统一数据平台：计费工作负载占查询的53%

Cloudflare近日详细描述了其内部统一数据平台 Town Lake "，并报告称计费类工作负载占平台查询的53%。该系统与一个名为Skipper的AI驱动分析智能体一同构建，旨在统一此前分散在不同系统中的运维、计费、安全与业务数据访问。 Cloudflare表示，其全球网络在120个国家的330多个城市每秒处理超过10亿条的事件。随着时间的推移，数据散落在Postgres数据库、ClickHouse集群、Kafka流、BigQuery数据集与对象存储中，这些数据的发现与分析变得愈加复杂。于是，他们引入了Town Lake，以提供一个统一的SQL接口，实现跨这些系统的查询，同时保留治理与访问控制的能力。 该平台基于lakehouse架构构建，采用Apache Trino、Apache Iceberg、Cloudflare R2对象存储与用于元数据管理的DataHub。Cloudflare表示，单条查询可以在不移动数据的情况下连接Postgres、ClickHouse与Iceberg 表。支持服务处理数据摄取、转换、访问控制与个人身份信息（PII）的检测。 Town Lake平台的架构（来源： Cloudflare博客 "） 其中，关键一项设计是默认的封闭治理模型：新加入的数据集在自动扫描与人工审查完成之前默认是不可访问的。Cloudflare使用内部服务Skimmer将自动分类与基于AI的分析相结合以检测敏感数据，随后由人工复核者验证或调整分类并授予访问权限。 在Town Lake之上，Cloudflare构建了Skipper，提供对企业数据的自然语言访问。该智能体使用元数据、模式定义、转换谱系（transformation lineage）、文档与运行时检查来将用户请求翻译为经过验证的查询，从而提高准确性。它被用于计费分析、客户支持调查、业务智能与安全工作流。Cloudflare将此系统描述为一个统一的访问层：Town Lake提供公司范围的数据单一SQL接口，而 Skipper使人们能用自然语言发起可审计的查询并获取结果。 Cloudflare 企业工程负责人 Dmitry Alexeenko "这样 表示 "： 每一次的Cloudflare请求背后都有大量的数据。我们的团队构建了Town Lake（统一数据平台）和Skipper（AI数据智能体），能在几秒内将简单的英文问题变成实际的洞察力。 Cloudflare表示，以前需要复杂SQL或人工调查才能完成的任务，现在可以通过其统一数据平台与AI智能体在几秒内完成。在测量期间，计费工作负载在Town Lake的使用中占多数：324名员工发起了91760条与计费相关的查询，涵盖计费分析、支持调查与运营报告。公司还报告称，简化AI智能体的提示词提高了准确度，而合并重叠工具减少了错误选择。将SQL转换逻辑与数据谱系纳入智能体上下文，进一步提升了智能体对业务语义的理解，超越了仅靠模式元数据的能力。 Rippletide的CEO Patrick Joubert " 对该架构发表了评论： 在统一分析平台之上放置内部的AI智能体，正是基础设施团队开始感到控制问题的地方。如果智能体可以跨运维数据进行推理，则执行过程中的强制执行必须靠近执行点。分布式确定性检查能让智能体在不将数据平台变为不受控的动作时安全地开展行动。 展望未来，Cloudflare计划将Skipper与内部聊天、工单和开发工作流做更深度的整合。公司还在扩展其Transformer流水线，使团队能够使用SQL与元数据文件定义策划数据集，这些数据集将被自动部署、监控、编目，并通过DataHub与Skipper展示。随着系统不断成熟，Cloudflare预计还会将更多Town Lake的工作负载迁移到R2 SQL上运行。 查看英文原文： Cloudflare Details Unified Data Platform Where Billing Workloads Account for 53% of Queries "