Andy Pavlo 加入 ClickHouse 建立 ClickHouse 实验室

我很高兴地宣布，我将加入 ClickHouse，建立并领导一个名为 ClickHouse Labs 的新研究团队。我想分享它是如何发生的以及我们计划做什么。我于 2013 年开始在卡内基梅隆大学计算机科学系担任教授。我的职业生涯一直致力于了解现代数据库管理系统 (DBMS) 内部的科学原理。我优先跟踪工业界和学术界出现的每一个新系统，以了解它们的实施情况。自从 ClickHouse DBMS 于 2016 年 6 月首次作为开源软件发布以来，我就知道了它。我对此消息的最初反应是它一定是蒸汽软件，因为它看起来好得令人难以置信。 ClickHouse 拥有当时仅在少数闭源商业分析 DBMS 中才能找到的功能。例如，ClickHouse 是用 C++ 编写的，并在 2016 年支持使用 SIMD 执行矢量化查询。2016 年最著名的开源分析 DBMS 都是基于 JVM 的，直到几年后才支持 SIMD 优化。从那时起，我就密切关注ClickHouse的发展。它一直是一个与我们的学术研究项目高度相关的领先系统。你甚至可以在 2020 年第一次远程讲座中看到我穿着原来的 ClickHouse 衬衫，当时疫情迫使我们将数据库课程转移到网上。鉴于这段历史，当 ClickHouse 联合创始人邀请我在 ClickHouse 建立这个新的研究小组时，我感到很荣幸。与下一代数据库技术最强大的工程团队之一合作的机会是我不能错过的机会。这将是一次新级别的合作，就像 Killer Mike 与 El-P 联手创建一个嘻哈超级组合一样。 ClickHouse Labs 的目标是建立一个专注于数据库的一流行业研究组织。它不会作为一个孤立的研究组织运作，将想法抛向工程领域。相反，我们将与 ClickHouse 工程师、客户、合作者和行业合作伙伴密切合作，开发和传播新想法，使 ClickHouse 保持领先地位。我们还将与 ClickHouse 的 PostgreSQL 团队合作，帮助其蓬勃发展的托管服务成为性能和可靠性方面的市场领导者。 PostgreSQL 和 ClickHouse 满足不同的工作负载需求，但这种组合为我们研究事务型和分析型数据库问题提供了广泛的基础。我们的目标既简单又雄心勃勃：进行具有科学价值的研究，然后帮助将最好的想法转化为对用户重要的技术。我希望达到与 IBM Research 和 Microsoft Research 等先驱行业研究组织相同水平的影响力。这些团体证明，行业实验室可以同时推进基础计算机科学、影响商业产品并培训一代又一代的数据库研究人员。这是我们想要延续的传统。 ClickHouse 团队在发布有关其工作的深入技术材料方面已经拥有出色的记录。自 2021 年公司成立以来，其工程师撰写了详细的文章来解释 DBMS 的实现。还有2024年的VLDB论文，描述了ClickHouse的核心架构。这些作品非常详尽，我将它们作为读物分配给卡内基梅隆大学的学生。与此同时，ClickHouse 工程团队已经探索了一些有趣的想法和优化，但尚未有时间进行充分验证并投入生产。我的当务之急之一是帮助加速这一进程。然后，我们将以此为跳板，探索进一步推动 ClickHouse 发展的新想法。我们将研究的一个更大的问题是 ClickHouse 和 PostgreSQL 等 DBMS 如何适应新兴的人工智能和代理技术。这个问题有两个方面。首先是确定 DBMS 应该是什么样子才能更好地支持代理。第二个方面是确定代理如何改进和自动化 DBMS 本身的开发。一切都已摆在桌面上：新硬件、新算法、新数据结构、新执行策略以及构建和操作 DBMS 软件的新方法。尽管我还没有这些问题的答案（这就是研究的原因），但我确信的一件事是 ClickHouse 坚实的关系模型基础使其能够很好地与这些数据密集型工作负载一起发展。我的职业生涯一直在研究数据库系统是如何构建的，并帮助培训构建它们的人员。通过 ClickHouse Labs，我们现在有机会创建一个致力于推动两者发展的组织。