开发者生态
morning
它始终是 DNS,那么我们为什么要运行自己的 DNS?
2026-11-16
1 阅读
约6分钟阅读
misker1
字号:
这将是一个关于我们如何最终取代 Route53 并运行我们自己的权威 DNS 服务器的过山车故事。在某个时候,我们决定应该能够为客户提供无限的盆地。 Basins 是 S2 上的核心命名空间构造,充当流的顶级容器(数量已经无限)。我们发现,客户正在绕过我们每个帐户 100 个盆地的不那么随意的限制。这不是一个很酷的体验。就本案例而言,重要的是客户创建的每个盆地都会成为其自己的子域:my-basin.b.s2.dev(与 AWS S3 上存储桶的工作方式没有什么不同)。与每个盆地关联的 DNS 条目是一个 CNAME,它将客户端路由到我们架构中的正确单元。为了支持无限的盆地,我们需要支持无限的 DNS 记录。这些记录也需要很强的一致性。创建盆地后,其地址应立即可解析,否则客户端将等待缓存的 NXDOMAIN 过期。一想到要运行我们自己的 DNS 服务器,我的脉搏就跳到了屋顶,哎呀!我的研究阶段是带着希望开始的。希望我们现有的 AWS Route53 DNS 设置能够满足这些新要求。我真的真的不想让我们构建和运行我们自己的 DNS 服务器。 Route53 是一个很棒的系统,看起来可以支持无限数量的记录。但是,有一个致命的限制:它们的 API 速率限制为每秒最多大约 5 次 UPSERT(AWS 限制文档最近已更改,现在的限制可能更高)。事实上,这是我们经过艰难的过程才发现的。我确实阅读了文档,但 API 限制并没有引起任何担忧。当一个邪恶的行为者迅速创建了数十个数千个盆地,饱和了我们 Route53 记录的全部配额时,这一点就变得显而易见了。这产生了积压的工作,需要几个小时才能处理,在此期间,我们的正常 DNS 更新被卡住,进程试图删除记录,而其他进程则试图添加新记录。不过,这确实是一次很棒的事后回顾。从那时起,我们开始强制每个账户 100 个盆地的限制。我们考虑了批处理选项,但这会破坏我们使条目立即可用的目标。即使使用批处理,设置也不会让人感觉“无限”;系统的合法使用仍然有可能达到速率限制。我们研究过的其他托管 DNS 提供商(GCP Cloud DNS、Cloudflare、Azure DNS)也有类似的限制:如果您使用提供商 API 更新/插入/更新插入记录,则会存在严重的限制组件。没有办法解决这个问题,必须构建一个自定义的权威 DNS 服务器(哎呀!)技术要求非常简单:给定任何传入的 DNS 请求,我们需要查询最新的区域地图,该地图应该能够保存无限的记录,并将相应的响应发送回客户端。为了避免同步到单独的系统并产生另一个移动部件,DNS 记录将直接来自我们现有的流域数据库。实时 SELECT 将一致地“解析”DNS 请求中所需的映射。换句话说,我们希望 DNS 成为我们现有的、高度一致的帐户数据库的新调用者。我们的帐户数据库位于 Google 的 Cloud Spanner 中,预计性能会很好(只要有足够的资金)。接下来是核心功能。我们在构建库或编写 CoreDNS 模块之间来回犹豫。库最终感觉像是最灵活的路径,它允许我们构建一些非常适合我们的用例的东西。我们是一家 Rust 商店,但我们决定在这个项目中使用 Go,主要是因为 Spanner 工具(和 GCP 生态系统)相对更成熟。我们很快就选择了 miekg/dns 库,因为它具有出色的文档质量和许多 RFC。我们需要能够支持多种类型记录的权威 DNS 查询:A、AAAA、NS、CNAME、SOA。由于我们使用的是库,因此我们必须自己构建响应。我们的正确性测试主要集中在这些方面,包括单元测试、使用 Ferret 进行 RFC 合规性测试(我们在这篇伟大的论文中发现了这一点:SCALE:自动查找 DNS 名称服务器中的 RFC 合规性错误)以及使用实时数据的部署后冒烟测试。 S2 对流域区域使用通配符证书,并且需要 ACME DNS-01 挑战才能工作。我们决定不从我们的服务器提供 DNS 质询,并使用 CNAME 委托将其卸载到单独的 Route53 区域,以避免调整我们的证书续订系统以及提供动态 TXT 记录。然后,我们使用流行的人工智能系统进行了几次规划会议。设计很简单,事情很有意义(即使对我来说),除了建议不断包含各种额外功能:合并、负缓存、节流、速率限制、DNS cookie 等。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱