首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

一台虚拟机上有 1500 万个 Web 服务器 – smoltcp、DPDK、AF_XDP

2026-11-19 1 阅读 约7分钟阅读 fessguid
分享:
字号:
将网络服务器放到网上,每个人都开始尝试破解它。为什么?经济学的基本法则。供应短缺,需求巨大——没有足够的网络服务器供所有人使用。让我们为地球上的每个人(总共 80 亿)运行一个 Web 服务器。我无法获得资金,所以我们正在自力更生。目标是在一台具有 10GB RAM 和 1 个 CPU 核心的虚拟机上运行 1500 万个 Web 服务器。如果我们成功了,我会从家里的旧微波炉中找到一些内存,然后我们会扩大规模,这样每个人都可以拥有自己的网络服务器。需求将降至零,网络安全将得到彻底解决。 Web 服务器 让我们使用一种称为学习的古老技术,而不是全部进行 Vibe 编码。首先,什么是Web服务器?有一些基本的系统调用。监听 - 系统调用,要求内核侦听套接字上的连接 接受 - 系统调用,接受套接字上的连接 接收 - 从套接字接收数据 发送 - 发送数据 关闭 - 关闭 什么是系统调用?由操作系统内核执行的函数。无论您为 HTTP 使用什么奇特的语言或库,这一切都取决于这些系统调用(嗯,是的,但实际上不是)。让我们用 C 来让它变得明确。我们开始监听,然后循环读取套接字并始终回复 OK 。 int main ( void ) { // 我们使用端口 0,这使得操作系统返回任何可用端口 int server = socket ( AF_INET , SOCK_STREAM , 0 ); if(listen(服务器,128)<0)返回1; const char回复[] = "HTTP/1.0 200 OK \r\n 内容长度: 2 \r\n\r\n OK" ; for ( int client ; ( client = Accept ( server , NULL , NULL )) >= 0 ;) { if ( recv ( client , NULL , 4096 , MSG_TRUNC ) > 0 ) send ( client , reply , sizeof reply - 1 , MSG_NOSIGNAL );关闭(客户端);这再简单不过了:监听套接字,接受连接,读取数据,发送回复,关闭客户端连接,然后重复。它为我们提供了大约 65k RPS。现在我们已经了解了所有内容,让我们完成本文并结束: $ for i in $( seq 1 15_000_000 );回显 $i ; 。/服务器 &;完成…… 28232 程序退出,错误 1 ​​嗯,为什么监听失败?啊,我们的端口已经用完了!我们使用 port=0 ,因此内核从 ip_local_port_range 中选择一个可用端口。 $ sysctl net.ipv4.ip_local_port_range net.ipv4.ip_local_port_range = 32768 60999 为什么跳过这么多端口?从历史上看,端口 0 是为出站连接创建的。当您调用 connect('example.com', 80) 时,Linux 连接到远程服务器(发送部分),然后在主机上从 ip_local_port_range 中分配一个随机端口来接收数据(接收部分)。默认范围较小有几个原因。端口0比较特殊。您无法收听它(实际上,您可以 - https://acid.vegas/blog/the-port-that-does-not-exist/ )。端口 1-1024 需要 root。跳过端口 1024-32768,以防止动态分配的端口与现有应用程序发生冲突。您不想调用 connect('example.com') 并最终分配端口 3306 来接收传入数据。 mysql 无法启动,因为您在 Firefox 中打开 example.com 会造成用户体验混乱。由于 IP 伪装的历史原因,端口 60999 - 65535 被排除。没有什么可以阻止我们覆盖范围并使用 1-65535 ,但这仍然比 1500 万少一点。 UDP 服务器和 TCP 服务器可以使用相同的端口,因此我们可以将其加倍到 128k。我们可以在前面运行一个代理,将请求转发到正确的进程(虚拟主机,是的),但这些都是古老的技术——在人工智能时代,每当你遇到软件问题时,你只需往硬件上砸钱。我们简单地将15M/32k=450个新网卡连接到服务器上。 65k 限制来自 TCP 标准。端口是 u16 ,所以即使我们使用 find '*.c' -exec sed -i 's/u16/u32/' \; 破解内核为了支持更大的端口号,普通客户端仍然无法连接。每个监听服务器由(协议、IP、端口)元组标识。这解释了我们如何为 UDP 和 TCP 使用相同的端口。这也意味着我们可以为我们的网络服务器使用一堆不同的 IP。如果我们将 450 个网卡连接到服务器,我们将获得 450 个唯一的 IP 地址,并且能够监听 1500 万个唯一的地址! UPD。我从读者那里听说,网卡是去年唯一没有涨价 100 倍的硬件组件。难道我们不能避免破坏它并用软件解决这个问题吗?让我们使用一种名为 AnyIP 的出色技术,它可以让我们监听整个子网。许多 VPS 和专用服务器提供商通常会为您提供整个 TCPv6 子网。我们可以简单地运行 sudo ip -6 route add local 2001:db8:1234:5678::/64 dev lo 来获取 18 个五亿个地址(加或减 1)来监听。您可以对 IPv4 执行相同的操作 - 获取具有 15M 地址的子网将花费大约 2.5 亿美元,因此请根据您的环境调整命令。我们将更改我们的服务器以从我们的范围中选择第 n 个 IP: // 从 CLI 读取 IP 索引,通过它移动基本 IP int i = read_cli_param ( argv [ 1 ]);
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱