阻止人工智能训练爬虫的网站大多会忽略回答时间机器人

← 洞察数据研究 您的 robots.txt 是 2023 年战争纪念馆 我们阅读了排名前 10,000 个网站的 robots.txt。据我们所知，38% 的 GPTBot 规则是在 2023 年的一个季度制定的——就在 GPTBot 推出和《纽约时报》提起诉讼之后。然后，每家人工智能公司都悄悄地添加了第二个机器人，即实时回答问题的机器人，几乎没有人为其编写规则。 2026 年 7 月 4 日 7 月 1 日，Cloudflare 宣布了一种方式，网站所有者可以在人工智能公司的一个机器人获取页面来回答某人的问题的那一刻开始向人工智能公司收费——不是在几个月后训练模型，而是在那时实时回答。它是早期的、实验性的，而且并不孤单：像 x402 这样的开放支付轨道正在为同样的想法而构建。网络长期以来一直有办法阻止这种获取。它开始建立一种计费方式。回答正在变成一笔交易。建立一个收费站是一件奇怪的事情，因为人工智能的网络规则手册几乎不承认这一时刻的存在。我们想用数据而不是振动来检查这一点，所以我们做了无聊的事情。我们获取了前 10,000 个站点的 robots.txt，并读取每个站点声明的内容 - 不是其服务器实际提供的服务，也不是其边缘悄悄阻止的内容，因为从外部没有人可以看到这一点。只是每个网站在自己的前门发布的规则手册。其中 5,577 篇文章有我们可以阅读的内容。这是对规则手册中有关答案时代的内容的研究。简短版本：它是为另一场战争而写的。规则是战争纪念碑 你首先注意到的是日期。当你将这些文件中的人工智能规则与它们首次编写的时间进行排列时，它们不会传播到整个人工智能时代。它们在一开始就堆积起来。在我们可以确定 GPTBot 规则的 861 个网站中，有 38% 是在一个季度（即 2023 年的最后三个月）内编写的（323 个网站，是下一个最高季度的三倍）。其中一半是在爬虫程序启动后大约六个月内编写的（861 篇中有 430 篇）。这个季度并非巧合。 OpenAI 于 2023 年 8 月发货 GPTBot；八周后，《纽约时报》起诉 OpenAI。如果您在那年秋天运行一个网站，您会感到真正的震惊，并且您会做出理性的反应，将四行内容粘贴到文本文件中以将训练爬虫排除在外。这在 2023 年是一件合理的事情。今天可能仍然是正确的决定。您可能会认为这么旧的文件已经过时了。大多数都不是。在恐慌窗口中编写 GPTBot 规则的 430 个网站中，87% 后来回来添加了新的机器人规则；只有 57 人从未返回。有人不断打开这些文件。不过，看看他们添加了什么，勤奋就会凝结。新的线路几乎都是更多的训练爬虫——ClaudeBot 现在占据了其中 671 个网站，PerplexityBot 占据了 540 个，到 2026 年仍在攀升——而回答时间机器人，即那些获取页面来写实时答案的机器人，只吸引了一小部分注意力。自 GPTBot 以来，一切都没有以惊人的速度发展：随后的每个爬虫在前两个季度仅预订了 3% 到 23% 的规则，与 2023 年的洪水相比，速度缓慢。恐慌是一次性事件。之后的一切都是肌肉记忆。所以这个档案是一个战争纪念馆——只是不是被遗弃的那种。这是人们不断回来的那种，他们切入的每个名字都是来自同一场战争的另一个训练爬行者。这并不是疏忽。这是一个盲点，并且您无法通过更加努力地处理文件来修复盲点。当人工智能规则首次编写时，按季度 训练爬虫 (GPTBot) 应答时间机器人 — 每个站点的第一条规则（OAI-SearchBot、Claude-User、Claude-SearchBot、Perplexity-User） 第一季度观察到机器人规则 · 所有 1,197 个拦截器 0 100 200 300 个站点 323 — 恐慌季度 81 2023 2024 2025 2026 每个站点计算一次，其规则首次出现的季度。在所有 1,197 名拦截者中，有 861 名曾经编写过过时的 GPTBot 规则，只有大约一半的人 (406 名) 曾经编写过应答时间规则——这个低带永远不会上升到满足 2023 年峰值的水平。首次出现日期来自互联网档案馆。见方法。每家人工智能公司都运行两个机器人。大多数规则只知道一个。这是 2023 年规则手册遗漏的部分。每个大型人工智能供应商都不会向您的网站发送一个机器人。它发送两个，他们做不同的工作。一种是训练爬虫——它批量读取网络来构建模型。另一个是答案时间获取器——当一个真人提出一个真实的问题时，它会在稍后出现，将你的页面拉到他们面前写的答案中。第一个是 2023 年每个人都感到愤怒的一个。第二个是现在重要的一个，因为这是任何按回答付费的收费方式。每个人工智能供应商都运行两个机器人；大多数规则只命名训练爬虫。 TRAINING CRAWLER 读取网络以构建模型 ANSWER-TIME FETCHER 在有人提出问题时到达 GPTBot OpenAI OAI-SearchBot + ChatGPT-User OpenAI ClaudeBot Anthropic Claude-User + Claude-SearchBot Anthropic PerplexityBot Perplexity Perplexity-User Perplexity 分裂。封锁