住宅代理和抓取情况的更新

LWN 需要您 LWN 依靠其订阅读者来支持其创建有关 Linux 和自由软件社区的相关人工新闻报道的使命。请订阅 LWN 并帮助我们保持在线状态。作为特别优惠，立即订阅 LWN 至少六个月，即可享受 25% 的订阅折扣。 [+] 继续阅读 Jonathan Corbet 于 2026 年 7 月 10 日发表的文章 我们于 2025 年初发表的文章“对抗 AI 抓取机器人祸害”讨论了为大型语言模型和相关项目搜索训练数据而广泛抓取网站的问题。此活动使网站的流量不堪重负。该文章发表一年多后，问题仍在加剧。秘密行动者对网站的攻击已经达到了新的高度，开放的网络变得越来越难以维护。这些流量来自哪里？可以采取什么措施？住宅代理 正如去年所描述的，爬虫攻击来自网络上的大量来源。在几个小时内，来自数百万个唯一 IP 地址的协调请求并不罕见，每个请求最多都会访问该站点两到三次。攻击者控制的数据，例如用户代理字段，完全是虚构的；每次点击都应该看起来像另一个使用网络浏览器的人。有多种方法可以区分——例如，机器人通常不会获取图像或 CSS——但是，当做出决定时，相关地址将不会再次使用。那时封锁该地址只是浪费时间。该流量主要来自住宅和移动网络，由中央命令和控制节点控制。软件安装在普通系统上，从控制节点接收命令，按需获取网页，并将结果数据转发回控制器。大多数时候，此活动是在相关设备所有者不知情或未同意的情况下发生的。术语“驻留代理”用于描述以这种方式使用的系统。有几种不同类型（至少表面上如此）的运营商运行住宅代理网络来攻击网站。一种类型是纯粹的犯罪行为，在受到某种恶意软件攻击的系统上运行抓取工具。今年年初，谷歌采取行动取缔了一个名为 IPIDEA 的机器人网络，并提供了大量有关这些操作如何运作的信息。 IPIDEA 的关闭与 LWN 的爬虫流量大幅减少相关；几个月来事情相对平静。不过，这段和平时期已经结束。最近，媒体流设备已被确定为恶意抓取软件的主要载体。有时，设备从源头就受到损害；其他时候，它们的安全性很差，而且事后很容易受到损害。第二种运营商的运作更加公开，假装具有一定程度的合法性并提供“来源道德”的 IP 地址。 Bright Data 是其中最著名的公司之一。它很高兴地宣传其在绕过网站访问控制和流量限制方面的能力。 Bright Data 提供“免费”VPN 服务；用户所需要的只是让 Bright Data 能够通过用户的设备路由流量——换句话说，成为公司住宅代理网络的一部分。每部使用此 VPN 的手机或其他设备都会成为用于攻击网站的另一个端点。这种类型的运算符还有许多其他示例；他们通常会提供一个库，应用程序开发人员可以将其链接到他们的产品中，并通过劫持用户的网络连接来获得报酬。其中一家甚至向我们发送了有关在 LWN 上为其 SDK 投放广告的询问；可以说，这是一次简短的谈话。一般来说，这些公司的范围包括那些渴望获得某种合法性、例如宣传“GDPR合规性”的公司，以及其他公然低俗的公司。虽然这些住宅代理网络用于网站抓取，但值得强调的是，这些运营商有能力运行代码来访问数百万设备碰巧连接的任何网络上的资源。假设这种类型的访问仅用于抓取，这充其量是天真的想法。当然，还有一些知名公司以开发模型为核心业务。这些公司自己进行抓取；可以轻松归因于它们的流量在用户代理字段中清楚地标识出来，并且作为一般规则，观察像 robots.txt 这样的度量。他们也会重复地抓取整个网站，似乎是基于 2003 年写的文章可能在最后一天发生了某种变化，但它们不会从数百万个系统中产生大量的流量，也不是最大的问题。不清楚是谁在使用