有人正在运行大规模漏洞扫描，欺骗像 ClaudeBot 这样的人工智能机器人

使用代理分析和 AI 聊天推荐跟踪覆盖 5,000 多个网站的关键生态系统指标。 ↓ 与前 90 天相比 2% 机器人与人类的访问量 ↑ 与前 90 天相比 11% 与 AI 相关的机器人流量百分比 ↓ 9% 与前 90 天相比 AI 代理 AI 代理 使用实际的 Web 浏览器代表人类用户自主完成复杂任务 AI 助手 AI 助手根据用户提示获取网站内容，以包含在 AI 生成的答案中 AI 编码代理 AI 编码代理获取文档和其他资源以帮助构建软件 AI 数据提供商 AI 数据提供商爬网网站以作为第三方服务向 AI 系统提供结构化内容 AI 数据抓取器 AI 数据抓取器 下载网站内容以包含在用于训练人工智能模型（例如 LLM）的数据集中 AI 搜索爬行器 AI 搜索爬行器索引网站内容，以便可能作为人工智能驱动的搜索结果中的引用包含在内 归档器 归档器 捕获并存储历史网站快照以进行长期数字保存 自动代理 自动代理以编程方式自动执行浏览器交互，无需直接人工监督 开发人员助手 开发人员助手 协助测试、调试和确保网站功能 Fetcher Fetcher 检索网页元数据，为链接预览或提要等应用程序功能提供支持 情报收集器 情报收集器 分析 Web 内容以确保品牌安全、竞争洞察和广告定位 刮刀 刮刀 提取大量 Web 数据，通常无需明确的网站许可 搜索引擎爬网程序 搜索引擎爬网程序 系统地扫描网页并为其建立索引以包含在搜索结果中安全扫描器 安全扫描器 扫描网站是否存在安全漏洞、威胁和配置弱点 SEO 爬行器 SEO 爬行器 分析网站结构和内容，以确定 SEO 改进机会 未分类 未分类 尚未分配类型 无证 AI 代理 无证 AI 代理 在不透露其目的的情况下对网站进行爬网，为未知的 AI 使用案例收集数据 将鼠标悬停在每个代理类型上，了解有关其功能的更多信息 bingbot SRCH 搜索引擎爬网程序 系统性扫描和索引包含在搜索结果中的网页 8.2% Googlebot SRCH 搜索引擎爬行程序 系统地扫描并索引要包含在搜索结果中的网页 7.9% AhrefsBot SEO SEO 爬行程序 分析网站结构和内容以识别 SEO 改进机会 6.2% 已知代理 DEV 开发人员助手 协助测试、调试和确保网站功能 5.5% ChatGPT-用户 ASST AI 助手 根据用户提示获取网站内容，以包含在搜索结果中AI 生成的答案 3.3% ClaudeBot SCRP AI Data Scraper 下载网站内容以包含在用于训练 AI 模型（例如 LLM）的数据集中 3.2% PetalBot SRCH AI 搜索爬行程序索引网站内容，以可能作为人工智能驱动的搜索结果中的引用包含在内 3.2% SemrushBot SEO SEO Crawler 分析网站结构和内容以识别 SEO 改进机会 3.0% facebookexternalhit FTCH Fetcher检索网页元数据以支持链接预览或提要等应用程序功能 2.6% 元外部代理 SCRP AI Data Scraper 下载网站内容以包含在用于训练 LLM 等 AI 模型的数据集中 2.3% Amazonbot SCRP AI Data Scraper 下载网站内容以包含在用于训练 LLM 等 AI 模型的数据集中 2.3% MJ12bot SEO SEO Crawler 分析网站结构和内容以识别 SEO 改进机会2.2% Amzn-SearchBot SRCH AI 搜索爬行程序索引可能包含在 AI 驱动的搜索结果中作为引用的网站内容 2.2% DotBot SEO SEO Crawler 分析网站结构和内容以识别 SEO 改进机会 2.1% Applebot SRCH AI 搜索爬行程序索引可能包含在 AI 驱动的搜索结果中作为引用的网站内容 2.1% 活动最活跃的代理 活动最活跃的运营商 这些机器人抓取用于训练人工智能模型的网站内容。有些属于人工智能公司，而另一些则属于转售数据的第三方服务。自动Robots.txt可以阻止不需要的抓取。包含的代理类型包括 AI 数据提供商和 AI 数据抓取器。 AI 数据提供商 AI 数据提供商 抓取网站以作为第三方服务向 AI 系统提供结构化内容 AI Data Scraper AI Data Scraper 下载网站内容以包含在用于训练 AI 模型（例如法学硕士）的数据集中 随着时间的推移按代理类型划分的 AI 抓取活动 计算机和电子 5.3% 商业和工业 5.0% 互联网和电信 4.5% 活动最多的网站类别 ClaudeBot SCRP AI Data Scraper 下载网站内容以包含在用于训练 AI 的数据集中模型，例如法学硕士 27.0% 元外部代理 SCRP AI 数据抓取器 下载网站内容以包含在用于训练的数据集中