我的网站流量 99% 都是机器人

【HN用户评论摘要】 这里令人担忧的是，很多人接受将谁可以访问他们的网站的决定外包给一家大公司（Cloudflare）。如果公司决定某个用户不应该看到该网站，则该用户将不会看到该网站，也不会被任何人知道，用户也没有追索权。这不是我希望看到的开放网络。对机器人爬行网站的下意识反应的第二个副作用是，如果你试图对抗所有机器人，你最终也会伤害到你的网站。 > 我运行整个网站的正常费用约为每月 90 美元。在一个糟糕的峰值月份，它上涨了约 500%。这就是 D1 - 其成本非常令人惊讶。 您可能只想删除 D1 并移动到静态站点。 您的网站没有理由花这么多钱。 > 是的，我的网站通过抓取这些公共文档来获取数据。所以我是一个爬虫，写了一篇博客文章抱怨爬虫。我知道这听起来如何。 Anubis[1] 对于不位于 Cloudflare/Fastly/Bunny 等网站后面的网站来说是一个极好的修复。我们在一个为所有国家/地区提供服务的网站上收到了数百万个机器人请求，因此我们无法按国家/地区进行阻止，并且使用虚假的用户代理，因此我们无法阻止使用它。 它使用“工作量证明”来检测真实的浏览器软件。[1] https://anubis.techaro.lol/ 我在一条类似的船上。可能 99.999% 都是机器人。根据 cloudflare 的数据，我有近 100 万独立“访问者”，而我的真实用户每天有几十个。话虽这么说，我喜欢开放的互联网，并会尽可能保持开放。 原始链接：https://patronview.com/news/99-percent-of-my-website-traffic-is-bots/