大学图书馆正被人工智能机器人淹没，公众访问面临风险

【HN用户评论摘要】 LLM 机器人是最容易发现的。 速率限制为 16kb/s，每 5 秒 1 个请求。 给他们一个友好的多语言 WCAG 状态 429 页面，说明要放慢速度或状态 444，如果他们继续咄咄逼人，请将他们放入 nftables ipsets 中。 询问您最喜欢的法学硕士如何设置。 如果您的法学硕士课程暂停，请询问 Gemini 或 Grok。 如果您使用 CDN，请告诉它。 启用 ssl 曲线、密码等记录...向您的法学硕士展示访问日志中的一些示例。 我仍然不明白是谁在做这件事？我想这不是 OpenAI、Google 或 Anthropic 这样的大公司，对吧？那么有很多小东西在那里进行抓取然后将其卖给大地方吗？或者这些只是较小的人工智能模型进行抓取并为自己使用？是否存在人们买卖这些东西的地下生态系统？我理解为什么它对人工智能公司有价值我很好奇这一切是如何运作的，以及它的经济效益 一天搜索量达到 11,000 次？ 问题出在哪里？如果有的话，图书馆应该变得对人工智能更加友好，而不是更少。 相反，我们从 ACM 那里得到了这种废话：https://dl.acm.org/doi/10.1145/3832783.3834511这是下载服务器上的规范 DOI。 它准确地说明了正在请求哪个文件。 （我随机选择了最近的一个。）最多，他们应该提供一个带有 bibtex 条目的静态页面，以及一些其他元数据字段，以及 PDF 和其他任何内容的链接。 11k 搜索量在哪个世界如此多？这里的故事是人工智能机器人正在暴露大学图书馆的不良设置。我还没有听说北欧有任何机构遇到任何麻烦。 大学图书馆与时俱进。“开放获取”意味着支持用户。现在，您的用户也是机器人，以及部署这些机器人的人。您也需要能够为这些用户提供服务。 原始链接：https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287