我的 Reddit AMA 关于网页抓取法则

周五，我在 r/WebScrapingInsider subreddit 上做了一次关于网络抓取法则的 Reddit AMA。您可以在此处查看整个讨论。我发布了 AMA 的介绍，并在此分享：__大家好，感谢您加入本次关于网络抓取的 Reddit AMA！我认为从一些介绍性的评论开始会有所帮助。首先，也是最重要的一点，提醒大家注意基本规则。本 AMA 中的任何内容均不构成法律建议。我将讨论一些一般法律原则，但我无法评论这些原则如何适用于您的情况。此外，我们要讨论的许多话题都是有争议的，每个人对法律风险的承受能力也不同。在做出任何决定之前，您需要与律师讨论法律如何适用于您的情况以及您愿意接受的法律风险程度。另外，正如伊恩提到的，我关注美国法律。美国以外的规则可能看起来完全不同！关于我的一些背景： 我是一名 OG 互联网法律专家。我于 1991 年获得了第一个电子邮件帐户，于 1993 年发表了第一篇互联网法论文，于 1994 年开始从事互联网法，并于 1996 年开始教授互联网法课程 - 30 年后的今天，我仍在教授该课程。我从2002年开始担任全职法学教授。作为一名在20世纪90年代形成知识分子身份的互联网法专家，我仍然以通才的身份对待互联网法，这在当时是常态。我不关注互联网法的任何一个主题。相反，我仍然跟踪和关注数十个网络法律话题。动产掠夺/侵入原则只是我整体利益组合的一个子集。您可以在 https://papers.ssrn.com/sol3/cf_dev/AbsByAuth.cfm?per_id=332758 上查看我的学术著作。我的其他一些学术重点包括用户生成内容 (UGC)/第 230 条的责任、在线商标法和表情符号法。我即将出版的图书项目将讨论互联网的亲社会效益以及法律监管如何损害这些效益。尽管我是通才，但我发现刮擦法则特别有趣。我大概在 1997 年左右收到了第一个客户关于抓取的问题。当我在公司内部时，抓取是一个常青的话题。我经常在我的互联网法课程中测试抓取。例如，今年的期中考试基于 Vox Marketing Group v. Prodigy Promos 案，556 F. Supp。 3d 1280 (2021)。 * * * 我觉得这个话题如此吸引人的部分原因是，从政策的角度来看，我对刮削有着复杂的感受。一方面，我认为业主通常应该有能力决定如何使用他们的财产。刮取可能涉及对业主财产的不受欢迎和未经同意的使用，其方式可能是有害的。另一方面，我相信信息的获取。 （我妈妈是一名图书管理员）。从某种程度上来说，抓取可以带来更好的洞察力、更好的知识和更强大的市场，这是一种社会效益。此外，互联网的成功部分归功于其无缝、低摩擦、低交易成本的导航。为了保持这种架构，浏览互联网应该是一种无需许可的体验。反抓取原则可能会将网页浏览转变为一种经过许可的体验，每个网站的周边都有检查点，并且需要获得许可才能访问。这些障碍可能会破坏互联网的导航性和实用性，从而对我们所有人都不利。 [注：侵入动产原则只是服务可以对网络导航实施许可访问的一种方式。版权法是另一回事。另一个是席卷全球的在线年龄认证规定。有关我反对年龄认证要求的更多信息，请参阅 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5208739 一个明显的观点是：如果年龄认证检查点在互联网上变得无处不在，这将对抓取产生重大影响，因为大多数内容都将存在于年龄认证墙后面]。我从未完整地写过我对这些主题的复杂想法，但这篇文章会让你了解我的想法。 https://blog.ericgoldman.org/archives/2013/04/rethinking_onli.htm 以下是我如何为学生制定一些关于抓取的政策考虑因素：从好的方面来说：抓取可以实现创造重大社会效益的服务，例如搜索引擎、价格比较机器人和人工智能模型构建。此外，反抓取行为通常是反竞争的，即意图制造或维持垄断。特别是，反抓取策略可能代表着获取类似知识产权的权利的尝试，即使该服务不符合知识产权保护的条件。您可以在 Register.com 诉 Verio 案中看到其中的一些动态，其中 Register.com 使用合同和侵入动产来保护非版权材料（WHOIS 注册人联系信息），以保持其对该联系信息的先发优势控制。不利的一面是，刮擦