google.com/goto：Google 的反抓取更新

Google 搜索正在将有机结果链接重写为 google.com/goto?url=...，而不是直接在 HTML 中公开目标 URL。当您点击结果时，Google 会将您重定向到真实页面。 url 参数使用自定义的、Google 特定的编码。它不是目标 URL 的普通 base64。实际上，它看起来像是对该页面的 Google 索引记录的不透明引用。截至 2026 年 8 月下旬，当您注销或以隐私模式浏览时，该信息在搜索中一致显示。它可能仍然是一个实验，但不再局限于 SERP 的一小部分。与 google.com/url 不同 Google 之前使用过重定向包装器。旧格式是 google.com/url?q=[URL-encodeddestination] ，其中目标链接在查询字符串中是可读的。新的 goto 格式有所不同：结果 href 是 /goto ，而不是目标 您无法离线解码 url= blob 真正的 URL 位于 /goto 上的 Location 标头中。请求该 URL。不要遵循重定向。 Google 仍然需要目标来绘制 SERP（域名、图标、属性），因此 URL 的副本仍保留在页面上。这是与阅读 Location 不同的故事。演练在这里：google.com/goto：使用 HEAD 阅读 Location 。对于任何从 SERP 数据大规模构建搜索索引的人来说，这种转变都很重要。谷歌为什么要这样做 这符合谷歌反对自动 SERP 收获的更广泛的推动力，特别是来自人工智能爬虫和 SEO 爬虫，它们批量提取结果 URL 以构建自己的索引。通过纯文本链接，抓取工具可以从 HTML 中解析数千个 URL，而无需再次接触 Google。使用 goto 时，每个结果都需要向 Google 发出请求才能了解目的地。您阅读了位置；您没有继续浏览该页面。这是更慢、更嘈杂的，并且当同一个客户端按顺序解析数百个链接时，会给谷歌一个清晰的信号。结合早期的举措，如删除 &num=100 和收紧 BotGuard/SearchGuard，Google 正在稳步提高幼稚 SERP 抓取的成本。我们在 Autom 看到的情况 我们首先在一小部分 SERP 上发现了 goto 链接。在那个级别，很难在不破坏其他人响应的情况下提供可靠的修复。截至 2026 年 8 月下旬，注销会话和私人会话的模式更加一致。在这些条件下，Google 搜索上的结果网址实际上都是 goto。我们一直在监控其推出并对其进行测试。 Autom.dev 更新 我们更新了 Google 搜索管道，以解析 google.com/goto 链接（读取 Location ，无跟随），并在 API 响应中返回最终目标 URL（与客户已使用的结构化字段相同）。如果您调用 Autom 的 Google 搜索端点，您应该继续获取可用的目标 URL，而无需更改集成。我们将继续关注谷歌的推出，并在重定向格式再次发生变化时进行调整。相关阅读 google.com/goto：阅读带有 HEAD 的位置 Google 杀死了 num=100 Google 起诉 SerpAPI：SearchGuard 揭示了用 Google、Bing 和 Brave 抓取 SERP 的内容 在 Google 不断移动球门柱的同时需要实时 SERP 数据吗？在 Autom 定价上尝试 1,000 个免费请求，或在 app.autom.dev/register 获取 API 密钥。