GitHub 热门项目： scrape-google-python

GitHub 项目：scrape-google-python 仓库地址：https://github.com/oxylabs/scrape-google-python 星级：1732 | 作者：oxylabs 项目描述：在本教程中，我们展示了如何使用 Python 和 Oxylabs API 抓取公共 Google 数据。 =================================================== 自述文件内容： # 如何抓取 Google 搜索结果：Python 教程 [](https://oxylabs.io/products/s craper-api/serp/google?utm_source=877&utm_medium=affiliate&groupid=877&utm_content=scrape-google-python-github&transaction_id=102c8d36f7f0d0e5797b8f26152160) [](https://discord.gg/Pds3gBmKMH) [](https://www.youtube.com/@oxylabs) 在本教程中，我们将展示如何使用 Python 和 Oxylabs [SERP Scraper API](https://oxylabs.io/products/scraper-api/serp)（Web Scraper API 的一部分）抓取公共 Google 数据，这需要订阅或**免费试用**。 * [什么是 Google SERP？](#what-is-a-google-serp) * [抓取 Google 结果合法吗？](#is-it-legal-to-scrape-google-results) * [使用 Python 和 Oxylabs Scraper API 抓取公共 Google 数据](#scraping-public-google-data-with-python-and-oxylabs-scraper-api) * [设置有效负载并发送 POST 请求](#set-up-a-payload-and-send-a-post-request) + [自定义查询参数](#customizing-query-parameters) + [基本参数](#basic-parameters) * [位置查询参数](#location-query-parameters) + [控制结果数量](#controlling-the-number-of-results) + [用于抓取 Google 搜索数据的 Python 代码](#python-code-for-scraping-google-search-data) + [将抓取的数据导出到 CSV](#export-scraped-data-to-a-csv) + [处理错误和异常](#handling-errors-and-exceptions) ## 什么是 Google SERP？ 在讨论抓取 Google 搜索结果时，您可能会遇到“SERP”缩写。 SERP代表搜索引擎结果页面；这是您在搜索栏中输入查询后得到的页面。 SERP 包含各种功能和元素，例如： 1.精选片段 2.付费广告 3.视频轮播 4.人们还问 5.本地包 6. 相关搜索 ## 抓取 Google 结果合法吗？ 抓取谷歌搜索数据的合法性在抓取领域得到了广泛讨论。事实上，抓取互联网上的公开数据（包括 Google SERP 数据）是合法的。但是，每种情况可能有所不同，因此最好针对您的具体情况寻求法律建议。 ## 使用 Python 和 Oxylabs Scraper API 抓取公共 Google 数据 1.安装所需的Python库 要遵循本指南来抓取 Google 搜索结果，您需要具备以下条件： - Oxylabs 的 [SERP Scraper API](https://oxylabs.io/products/scraper-api/serp) 的凭证 – 您可以通过在 [dashboard](https://dashboard.oxylabs.io/) 上注册来获得 7 天免费试用； - Python; - 请求库。 首先，注册 Oxylabs 的 Google 搜索结果 API 并保存您的“用户名”和“密码”