GitHub 热门项目：如何抓取亚马逊产品数据

GitHub 项目：如何抓取亚马逊产品数据 仓库地址：https://github.com/oxylabs/how-to-scrape-amazon-product-data 星级：3256 | 作者：oxylabs 项目描述：使用Python从亚马逊提取产品数据的过程，包括标题、评级、价格、图像和描述。 =================================================== 自述文件内容： [](https://oxylabs.io/products/scrap er-api/电子商务/亚马逊？utm_source=877&utm_medium=affiliate&groupid=877&utm_content=how-to-scrape-amazon-product-data-github&transaction_id=102f49063ab94276ae8f116d224b67) [](https://discord.gg/Pds3gBmKMH) [](https://www.youtube.com/@oxylabs) # 使用 Python 抓取亚马逊产品数据 您可以在我们的[博客](https://oxylabs.io/blog/scrape-amazon-product-data)上找到本指南的扩展版本。 本指南使用 Python 从 Amazon 抓取以下数据点： - 产品名称 - 产品评级 - 产品价格 - 产品图片 - 产品描述 ## 内容 - [设置](#setting-up) + [安装软件包](#installing-packages) - [抓取产品数据](#scraping-product-data) + [1。发送带有自定义标头的 GET 请求](#1.-sending-a-get-request-with-custom-headers) + [2。定位和抓取产品名称](#2.-定位和抓取产品名称) + [3。定位刮产品评级](#3.-定位刮产品评级) + [4。定位抓取产品价格](#4.-定位抓取产品价格) + [5。定位和抓取产品图片](#5.-定位和抓取产品图片) + [6。定位和抓取产品描述](#6.-定位和抓取-产品描述) + [7.处理产品列表](#7.-处理-产品-列表) + [8.将抓取的产品数据导出到 CSV 文件](#8.-exporting-scraped-product-data-to-a-CSV-file) - [审查最终脚本](#reviewing-the-final-script) - [提取亚马逊数据的更简单解决方案](#an-easier-solution-to-extract-Amazon-data) + [从搜索结果中抓取产品](#scraping-products-from-search-results) + [提取产品详细信息](#extracting-product-details) + [按 ASIN 抓取产品](#scraping-products-by-ASIN) ## 设置 创建一个文件夹来保存代码文件。此外，创建虚拟环境通常是一个很好的做法。 以下命令适用于 macOS 和 Linux。这些命令将创建一个虚拟环境并激活它： ```` python3 -m venv .env 源.env/bin/activate ```` 如果您使用的是 Windows，这些命令会略有不同： ```` python -m venv .env .env\脚本\激活 ```` ### 安装软件包 ```` python3 -m pip install 请求 beautifulsoup4 lxml pandas ```` 对于 Windows，使用 Python 而不是 Python3： ```` python -m pip install 请求 beautifulsoup4 lxml pandas ```` 要尝试 Requests 库，请创建一个名为 amazon.py 的新文件并输入以下内容： ```` 导入请求 url = 'https://www.amazon.com/Bose-QuietComfort-45-Bluetooth-Canceling-Headphones/dp/B098FKXT8L' 响应 = requests.get(url