GitHub 热门项目：Scraperr

2026-08-21 1 阅读约3分钟阅读 GitHub Trending

字号:

GitHub 项目：Scraperr 仓库地址：https://github.com/jaypyles/Scraperr 星级：4911 | 作者：jaypyles 项目描述：自托管网络爬虫。 =================================================== 自述文件内容： Scraperr 徽标

**强大的自托管网络抓取解决方案**

## 📋 概述无需编写任何代码即可抓取网站。 > 📚 **[查看文档](https://scraperr-docs.pages.dev)** 获取全面的快速入门指南和详细信息。 Scraperr 主界面

## ✨ 主要特点 - **基于XPath的提取**：精确目标页面元素 - **队列管理**：提交和管理多个抓取作业 - **域抓取**：抓取同一域内所有页面的选项 - **自定义标头**：将 JSON 标头添加到您的抓取请求中 - **媒体下载**：自动下载图像、视频和其他媒体 - **结果可视化**：以结构化表格格式查看抓取的数据 - **数据导出**：以 markdown 和 csv 格式导出结果 - **通知渠道**：通过各种渠道发送完成通知 ## 🚀 开始使用 ### 码头工人 ````bash 化妆 ```` ### 头盔 > 请参阅 helm 部署文档：https://scraperr-docs.pages.dev/guides/helm-deployment ## ⚖️ 法律和道德准则使用Scraperr时，请记住： 1. **尊重“robots.txt”**：始终检查网站的“robots.txt”文件以验证哪些页面允许抓取 2. **服务条款**：遵守每个网站有关数据提取的服务条款 3. **速率限制**：在请求之间实施合理的延迟，以避免服务器过载 > **免责声明**：Scraperr 仅适用于明确允许抓取的网站。创建者对滥用此工具不承担任何责任。 ## 💬 加入社区获取支持、报告错误以及与其他用户和贡献者聊天。 👉 [加入 Scraperr Discord](https://discord.gg/89q7scsGEK) ## 📄 许可证该项目已获得 MIT 许可证的许可。有关详细信息，请参阅 [LICENSE](LICENSE) 文件。 ## 👏 贡献使用 [webapp 模板](https://github.com/jaypyles/webapp-template) 使开发变得更加容易。首先，只需运行“make build up-dev”。

分享文章：

这篇文章对您有帮助吗？

订阅66必读

每日精选科技资讯，直达你的邮箱

← 返回开源推荐