如何使用 Gerapy 扩展网络抓取功能

在本指南中，我将向您介绍我是如何扩大我的 网络抓取 使用 Gerapy.您将学会如何安装它、如何将它连接到 Scrapyd 以及如何像专业人士一样自动运行您的 scrapers。

什么是 Gerapy？

Gerapy 是一个基于 Django 的 Web 管理工具，而 Django 是一个 Python Web 框架。它用于管理 Scrapy 爬虫。Gerapy 可与 Scrapyd 连接，Scrapyd 是一个用于部署和运行 Scrapy 项目的服务器。

Gerapy 可以帮助您：

• 轻松部署 Scrapy 项目
• 安排刮削任务
• 同时运行多个蜘蛛程序
• 避免重复相同的任务
• 在仪表板中查看工作状态
• 在一个地方编辑和管理 Scrapy 代码

AI 网络抓取工具 - 最佳 Gerapy 替代品

如果您正在寻找 Gerapy 的简单替代方案，我建议您使用以下工具之一：

- Bright Data - 先进的人工智能驱动型企业搜索平台
- ParseHub - 用于交互式 JavaScript 页面的无代码刮擦工具
- ScrapingBee - 快速提取 HTML 数据的单一应用程序接口方法
- Octoparse - 结构化数据提取任务的用户友好界面
- Scraper API - 轻松刮削、JS 支持、旋转代理

免责声明：我与上述任何供应商均无任何关联！

为什么使用 Gerapy？

如果您只有一个 Scrapy 蜘蛛因此，管理起来很简单。但一旦开始扩展，也许每小时要搜索 10 个网站，管理就会变得更加困难。

使用 Gerapy，您可以

• 设置蜘蛛运行的特定时间
• 使用 cron 作业或时间间隔来重复运行任务
• 在不同服务器上运行多个蜘蛛
• 避免服务器超负荷运行过多工作
• 监控每项工作的状态

使用 Gerapy 扩展 Scrapy 的分步指南

让我们来了解一下设置 Gerapy 和使用它来扩展您的刮擦操作所需的步骤。

第 1 步：安装 Gerapy 和 Scrapyd

打开终端，使用 pip 安装这两个工具：

pip install gerapy scrapyd

这些工具将帮助你运行和管理 Scrapy 项目。

步骤 2：初始化 Gerapy

为 Gerapy 创建工作区。在任意文件夹中使用以下命令：

gerapy init

现在进入 Gerapy 文件夹：

CD 治疗

然后创建数据库：

gerapy migrate

创建超级用户，以便登录：

创建超级用户

按照提示输入用户名、电子邮件和密码。

现在运行服务器：

运行服务器

Gerapy 将从 8000 端口启动。您可以在浏览器中访问它：

http://127.0.0.1:8000/

使用您刚刚创建的详细信息登录。

步骤 3：设置 Scrapyd

Scrapyd 是运行蜘蛛的工具。打开另一个终端窗口，进入 Scrapy 项目文件夹。然后运行

scrapyd

Scrapyd 从 6800 端口启动。您也可以在浏览器中打开它：

http://localhost:6800/

现在，打开 Scrapy 项目的 scrapy.cfg 文件并添加此部分：

[settings]
default = your_project.设置
[deploy:local]
url = http://localhost：6800/
project = 你的项目

将 your_project 替换为 Scrapy 项目的实际名称。

然后运行部署命令：

scrapyd-deploy local -p your_project

您的蜘蛛现在已经部署完毕，可以在 Scrapyd 服务器上运行。

步骤 4：在 Gerapy 中添加 Scrapyd 客户端

返回 Gerapy 面板。点击左侧菜单中的 "客户"。然后点击 "创建 "按钮。

• 名称:输入任何名称（如本地客户端）
• IP:输入 127.0.0.1
• 港口:输入 6800

点击 "创建"。

现在，您的 Scrapyd 服务器已连接到 Gerapy。您可以开始调度和运行蜘蛛了。

步骤 5：从 Gerapy 运行蜘蛛

添加客户端后，进入 Gerapy 的 "项目 "部分。点击 "创建"，添加一个新的 Scrapy 项目。

您有两个选择：

• 上传:上传 Scrapy 项目的压缩文件夹。
• 克隆：如果你的项目托管在 GitHub 上，请输入你的 Git 仓库 URL。

上传后，点击 "操作 "栏下的 "部署"。点击 "构建"，然后再次点击 "部署"。

现在转到 "任务 "部分，点击 "创建"。

• 输入任务名称
• 选择项目和蜘蛛名称
• 选择客户
• 选择触发方法（时间间隔、cron 或日期）

例如，如果您想每 10 分钟运行一次蜘蛛，请选择 "间隔 "并进行相应设置。

单击 "创建 "激活计划表。

第 6 步：监控和管理作业

一旦蜘蛛开始运行，您就可以通过 Gerapy 控制面板对其进行监控。

转到 "任务 "页面：

• 查看正在运行的工作
• 查看待处理或已完成的任务
• 取消或重新运行任务
• 查看日志和输出

即使同时安排多项任务，Gerapy 也能对任务进行排队并顺利运行。

将 Gerapy 用于多个蜘蛛

如果一个 Scrapy 项目中有多个蜘蛛，可以分别调度每个蜘蛛。只需重复调度过程，每次选择不同的蜘蛛即可。

你甚至可以

• 指定不同的时间间隔
• 在不同的服务器上运行
• 查看每只蜘蛛的日志

这对于在许多网站上进行大规模搜索非常有用。

使用远程服务器扩展

Gerapy 也可以配合远程 Scrapyd 服务器使用。

例如，如果你将 Scrapyd 托管在云服务器上（例如 AWS、DigitalOcean 或 Azure）：

• 在 "客户端 "部分使用服务器的公共 IP
• 确保服务器允许访问 6800 端口
• 必要时启用身份验证

这样，您就可以在多台机器上扩展您的刮擦任务。

内置代码编辑器

Gerapy 的一个有用功能是内置代码编辑器。

你可以

• 查看和编辑蜘蛛代码
• 添加或删除文件
• 更新设置

所有更改都可以保存并再次部署到 Scrapyd。

这样，您就可以管理完整的搜索设置，而无需在不同工具间切换。

Gerapy 的日程安排选项

Gerapy 为您提供了多种运行蜘蛛的方法：

1.立即运行

点击 "运行 "按钮，立即启动蜘蛛。

2.预定日期

选择运行任务的具体日期和时间。

3.间隔

设置一项定期重复的任务，比如每 15 分钟重复一次。

4.Cron 工作

使用 cron 表达式创建灵活的重复时间表。

最佳扩展实践

以下是一些使用 Gerapy 进行规模化刮削的技巧：

• 为大型项目使用多个 Scrapyd 服务器
• 避免在一台服务器上同时运行过多蜘蛛
• 将蜘蛛安排在不同时间，以平衡负载
• 监控失败的工作并快速修复损坏的蜘蛛程序
• 使用 Scrapy 中间件，如用户代理轮换或代理列表
• 保持代码简洁和模块化，便于更新

结论

在 Gerapy 的帮助下，使用 Scrapy 扩展网络刮擦变得更容易。它能让你完全控制作业管理、调度和部署，而这一切都可以通过一个简洁的网页界面实现。

有了 Gerapy，你可以运行多个蜘蛛，在设定的时间安排工作，并从一个地方管理一切。无论您是搜索新闻网站、电子商务数据还是社交媒体源，Gerapy 都能为您节省时间和精力。

如果您想建立一个专业的自动刮削系统，Gerapy 是您工作流程中的一个重要工具。