N8N：AI驱动的数据采集，让零代码网页爬取变得简单
在本文中，我将向您介绍如何使用 N8N 来自动提取数据，为您节省时间和精力。您将学会如何轻松收集数据、跟踪趋势，并在竞争中保持领先地位，而无需编写任何繁琐的代码！
为什么使用 N8N 进行网络抓取？
在深入了解设置 N8N 的实际步骤之前 网络抓取现在，让我们来探讨一下为什么 N8N 能够改变数据收集自动化的游戏规则：
- 无代码平台:N8N 允许用户使用可视化界面建立复杂的工作流程。只需拖放节点即可创建流程，非常适合没有任何编程知识的用户使用。
- 可扩展的自动化:工作流程一旦建立，就可以针对多个网站和数据点进行扩展，从而实现持续、高效的数据提取。
- 人工智能驱动的网络抓取:将 N8N 与 Bright Data 等人工智能工具搭配使用，可确保您的数据提取高度准确，因为人工智能可处理动态内容等元素，并绕过反僵尸保护。想要一个即用型人工智能搜索器？查看我的 最好的人工智能搜索器.
- 轻松集成:N8N 与 Bright Data API 无缝集成，无需复杂的配置即可轻松实现网络自动搜索。
为网络抓取设置 N8N：2 个快速步骤
要开始使用 N8N，您需要两样必不可少的东西：
- N8N 账户:您可以注册一个免费的 N8N 帐户，该帐户提供丰厚的免费级别供您开始使用。
- Bright Data API 密钥:Bright Data 是一款人工智能驱动的刮擦工具，可绕过大多数网站保护措施，包括验证码和其他反机器人机制。它提供 1,000 次免费 API 调用，帮助您测试和试验工作流程。
让我们一步步来了解这个过程。
步骤 1：创建您的 N8N 账户
首先，请访问 n8n.io 并点击 "免费开始 "按钮。注册完成后，您将进入 n8n 工作流程画布，这是自动化流程的核心。在这里，您可以通过拖动和连接节点来创建工作流程。无需编码！
第 2 步：获取 Bright Data API 密钥
要从网站提取数据，您需要 Bright Data 的 API 密钥。在 Bright Data 网站上注册后，导航到您的仪表板并复制 API 密钥。此密钥允许您访问刮擦服务并绕过验证码或其他僵尸检测系统等障碍。在后面的步骤中，您将需要这个 API 密钥。
在 N8N 中构建第一个网络抓取工作流程
设置好账户后，就可以开始构建网络自动搜索了。
步骤 1：在 N8N 中启动新工作流程
进入 N8N 面板后，点击 "从头开始 "创建新工作流程。这将打开工作流程画布，您将在其中添加不同的节点来定义您的刮擦流程。
步骤 2：添加手动触发节点
您需要的第一个节点是 "手动触发 "节点。这样就可以在准备就绪时手动启动工作流程。这对测试很有帮助，因为你可以控制何时开始扫描。要添加该节点，请单击" "按钮并搜索 "手动触发器"，然后将其拖到画布上。
步骤 3：添加 HTTP 请求节点
接下来，添加一个 "HTTP 请求 "节点。该节点负责向网络刮擦 API（本例中为 Bright Data）发出实际请求。将其连接到手动触发器节点后，点击 HTTP 请求节点并对其进行配置。
在配置设置中，选择 "GET "作为方法，并输入 URL：
https://app.Bright Data.com/api/v1/
身份验证选择 "无"。您需要添加四个查询参数，以使请求生效：
- api_key:[YOUR_Bright Data_API_KEY] （您的光亮数据API_KEY
- url:您要抓取的网站的 URL（例如：、 https://brightdata.com/blog).
- 查询:这是对您希望 Bright Data 提取的数据的描述，例如 "提取 H1 标题和单个博文的链接"。
- 提取规则:在此，您将定义要提取的特定数据。例如
{
"h1_标题": {"类型": "字符串", "描述": "博客页面的 H1 主标题"},
"博文链接": {"类型": "列表", "描述": "链接到本网站个别博文的URL"}
}
步骤 4：添加数据处理代码节点
现在，你将添加一个 "代码 "节点来处理刮取的数据。在进入下一阶段之前，你可以在这里对数据进行处理。
在收件箱中接收《数据日报》的报道
点击 Code 节点，并添加以下 JavaScript：
// 从 "光明数据 "中提取响应
const 响应 = $input.first().json;
const blogPostLinks = response.博文链接 || [];
console.log("主页 H1："答复。h1_heading);
console.log(找到 ${blogPostLinks.length} 博文链接);
// 筛选实际博文 URL 并取前 5 个
const linksToScrape = blogPostLinks
.filter(link => 链接。包括(/blog/) && !link.包括('#'))
.一片(0, 5);
console.log("我们将抓取的博客文章：", linksToScrape）；
// 将相对 URL 转换为完整 URL
return linksToScrape.map(link => {
const fullUrl = 链接。始于(http链接 `https://www.Bright Data.com${link}`;
return { url: fullUrl、 type: 博客帖子 };
});
该代码将从 Bright Data 响应中提取博文链接，过滤掉不必要的链接，并将相对 URL 转换为完整 URL。
步骤 5：添加第二个 HTTP 请求节点（蜘蛛）
要抓取单篇博文，请在代码节点后添加第二个 "HTTP 请求 "节点。该节点将动态抓取各个博文的 URL。
对该节点进行如下配置
- 方法:获取
- URL: https://app.brightdata.com/api/v1/
查询参数:
- api_key:[YOUR_Bright Data_API_KEY] （您的光亮数据API_KEY
- url:{{ $json.url }}(这将动态使用代码节点输出的 URL）
- 查询:"从这篇博文中提取 H1 主标题"
- 提取规则:{"h1_title"：{"类型"："string"（字符串），"description"（描述）："本博文的 H1 主标题"}}}
第 6 步：测试网络抓取工作流程
现在工作流程已经设置完毕，是时候进行测试了。单击 "执行工作流程 "按钮，开始搜索过程。你将看到工作流程在每个步骤中的进展，从主页和单个博文中提取数据。
第 7 步：分析结果
运行工作流程后，点击每个节点查看结果：
- 首次 HTTP 请求:您将看到提取的 H1 标题和单个博文的链接。
- 第二个 HTTP 请求（蜘蛛）:您将看到所搜索博文的 H1 标题。
如果一切设置正确，您就可以使用无代码平台成功抓取多个页面并提取 H1 标题。
最后的话
按照本指南，您就建立了一个功能强大、可扩展、几乎不需要维护的刮板。此外，它还可根据不同需求进行定制。无论您的项目是大是小，N8N 和 Bright Data 都能提供灵活性和强大功能，让网络搜索变得简单高效。
