通过无代码工作流在 Dify 中进行人工智能驱动的网络抓取
在本指南中，我将教你如何设置这个无需代码的解决方案。无论您是要收集产品数据、跟踪竞争对手价格，还是要实现研究自动化，这个工作流程都将简化您的搜索流程。让我们深入浅出，化繁为简！
什么是 Dify？
Dify 是一个低代码应用程序开发平台，用户无需进行复杂的编码即可构建人工智能驱动的应用程序。它通过提供可视化的拖放界面，简化了人工智能工作流程的创建。Dify 可帮助开发人员、营销人员和企业家以最小的工作量构建即用型人工智能应用程序。
该平台提供一系列功能，使其成为自动化重复性任务、提高生产力和集成高级人工智能模型的理想选择。其主要功能包括
- 可视化工作流程生成器:这种拖放界面使用户能够快速、轻松地设计多步骤人工智能流程，而无需任何代码。
- 模式不可知论:Dify 可集成多种人工智能模型，包括专有模型，如 OpenAI 的 GPT 系列 或开源替代品。
- 后台即服务（BaaS）:Dify 可处理托管、扩展和维护后台系统等复杂的基础设施问题，让用户专注于构建人工智能工作流。
- 可扩展性:Dify 支持插件和自定义工具，可适应各种使用情况。
为什么使用 Bright Data 进行网络抓取？
Bright Data （原名为 Luminati）是网络抓取领域的领导者。它提供了一套全面的工具，旨在帮助企业和开发者收集高质量的网络数据、绕过反抓取措施，并确保数据检索高效可靠。使用 Bright Data 的一些主要优势包括：
- 代理和 IP 管理:Bright Data 提供全球代理网络，确保您的请求保持匿名，不会被网站屏蔽。
- 验证码解答:该平台具有先进的验证码解决功能，可从需要人工验证的网站无缝收集数据。
- 结构化数据源:Bright Data 提供来自各种网站的结构化数据源，如电子商务产品页面和房地产列表。
- 搜索引擎抓取:Bright Data 使用户能够直接从 Google、Bing 和 Yandex 等搜索引擎抓取数据，这对于跟踪搜索排名和收集竞争对手信息等任务非常有价值。
无代码人工智能网络抓取的必要性
网络搜索通常需要大量的专业技术知识。从处理代理轮换到管理 IP 地址，整个过程可能既复杂又耗时。然而，像 Dify 这样的无代码平台正在改变游戏规则。Dify 允许您在不编写任何代码的情况下构建网络刮擦工作流程。通过与 Bright Data 集成，Dify 简化了人工智能应用对高质量实时数据的访问。
像 Dify 这样的无代码平台为那些可能不具备技术技能但仍需要自动收集数据的人打开了人工智能驱动的网络搜索世界。无论您是希望跟踪竞争对手价格的营销人员，还是构建机器学习模型的开发人员，Dify 的无代码工作流构建器都能让您轻松创建强大的人工智能工作流。
如何使用 Bright Data 在 Dify 中创建无代码网页抓取工作流
现在，让我们深入了解使用 Bright Data 插件在 Dify 中创建网页抓取工作流的逐步过程。在本教程中，我们将建立一个工作流，从亚马逊产品页面（Apple AirTag）提取数据并生成产品摘要。
步骤 1：设置您的 Dify 账户
要开始使用，您需要一个 Dify 账户。如果您还没有，可以免费注册。账户设置完成后，您就可以开始构建第一个无代码人工智能工作流程。
步骤 2：在 Dify 中安装 Bright Data 插件
下一步是将 Bright Data 插件与 Dify 集成。该插件将允许你使用 Bright Data 的代理和抓取工具从网站抓取数据。以下是操作方法：
- 从官方 Dify 仓库下载 Bright Data 插件包。
- 进入 Dify 工作区，选择 "插件"。
- 点击 "从本地软件包文件安装 "并上传下载的插件包。
- 安装插件后，您就可以在 Dify 中使用 Bright Data 强大的搜索工具。
第 3 步：在 Dify 中创建新工作流程
现在，您已经设置了 Dify 并安装了 Bright Data 插件，是时候创建网络刮擦工作流程了。请按照以下步骤操作：
- 进入 Dify 工作区，选择 "从空白创建"，开始新的工作流程。
- 选择 "工作流程 "作为类型，然后点击 "创建"。
第 4 步：配置网络抓取节点
Dify 的可视化界面允许你在工作流程中添加节点，每个节点都有特定的功能。要建立一个网络搜索工作流程，您需要添加以下节点：
启动节点： 在此输入要抓取的产品页面的 URL。
- 选择 "段落 "作为类型，并将其命名为 "product_url"。
- 将 "最大长度 "设置为至少 200，因为这将包含亚马逊产品页面的 URL。
Bright Data Scraper 节点： 该节点将处理刮擦部分，从亚马逊页面提取结构化数据。
- 点击" "按钮添加新节点。
- 选择 "工具" > "Bright Data Web Scraper" > "结构化数据源"。
- 通过输入您的 Bright Data API 密钥来授权该节点。
- 将 "目标 URL "字段设置为 "product_url "变量。
LLM 节点： 该节点将处理结构化数据并生成产品摘要。
- 点击" "按钮，添加一个 LLM 节点。
- 选择一个模型（如 OpenAI GPT）并添加提示，指示 LLM 生成产品摘要。
终端节点： 该节点将输出最终产品摘要。
- 将输出变量设置为 LLM 节点生成的文本。
第 5 步：运行工作流程
设置好工作流程后，就可以运行它来搜索数据并生成产品摘要。具体操作如下
- 在 "product_url "字段中添加亚马逊产品页面的 URL。
- 单击 "开始运行 "启动程序。
- 工作流程将抓取产品页面、处理数据并生成摘要，摘要将在 "结果 "选项卡中提供。
步骤 6：查看结果
网络搜索的结果将包括一份简明的产品摘要，其中包括产品名称、主要功能、评级以及关于产品适用人群的结论。下面是一个结果示例：
产品名称:苹果 AirTag
摘要:使用 Apple AirTag 与您的贵重物品保持联系。这款小巧时尚的追踪器能帮助你使用 iPhone 或 iPad 找到钥匙、钱包和行李等个人物品。
主要功能
- 通过 "查找我的应用 "与 iPhone 或 iPad 一键设置。
- 采用超宽带技术进行精确查找。
- 最多可与五人共享。
- 内置扬声器，便于定位跟踪。
- 防水（IP67），可更换电池。
结论
在 Dify 中创建无代码网络刮擦工作流程是自动提取有价值网络数据的强大方法。通过将 Dify 与 Bright Data 的刮擦工具集成，您可以克服网络刮擦的技术挑战，无需编写任何代码即可访问高质量的实时数据。
无论您是要跟踪竞争对手的价格、收集产品信息还是进行情感分析，Dify 和 Bright Data 都能提供完美的工具来简化您的工作流程并增强人工智能驱动的应用程序。
