如何使用 ChatGPT 自动进行网络抓取？- 数据期刊

在本指南中，我将向您介绍如何使用 ChatGPT 用于网页抓取。我将介绍如何准备网站的 HTML、为 ChatGPT 编写清晰的提示，以及如何使用其功能提取所需的数据。在此过程中，我还会分享一些技巧，帮助你避免在爬取时被拦截。无论你是初学者还是只想实现流程自动化，你都会发现本指南很有帮助。让我们开始使用 ChatGPT 进行网络抓取吧！

什么是网络抓取？

网络抓取从网站中使用自动化脚本或工具提取数据的过程。与手动复制和粘贴信息不同，网络抓取可让你自动化该任务，从而节省时间。

例如，如果您想从网店收集产品数据，网页抓取可以自动收集产品名称、价格和图片等信息。然后，这些数据可以保存为结构化格式，如CSV文件，以便进一步分析。

为什么使用 ChatGPT 进行网络抓取？

ChatGPT 是一种能理解和生成文本的人工智能语言模型。您可以用它来自动执行网络搜索任务，而无需编写复杂的代码。ChatGPT 可以分析 HTML 代码，并根据您的请求生成响应。

使用 ChatGPT 进行网络刮擦的一些好处包括

易于使用:无需学习复杂的编码技术。
灵活性:您可以调整您的提示，以搜索不同类型的数据。
快速设置:您可以在几分钟内开始刮削。

不过，需要注意的是，ChatGPT 有一些局限性，我们稍后会讨论。

准备目标网站的 HTML

在使用 ChatGPT 抓取数据之前，您需要先准备目标网站的 HTML。该 HTML 包含所有网页内容，包括您要抓取的结构和数据。

以下是为网络刮擦准备 HTML 的步骤：

打开目标网站:在浏览器中访问要搜索的网站。
访问开发人员工具:右键单击页面上的任意位置，选择检查或 检查元件.这将打开浏览器的 "开发工具"。
复制 HTML:在 "开发工具 "窗口中找到标签。右键单击并选择
复制 outerHTML

复制整个页面的 HTML。
保存 HTML:打开文本编辑器（如记事本或 VS 代码），粘贴复制的 HTML，并将其保存为 .html 文件。

现在您有了原始的 HTML 文件，可以上传到 ChatGPT 进行抓取。

编写 ChatGPT 提示

从 ChatGPT 中获得良好效果的关键是编写简洁明了的提示。提示是您给 ChatGPT 的指令。它应该包括

您要搜索的数据。
数据在 HTML 中的位置。
任何附加指令，例如以特定格式保存数据。

下面是一个用于搜索产品名称、价格和图片 URL 的提示示例：

提示示例:

我提供了一个网站的原始 HTML。分析并抓取产品名称、价格、链接和图片 URL。去除任何字符编码并提供干净的数据。将提取的数据保存为可下载的 CSV 文件。

写好提示后，请按照以下步骤操作：

上传 HTML 文件:在 ChatGPT 中，单击文本字段左角的加号（）图标，选择要上传的 HTML 文件。
提交提示:在文本字段中粘贴您的提示，然后按进入.

ChatGPT 将处理 HTML 并返回提取的数据。它还允许您将数据下载为 CSV 文件。

ChatGPT 的网络抓取功能

ChatGPT 有几项功能可以让网络刮擦变得更简单、更高效：

提取数据:ChatGPT 可以识别 HTML 中的元素并提取数据，如产品名称、价格和图片。您可以使用特定查询，如

"为产品标题提供 CSS 选择器"。
"从 HTML 中提取价格"

XPath 和 CSS 选择器:您可以要求 ChatGPT 识别页面上特定元素的 XPath 或 CSS 选择器。如果您想锁定特定的数据点（如产品名称或价格），这将很有帮助。

示例:

在以下 HTML 中为产品标题提供 CSS 选择器。

保存数据:ChatGPT 可以 CSV、JSON 或纯文本等不同格式保存刮擦数据。您可以根据自己的需要自定义输出格式。

无代码网络抓取: ChatGPT 可以通过生成代码或提供步骤，帮助你构建无需编写代码的网页抓取器，从各类网站提取数据。

使用 ChatGPT 生成网络抓取代码

如果你想进一步自动化网页抓取流程，可以使用 ChatGPT 生成完整的网页抓取代码。如果你需要抓取多个页面或多个网站，这会特别有用。

例如，您可以要求 ChatGPT 使用以下库生成 Python 代码 Requests 和 BeautifulSoup.下面是一个提示示例：

提示示例:

我已提供该网站的原始 HTML。请使用 Python Requests 和 BeautifulSoup 编写一个网页抓取器，以提取产品名称、价格、产品链接和图片 URL。去除任何字符编码以提供干净的数据。将数据保存为可下载的 CSV 文件。

CSS 选择器

产品名称： .product-name

价格： .product-price

产品链接： li.product > a

图片 URL：.product-image

ChatGPT 会生成 Python 代码，你可以在本地环境中运行。代码将根据提供的选择器提取数据，并将其保存到 CSV 文件中。

Python 代码示例:

import os
import csv
from bs4 import BeautifulSoup
# 加载 HTML 文件
html_file_path = "data/web.html"
with open(html_file_path、 "r", encoding="utf-8") as 文件：
soup = BeautifulSoup(file、 "html.parser")
# 提取产品数据
products = []
for product in soup.select("li.product"):
name = product.select_one(".产品名称")
price = product.select_one(".产品价格")
link = product.select_one("a")["href"] if product.select_one("a") else ""
image = product.select_one(".产品图像")
products.append([name.text.strip() if name else "", price.text.strip() if price else "", link.strip(), image["src"].strip() if image else ""])
# 保存为 CSV
csv_file_path = "数据/产品.csv"
with open(csv_file_path、 "w", newline="", encoding="utf-8") as csv_file：
writer = csv.writer(csv_file)
writer.writerow(["产品名称", "Price", "产品链接", "图像 URL"])
writer.writerows(products)
print(f "保存 CSV 文件： {csv_file_path}")

使用 ChatGPT 进行网络抓取的技巧

明确具体:您的提示越具体，结果就越好。请务必提及您要搜索的准确数据，并提供明确的说明。
处理动态内容:某些网站使用 JavaScript 动态加载数据。除非您使用无头浏览器或 API 等其他工具，否则 ChatGPT 可能很难从这些网站上抓取数据。
使用代理:如果您要搜索多个网页，请考虑使用代理服务器以避免被阻止。许多网站都有反僵尸措施，可以检测并阻止刮擦尝试。
尊重网站政策:经常检查网站的 robots.txt 文件和服务条款确保允许刮擦. 未经授权的抓取可能导致法律问题或被禁止访问该网站。

如何避免在抓取时被封锁

刮擦网站时常见的一个难题是被拦截。为了避免这种情况

使用旋转代理:代理可以让你隐藏自己的 IP 地址。轮流使用代理服务器可以帮助你搜索网站而不被屏蔽。工具，如 Bright Data 提供旋转代理和验证码绕过解决方案。
限额申请频率:避免在短时间内发送过多请求。放慢搜索速度，模仿人类的浏览行为。
使用用户代理轮换:网站通常会跟踪您的 User-Agent（浏览器），以检测刮擦机器人。您可以旋转 User-Agent 字符串以避免被检测到。

用于网络抓取的 ChatGPT 的局限性

虽然 ChatGPT 是一款功能强大的工具，但它也有一些局限性：

有限的分页处理:如果网站有多个页面，您可能需要手动下载每个页面并重复这一过程。
潜在的不准确之处:ChatGPT 可能会出错，尤其是在处理复杂网站或网站布局最近发生变化时。
处理动态内容:动态加载内容（如通过 JavaScript）的网站可能对 ChatGPT 的准确搜刮构成挑战。
反僵尸措施:许多网站都使用验证码等反机器人措施。 IP 禁止.仅靠 ChatGPT 无法绕过这些保护。

结论

ChatGPT 提供了一种简单且高效的方式来自动化网页抓取。按照上述步骤，你可以以最少的努力从网站抓取数据。然而，要注意其中涉及的局限性和挑战，例如处理动态内容和反机器人措施。如果你需要进行大规模抓取，将 ChatGPT 与 Bright Data 和 Oxylabs 等工具结合使用可以帮助你绕过反爬措施并更有效地搜索网站。