如何将数据从网站抓取到 Excel

在本指南中，我将向您介绍以下基础知识网络抓取使用简单的方法和易懂的说明。无论你是初学者还是需要温故知新，本指南都能让你迅速从零开始成为英雄。现在，让我们开始直接从网站上获取数据，并将其输入到你的 Excel 表中！

什么是网络抓取？

网页抓取是一种从网站提取非结构化数据并将其转换为结构化格式的方法。这种结构化数据非常适合用于分析、研究或训练人工智能模型。

如果需要将数据从网站导入 Excel，复制和粘贴似乎是最简单的方法。但这往往不是最好的选择。数据格式通常不正确，修复起来可能要花费很多时间。

与其手动从每个页面复制和粘贴数据，不如使用网页抓取工具。这些工具可在几秒钟内将网站的非结构化数据转化为结构化的 Excel 格式，从而节省你的时间和精力，让整个流程变得更轻松。借助网页抓取，你可以快速高效地获取所需数据，以便进行任何分析或项目。

将数据抓取到 Excel 的方法

现在，我们来讨论将网页数据抓取到 Excel 的最简单且最流行的方法。

1.手动复制粘贴

这种方法是手动从网页上复制数据并粘贴到 Excel 中。这种方法简单但耗时且容易出错，适合一次性任务。

2.自动网络抓取工具

顶级网络搜索工具可以自动抓取网站数据并将其转换为 Excel 格式。具体方法如下：

插入 URL:将网站 URL 粘贴到工具中。
抓取和下载:点击刮取数据并下载 Excel 文件。
自动化:设置工作流程，使刮擦过程自动化。

3.使用 Excel VBA

Excel VBA（Visual Basic for Applications）可以自动化网页抓取。这里有一个基本示例：

Sub ScrapeWebsite()
声明变量
Dim objHTTP As New WinHttp.WinHttpRequest
Dim htmlDoc As New HTMLDocument
Dim htmlElement As IHTMLElement
Dim url As String
设置要抓取的 URL
url = "https://www.example.com"
'向 URL 发送请求
objHTTP.Open "GET", url、 False
objHTTP.send
解析 HTML 响应
htmlDoc.body.innerHTML = objHTTP.responseText
'遍历 HTML 元素并提取数据'
For Each htmlElement In htmlDoc.getElementsByTagName("td")
Debug.Print htmlElement.innerText
Next htmlElement
End Sub

这种方法需要修改 URL 并运行宏来提取数据。

4.使用 Excel Power Queries

Excel Power Query 可以导入并转换网页数据：

新工作手册:创建新工作簿。
获取数据:转到数据 > 获取和转换 > 从网络。
粘贴 URL:插入网站 URL。
载荷数据:选择并将数据载入 Excel。

5.使用 Python

Python 提供了强大的网络刮擦库，如 BeautifulSoup 和 Selenium。使用 Python 进行网络搜索被认为是最简单的。下面是简要介绍：

Requests:简化 HTTP 请求。
BeautifulSoup:解析 HTML 和 XML 文档。
Selenium:自动进行浏览器交互。

这是一个使用 BeautifulSoup 的基本 Python 示例：

import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup（response.text、 html.parser)
data = []
for item in soup.find_all(td):
data.append(item.get_text())
df = pd.DataFrame(data, columns=[)列1])
df.to_excel('output.xlsx', index=False)