Cloudflare JS 挑战：如何运作和如何解决

在本文中，我将介绍 Cloudflare JS 挑战的工作原理，最重要的是，您如何使用 Python 解决它。我们将探讨底层技术、挑战的目的，并提供能让您顺利绕过挑战的解决方案。

什么是 Cloudflare JS 挑战赛？

Cloudflare JS 挑战是一种阻止自动机器人访问网站的安全措施。它会向用户展示一个临时页面，用户必须在浏览器运行 JavaScript 文件时等待几秒钟。该文件会执行各种检查，以验证访问者是合法的人类用户，而不是机器人。

Cloudflare 利用这一挑战来检测可疑流量，如网络搜刮、 DDoS 攻击或自动登录尝试。如果您的刮擦器或机器人触发了 JS 挑战，它就会停留在此页面上，阻止您访问所需的内容。

想了解所有 Cloudflare 旁路方法？ 点击此处.

Cloudflare 为什么使用 JS Challenge？

Cloudflare 的 JS 挑战与其他安全措施不同，例如 验证码.验证码要求用户与谜题进行交互（如点击图像或输入字符），而 JS 挑战则在后台默默工作，无需用户进行任何交互。它的主要目的是通过分析幕后的几个因素来确定请求是来自人类还是机器人。

这些因素包括浏览器环境、计时行为和 IP 信誉。如果这些因素中有任何异常，Cloudflare 将阻止请求并显示 JS 挑战页面。

Cloudflare JS 挑战赛如何运作？

让我们来详细分析 Cloudflare JS 挑战的工作原理。了解这一点将有助于你找到更好的方法绕过它。

JavaScript 执行

当您访问受 Cloudflare 保护的网站时，服务器会在您的浏览器中注入一个 JavaScript 文件。您必须在一定时间内执行该脚本才能访问网站。在此过程中，您的浏览器会停留在插页上，显示 "稍等...... "的信息。

脚本会执行多项检查，以确定浏览器的行为是像真实用户还是机器人。例如，它可能会检查浏览器是否支持 JavaScript，或是否具有 WebGL 和画布渲染等特定浏览器功能。一旦脚本成功完成，您就可以继续访问目标网站。

指纹识别和环境分析

当 JavaScript 挑战运行时，Cloudflare 会扫描您的浏览器环境以创建一个 指纹.这种指纹结合了多种因素，有助于区分真实用户和机器人。

Cloudflare 考虑的一些因素包括

• 用户代理： 浏览器的标识（如 Chrome、Firefox 等）。如果这与您的平台不符，就会引起怀疑。
• navigator.webdriver： 这表明浏览器是否在自动化环境下运行（僵尸的标志）。
• 支持画布和 WebGL 这些是用于在浏览器中呈现图形的特定技术。缺少或不正确的支持可能表明请求并非来自合法的浏览器。

如果 Cloudflare 在您的浏览器指纹中检测到任何可疑或丢失的信息，它就会认为您是一个僵尸，并阻止您的请求。

时间和行为分析

Cloudflare 还会监控您在页面上的行为。它会检查以下事项

• 鼠标移动： 如果你的鼠标不动，Cloudflare 可能会认为你是个机器人。
• 提交表格： 如果您填写表格的速度太快，可能会引起注意。
• 滚动行为： 人类会以一定的速度和不规则的动作滚动，而机器人则倾向于以恒定的速度滚动。

这些行为检查旨在模拟实际用户行为。如果您的刮擦器表现出更多类似于机器人的模式，那么它将在 JS 挑战中取得成功。

Cookies

一旦您通过 JavaScript 挑战，Cloudflare 就会在您的浏览器中设置一个 cookie（如 cf_clearance）。此 Cookie 会告诉 Cloudflare 您已通过验证，并可在特定时间内绕过后续请求的挑战。

如果 cookie 丢失或过期，Cloudflare 会认为您的请求可疑，重新向您发出挑战。在多个请求中使用此 cookie 保持会话非常重要，以免被阻止。

IP 信誉

Cloudflare 还会查看您的 IP 地址。如果您的 IP 已被标记为可疑活动，Cloudflare 可能会阻止它，即使您通过了 JS 挑战。这就是一些网站根据特定 IP 地址或地理区域阻止流量的原因。

如何解决 Cloudflare JS 挑战

既然我们已经了解了 Cloudflare JS 挑战的工作原理，下面我们就来看看如何绕过它，成功地刮擦受 Cloudflare 保护的网站。

方法 1：将 SeleniumBase 与 Python 结合使用

硒是 热门网络抓取工具 因为它允许您自动与真实浏览器进行交互。不过，在 Cloudflare 中使用它时，您需要小心谨慎。默认情况下，Selenium 和其他无头浏览器（如 Playwright 或 Puppeteer）会触发 Cloudflare 的僵尸检测，因为它们会显示自动化迹象（如丢失 WebDriver）。

为了解决这个问题 您可以使用 SeleniumBaseSeleniumBase 是一个 Python 库，可扩展 Selenium 的功能。SeleniumBase 可使用未检测到的 ChromeDriver 以隐身模式运行，从而使 Cloudflare 更难检测到自动化。

使用 SeleniumBase 的分步指南

安装 SeleniumBase：

首先，运行 SeleniumBase 安装程序：

pip3 install seleniumbase

编写你的 Python 脚本

现在，您可以编写 Python 脚本来访问受 Cloudflare 保护的网站，并解决 JS 挑战。下面是一个示例：

from seleniumbase import Driver
# Initialize the driver with UC mode enabled in GUI mode
driver = Driver(uc=True, headless=False)
# Set the target URL
url = "https://www.scrapingcourse.com/cloudflare-challenge"
# Open the URL using UC mode
driver.uc_open_with_reconnect(url, reconnect_time=6)
# Wait for the challenge to complete
driver.sleep(10)
# Take a screenshot to verify the result
driver.save_screenshot("cloudflare-challenge.png")
# Close the driver
driver.quit()

剧本中发生了什么？

• 脚本以非无头模式运行真实浏览器（这一点很重要，因为无头浏览器很容易被检测到）。
• 它使用未检测到的 ChromeDriver 来绕过检测。
• JavaScript 挑战一旦解决，就会截图验证挑战是否成功通过。

方法 2：使用 Scraper API（明亮数据）

注册 Bright Data:

首先，注册 Bright Data 并获取 API 密钥。

编写 Python 脚本:

使用以下代码绕过 Cloudflare JS 对 Bright Data 的挑战：

import requests
url = "https://www.scrapingcourse.com/cloudflare-challenge"
api_key = ""
params = {
"url": url、
"apikey": api_key、
"js_render": "true",
"premium_proxy": "true",
}
response = requests.get("https://api.brightdata.com/v1/", params=params)
print(response.text)

剧本中发生的事情:

• API 调用通过 Bright Data 的服务器发送您的请求。
• Bright Data 通过渲染 JavaScript、旋转代理和欺骗浏览器指纹来应对 Cloudflare JS 挑战。
• 结果就是页面的完整 HTML，你可以根据需要对其进行解析或搜刮。

结论

Cloudflare 的 JS 挑战可能会让网络刮擦人员非常头疼，但了解其工作原理并使用正确的工具可以帮助您成功绕过它。无论您是选择 SeleniumBase 对您的刮擦设置进行更多控制，还是使用像 Bright Data 这样功能强大的刮擦 API 来获得更简单的解决方案，您都可以自信地驾驭 Cloudflare 的安全措施。

请记住，解决 Cloudflare JS 挑战的关键在于让您的请求看起来尽可能人性化。使用能够处理 JavaScript 执行、浏览器指纹识别和会话管理的工具将确保您的刮擦工具能够通过挑战并检索到所需数据。