Що таке JS-виклик від Cloudflare і як його пройти

У цій статті я поясню, як Cloudflare як працює JS challenge і, що найважливіше, як можна розв’язати його за допомогою Python. Ми розглянемо базову технологію, мету challenge та запропонуємо рішення, які дадуть змогу без проблем його обійти.

Що таке Cloudflare JS Challenge?

Cloudflare JS challenge — це захід безпеки, який блокує автоматизованих ботів від доступу до вебсайту. Він показує користувачу проміжну (тимчасову) сторінку, де потрібно зачекати кілька секунд, поки браузер виконує JavaScript-файл. Цей файл виконує різні перевірки, щоб переконатися, що відвідувач є легітимним людиною, а не ботом.

Cloudflare використовує цей challenge для виявлення підозрілого трафіку, наприклад вебскрапінгу, DDoS-атаки, або автоматизовані спроби входу. Якщо ваш scraper або бот запускає JS challenge, він застрягне на цій сторінці, що не дасть вам доступу до потрібного контенту.

Хочете дізнатися всі методи обходу Cloudflare? Натисніть тут.

Навіщо Cloudflare використовує JS challenge?

JS challenge від Cloudflare відрізняється від інших механізмів безпеки, як-от CAPTCHAs. Хоча CAPTCHA вимагають від користувача взаємодії із завданням (наприклад, натискання на зображення або введення символів), JS-челендж працює непомітно у фоновому режимі, без будь-якої взаємодії з користувачем. Його основна мета — визначити, чи надходить запит від людини, чи від бота, аналізуючи кілька факторів у фоновому режимі.

До цих факторів належать середовище браузера, поведінка в часі та репутація IP-адреси. Cloudflare заблокує запит і покаже сторінку JS challenge, якщо будь-який із цих факторів здаватиметься незвичним.

Як працює JS Challenge від Cloudflare?

Let’s break down how the Cloudflare JS challenge works in detail. Understanding this will help you find better ways to bypass it.

JavaScript Execution

Коли ви відвідуєте сайт, захищений Cloudflare, сервер вставляє JavaScript-файл у ваш браузер. Цей скрипт має виконатися протягом певного часу, щоб ви отримали доступ до сайту. Поки це відбувається, ваш браузер лишається на проміжній сторінці з повідомленням «Зачекайте хвилинку…».

Скрипт виконує кілька перевірок, щоб з’ясувати, чи поводиться ваш браузер як браузер реального користувача, чи як бот. Наприклад, він може перевіряти, чи підтримує ваш браузер JavaScript, або чи має він специфічні можливості браузера, такі як WebGL і Canvas rendering. Після успішного завершення скрипта ви можете перейти на цільовий вебсайт.

Фінгерпринтинг і аналіз середовища

Поки виконується JavaScript-челендж, Cloudflare сканує середовище вашого браузера, щоб створити fingerprint. Цей цифровий відбиток поєднує багато факторів, які допомагають відрізнити реальних користувачів від ботів.

Ось деякі з факторів, на які звертає увагу Cloudflare:

• User-Agent: Ідентифікатор браузера (наприклад, Chrome, Firefox тощо). Якщо він не відповідає вашій платформі, це може викликати підозру.
• navigator.webdriver: Це вказує, чи запущено браузер під автоматизацією (ознака бота).
• Підтримка Canvas і WebGL: Це конкретні технології, які використовуються для рендерингу графіки в браузері. Відсутня або некоректна підтримка може вказувати на те, що запит не надходить від легітимного браузера.

Якщо Cloudflare виявить будь-яку підозрілу або відсутню інформацію у відбитку вашого браузера, він вважатиме вас ботом і заблокує ваш запит.

Аналіз часу та поведінки

Cloudflare також відстежує вашу поведінку на сторінці. Він перевіряє такі речі:

• Рух миші: Cloudflare може вирішити, що ви бот, якщо ваша миша не рухається.
• Надсилання форм: Якщо ви заповнюєте форму надто швидко, це може викликати підозру.
• Поведінка прокручування: Люди прокручують сторінку з певною швидкістю та нерівномірними рухами, тоді як боти зазвичай прокручують її з постійним темпом.

Ці поведінкові перевірки призначені для імітації реальної поведінки користувача. Якщо ваш скрапер демонструє більш ботоподібні шаблони, він успішно пройде JS-челендж.

Cookies

Once you pass the JavaScript challenge, Cloudflare sets a cookie (like cf_clearance) in your browser. This cookie tells Cloudflare you have been verified and can bypass the challenge for subsequent requests within a specific period.

Якщо cookie відсутній або термін його дії минув, Cloudflare повторно перевірить вас, припускаючи, що ваш запит є підозрілим. Важливо зберігати цей cookie в межах сесії між кількома запитами, щоб уникнути блокування.

IP Reputation

Cloudflare також аналізує вашу IP-адресу. Якщо вашу IP-адресу позначено через підозрілу активність, Cloudflare може заблокувати її, навіть якщо ви пройдете JS challenge. Саме тому деякі вебсайти блокують трафік на основі конкретних IP-адрес або географічних регіонів.

Як розв’язати Cloudflare JS-челендж

Тепер, коли ми розуміємо, як працює JS-виклик Cloudflare, подивімося, як його можна обійти та успішно вебскрапити сайти, захищені Cloudflare.

Спосіб 1: Використовуйте SeleniumBase з Python

Selenium — це популярний інструмент для вебскрапінгу тому що це дає змогу автоматизувати взаємодію з реальним браузером. Однак під час використання його з Cloudflare потрібно бути обережним. За замовчуванням Selenium та інші безголові браузери, як-от Playwright або Puppeteer, можуть спровокувати виявлення ботів Cloudflare, оскільки мають ознаки автоматизації (наприклад, відсутній WebDriver).

Щоб розв’язати цю проблему, ви можете використати SeleniumBaseбібліотека Python, яка розширює можливості Selenium. SeleniumBase може працювати в stealth-режимі, використовуючи Undetected ChromeDriver, що ускладнює Cloudflare виявлення автоматизації.

Покроковий посібник із використання SeleniumBase

Install SeleniumBase:

Спочатку встановіть SeleniumBase, виконавши:

pip3 install seleniumbase

Напишіть свій Python-скрипт:

Тепер ви можете написати Python-скрипт, щоб отримати доступ до сайту, захищеного Cloudflare, і пройти JS-виклик. Ось приклад:

from seleniumbase import Driver
# Initialize the driver with UC mode enabled in GUI mode
driver = Driver(uc=True, headless=False)
# Set the target URL
url = "https://www.scrapingcourse.com/cloudflare-challenge"
# Open the URL using UC mode
driver.uc_open_with_reconnect(url, reconnect_time=6)
# Wait for the challenge to complete
driver.sleep(10)
# Take a screenshot to verify the result
driver.save_screenshot("cloudflare-challenge.png")
# Close the driver
driver.quit()

Що відбувається в скрипті:

• Скрипт запускає справжній браузер у non-headless режимі (це важливо, оскільки headless-браузери можна легко виявити).
• Він використовує Undetected ChromeDriver, щоб обійти виявлення.
• Після того як JavaScript challenge буде розв’язано, робиться знімок екрана, щоб перевірити, що challenge успішно пройдено.

Спосіб 2: Використайте Scraper API (Bright Data)

Зареєструйтеся в Bright Data:

Спочатку зареєструйтеся на Bright Data і отримайте API-ключ.

Напишіть свій Python-скрипт:

Використайте наведений нижче код, щоб обійти Cloudflare JS challenge за допомогою Bright Data:

import requests
url = "https://www.scrapingcourse.com/cloudflare-challenge"
api_key = "<YOUR_BRIGHT_DATA_API_KEY>"
params = {
"url": url,
"apikey": api_key,
"js_render": "true",
"premium_proxy": "true",
}
response = requests.get("https://api.brightdata.com/v1/", params=params)
print(response.text)

Що відбувається в скрипті:

• API-виклик надсилає ваш запит через сервери Bright Data.
• Bright Data обробляє Cloudflare JS challenge, рендерячи JavaScript, змінюючи проксі та підміняючи браузерні відбитки.
• Результатом є повний HTML сторінки, який можна парсити або скрапити за потреби.

Conclusion

JS challenge від Cloudflare може бути справжнім головним болем для вебскраперів, але розуміння того, як він працює, і використання правильних інструментів допоможуть успішно його обійти. Якщо ви оберете SeleniumBase для більшого контролю над своїм середовищем вебскрапінгу або скористаєтеся потужним scraper API, таким як Bright Data, для простішого рішення, ви зможете впевнено проходити захисні механізми Cloudflare.

Пам’ятайте: ключ до подолання Cloudflare JS challenge полягає в тому, щоб ваші запити виглядали максимально схожими на людські. Використання інструментів, які можуть виконувати JavaScript, працювати з браузерними відбитками та керувати сесіями, допоможе вашому вебскраперу пройти перевірку та отримати потрібні дані.