Вебскрапінг із cURL без зайвих зусиль

У 2025 році командний рядок і далі залишається незамінним інструментом для розробників, особливо коли йдеться про вебскрапінг за допомогою cURL. Вебскрапінг за допомогою cURL є простим і потужним. cURL — це безплатний інструмент для командного рядка. Він допомагає мені легко «спілкуватися» з вебсерверами, щоб отримувати дані. Він може виконувати багато завдань, наприклад входити в систему від імені користувача, шукати на динамічних вебсайтах і робити все це з використанням проксі-серверів. Він працює з усіма основними протоколами, такими як HTTP і HTTPS. Я покажу вам, як використовувати cURL, від простих кроків до складніших.

Що таке cURL у вебскрапінгу?

cURL, що розшифровується як «Client URL», — це інструмент, який використовується для передавання даних між вебсерверами. Він працює через різні протоколи, як-от HTTP, HTTPS, і FTP.cURLВін допомагає мені взаємодіяти з вебсерверами за допомогою команд. З cURL я можу надсилати й отримувати дані з вебсайтів через різні протоколи, як-от HTTP і HTTPS. Чи то отримання даних з API, чи віддалене керування файлами, cURL надійний і простий у використанні. Це один із моїх улюблених інструментів, бо він без зусиль справляється з різними завданнями.

Одна з класних речей у cURL — це прості команди. Мені подобається, наскільки легко його використовувати і як його можна застосовувати в багатьох різних сценаріях. Людям він подобається, бо він не складний і його можна налаштовувати під те, що нам потрібно. Це надійний інструмент у моєму наборі для вилучення даних, який допомагає мені з усілякими завданнями, пов’язаними з даними в інтернеті.

Prerequisites

Перш ніж починати вебскрапінг за допомогою cURL, переконайтеся, що він установлений на вашому комп’ютері. Ось як це зробити залежно від вашої операційної системи:

A) Для Linux: Відкрийте термінал і введіть команду:

apt-get install curl

B) Для Mac: Ймовірно, він уже встановлений, але якщо ви хочете найновішу версію, скористайтеся homebrew:

brew install curl

C) Для Windows: Якщо ви користуєтеся Windows 10 або новішою версією, cURL уже має бути там. Але для старіших версій відвідайте офіційний вебсайт, завантажте останню версію й установіть її на свій комп’ютер.

Після встановлення cURL перевірте його, відкривши термінал і ввівши `curl`. Якщо все налаштовано правильно, ви побачите таке повідомлення:

curl: try 'curl - help' або 'curl - manual' for more information

Ось і все! Ви готові почати вебскрапінг за допомогою cURL.

Як користуватися cURL для вебскрапінгу

Щоб надсилати запити за допомогою cURL, введіть `curl` і цільову URL-адресу в терміналі. Це все, що потрібно, щоб почати!

Terminal

curl https://httpbin.org/anything

You’ll immediately see the HTML content of the webpage on your screen.

Щоб робити складніші запити, ви можете додати додаткові параметри перед URL:

{
"args": {},
"data": "",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Host": "httpbin.org",
"User-Agent": "curl/7.86.0",
"X-Amzn-Trace-Id": "Root=1–6409f056–52aa4d931d31997450c48daf"
},
"json": null,
"method": "GET",
"origin": "83.XX.YY.ZZ",
"url": "https://httpbin.org/anything"
}

cURL lets you do more by adding extra options before your target URL. You can use protocols like HTTP, HTTPS, and FTP for data transfer. Simply type ‘curl’ and then put options and the website address.

curl [options] [URL]

Якщо ви хочете надіслати форму, вам потрібно використовувати метод POST, який позначається атрибутом ‘-d’. Наприклад, якщо ви хочете ввести ім’я користувача ‘David’ із паролем ‘abcd’, введіть:

curl -d "user=David&pass=abcd" https://httpbin.org/post

І ось ми починаємо:

{
"args": {},
"data":
11 11
"
"files": {}, "form": {
"pass": "abcd",
"user": "David"
},
"headers": {
"Accept": "*/*".
},
"Content-Length": "20",
"Content-Type":
"application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "curl/7.86.0",
"X-Amzn-Trace-Id": "Root-1–6409f198–2ddef75220b12fb80be07a3b"
},

Вебскрапінг без блокувань

Уникнути блокування під час вебскрапінгу за допомогою cURL може бути непросто. Щоб допомогти з цим, ви навчитеся двом методам: використанню ротаційних проксі та налаштуванню заголовків.

Rotating Proxies

Надсилання великої кількості запитів до вебсайту з однієї й тієї самої IP-адреси за короткий час може видати вас за бота, через що вас можуть заблокувати. Проксі-сервер Проксі може допомогти з цим. Воно працює як посередник, приховуючи вашу справжню IP-адресу та підміняючи її іншою.

Наприклад, ви можете знайти в інтернеті безплатні списки проксі й вибрати IP-адресу, яку використаєте в наступному запиті. Але будьте обережні: у більшості випадків безплатні проксі становлять ризик. Ось як це зробити за допомогою cURL:

curl - proxy <proxy-ip>:<proxy-port> <url>

Replace <proxy-ip> з IP-адресою проксі та <proxy-port> із номером порту. Наприклад:

curl - proxy 198.199.86.11:8080 -k https://httpbin.org/anything

На жаль, інколи використання безплатних проксі може призводити до помилок. Можна зіткнутися з такими проблемами, як “Received HTTP code 500 from proxy after CONNECT.” Щоб обійти це, можна зберігати список проксі у текстовому файлі та використовувати Bash-скрипт, щоб автоматично перевіряти кожен із них. Так ви зможете перемикатися між різними проксі, щоб уникнути блокування.

curl - proxy 8.209.198.247:80 https://httpbin.org/anything\

You can save a bunch of proxy addresses in a text file. Then, you can make a Bash script to test each proxy automatically. Here’s how it works: The script goes through each line in the proxies.txt file. For each line, it sets that line as the proxy for a cURL request.

#!/bin/bash
# Read the list of proxies from a text file
while read -r proxy; do
echo "Тестування проксі: $proxy"
# Make a request through the proxy using cURL
if curl - proxy "$proxy" -k https://httpbin.org/anything
>/dev/null 2>&1; then
curl - proxy "$proxy" -k https://httpbin.org/anything
echo "Успіх! Проксі $proxy works."
else
echo "Не вдалося підключитися до $proxy"
fi
# Wait a bit before testing the next proxy
sleep 1
done < proxies.txt

Якщо запит спрацює і ми зможемо отримати доступ до сайту через проксі, скрипт покаже вміст сайту й зупиниться. Але якщо це не спрацює, ми просто спробуємо наступний проксі зі списку, доки не знайдемо той, що працює.

Безкоштовні пули проксі можуть бути ненадійними. Кращий варіант — взяти преміальний проксі з резидентними IP-адресами. Або знайти простіше рішення, яке візьме на себе керування проксі замість вас.

Add Custom Headers

Коли ви переглядаєте вебсторінки, HTTP-заголовки працюють як цифровий підпис, ідентифікуючи вас на кожній сторінці. Тож навіть якщо ви приховаєте свою IP-адресу, сайти все одно зможуть визначити, що ви бот, якщо не зміните свої заголовки.

Найважливіший заголовок для вебскрапінгу — це рядок User-Agent. Він повідомляє сайтам, який браузер і пристрій ви використовуєте. Ось приклад:

Mozilla/5.0 (Macintosh; Intel Mac OS X 13_2_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.3 Safari/605.1.15

Щоб змінити User-Agent вашого cURL-вебскрапера, використайте параметр ‘-A’ і далі вкажіть потрібний рядок. Наприклад:

curl -A "Mozilla/5.0 (X11; Linux x86_64; rv:60.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" https://httpbin.org/headers

'axios' Випадкова зміна User-Agent може призвести до блокування, оскільки не всі дані збігаються. Щоб уникнути цього, ви можете знайти перелік популярні User-Agent для вебскрапінгу за допомогою cURL.

Conclusion

cURL is super handy for collecting information from websites, whether the tasks are simple or a bit more complicated. However, I’ve noticed that some websites are making it harder to scrape data using just cURL. That’s why I started pairing it with another tool, helping me get around those tougher defenses. This way, I can keep getting the data I need, even when the websites try to stop me. It’s all about finding new ways to stay ahead and collecting valuable information!