N8N: Простий no-code вебскрапінг із вилученням даних за допомогою AI
У цій статті я покажу, як використовувати N8N щоб автоматизувати збір даних, заощаджуючи ваш час і зусилля. Ви навчитеся легко збирати дані, відстежувати тенденції та залишатися попереду конкурентів без жодної мороки з кодом!
Навіщо використовувати N8N для вебскрапінгу?
Перш ніж перейти до практичних кроків із налаштування N8N для вебскрапінгРозгляньмо, чому N8N є таким проривом в автоматизації збору даних:
- No-Code Platform: N8N дає змогу користувачам створювати складні робочі процеси за допомогою візуального інтерфейсу. Ви просто перетягуєте й скидаєте вузли, щоб створити процес, тож це ідеально підходить для людей без знань програмування.
- Scalable Automation: Коли ваш робочий процес налаштовано, ви можете масштабувати його для кількох вебсайтів і різних точок даних, забезпечуючи безперервне й ефективне вилучення даних.
- AI-Powered Web Scraping: Поєднання N8N з інструментами на базі ШІ, як-от Bright Data, забезпечує високу точність екстракції даних, адже ШІ обробляє такі елементи, як динамічний вміст, і обходить антибот-захист. Потрібен готовий до використання ШІ-вебскрапер? Переглянь мій список Найкращі ШІ-вебскрапери.
- Easy Integration: N8N безшовно інтегрується з Bright Data API, що спрощує автоматизацію вебскрапінгу без складних конфігурацій.
Налаштування N8N для вебскрапінгу: 2 швидкі кроки
Щоб почати використовувати N8N, вам потрібні дві основні речі:
- N8N Account: Ви можете зареєструвати безкоштовний обліковий запис N8N, який пропонує щедрий безкоштовний тариф, щоб вам було простіше розпочати.
- API-ключ Bright Data: Bright Data — це інструмент для вебскрапінгу на основі ШІ, який обходить більшість захистів сайтів, зокрема CAPTCHA та інші антибот-механізми. Він надає 1 000 безкоштовних викликів API, щоб ви могли тестувати й експериментувати зі своїм робочим процесом.
Let’s go through the process step-by-step.
Крок 1: Створіть свій обліковий запис N8N
Спочатку перейдіть до n8n.io і натисніть кнопку «Почати безкоштовно». Після реєстрації вас буде перенаправлено на полотно робочого процесу n8n, яке є серцем процесу автоматизації. Саме там ви створюватимете свій робочий процес, перетягуючи та з’єднуючи вузли. Код писати не потрібно!
Крок 2: Отримайте свій API-ключ Bright Data
Щоб вилучати дані з вебсайтів, вам знадобиться API-ключ Bright Data. Після реєстрації на сайті Bright Data перейдіть до своєї панелі керування та скопіюйте API-ключ. Цей ключ дає змогу отримати доступ до сервісів вебскрапінгу та обходиті такі перешкоди, як CAPTCHA або інші системи виявлення ботів. Цей API-ключ знадобиться вам на наступних кроках.
Побудова вашого першого робочого процесу для вебскрапінгу в N8N
Коли ваші облікові записи вже налаштовано, час починати створювати автоматизацію вебскрапінгу.
Крок 1: Створіть новий робочий процес у N8N
Після входу до панелі керування N8N натисніть «Почати з нуля», щоб створити новий робочий процес. Це відкриє полотно робочого процесу, де ви додаватимете різні вузли, щоб налаштувати свій процес вебскрапінгу.
Крок 2: Додайте вузол Manual Trigger
Перший вузол, який вам знадобиться, — це вузол “Manual Trigger”. Він дасть змогу запускати робочий процес вручну, коли будете готові. Це корисно для тестування, оскільки ви контролюєте момент початку вебскрапінгу. Щоб додати його, скористайтеся кнопкою додавання, знайдіть “Manual Trigger” і перетягніть його на полотно.
Крок 3: Додайте вузол HTTP Request
Далі додайте вузол “HTTP Request”. Цей вузол відповідає за надсилання фактичного запиту до API для вебскрапінгу (у цьому випадку Bright Data). Після підключення його до вузла Manual Trigger натисніть на вузол HTTP Request і налаштуйте його.
У налаштуваннях конфігурації виберіть “GET” як метод, а в полі URL введіть:
https://app.Bright Data.com/api/v1/
Для автентифікації оберіть «Немає». Щоб запит працював, вам потрібно додати чотири параметри запиту:
- api_key: [YOUR_Bright Data_API_KEY]
- url: The URL of the website you want to scrape (e.g., https://brightdata.com/blog).
- ai_query: Це опис даних, які має витягти Bright Data, наприклад: “Витягти заголовки H1 і посилання на окремі дописи блогу.”
- ai_extract_rules: Тут ви визначите конкретні дані, які хочете вилучити. Наприклад:
{
"h1_heading": {"type": "string", "description": «Основний заголовок H1 зі сторінки блогу»},
"blog_post_links": {"type": "list", "description": "URL-адреси, що ведуть до окремих дописів блогу на цьому сайті"}
}
Крок 4: Додайте вузол Code для обробки даних
Тепер ви додасте вузол «Code» для обробки даних, зібраних під час вебскрапінгу. Саме тут можна змінювати ці дані перед тим, як вони перейдуть до наступного етапу.
Get Data Journal’s stories in your inbox
Click on the Code node and add the following JavaScript:
// Extract the response from Bright Data
const response = $input.first().json;
const blogPostLinks = response.blog_post_links || [];
console.log("Main page H1:", response.h1_heading);
console.log(`Found ${blogPostLinks.length} blog post links`);
// Filter for actual blog post URLs and take the first 5
const linksToScrape = blogPostLinks
.filter(link => link.includes('/blog/') && !link.includes('#'))
.slice(0, 5);
console.log("Дописи блогу, які ми збиратимемо під час вебскрапінгу:", linksToScrape);
// Convert relative URLs to full URLs
return linksToScrape.map(link => {
const fullUrl = link.startsWith('http') ? link : `https://www.Bright Data.com${link}`;
return { url: fullUrl, type: 'blog_post' };
});
Цей код витягуватиме посилання на дописи блогу з відповіді Bright Data, відфільтровуватиме непотрібні посилання та перетворюватиме відносні URL на абсолютні URL.
Крок 5: Додайте другий вузол HTTP Request (Павук)
Щоб обійти окремі дописи блогу, додайте другий вузол “HTTP Request” після вузла Code. Цей вузол динамічно витягуватиме URL окремих дописів блогу.
Налаштуйте цей вузол так:
- Method: GET
- URL: https://app.brightdata.com/api/v1/
Query Parameters:
- api_key: [YOUR_Bright Data_API_KEY]
- url: {{ $json.url }} (This dynamically uses the URLs output by the Code node)
- ai_query: “Витягніть основний заголовок H1 із цього допису блогу”
- ai_extract_rules: {“h1_title”: {“type”: “string”, “description”: “The main H1 heading of this blog post”}}
Крок 6: Перевірте свій робочий процес вебскрапінгу
Тепер, коли ваш робочий процес налаштовано, настав час протестувати його. Натисніть кнопку «Execute Workflow», щоб запустити процес вебскрапінгу. Ви побачите, як робочий процес послідовно проходитиме кожен крок, витягуючи дані з головної сторінки та окремих записів блогу.
Крок 7: Аналіз ваших результатів
Після запуску робочого процесу натисніть кожен вузол, щоб побачити результати:
- First HTTP Request: Ви побачите витягнутий H1-заголовок і посилання на окремі записи блогу.
- Другий HTTP Request (Spider): Ви побачите заголовки H1 із дописів блогу, які ви зібрали.
Якщо все налаштовано правильно, ви успішно проскануєте кілька сторінок і витягнете H1-заголовки за допомогою no-code-платформи.
Final Words
Дотримуючись цього посібника, ви створили потужний, масштабований вебскрапер, що потребує мінімального супроводу. Крім того, його можна налаштувати під різні потреби. Незалежно від того, великий чи малий ваш проєкт, N8N і Bright Data забезпечують гнучкість і потужність, щоб зробити вебскрапінг простим та ефективним.
