N8N: веб-скрейпинг без кода, упрощённый благодаря извлечению данных с помощью ИИ
В этой статье я покажу вам, как использовать N8N для автоматизации извлечения данных, экономя ваше время и силы. Вы узнаете, как легко собирать данные, отслеживать тренды и оставаться впереди конкурентов без лишней возни с кодом!
Зачем использовать N8N для веб-парсинга?
Прежде чем перейти к практическим шагам настройки N8N для Веб-скрейпинг и автоматизация:, давайте разберемся, почему N8N так меняет правила игры в автоматизации сбора данных:
- No-Code Platform: N8N позволяет строить сложные рабочие процессы с помощью визуального интерфейса. Вы просто перетаскиваете узлы, чтобы создать рабочий процесс, что делает его идеальным для людей без навыков программирования.
- Scalable Automation: После настройки рабочего процесса вы сможете масштабировать его на несколько сайтов и точек данных, обеспечивая непрерывное и эффективное извлечение данных.
- AI-Powered Web Scraping: Сочетание N8N с ИИ-инструментами вроде Bright Data обеспечивает высокую точность извлечения данных, поскольку ИИ обрабатывает такие элементы, как динамический контент, и обходит антибот-защиту. Нужен готовый к использованию ИИ-скрапер? Посмотрите мой список лучшие ИИ-скрейперы.
- Easy Integration: N8N легко интегрируется с Bright Data API, что упрощает автоматизацию веб-скрейпинга без сложной настройки.
Настройка N8N для веб-скрейпинга: 2 быстрых шага
Чтобы начать использовать N8N, вам понадобятся два необходимых компонента:
- N8N Account: Вы можете зарегистрировать бесплатный аккаунт N8N, который предлагает щедрый бесплатный тариф, чтобы начать работу.
- API-ключ Bright Data: Bright Data - это инструмент для веб-парсинга на базе ИИ, который обходит большинство механизмов защиты сайтов, включая CAPTCHA и другие антибот-механизмы. Он предоставляет 1 000 бесплатных API-вызовов, чтобы вы могли протестировать его и поэкспериментировать с рабочим процессом.
Let’s go through the process step-by-step.
Шаг 1: Создайте аккаунт N8N
Сначала откройте раздел n8n.io и нажмите кнопку «Начать бесплатно». После регистрации вы попадете на холст рабочего процесса N8N, который является сердцем процесса автоматизации. Здесь вы будете создавать свой workflow, перетаскивая и соединяя узлы. Код писать не нужно!
Шаг 2: Получите API-ключ Bright Data
Чтобы извлекать данные с сайтов, вам понадобится API-ключ Bright Data. После регистрации на сайте Bright Data перейдите в панель управления и скопируйте API-ключ. Этот ключ позволит вам получить доступ к сервисам скрейпинга и обходить такие препятствия, как CAPTCHAs и другие системы обнаружения ботов. Этот API-ключ понадобится вам на следующих шагах.
Создание первого workflow для веб-скрейпинга в N8N
Когда вы настроили учетные записи, пора приступать к созданию автоматизации веб-парсинга.
Шаг 1: Создайте новый рабочий процесс в N8N
Когда вы окажетесь на панели управления N8N, нажмите «Начать с нуля», чтобы создать новый workflow. Это откроет холст рабочего процесса, где вы будете добавлять разные узлы, чтобы задать процесс сбора данных.
Шаг 2: Добавьте узел Manual Trigger
Первый узел, который вам понадобится, — узел «Manual Trigger». Он позволит вручную запускать рабочий процесс, когда вы будете готовы. Это удобно для тестирования, потому что вы контролируете, когда начинается скрейпинг. Чтобы добавить его, нажмите кнопку « », найдите «Manual Trigger» и перетащите его на холст.
Шаг 3: Добавьте узел HTTP Request
Затем добавьте узел «HTTP Request». Этот узел отвечает за фактический запрос к API для веб-парсинга (в данном случае Bright Data). После подключения его к узлу Manual Trigger щелкните узел HTTP Request и настройте его.
В настройках выберите метод «GET», а в поле URL введите:
https://app.Bright Data.com/api/v1/
Для аутентификации выберите «None». Чтобы запрос заработал, вам нужно добавить четыре query-параметра:
- api_key: [YOUR_Bright Data_API_KEY]
- url: The URL of the website you want to scrape (e.g., https://brightdata.com/blog).
- ai_query: Это описание данных, которые вы хотите извлечь с помощью Bright Data, например «Извлечь заголовки H1 и ссылки на отдельные записи блога».
- ai_extract_rules: Здесь вы зададите конкретные данные, которые хотите извлечь. Например:
{
"h1_heading": {"type": "string", "описание": «Основной H1-заголовок страницы блога»},
"blog_post_links": {"type": "list", "описание": "URL-адреса, ведущие на отдельные записи блога на этом сайте"}
}
Шаг 4: Добавьте узел Code для обработки данных
Теперь добавьте узел «Code» для обработки собранных данных. Здесь вы сможете преобразовать данные перед тем, как они перейдут на следующий этап.
Получайте истории Data Journal на свою почту
Нажмите на узел Code и добавьте следующий JavaScript:
// Extract the response from Bright Data
const response = $input.первый().json;
const blogPostLinks = response.blog_post_links || [];
консоль.журнал(«H1 главной страницы:», response.h1_heading);
консоль.журнал(`Found ${blogPostLinks.length} ссылки на записи блога`);
// Filter for actual blog post URLs and take the first 5
const linksToScrape = blogPostLinks
.filter(link => link.includes('/blog/') && !link.includes('#'))
.slice(0, 5);
консоль.журнал(«Записи блога, которые мы будем собирать:», linksToScrape);
// Convert relative URLs to full URLs
возврат linksToScrape.map(link => {
const fullUrl = link.startsWith('http') ? link : `https://www.Bright Data.com${link}`;
возврат { url: fullUrl, type: 'blog_post' };
});
Этот код извлечет ссылки на записи блога из ответа Bright Data, отфильтрует ненужные ссылки и преобразует относительные URL-адреса в полные URL-адреса.
Шаг 5: Добавьте второй узел HTTP Request (The Spider)
Чтобы просканировать отдельные записи блога, добавьте второй узел «HTTP Request» после узла Code. Этот узел будет динамически извлекать URL отдельных записей блога.
Настройте этот узел следующим образом:
- Method: GET
- URL: https://app.brightdata.com/api/v1/
Query Parameters:
- api_key: [YOUR_Bright Data_API_KEY]
- url: {{ $json.url }} (This dynamically uses the URLs output by the Code node)
- ai_query«Извлечь основной H1-заголовок из этой записи блога»
- ai_extract_rules: {“h1_title”: {“type”: “string”, “description”: “The main H1 heading of this blog post”}}
Шаг 6: Проверьте рабочий процесс веб-парсинга
Теперь, когда рабочий процесс настроен, пора его протестировать. Нажмите кнопку «Execute Workflow», чтобы запустить процесс скрейпинга. Вы увидите, как рабочий процесс выполняет каждый шаг, извлекая данные с главной страницы и из отдельных записей блога.
Шаг 7: Анализ результатов
После запуска рабочего процесса нажмите на каждый узел, чтобы увидеть результаты:
- First HTTP Request: Вы увидите извлечённый заголовок H1 и ссылки на отдельные записи блога.
- Второй HTTP Request (Spider): Вы увидите заголовки H1 из записей блога, которые вы спарсили.
Если всё настроено правильно, вы успешно просканируете несколько страниц и извлечёте заголовки H1 с помощью платформы без кода.
Заключительные слова
Следуя этому руководству, вы собрали мощный, масштабируемый скрапер, который требует минимального обслуживания. Кроме того, его можно настраивать под разные задачи. Независимо от того, крупный у вас проект или небольшой, N8N и Bright Data обеспечивают гибкость и мощность, чтобы сделать веб-скрейпинг простым и эффективным.
