Как использовать ScrapydWeb для управления проектами Scrapy

В этой статье я покажу, как настроить и использовать ScrapydWeb для развертывания пауков, мониторинга их работы и планирования задач из единой панели. От установки до масштабирования проектов — здесь есть все, что нужно, чтобы сделать рабочий процесс более плавным и эффективным.

Что такое ScrapydWeb?

ScrapydWeb - это веб-интерфейс для управления кластерами Scrapyd. Сам Scrapyd - мощный инструмент, который используется для запуска и управления пауками Scrapy в распределенной среде. Пока Scrapyd работает в фоновом режиме, управляя выполнением пауков на разных серверах, ScrapydWeb предлагает удобный интерфейс для взаимодействия с сервером Scrapyd. С помощью ScrapydWeb можно легко отслеживать, контролировать и управлять пауками Scrapy в реальном времени прямо из браузера.

Почему стоит использовать ScrapydWeb?

Хотя CLI-интерфейс Scrapyd полезен, он может быть громоздким, особенно если вы управляете несколькими серверами и пауками. ScrapydWeb дает такие преимущества:

• Централизованное управлениеУправляйте всеми своими проектами Scrapy из единого интерфейса, независимо от того, сколько у вас серверов Scrapyd.
• Мониторинг в режиме реального времени: Просматривайте статусы заданий, журналы и статистику в режиме реального времени непосредственно через веб-интерфейс.
• Планирование: Запланируйте запуск пауков на определенное время и с определенными интервалами.
• Управление несколькими серверами: Управление несколькими узлами (серверами) Scrapyd в рамках одного экземпляра ScrapydWeb.

Ключевые особенности ScrapydWeb

ScrapydWeb предлагает несколько функций, которые упрощают управление проектами Scrapy:

• Мониторинг задач: Просмотр обновлений заданий по скраппингу в режиме реального времени, включая журналы и показатели производительности.
• Управление многоузловым кластером: Управляйте несколькими серверами Scrapyd из одного интерфейса, независимо от того, работают ли они локально или удаленно.
• Запланированные задания по скрапбукингу: Планируйте запуск пауков в определенное время и с определенной частотой.
• Мобильный режимScrapydWeb позволяет управлять серверами с мобильных устройств, делая их доступными в дороге.
• Подробная статистика заданий: Доступ к подробным журналам и статистике для каждого задания, проекта и сервера.
• ОповещенияНастройте уведомления по электронной почте, в Slack или Telegram, чтобы получать оповещения о статусе заданий, ошибках и производительности.

Настройка ScrapydWeb

Прежде чем начать использовать ScrapydWeb, установите Scrapyd и ScrapydWeb в своей системе. Ниже приведено пошаговое руководство, которое поможет начать работу.

Шаг 1: Установите Scrapyd и ScrapydWeb

Для нормальной работы ScrapydWeb требуется Python 3. Убедитесь, что Python установлен в вашей системе, прежде чем начинать.

Чтобы установить Scrapyd, Scrapyd-Client (CLI-инструмент) и ScrapydWeb, используйте pip:

pip3 install scrapyd scrapyd-client scrapydweb

После установки вы можете перейти к следующему шагу.

Шаг 2: Разверните ваш проект Scrapy на Scrapyd

Теперь нужно развернуть ваш проект Scrapy на сервере Scrapyd. Для начала запустите Scrapyd:

scrapyd

По умолчанию Scrapyd работает на порту 6800. Вы можете открыть Scrapyd, перейдя по http://localhost:6800 в вашем браузере.

Далее подключите ваш проект Scrapy к серверу Scrapyd. Откройте файл scrapy.cfg в корневом каталоге вашего проекта и измените его следующим образом:

[настройки]
по умолчанию = product_scraper.settings
[deploy:local]
url = http://localhost:6800/
проект = скребок

Замените product_scraper.settings на настройки вашего проекта Scrapy и убедитесь, что url установлен на адрес сервера Scrapyd (localhost:6800).

Разверните свой проект с помощью Scrapyd-Client:

scrapyd-deploy местный -p scrapy

После развертывания вы должны увидеть ваш проект Scrapy в списке веб-интерфейса Scrapyd (http://localhost:6800/).

Шаг 3: Запустите сервер ScrapydWeb

Чтобы запустить ScrapydWeb, выполните следующую команду:

scrapydweb

Это запустит сервер ScrapydWeb на http://localhost:5000/ по умолчанию. Откройте этот URL в браузере, и вы увидите интерфейс ScrapydWeb.

Шаг 4: Настройте ScrapydWeb

После запуска сервера ScrapydWeb необходимо настроить его на подключение к вашему серверу Scrapyd. Откройте файл scrapydweb_settings_v11.py в корневом каталоге вашего проекта и обновите список SCRAPYD_SERVERS, указав адрес вашего сервера Scrapyd:

SCRAPYD_SERVERS = [
"127.0.0.1:6800",
]

После этого перезапустите сервер ScrapydWeb. Теперь вы можете управлять сервером Scrapyd из интерфейса ScrapydWeb.

Управление несколькими серверами Scrapyd

По мере роста ваших потребностей в сборе данных вам может понадобиться масштабироваться и использовать несколько серверов Scrapyd. ScrapydWeb позволяет легко управлять несколькими серверами в одном месте.

Чтобы настроить другой сервер Scrapyd на другом порту, выполните следующие действия:

Создайте новый файл scrapyd.conf в корневом каталоге второго проекта, указав новый порт (например, 6802):

[scrapyd]
http_port = 6802

Обновите файл scrapy.cfg в новом проекте, чтобы он указывал на этот новый порт:

[настройки]
по умолчанию = product_scraper.settings
[deploy:local]
url = http://localhost:6802/
проект = product_scraper

Разверните новый проект с помощью Scrapyd-Client:

scrapyd-deploy местный -p product_scraper

Обновите файл scrapydweb_settings_v11.py в первом проекте, чтобы добавить новый сервер:

SCRAPYD_SERVERS = [
"127.0.0.1:6800",
"127.0.0.1:6802",
]

Открыв ScrapydWeb, вы увидите оба сервера в списке. Вы сможете управлять пауками и развертывать их на обоих серверах из одного интерфейса.

Запуск и планирование пауков в Scrapy

С помощью ScrapydWeb вы можете легко запускать и планировать задачи пауков на разных серверах.

Управление пауком

Чтобы запустить паука, выполните следующие действия:

1. Откройте ScrapydWeb (http://localhost:5000/) и перейдите в раздел Серверы вкладка.
2. Выберите сервер Scrapyd, на котором расположен нужный проект.
3. Нажмите на кнопку Беги паук Выберите вкладку и выберите паука, которого вы хотите запустить.
4. Вы можете указать дополнительные параметры, такие как User-Agent, cookies и параллелизм, включив соответствующую опцию. настройки и аргументы переключатель.
5. Нажмите Проверьте CMD, а затем нажмите Беги паук чтобы выполнить паука.

В ScrapydWeb вы увидите, как статус паука изменится на «запущен».

Планирование паука

Чтобы запланировать запуск паука на определенное время или интервал:

1. Выберите сервер Scrapyd и проект из списка. Серверы вкладка.
2. Нажмите на кнопку Беги паук Выберите вкладку "Паук" и выберите паука.
3. Переключение на задача таймера переключатель, чтобы установить расписание.
4. Вы можете указать даты начала и окончания работы паука, а также интервал, через который он должен запускаться.
5. Нажмите Проверьте CMD, затем нажмите Добавить задачу чтобы запланировать паука.

Просмотр журналов и статистики паука

ScrapydWeb предоставляет удобный доступ к журналам и статистике пауков. Вы можете отслеживать производительность и состояние своих задач по веб-скрапингу прямо через интерфейс.

Чтобы просмотреть журналы и статистику:

1. 1. Перейдите к Журналы раздел на левой боковой панели.
   2. Выберите проект и паука, которые вы хотите проверить.
   3. Вы увидите журналы работы паука, а также подробную статистику по проползанию.

Мощная альтернатива для скрапинга в масштабах предприятия

Хотя ScrapydWeb отлично подходит для управления кластерами Scrapy на собственном хостинге, иногда вам нужно решение, которое действительно масштабируется, является полностью управляемым и решает такие сложные задачи, как ротация IP-адресов и глобальный геотаргетинг.

Например, однажды мне пришлось собрать тысячи карточек товаров с известной международной торговой площадки, избегая IP-блокировок и обеспечивая качество данных. Используя Bright Data API для скрейпинга, я смог без проблем Ротация IP-адресов, Решение CAPTCHA-задачи извлекать чистые, структурированные данные, не заботясь об инфраструктуре или локальном развертывании. Это сэкономило мне огромное количество времени и позволило полностью сосредоточиться на логике извлечения данных.

Если ваши проекты становятся все сложнее или объемнее, Яркие данные предлагает отличную, надежную альтернативу, которая идеально подходит для крупных, высокочастотных задач скрапбукинга и использования в соответствии с нормативными требованиями.

НЕ СВЯЗАН НИ С ОДНИМ ИЗ УПОМЯНУТЫХ ПРОВАЙДЕРОВ!

Заключение

ScrapydWeb — это удобный инструмент для управления проектами Scrapy и серверами Scrapyd. Он упрощает деплой, мониторинг и планирование пауков с помощью удобного веб-интерфейса. Независимо от того, работаете ли вы с одним сервером или с несколькими, ScrapydWeb поможет отслеживать проекты и обеспечит бесперебойное выполнение задач по скрейпингу.

С ScrapydWeb масштабирование проектов по веб-скрапингу становится намного проще. Мониторинг в реальном времени, возможности планирования и подробные журналы делают его незаменимым инструментом для всех, кто использует Scrapy, экономя время и силы при управлении несколькими серверами и задачами.