Веб-скрапинг с помощью Scrapling: руководство 2026 года

Что такое Scrapling?

Нажмите Enter или щелкните, чтобы просмотреть изображение в полном размере

Scrapling — это Python-библиотека с открытым исходным кодом для эффективного веб-скрейпинга, обладающая уникальной способностью к адаптации. В отличие от более старых библиотек, таких как BeautifulSoup, Scrapling может автоматически адаптироваться к небольшим изменениям HTML с помощью встроенных алгоритмов сходства. У него есть собственный быстрый движок парсинга, который превосходит большинство Python-библиотек для скрапинга.

Scrapling поддерживает скрейпинг динамического контента с помощью Playwright для рендеринга JavaScript реализован через несколько классов fetcher, каждый из которых оптимизирован под разные сценарии. Он включает расширенные возможности stealth-режима, используя модифицированный Firefox для обхода сложных антибот-защит.

Ключевые особенности Scrapling

• Адаптивные селекторы: автоматически находят элементы заново при изменении структуры HTML с помощью интеллектуальных алгоритмов сходства
• Несколько классов fetcher: выберите между Fetcher (HTTP), DynamicFetcher (Playwright Chromium), и StealthyFetcher (модифицированный Firefox с расширенным stealth-режимом)
• Связывание селекторов: объединяйте CSS- и XPath-селекторы без циклов
• Управление сессиями: постоянные сессии с FetcherSession, DynamicSession, и StealthySession classes
• Поддержка async: полная поддержка async во всех fetcher'ах со специальными классами async-сессий
• Интеграция регулярных выражений: встроенная поддержка regex с re() и re_first() methods
• CLI-утилита: интерфейс командной строки с интерактивной оболочкой для быстрой разработки
• Высокая производительность: оптимизированная работа, а бенчмарки показывают, что в некоторых операциях Scrapling в 698 раз быстрее BeautifulSoup.

Как выполнять веб-скрейпинг с помощью Scrapling?

Готовы освоить современный веб-скрейпинг? Узнайте, как использовать Scrapling, чтобы легко извлекать данные, адаптироваться к изменениям сайта и оставаться незамеченным.

Пререквизиты

• Python 3.10 or newer
• Scrapling установлен

Установка

Начнем с v0.3.2, Scrapling использует модульный подход к установке:

Базовая установка (только парсер, без модулей извлечения данных):

pip install scrapling

Установка с fetchers и браузерными зависимостями:

pip install "scrapling[fetchers]"
scrapling install

Сайт scrapling install Команда загружает все браузеры вместе с системными зависимостями и инструментами для подмены браузерного отпечатка.

Установите все (fetchers, ИИ-функции, CLI-инструменты):

pip install "scrapling[all]"
scrapling install

Шаг 1: Получите HTML со страницы

Начните с проверки, может ли Scrapling получить доступ к нужному сайту. Используйте Fetcher class for HTTP requests:

с сайта scrapling.fetchers импорт Fetcher
page = Fetcher.get("https://www.scrapingcourse.com/ecommerce/")
печать(page.status)  # Should print: 200
печать(page.html_content)

Если все пройдет успешно, вы увидите HTTP-код ответа 200 и полный HTML веб-страницы.

Шаг 2: Извлеките данные о товарах с помощью CSS-селекторов

Scrapling может автоматически подстраиваться под небольшие изменения верстки с помощью адаптивных селекторов, но эта функция по умолчанию отключена.

Сначала изучите элементы товара в DevTools. Для этого сайта:

• Названия товаров находятся в h2.woocommerce-loop-product__title
• Цены в .price
• Изображения в .woocommerce-LoopProduct-link img

с сайта scrapling.fetchers импорт Fetcher
page = Fetcher.get("https://www.scrapingcourse.com/ecommerce/")
# Extract product data
names = page.css("h2.woocommerce-loop-product__title")
prices = page.css(".price")
images = page.css(".woocommerce-LoopProduct-link img")
данные о продукте = []
для название, цена, изображение в zip(названия, цены, изображения):
    # Use regex to extract just the price number
    price_value = price.re_first(r'[d.,] ')
    
    data = {
        "имя": name.text,
        "цена": f"${price_value}",
        "изображение": image.attrib["src"],
    }
    product_data.append(data)
печать(product_data)

Чтобы включить адаптивные селекторы (отслеживает элементы даже после обновлений сайта):

# Enable adaptive globally
Fetcher.adaptive = True
page = Fetcher.get("https://www.scrapingcourse.com/ecommerce/")
# Save element properties for future adaptation
names = page.css(".product-name", auto_save=True)
# Later, when the site structure changes, use adaptive mode
names = page.css(".product-name", adaptive=True)  # Scrapling finds them even if CSS changed!

Шаг 3: включите режим Stealth Mode

Многие сайты используют антибот-инструменты вроде Cloudflare, чтобы блокировать скраперы. У Scrapling StealthyFetcher использует модифицированный браузер Firefox с продвинутой подменой браузерного отпечатка.

Use StealthySession или StealthyFetcher с headless=True flag:

с сайта scrapling.fetchers импорт StealthyFetcher
# One-off request (opens and closes browser)
page = StealthyFetcher.fetch(
    "https://www.scrapingcourse.com/cloudflare-challenge/",
    headless=Правда
)
печать(page.status)

Для нескольких запросов используйте `session`, чтобы держать браузер открытым:

с сайта scrapling.fetchers импорт StealthySession
# Keep browser open for multiple requests
с StealthySession(headless=Правда) в роли session:
    page = session.fetch("https://www.scrapingcourse.com/cloudflare-challenge/")
    печать(page.html_content)

Примечание: Сайт solve_cloudflare параметр доступен, но его следует использовать осторожно в зависимости от конкретного типа защиты Cloudflare.

Практический пример: сбор данных из e-commerce

Вот готовый скрапер с обработкой ошибок:

с сайта scrapling.fetchers импорт Fetcher
page = Fetcher.get("https://www.scrapingcourse.com/ecommerce/")
если page.status != 200:
    печать(f"Failed to fetch page: {page.status}")
    exit()
names = page.css("h2.woocommerce-loop-product__title")
prices = page.css(".price")
images = page.css(".woocommerce-LoopProduct-link img")
данные о продукте = []
для название, цена, изображение в zip(names, prices, images):
    price_value = price.re_first(r'[d.,] ')
    
    data = {
        "имя": name.text,
        "цена": f"${price_value}",
        "изображение": image.attrib["src"],
    }
    product_data.append(data)
для продукт в product_data:
    печать(товар)

Структура вывода:

[
    {"имя": "Abominable Hoodie", "цена": "$69.00", "изображение": "https://...jpg"},
    {"имя": "Artemis Running Short", "цена": "$45.00", "изображение": "https://...jpg"}
]

Ограничения Scrapling

Scrapling хорошо подходит для скрейпинга малого и среднего масштаба, но он упирается в ряд ограничений:

• Встроенная ротация прокси отсутствует: Нет нативной поддержки ротируемых прокси или автоматического геотаргетинга
• Высокая ресурсоемкость при браузерном скрейпинге: DynamicFetcher и StealthyFetcher используются экземпляры браузера, которые потребляют значительный объем памяти
• Адаптивную функцию нужно включать вручную: Адаптивная функция по умолчанию отключена и требует явной настройки
• No Scaling Infrastructure: Вам придется самостоятельно управлять параллельностью, повторными попытками и распределенным сбором данных
• В адаптивном режиме используется только первый элемент: При сохранении адаптивных данных сохраняются только свойства первого элемента

Совет по масштабированию: используйте Bright Data для управления прокси-серверами

Чтобы обойти ограничение Scrapling в части прокси, интегрируйте его с сервисом вроде Яркие данные или Oxylabs. Такие провайдеры обычно предлагают резидентские прокси, ротация IP-адресов, а также геотаргетингом. Я НЕ связан ни с одним из этих брендов!

Пример с FetcherSession:

с сайта scrapling.fetchers import FetcherSession
proxies = {
    "http": "http://username:[email protected]:22225",
    "https": "http://username:[email protected]:22225",
}
с FetcherSession() в роли session:
    page = session.получить(
        "https://www.scrapingcourse.com/ecommerce/",
        proxies=proxies
    )
    print(page.html_content)

Вам понадобится аккаунт с корректными учетными данными. Эта интеграция помогает избежать банов по IP и собирать данные в больших объемах.

Лучшие практики работы с Scrapling

Включайте адаптивные селекторы при необходимости: Используйте auto_save=True для критически важных селекторов, которые могут перестать работать после обновления сайта

Выберите подходящий fetcher:

• Fetcher для статических сайтов (самый быстрый вариант)
• DynamicFetcher для сайтов с интенсивным использованием JavaScript и базовой защитой
• StealthyFetcher для сайтов с продвинутыми антибот-системами

Используйте сессии для нескольких запросов: Переиспользуйте экземпляры браузера с классами сессий, чтобы снизить накладные расходы

Rotate Proxies: Избегайте блокировок IP при крупномасштабных операциях

Add Rate Limiting: Используйте time.sleep() или системы очередей для ограничения частоты запросов

Leverage Built-in Regex: Используйте .re() и .re_first() методы точного извлечения данных

Handle Errors Gracefully: Всегда проверяйте статус ответа и обрабатывайте исключения

Используйте async для конкурентного выполнения: Используйте AsyncFetcher и async-сессии для параллельных запросов

Заключение

Scrapling предлагает более чистый и устойчивый способ создавать скрейперы в 2025 году. Его адаптивные селекторы и несколько способов извлечения данных делают его идеальным для сайтов от простых статических страниц до ресурсов с продвинутой защитой от ботов. Однако это не панацея: для крупномасштабных операций по-прежнему нужна внешняя инфраструктура, такая как ротация прокси и распределенные системы.

Используйте Scrapling вместе с Bright Data или любой другой высококачественные ротируемые прокси, и у вас будет мощная конфигурация, способная справляться с большинством задач скрейпинга без постоянного обслуживания. Модульная архитектура библиотеки (начиная с v0.3.2) означает, что вы устанавливаете только то, что вам нужно, а покрытие тестами на 92% обеспечивает надежность.

Есть вопросы ко мне? Напишите в комментариях!