Как задать заголовки Scrapy: пошаговое руководство

Здесь я проведу вас через все, что нужно знать о заголовках Scrapy. Мы разберем, почему они важны, как их можно менять, и дадим несколько простых советов по эффективному использованию. К концу вы будете уверенно работать с заголовками и поддерживать свои проекты по скрейпингу без сбоев. Давайте разберемся!

Почему заголовки Scrapy важны?

HTTP-заголовки — это метаданные, которыми обмениваются клиент (например, браузер или скрапер) и сервер во время запросов и ответов. Они подсказывают серверу, как обработать ваш запрос и что вернуть в ответ. Заголовки критически важны при веб-скрапинге. Серверы часто проверяют их, чтобы понять, исходит ли запрос от реального пользователя или бота.

Scrapy использует заголовки по умолчанию при отправке запросов, но они могут быть проблемными, потому что выдают, что запрос отправлен автоматизированным инструментом. Многие сайты используют антибот-механизмы, которые помечают или блокируют такие запросы. Настройка заголовков позволяет вам:

Имитируйте реальные браузеры: Ваш скрапер будет выглядеть более правдоподобно, если вы зададите заголовки, похожие на заголовки популярных браузеров, таких как Chrome или Firefox.
Управление сессиями: С помощью cookies и других заголовков, связанных с сессией, можно сохранять состояние входа в систему или обходить ограниченные разделы.
Снизить блокировки: Антибот-системы часто анализируют заголовки, чтобы выявлять подозрительную активность. Грамотная настройка снижает риск быть помеченным как подозрительный трафик.
Улучшите получение данных: Некоторые серверы по-разному реагируют в зависимости от заголовков, например отдают контент в определённом формате или с учётом языковых предпочтений.

Типы HTTP-заголовков

HTTP-заголовки в целом делятся на два типа:

Заголовки запросов: Они отправляются клиентом на сервер и включают метаданные вроде типа браузера, языковых предпочтений и информации о реферере.
Заголовки ответа: Отправляется сервером клиенту; включает в себя данные о сервере, типе содержимого и политике кэширования.

Мы в первую очередь рассматриваем заголовки запросов для веб-скрапинга поскольку они влияют на то, как сервер обрабатывает наш запрос.

Заголовки Scrapy по умолчанию

По умолчанию Scrapy отправляет с каждым запросом базовые заголовки, например:

{
"Принять": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "en",
"User-Agent": "Scrapy/2.11.0 (+https://scrapy.org)"
}

В этих заголовках не хватает некоторых критически важных компонентов, которые есть у настоящих браузеров, например:

Референт: Указывает URL, с которого был отправлен запрос.
Сек-Ч-Уа: Указывает сведения о браузере и платформе для большей правдоподобности.
Upgrade-Insecure-Requests: Сообщает серверу, что клиент предпочитает защищённые HTTPS-соединения.

Настройка этих заголовков делает ваши запросы более правдоподобными и снижает вероятность блокировки.

Как настраивать заголовки в Scrapy

Настраивать заголовки в Scrapy просто. Ниже представлены разные способы эффективно изменять заголовки и управлять ими.

Изменение заголовков в settings.py

В файле настроек Scrapy можно задать словарь пользовательских заголовков. Этот способ применяет заголовки ко всем запросам, которые делает ваш паук.

Пример: settings.py

DEFAULT_REQUEST_HEADERS = {
'Accept-Language': 'en-US,en;q=0.9',
'Referer': 'https://www.google.com/',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Sec-Ch-Ua': '"Not A(Brand";v="99", "Google Chrome";v="121", "Chromium";v="121"',
'Sec-Ch-Ua-Platform': '"Windows"',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/121.0.0.0 Safari/537.36',
}

Когда паук отправляет запросы, эти заголовки заменят заголовки по умолчанию.

Использование пользовательских заголовков для конкретных запросов

Если вам нужны разные заголовки для определенных запросов, вы можете передавать их непосредственно в файле паука с помощью scrapy.Request.

Пример: пользовательские заголовки в спайдере

импорт scrapy
класс CustomHeaderSpider(scrapy.Spider):
имя = "custom_header"
разрешенные_домены = ["httpbin.org"]
start_urls = ["https://httpbin.org/headers"]
def start_requests(себя):
headers = {
"User-Agent": "Mozilla/5.0 (Linux; x86_64) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/121.0.0.0 Safari/537.36",
"Сек-Ч-Уа-Платформа": '"Linux"',
}
для url в себя.start_urls:
урожайность scrapy.Request(url, headers=headers, callback=себя.parse)
def разбор(себя, response):
print(response.text)

Этот подход полезен при скрапинге нескольких доменов, где нужны разные заголовки.

Динамическая модификация заголовков

Промежуточное ПО загрузчика Scrapy может динамически изменять заголовки в зависимости от условий (например, сменяющихся пользовательских агентов). Это позволяет перехватывать и изменять запросы до их отправки. Узнайте больше о Как использовать User-Agent при веб-скрейпинге.

Пример: middleware для ротации User-Agent

класс RotateUserAgentMiddleware:
def обрабатывать_запрос(себя, request, spider):
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/121.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/120.0.0.0 Safari/537.36",
"Mozilla/5.0 (Linux; x86_64) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/121.0.0.0 Safari/537.36"
]
request.headers['User-Agent'] = random.choice(user_agents)
Добавьте промежуточное ПО в настройки.пи:
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.RotateUserAgentMiddleware': 543,
}

Использование прокси и anti-CAPTCHA-сервисов

Чтобы еще сильнее повысить правдоподобность заголовков и обходить блокировки, рассмотрите использование прокси-сервисы или инструменты anti-CAPTCHA. Эти сервисы автоматически ротируют заголовки и User-Agent за вас.

Пример: использование ZenRows со Scrapy

Импорт класса Scrapy ZenRowsSpider(scrapy.Spider):
имя = "zenrows"
разрешенные_домены = ["httpbin.org"]
start_urls = ["https://httpbin.org/headers"]
def start_requests(себя):
прокси = "@api.zenrows.com:8001">http://YOUR_ZENROWS_API_KEY:@api.zenrows.com:8001"
для url в себя.start_urls:
урожайность ломоть.Запрос(url, callback=себя.parse, meta={"прокси": proxy})
def разбор(себя, response):
печать(response.text)

Самые важные заголовки для веб-скрапинга

Некоторые заголовки особенно важны для веб-скрапинга, и настраивать их следует осторожно:

User-Agent: Это идентифицирует браузер, ОС и версию. Чтобы избежать обнаружения, убедитесь, что он имитирует реальный браузер.
Референт: Это указывает на источник запроса. Укажите в качестве него осмысленный URL, например страницу поиска Google или предыдущую страницу.
Печенье: Используется для управления сессиями. Помогает поддерживать состояние авторизации или обходить ограничения доступа.
Accept-Language: Определяет языковые предпочтения. Используйте en-US,en;q=0.9, чтобы имитировать англоязычные браузеры.
Сек-Ч-Уа: Содержит сведения о браузере и платформе. Это помогает современным браузерам обходить продвинутые антибот-системы.
Accept-Encoding: Сообщает серверу о поддерживаемых форматах сжатия, таких как gzip или br.

Заключение

Заголовки очень важны в веб-скрейпинге. Если настроить их правильно, сбор данных будет работать без сбоев. Настраивая заголовки в Scrapy, я могу сделать свой скрейпер похожим на обычный браузер, избежать блокировок и собирать данные эффективнее. Отличный первый шаг — обновить заголовки в settings.py файл. Для более продвинутых возможностей можно рассмотреть динамические решения, например использование middleware.

Неважно, скраплю ли я небольшой блог или крупный e-commerce-сайт, умение управлять заголовками в Scrapy решает все. Я продолжу экспериментировать, настраивать и улучшать свою конфигурацию, чтобы скрапер оставался эффективным и не привлекал внимания. Давайте скрапить с умом и ответственно!