Что такое WebGL-фингерпринтинг и как его обойти
В этой статье я простыми словами объясню, что такое WebGL-фингерпринтинг. Я также покажу, как он работает и почему он так хорошо обнаруживает ботов. И, что самое важное, расскажу о нескольких умных способах его обхода. Если вы, как и я, занимаетесь веб-скрапингом, это руководство поможет вам лучше понять WebGL-фингерпринтинг и научиться эффективнее его обходить.
Что такое WebGL?
WebGL расшифровывается как Web Graphics LibraryЭто JavaScript API, которое браузеры используют для отрисовки интерактивной 2D- и 3D-графики без плагинов. WebGL использует графический процессор (GPU) компьютера для выполнения задач рендеринга.
Большинство современных браузеров поддерживают WebGL. Сайты используют его для игр, визуальных эффектов, редактирования изображений и сложных графических интерфейсов. Но помимо полезных применений WebGL можно использовать и для менее заметной задачи: отслеживания пользователей с помощью фингерпринтинга.
Что такое WebGL-фингерпринтинг?
WebGL-фингерпринтинг Это метод идентификации и отслеживания пользователей на основе того, как их браузер и GPU отрисовывают конкретную графическую сцену с помощью WebGL. У каждого компьютера есть уникальная комбинация аппаратного обеспечения (GPU), драйверов и программного обеспечения. Эти различия приводят к тому, что WebGL на разных машинах выдает немного разные результаты.
Когда сайт использует WebGL-фингерпринтинг, он просит браузер отрисовать скрытое изображение с помощью WebGL. Затем он считывает полученные пиксельные данные и параметры конфигурации. Поскольку каждая система отображает изображение немного по-разному, эти данные выступают как цифровой отпечаток.
Ключевые факторы WebGL-фингерпринтинга
Фингерпринт, сформированный на основе WebGL, может включать:
- GPU model and vendor (e.g., NVIDIA, AMD, Intel)
- Версии драйверов
- Точность шейдеров и детали рендеринга
- Максимальный размер текстуры
- Поддерживаемые расширения
- Строки vendor и renderer в WebGL
- Пиксельные данные отрисованного изображения
- Размер и поведение canvas
Как работает WebGL-фингерпринтинг?
Let’s break down how this technique functions, step by step.
Создание контекста WebGL
The website loads a script that initializes a WebGL context in a hidden HTML <canvas> element. This context is the environment for rendering graphics.
Collecting WebGL Parameters
Далее скрипт собирает технические данные процесса рендеринга:
- Вызовы getParameter возвращают значения вроде максимального размера текстуры
- Метод getSupportedExtensions показывает доступные расширения WebGL
- GPU vendor and renderer information is gathered using UNMASKED_RENDERER_WEBGL
Считывание результата отрисовки
После отрисовки сцены скрипт считывает значения пикселей с помощью readPixels. Эти различия в пикселях невелики, но стабильны для каждой системы.
Хеширование фингерпринта
Собранные параметры и пиксельные данные объединяются и хэшируются в одно значение. Затем этот отпечаток отправляется на сервер.
Идентификация устройства
Сервер сохраняет этот фингерпринт и сверяет его с базой данных. Если он совпадает с известным ботом или подозрительным набором признаков, запрос могут заблокировать или потребовать пройти CAPTCHA.
Почему WebGL-фингерпринтинг так сложно обойти?
В отличие от программных отпечатков (например, user-agent или разрешения экрана), WebGL-отпечатки опираются на признаки аппаратного уровня. К ним относятся поведение GPU, версии драйверов и результаты рендеринга. Такие элементы гораздо сложнее подделать, потому что они напрямую зависят от физического оборудования машины.
Даже если вы подмените некоторые значения с помощью скриптов или расширений браузера, фактический результат рендеринга часто выявляет несоответствия. Поэтому WebGL-фингерпринтинг — один из самых эффективных способов выявления ботов.
Информация, собираемая с помощью WebGL-фингерпринтинга
Вот краткое описание типов данных, которые собираются:
Как обойти WebGL-фингерпринтинг?
Обойти WebGL-фингерпринтинг непросто, но есть методы, которые могут помочь. Рассмотрим как ручные, так и автоматизированные решения.
Используйте браузеры в headless-режиме с подменой отпечатка
Популярные инструменты, такие как Селен и Драматург могут автоматически управлять браузерами. Однако по умолчанию они не подменяют аппаратный отпечаток.
Некоторые проекты пытались расширить возможности этих инструментов:
- Undetected ChromeDriver (для Selenium): Обходит базовые антибот-проверки
- Puppeteer Stealth Plugin: Скрывает следы автоматизации
- Playwright Stealth: активно развивающийся проект сообщества
Эти инструменты помогают подменять user-agent, размер экрана и другие распространенные параметры, но подделать WebGL сложнее. Вас все равно могут заблокировать, если отрисованное изображение не соответствует поддельным параметрам.
Используйте расширения браузера для изменения WebGL
Некоторые расширения браузера пытаются подменять свойства WebGL:
Эти расширения перехватывают вызовы WebGL API и возвращают измененные данные. Однако им часто не удается подделать фактические результаты рендеринга, которые по-прежнему различаются на уровне пикселей.
Продвинутые сайты могут обнаружить, что происходит подмена, и пометить запрос как подозрительный.
GPU Virtualization
Одна из продвинутых техник - использовать виртуализированные среды с похожими конфигурациями GPU. Например, запускать скрейпер в контейнерах с общим профилем GPU.
Виртуальные машины или контейнеры, использующие NVIDIA GRID или аналогичная технология может создавать несколько экземпляров с одинаковым поведением рендеринга.
Однако у этого метода есть ограничения:
-
- Expensive
- Технически сложный
- Сложно масштабировать
Используйте статические API, когда это возможно
Если вы собираете публичные данные, проверьте, предоставляет ли сайт публичный или скрытый API, который возвращает JSON, а не требует рендеринга. API-эндпоинты часто менее защищены, чем страницы, требующие рендеринга WebGL. Конечно, это не подходит для всех сценариев, особенно на защищенных или динамических сайтах.
Используйте профессиональные сети для сбора данных
Самый надежный способ обойти WebGL-фингерпринтинг - использовать платный сервис для скрапинга. Один из популярных провайдеров: Яркие данные. Хотите посмотреть других провайдеров? Ознакомьтесь с моим списком лучшие инструменты для скрапбукинга.
Bright Data предлагает:
- Масштабная автоматизация браузеров
- Резидентские, мобильные и дата-центровые IP-адреса
- GPU-окружения для рендеринга
- Автоматическое управление отпечатками
- Сервис Web Unlocker для обхода обнаружения ботов
Инфраструктура Bright Data переключается между тысячами браузеров с реалистичными отпечатками. Она автоматически учитывает поведение браузера, особенности рендеринга и заголовки запросов, так что вам не нужно беспокоиться о несовпадении отпечатков.
Это идеально подходит компаниям, которым нужен массовый скрапинг с высокой долей успешных запросов без ручной подмены WebGL.
Пример кода с использованием Scraper от Bright Data
Вот как можно использовать Bright Data Web Unlocker для сбора данных с защищённого сайта:
# pip install requests
import requests
url = "https://example.com/protected"
заголовки = {
"Авторизация": "Bearer ",
"Content-Type": "application/json",
}
data = {
"url": url,
"render": True,
"proxy_type": "жилой"
}
response = requests.post("https://brightdata.com/api/scrape", json=data, headers=headers)
print(response.text)
Заключение
WebGL-фингерпринтинг - мощный инструмент для обнаружения и блокировки ботов. Он собирает уникальные данные о GPU и браузере пользователя, делая традиционные методы обнаружения ботов, такие как смена строк user-agent или IP-адресов, неэффективными. Понимание того, как работает WebGL-фингерпринтинг, помогает лучше справляться с задачами веб-скрапинга.
Существует несколько способов обойти это, например с помощью расширений браузера, headless-браузеров или виртуальных сред. Однако для крупномасштабного скрейпинга самый надежный подход — использовать профессиональные сети для скрейпинга. Такие сервисы решают проблемы с фингерпринтингом, ротируют IP-адреса и обеспечивают GPU-рендеринг, повышая шансы обойти обнаружение.
