Вы можете запускать задачи скрейпинга в облаке без использования локальных ресурсов или собственного хостинга.

В этой статье я покажу, как использовать BrowserUse для автоматического сбора данных. Вы увидите, как он экономит время и силы, существенно упрощая задачи по парсингу!

Что такое BrowserUse?

BrowserUse — мощный инструмент для автоматизации браузера с помощью ИИ. Он позволяет автоматизировать такие задачи, как просмотр сайтов, взаимодействие с элементами страницы и сбор данных. С BrowserUse вы можете программно управлять браузером, имитируя действия человека, например нажатия кнопок, заполнение форм и извлечение информации со страниц.

Уникальность BrowserUse в том, что он умеет встраивать ИИ в сам процесс. Это значит, что вы можете давать инструменту высокоуровневые инструкции простым английским, а ИИ сам определит лучший способ их выполнения. Эта функция делает BrowserUse особенно полезным для тех, кто хочет автоматизировать задачи без написания сложного кода.

TL;DR: The Best Web Scraping Alternatives to BrowserUse

• Яркие данные — продвинутая платформа на базе ИИ для корпоративного скрейпинга
• ParseHub — инструмент без кода для сбора данных с интерактивных JavaScript-страниц
• ScrapingBee — подход с одним API для быстрого извлечения данных из HTML
• Octoparse — удобный интерфейс для задач извлечения структурированных данных
• Scraper API — простой сбор данных, поддержка JS, ротационные прокси

Зачем использовать ИИ для веб-парсинга?

Веб-скрейпинг часто используют для сбора такой информации, как цены, описания товаров, остатки на складе, отзывы и многое другое. Преимущество автоматизации этого процесса с помощью ИИ в том, что он может обрабатывать большие объемы данных гораздо быстрее, чем человек. ИИ также способен понимать сложную структуру страниц, справляться со всплывающими окнами и принимать решения на лету, что делает его мощным инструментом для веб-скрейпинга.

Вот несколько причин, почему стоит автоматизировать задачи сбора данных с помощью ИИ:

1. Скорость и эффективность

ИИ может собирать данные намного быстрее человека. Хотя ручной сбор данных с сайта может занимать часы, ИИ может сделать то же самое за минуты или даже секунды. Это особенно полезно, когда нужно собирать данные с нескольких страниц или сайтов.

2. Точность и согласованность

ИИ не устает и не ошибается, поэтому может собирать данные с высокой точностью. Он может следовать заранее заданным правилам и каждый раз стаби��ьно извлекать одни и те же типы данных, обеспечивая надежность результатов.

3. Handling Complex Websites

Сайты постоянно меняются и часто имеют сложную структуру, всплывающие окна или динамический контент, что затрудняет сбор данных. Однако AI-агенты способны адаптироваться к изменениям на странице и всё равно извлекать данные, даже если меняется верстка или появляются неожиданные препятствия, например всплывающие окна.

4. Минимальные знания кода

С BrowserUse вам не нужно быть экспертом в веб-скрейпинге или программировании. Вы можете взаимодействовать с ИИ с помощью простых, понятных человеку промптов. Это делает его доступным более широкой аудитории, в том числе тем, у кого нет опыта в кодировании.

Начало работы с BrowserUse

Чтобы начать использовать BrowserUse для веб-скрейпинга, вам понадобятся несколько вещей:

1. Python: Python — это язык программирования, который используется для написания скриптов. Вы можете скачать и установить Python с официального сайта.
2. BrowserUseПонадобится установить BrowserUse, это можно сделать с помощью pip или Poetry.
3. Драматург: BrowserUse опирается на Playwright, библиотеку для автоматизации браузеров. Вам нужно установить Playwright и настроить его для запуска ваших скриптов.
4. OpenAI API Key: Поскольку BrowserUse интегрирует ИИ, для доступа к его возможностям вам потребуется ключ API OpenAI.

Установка необходимых инструментов

Начните с создания нового Python-проекта и установки необходимых библиотек:

poetry new browser-demo cd browser-demo poetry add browser-use pip install playwright playwright install

После установки этих зависимостей нужно настроить ключ API OpenAI. Его можно получить, зарегистрировавшись на платформе OpenAI и создав секретный ключ.

В каталоге проекта создайте файл .env и добавьте API-ключ следующим образом:

OPENAI_API_KEY=YOUR_API_KEY_HERE

Настройка скрипта

Далее можно приступать к написанию скрипта. Ниже приведён простой скрипт, который инициализирует AI-агента и выполняет задачу браузерной автоматизации с помощью BrowserUse:

с сайта langchain_openai импорт ChatOpenAI
с сайта browser_use импорт Agent
импорт asyncio
с сайта dotenv импорт load_dotenv
load_dotenv()
async def главная():
task = «Извлеките цены на товары со страницы веб-сайта.»
agent = Agent(
task=task,
llm=ChatOpenAI(model="gpt-4o"),
)
ожидайте agent.run()
input('Нажмите Enter, чтобы закрыть…')
asyncio.run(main())

Этот скрипт использует OpenAI API, чтобы запустить AI-агента, который будет собирать данные с сайта. Вы можете настроить переменную `task`, чтобы определить, что именно должен делать агент.

Написание промптов для веб-скрейпинга

Одна из самых мощных возможностей BrowserUse — это взаимодействие с ИИ на простом естественном языке. Вместо того чтобы писать сложный код, вы можете дать ИИ подробный промпт, описывающий задачу, которую хотите автоматизировать.

Пример 1: Сбор цен на товары

Let’s say you want to scrape product prices from an online store. You could write a prompt like this:

### **Задача ИИ-агента: извлечь цены на товары**
#### **Цель:**
Scrape the prices of the top 5 products listed on [Example Store](https://www.example.com).
 - -
### **Шаг 1: Откройте сайт**
1. Open the webpage [Example Store](https://www.example.com).
2. Дождитесь полной загрузки страницы, прежде чем продолжать.
### **Шаг 2: Извлечение цен на товары**
1. Определите топ-5 товаров на странице.
2. Для каждого товара извлеките название и цену.
### **Шаг 3: Суммируйте данные**
1. Оформите извлечённые данные в удобочитаемый список.
2. Предоставьте аккуратную сводку с названиями товаров и соответствующими ценами.
### **Ключевые требования:**
- Убедитесь, что извлечённые данные точны и содержат название товара и цену.
- Return the information in a clear format that is easy to read.

Этот промпт четко описывает шаги, которым должен следовать AI-агент. После запуска скрипта с этим промптом AI откроет веб-страницу, извлечет цены и представит результаты в структурированном формате.

Пример 2: Сбор данных о погоде

Вот ещё один пример, в котором AI-агент собирает данные о погоде для конкретного местоположения:

### **Задача AI-агента: Сбор погодных данных**
#### **Цель:**
Retrieve the weather forecast for tomorrow in [New York City](https://www.weather.com).
 - -
### **Шаг 1: Откройте сайт погоды**
1. Open [Weather.com](https://www.weather.com).
2. Перейдите к прогнозу погоды для Нью-Йорка.
3. Дождитесь полной загрузки страницы.
### **Шаг 2: Извлеките информацию о погоде**
1. Найдите прогноз на завтра.
2. Extract the temperature, humidity, and any special weather conditions (e.g., rain, snow).
### **Шаг 3: Суммируйте данные**
1. Предоставьте аккуратную, удобочитаемую сводку погоды на завтра, включая температуру, влажность и погодные условия.
### **Ключевые требования:**
- Убедитесь, что данные точны и отражают погоду на завтра.
- Return the data in a concise format.

С этим запросом AI-агент перейдёт на сайт с прогнозом погоды, извлечёт нужные сведения и представит их в удобочитаемом формате.

Обработка ошибок и сложных веб-сайтов

Одна из проблем веб-скрапинга — работа с сайтами, которые сложны или постоянно меняются. AI-агенты BrowserUse предназначены для работы с типичными препятствиями, такими как всплывающие окна, динамический контент и формы входа. Однако вам нужно убедиться, что ваши промпты достаточно конкретны, чтобы учитывать эти проблемы.

Например, если вы хотите собирать данные с сайта, который требует входа в систему, можно указать данные для авторизации в запросе:

### **Задача AI-агента: Сбор данных с сайта только для участников**
#### **Цель:**
Scrape product information from a member-only website [Exclusive Products](https://www.exclusiveproducts.com).
 - -
### **Шаг 1: Войдите на сайт**
1. Open [Exclusive Products](https://www.exclusiveproducts.com).
2. Войдите, используя следующие учётные данные:
- **Электронная почта:** your[email protected]
- **Пароль:** your_password_here
### **Шаг 2: Соберите информацию о товарах**
1. После входа в систему перейдите к списку товаров. 2. Извлеките названия, цены и наличие первых 10 товаров. ### **Шаг 3: Суммируйте данные**
1. Предоставьте список из 10 лучших продуктов, включая их названия, цены и доступность. ### **Ключевые требования:**
- Убедитесь, что вход выполнен успешно, прежде чем собирать данные. - Предоставьте структурированный список названий товаров, цен и информации о наличии.

Использование веб-интерфейса для автоматизации браузера

Хотя код — это мощный способ взаимодействия с BrowserUse, вы также можете использовать веб-интерфейс, чтобы ещё проще запускать задачи автоматизации. BrowserUse предоставляет простой веб-интерфейс, который позволяет писать и выполнять промпты, не трогая код.

Чтобы настроить веб-интерфейс, выполните следующие шаги:

Клонируйте репозиторий веб-интерфейса с GitHub:

git clone https://github.com/browser-use/web-ui.git
cd web-ui

Установите необходимые зависимости:

pip install -r requirements.txt

Copy the .env.example file to .env and add your OpenAI API key.

Запустите веб-интерфейс локально:

python webui.py - ip 127.0.0.1 - порт 7788

После запуска web UI вы сможете открыть его в браузере по адресу http://127.0.0.1:7788/. Здесь вы можете вводить свои промпты и наблюдать, как AI-агент выполняет задачи, без необходимости писать код.

Заключение

Автоматизация браузера на базе ИИ с BrowserUse — это настоящий прорыв для веб-скрапинга. Она позволяет автоматизировать рутинные задачи, собирать данные со сложных сайтов и взаимодействовать с браузерами так же, как это делает человек. Если вам нужны цены на товары, информация о погоде или что-то еще, BrowserUse помогает быстро, точно и с минимальными усилиями выполнить задачу. Все, что нужно, — дать ИИ простые подсказки, а остальное он сделает сам. Независимо от того, новичок вы в скрапинге или опытный профессионал, BrowserUse делает процесс проще и мощнее.