BrowserUse: Як використовувати автоматизацію браузера на основі ШІ для вебскрапінгу
У цій статті я покажу, як використовувати BrowserUse для автоматичного вебскрапінгу даних. Ви побачите, як це може заощадити ваш час і зусилля, перетворюючи завдання вебскрапінгу на легку справу!
Що таке BrowserUse?
BrowserUse — це потужний інструмент, що забезпечує автоматизацію браузера на основі ШІ. Він дає змогу користувачам автоматизувати такі завдання, як перегляд сайтів, взаємодія з елементами сторінок і вебскрапінг даних. З BrowserUse ви можете програмно керувати браузером, імітуючи людські дії, як-от натискання кнопок, заповнення форм і отримання інформації з вебсторінок.
Що робить BrowserUse унікальним, так це його здатність інтегрувати ШІ в процес. Це означає, що ви можете давати інструменту високорівневі інструкції простою англійською, а ШІ сам визначить найкращий спосіб їх виконання. Ця функція робить BrowserUse особливо корисним для тих, хто хоче автоматизувати завдання без написання складного коду.
TL;DR: The Best Web Scraping Alternatives to BrowserUse
- Bright Data — просунута, керована AI платформа для корпоративного вебскрапінгу
- ParseHub — інструмент для вебскрапінгу без коду для інтерактивних JavaScript-сторінок
- ScrapingBee — підхід з одним API для швидкого вилучення HTML-даних
- Octoparse — зручний інтерфейс для завдань зі структурованим вилученням даних
- Scraper API — простий вебскрапінг, підтримка JS, ротаційні проксі
Навіщо використовувати ШІ для вебскрапінгу?
Вебскрапінг часто використовують для збирання інформації, такої як ціни, описи товарів, рівні запасів, відгуки та інше. Перевага автоматизації цього процесу за допомогою AI полягає в тому, що вона може обробляти великі обсяги даних значно швидше, ніж це здатна зробити людина. AI також уміє розпізнавати складні структури сторінок, обробляти спливаючі вікна та приймати рішення на льоту, що робить його потужним інструментом для вебскрапінгу.
Ось кілька причин, чому вам може знадобитися автоматизувати завдання вебскрапінгу за допомогою ШІ:
1. Швидкість і ефективність
AI може скрапити дані значно швидше, ніж людина. Якщо ручне збирання даних із сайту може тривати годинами, AI здатний виконати те саме за лічені хвилини або навіть секунди. Це особливо корисно, коли потрібно зібрати дані з кількох сторінок або сайтів.
2. Точність і послідовність
ШІ не втомлюється і не припускається помилок, а отже може збирати дані з високою точністю. Він може дотримуватися заздалегідь визначених правил і щоразу стабільно витягувати однакові типи даних, забезпечуючи надійність ваших результатів.
3. Handling Complex Websites
Вебсайти постійно змінюються, і часто мають складні структури, спливаючі вікна або динамічний контент, що може ускладнювати вебскрапінг. Однак AI-агенти здатні адаптуватися до змін на сторінці та все одно можуть витягувати дані, навіть якщо макет змінюється або виникають неочікувані перешкоди, як-от спливаючі вікна.
4. Потрібно мінімум знань із кодування
З BrowserUse не потрібно бути експертом із вебскрапінгу чи програмування. Ви можете взаємодіяти з ШІ за допомогою простих, зрозумілих людині підказок. Це робить його доступним для ширшої аудиторії, зокрема для тих, хто не має досвіду в кодуванні.
Початок роботи з BrowserUse
Щоб почати використовувати BrowserUse для вебскрапінгу, вам знадобиться кілька речей:
- Python: Python — це мова програмування, яку використовують для написання скриптів. Ви можете завантажити й установити Python з офіційного вебсайту.
- BrowserUse: Вам потрібно буде встановити BrowserUse, що можна зробити за допомогою pip або Poetry.
- Playwright: BrowserUse використовує Playwright, бібліотеку для автоматизації браузерів. Вам потрібно буде встановити Playwright і налаштувати його для запуску ваших скриптів.
- OpenAI API Key: Оскільки BrowserUse інтегрує ШІ, для доступу до його можливостей вам знадобиться ключ OpenAI API.
Встановлення необхідних інструментів
Почніть зі створення нового Python-проєкту та встановлення потрібних бібліотек:
poetry new browser-demo
cd browser-demo
poetry add browser-use
pip install playwright
playwright install
Після встановлення цих залежностей вам потрібно буде налаштувати свій ключ OpenAI API. Отримати ключ API можна, зареєструвавшись на платформі OpenAI та створивши секретний ключ.
У каталозі проєкту створіть файл .env і додайте API-ключ ось так:
OPENAI_API_KEY=YOUR_API_KEY_HERE
Налаштування скрипта
Далі ви можете почати писати свій скрипт. Ось простий скрипт, який ініціалізує AI-агента та виконує завдання автоматизації браузера за допомогою BrowserUse:
from langchain_openai import ChatOpenAI
from browser_use import Agent
import asyncio
from dotenv import load_dotenv
load_dotenv()
async def main():
task = "Зберіть ціни на товари з вебсторінки."
agent = Agent(
task=task,
llm=ChatOpenAI(model="gpt-4o"),
)
await agent.run()
input('Натисніть Enter, щоб закрити…')
asyncio.run(main())
Цей скрипт використовує OpenAI API, щоб запустити AI-агента, який виконуватиме вебскрапінг даних із вебсайту. Ви можете налаштувати змінну task, щоб визначити, що має робити агент.
Створення промптів для вебскрапінгу
Одна з найпотужніших можливостей BrowserUse — це здатність взаємодіяти з ШІ за допомогою простої природної мови. Замість того щоб писати складний код, ви можете дати ШІ докладний запит із описом завдання, яке хочете автоматизувати.
Приклад 1: Вебскрапінг цін на товари
Let’s say you want to scrape product prices from an online store. You could write a prompt like this:
### **Завдання AI-агента: Збір цін на товари**
#### **Мета:**
Scrape the prices of the top 5 products listed on [Example Store](https://www.example.com).
- -
### **Крок 1: Відкрийте вебсайт**
1. Open the webpage [Example Store](https://www.example.com).
2. Зачекайте, доки сторінка повністю завантажиться, перш ніж продовжувати.
### **Крок 2: Витягніть ціни на товари**
1. Визначте 5 найкращих товарів на сторінці.
2. Для кожного товару витягніть назву товару та ціну.
### **Крок 3: Підсумуйте дані**
1. Оформіть витягнуті дані у зручний для читання список.
2. Надайте охайне зведення з назвами товарів та їхніми відповідними цінами.
### **Ключові вимоги:**
- Переконайтеся, що витягнуті дані точні та містять назву продукту й ціну.
- Return the information in a clear format that is easy to read.
Цей запит чітко окреслює кроки, яких має дотримуватися ШІ-агент. Щойно ви запустите скрипт із цим запитом, ШІ відвідає вебсторінку, витягне ціни та надасть результати у структурованому форматі.
Приклад 2: Вебскрапінг погодних даних
Ось ще один приклад, де ШІ-агент збирає дані про погоду для конкретного місця:
### **Завдання ШІ-агента: зібрати дані про погоду**
#### **Мета:**
Retrieve the weather forecast for tomorrow in [New York City](https://www.weather.com).
- -
### **Крок 1: Відкрийте сайт погоди**
1. Open [Weather.com](https://www.weather.com).
2. Перейдіть до прогнозу погоди для New York City.
3. Дочекайтеся, поки сторінка повністю завантажиться.
### **Крок 2: Витягніть погодну інформацію**
1. Знайдіть прогноз на завтра.
2. Extract the temperature, humidity, and any special weather conditions (e.g., rain, snow).
### **Крок 3: Підсумуйте дані**
1. Надайте чітке, зручне для читання зведення погоди на завтра, включно з температурою, вологістю та погодними умовами.
### **Ключові вимоги:**
- Переконайтеся, що дані точні й відображають погоду на завтра.
- Return the data in a concise format.
За цим запитом ШІ-агент перейде на сайт із прогнозом погоди, витягне потрібні деталі та подасть інформацію у зручному для читання форматі.
Обробка помилок і складних вебсайтів
Одна з проблем вебскрапінгу полягає в роботі з сайтами, які є складними або постійно змінюються. AI-агенти BrowserUse створені для подолання типових перешкод, таких як спливаючі вікна, динамічний контент і форми входу. Однак вам потрібно переконатися, що ваші промпти достатньо конкретні, щоб врахувати ці проблеми.
Наприклад, якщо ви хочете зібрати дані з вебсайта, що вимагає входу в систему, можете вказати в запиті дані для входу:
### **Завдання ШІ-агента: зібрати дані з сайту лише для учасників**
#### **Мета:**
Scrape product information from a member-only website [Exclusive Products](https://www.exclusiveproducts.com).
- -
### **Крок 1: Увійдіть на сайт**
1. Open [Exclusive Products](https://www.exclusiveproducts.com).
2. Увійдіть, використовуючи такі облікові дані:
- **Електронна пошта:** your[email protected]
- **Пароль:** your_password_here
### **Крок 2: Зберіть інформацію про продукт**
1. After logging in, navigate to the product listings.
2. Extract the names, prices, and availability of the first 10 products.
### **Крок 3: Підсумуйте дані**
1. Provide a list of the top 10 products, including their names, prices, and availability.
### **Ключові вимоги:**
- Ensure login is successful before scraping data.
- Provide a structured list of product names, prices, and availability.
Використання вебінтерфейсу для автоматизації браузера
Хоча програмування є потужним способом взаємодії з BrowserUse, ви також можете використовувати вебінтерфейс, щоб ще більше спростити запуск автоматизаційних завдань. BrowserUse надає простий вебінтерфейс, який дає змогу писати й виконувати промпти без роботи з кодом.
Щоб налаштувати вебінтерфейс, виконайте такі кроки:
Склонуйте репозиторій вебінтерфейсу з GitHub:
git clone https://github.com/browser-use/web-ui.git
cd web-ui
Встановіть потрібні залежності:
pip install -r requirements.txt
Copy the .env.example file to .env and add your OpenAI API key.
Запустіть вебінтерфейс локально:
python webui.py - ip 127.0.0.1 - port 7788
Коли вебінтерфейс запущено, ви можете відкрити його у браузері за адресою http://127.0.0.1:7788/. Тут ви можете вводити свої промпти й бачити, як AI-агент виконує завдання без потреби писати код.
Conclusion
Автоматизація браузера на основі ШІ з BrowserUse - це справжній прорив для вебскрапінгу. Вона дає змогу автоматизувати рутинні завдання, збирати дані зі складних сайтів і взаємодіяти з браузерами так, ніби це робить людина. Якщо вам потрібні ціни на товари, погодна інформація чи щось інше, BrowserUse допоможе зробити це швидко, точно й з мінімальними зусиллями. Усе, що вам потрібно, - це дати ШІ прості промпти, а далі він зробить решту. Незалежно від того, чи ви новачок у скрапінгу, чи досвідчений фахівець, BrowserUse робить процес простішим і потужнішим.
