Як виконати вебскрапінг Google Maps за допомогою Python
Тут я покажу, як зробити це крок за кроком, просто й зрозуміло. Почнімо!
Що таке вебскрапінг Google Maps?
Вебскрапер Google Maps — це скрипт або інструмент, призначений для автоматизації збору інформації з Google Maps. Зібрані дані можуть використовуватися для різних цілей, зокрема:
- Market Research: Аналіз інформації про конкурентів або дослідження ринкових тенденцій.
- Lead Generation: Збирання контактних даних для кампаній із прямого звернення.
- Business Analytics: Отримання інсайтів щодо зворотного зв'язку клієнтів на основі відгуків і оцінок.
Втім, вебскрапінг Google Maps є складнішим. Динамічна та інтерактивна платформа вимагає автоматизації браузера, щоб надійно отримувати доступ до даних і витягувати їх.
Які дані можна витягнути?
Ось список основних полів даних, які можна зібрати:
- Business Name: Визначає організацію або сутність.
- Address: Фізичне місцезнаходження бізнесу.
- Phone Number: Контактні дані для запитів клієнтів.
- Website URL: Посилання на вебсайт бізнесу.
- Business Hours: Час відкриття та закриття.
- Оцінки та відгуки: Середній рейтинг і окремі відгуки.
- Images: Фотографії, пов’язані з бізнесом.
- Теги та категорії: Додаткові дескриптори включають тип кухні або перелік послуг.
Альтернативи ручному вебскрапінгу
Перш ніж перейти до посібника з вебскрапінгу, хочу представити кілька рішень, які можуть бути вам корисні. Наведені нижче сервіси допоможуть вам збирати дані з Google Maps у великих обсягах, а деякі з них також пропонують безплатний пробний період:
- Bright Data — Best overall for advanced scraping; features extensive proxy management and reliable APIs.
- Octoparse — Зручний no-code інструмент для автоматизованого вилучення даних із вебсайтів.
- ScrapingBee — API, орієнтований на розробників, який ефективно працює з проксі, браузерами та CAPTCHA.
- Scrapy — Фреймворк з відкритим кодом для Python, ідеальний для завдань краулінгу даних і вебскрапінгу.
- ScraperAPI — Handles tough scrapes with advanced anti-bot technologies; great for developers.
- Apify — Багатофункціональна платформа, що пропонує готові вебскрапери та потужні можливості вебскрапінгу.
Крок 1: Налаштування середовища
Install Python
Переконайтеся, що на вашій системі встановлено Python 3. Завантажити його можна з python.org.
Створіть каталог проєкту
Організуйте роботу, створивши окрему папку для вашого проєкту:
mkdir google-maps-scraper
cd google-maps-scraper
Налаштуйте віртуальне середовище
Віртуальні середовища допомагають ізолювати залежності. Створіть його за допомогою:
python -m venv env
source env/bin/activate # On Windows, use `env\Scripts\activate`
Install Required Libraries
Встановіть Selenium для автоматизації браузера:
pip install selenium
Крок 2: Налаштування Selenium
Selenium is a powerful library that automates browsers. Start by creating a Python script (scraper.py) and configuring Selenium to launch a Chrome browser.
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument(" - headless") # Run browser in the background
driver = webdriver.Chrome(service=Service(), options=options)
driver.get("https://www.google.com/maps")
This code initializes a headless Chrome browser, allowing it to interact with Google Maps programmatically. Add driver.quit() at the end of your script to ensure the browser closes after execution.
Крок 3: Навігація сторінкою Google Maps
Після підключення до Google Maps потрібно обробити запит щодо файлів cookie відповідно до GDPR (якщо він з’являється) і перейти до потрібного пошукового запиту.
Handle GDPR Prompt
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
try:
accept_button = driver.find_element(By.CSS_SELECTOR, "[aria-label='Accept all']")
accept_button.click()
except NoSuchElementException:
print("Вимог GDPR не виявлено")
Надішліть пошуковий запит
Використайте Selenium, щоб заповнити поле пошуку та натиснути кнопку пошуку:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
search_box = WebDriverWait(driver, 5).until(
EC.presence_of_element_located((By.CSS_SELECTOR, "#searchboxinput"))
)
search_box.send_keys("Італійські ресторани")
search_button = driver.find_element(By.CSS_SELECTOR, "button[aria-label='Search']")
search_button.click()
Крок 4: Вилучення даних про бізнес
У результатах пошуку відобразиться список компаній. Оскільки ці елементи динамічно підвантажуються, ми використовуємо WebDriverWait у Selenium, щоб переконатися, що вони завантажилися, перш ніж починати витягування.
business_items = WebDriverWait(driver, 10).until(
EC.presence_of_all_elements_located((By.XPATH, '//div[@role="feed"]//div[contains(@jsaction, "mouseover:pane")]'))
)
Для кожного бізнесу можна витягти релевантні дані, як-от назву, оцінки, відгуки та інше.
Extract Basic Details
for item in business_items:
name = item.find_element(By.CSS_SELECTOR, "div.fontHeadlineSmall").text
link = item.find_element(By.CSS_SELECTOR, "a[jsaction]").get_attribute("href")
print(f"Business: {name}, Link: {link}")
Витягнення відгуків та оцінок
import re
reviews_element = item.find_element(By.CSS_SELECTOR, "span[role='img']")
reviews_text = reviews_element.get_attribute("aria-label")
match = re.match(r"(\d+\.\d+) stars (\d+[,]*\d+) Reviews", reviews_text)
if match:
stars = float(match.group(1))
review_count = int(match.group(2).replace(",", ""))
print(f"Stars: {stars}, Відгуки: {review_count}")
Extract Additional Information
Збирайте такі атрибути, як адреса, години роботи та діапазон цін:
info_div = item.find_element(By.CSS_SELECTOR, ".fontBodyMedium")
spans = info_div.find_elements(By.XPATH, ".//span[not(@*) or @style]")
details = [span.text for span in spans if span.text.strip()]
print("Деталі:", details)
Крок 5: Збереження даних у CSV
Упорядкуйте зібрані дані у структурований формат і збережіть їх у файл CSV.
Підготувати дані для експорту
data = []
for item in business_items:
# Collect data as shown above and append to a list
data.append({
"name": name,
"link": link,
"stars": stars,
"review_count": review_count,
"details": "; ".join(details),
})
Запис у CSV
import csv
with open("business_data.csv", "w", newline="", encoding="utf-8") as file:
writer = csv.DictWriter(file, fieldnames=data[0].keys())
writer.writeheader()
writer.writerows(data)
Overcoming Challenges
Dynamic Content Loading
Google Maps сильно залежить від JavaScript, тому елементи завантажуються асинхронно. Завжди використовуйте явні очікування (WebDriverWait), щоб не намагатися взаємодіяти з елементами до їх появи.
Anti-Scraping Measures
Google може виявити автоматизовану активність, що призводить до CAPTCHA або блокування IP-адрес. Щоб зменшити цей ризик:
- Ротуйте IP-адреси за допомогою проксі.
- Випадково варіюйте затримки між діями, щоб імітувати людську поведінку.
- Використовуйте профілі браузера, щоб зменшити ризик виявлення ботів.
Ethical Considerations
Перед вебскрапінгом ознайомтеся з умовами надання послуг Google, щоб переконатися у відповідності. Несанкціонований вебскрапінг може порушувати правові або етичні норми.
Масштабування: використання API
Для масштабних проєктів варто розглянути такі API для вебскрапінгу, як Bright Data або ScrapeHero. Ці інструменти спрощують процес вебскрапінгу даних із Google Maps. Вони мають вбудовані функції, як-от ротація IP-адрес і захист від ботів, що заощаджує вам час і зусилля. Вам не потрібно перейматися технічними викликами: вони все беруть на себе. Це робить їх чудовим вибором для компаній або дослідників, яким потрібно швидко отримати великі обсяги даних. Хоча ці сервіси не безкоштовні, вони можуть бути виправданою інвестицією для масштабних потреб. Завжди переконуйтеся, що збір даних відповідає етичним практикам і будь-яким чинним правовим вимогам.
Conclusion
Вебскрапінг Google Maps за допомогою Python — це практичний спосіб автоматизувати збір даних для досліджень або бізнес-потреб. Поєднуючи Selenium із потужними бібліотеками Python, ви можете створити вебскрапер, здатний витягувати цінну інформацію. Пам’ятайте про етичність і розглядайте варіанти масштабування для більших проєктів.
