Как собирать данные из Google Maps с помощью Python
Здесь я покажу, как сделать это шаг за шагом, простым и понятным способом. Давайте приступим!
Что такое скрапинг Google Maps?
Скрейпер Google Maps — это скрипт или инструмент, предназначенный для автоматизации получения информации из Google Maps. Извлечённые данные могут использоваться для разных целей, включая:
- Market Research: Анализ информации о конкурентах или изучение рыночных тенденций.
- Lead Generation: Сбор контактных данных для outreach-кампаний.
- Business Analytics: Получение инсайтов об обратной связи клиентов через отзывы и оценки.
Однако скрейпинг Google Maps сложнее. Динамическая и интерактивная платформа требует автоматизации браузера для надёжного доступа к данным и их извлечения.
Какие данные можно извлечь?
Вот список основных полей данных, которые можно собрать:
- Business Name: Определяет организацию или сущность.
- Address: Физический адрес компании.
- Phone Number: Контактные данные для обращений клиентов.
- Website URL: Ссылка на сайт компании.
- Business Hours: Часы работы.
- Оценки и отзывы: Средний рейтинг и отдельные отзывы.
- Изображения: Фотографии компании.
- Теги и категории: Дополнительные атрибуты включают тип кухни или предлагаемые услуги.
Альтернативы ручному скрапингу
Прежде чем перейти к руководству по скрейпингу, хочу представить несколько решений, которые могут быть вам полезны. Следующие сервисы помогут собирать данные из Google Maps в больших объёмах; у некоторых также есть бесплатный пробный период:
- Яркие данные — Best overall for advanced scraping; features extensive proxy management and reliable APIs.
- Octoparse - удобный no-code-инструмент для автоматического извлечения данных с сайтов.
- ScrapingBee — API для разработчиков, эффективно работающее с прокси, браузерами и CAPTCHA.
- Scrapy — Python-фреймворк с открытым исходным кодом, отлично подходящий для обхода антибот-защиты и веб-скрейпинга.
- ScraperAPI — Handles tough scrapes with advanced anti-bot technologies; great for developers.
- Apify — Универсальная платформа, предлагающая готовые скрейперы и мощные возможности скрейпинга.
Шаг 1: Настройка окружения
Install Python
Вы можете скачать его с python.org.
Создайте каталог проекта
Организуйте работу, создав отдельную папку для проекта:
mkdir google-maps-scraper
cd google-maps-scraper
Настройте виртуальное окружение
Виртуальные окружения помогают изолировать зависимости. Создайте одно с помощью:
python -m venv env
источник env/bin/activate # On Windows, use `env\Scripts\activate`
Install Required Libraries
Установите Selenium для автоматизации браузера:
pip install selenium
Шаг 2: Настройка Selenium
Selenium is a powerful library that automates browsers. Start by creating a Python script (scraper.py) and configuring Selenium to launch a Chrome browser.
с сайта селен импорт webdriver
с сайта selenium.webdriver.chrome.service импорт Service
с сайта selenium.webdriver.chrome.options импорт Options
options = Options()
options.add_argument(" - headless") # Run browser in the background
driver = webdriver.Chrome(service=Service(), options=options)
driver.get("https://www.google.com/maps")
This code initializes a headless Chrome browser, allowing it to interact with Google Maps programmatically. Add driver.quit() at the end of your script to ensure the browser closes after execution.
Шаг 3: Навигация по странице Google Maps
После подключения к Google Maps нужно обработать запрос на cookie в соответствии с GDPR (если он отображается) и перейти к нужному поисковому запросу.
Handle GDPR Prompt
с сайта selenium.webdriver.common.by импорт По ссылке
с сайта selenium.common.exceptions импорт NoSuchElementException
попробуйте:
accept_button = driver.find_element(By.CSS_SELECTOR, "[aria-label='Accept all']")
accept_button.click()
кроме NoSuchElementException:
печать("Требования GDPR не обнаружены")
Отправьте поисковый запрос
Используйте Selenium, чтобы заполнить строку поиска и нажать кнопку поиска:
с сайта selenium.webdriver.support.ui import WebDriverWait
с сайта selenium.webdriver.support import expected_conditions в роли EC
search_box = WebDriverWait(driver, 5).until(
EC.presence_of_element_located((По ссылке.CSS_SELECTOR, "#searchboxinput"))
)
search_box.send_keys("Итальянские рестораны")
search_button = driver.find_element(По ссылке.CSS_SELECTOR, "button[aria-label='Search']")
search_button.click()
Шаг 4: Извлечение данных о компаниях
В результатах поиска отобразится список компаний. Эти элементы динамические, поэтому мы используем WebDriverWait в Selenium, чтобы дождаться их загрузки перед попыткой извлечения.
business_items = WebDriverWait(driver, 10).until(
EC.presence_of_all_elements_located((By.XPATH, '//div[@role="feed"]//div[contains(@jsaction, "mouseover:pane")]'))
)
Для каждой компании можно извлечь нужные сведения, такие как название, рейтинг, отзывы и многое другое.
Extract Basic Details
for item in business_items:
name = item.find_element(By.CSS_SELECTOR, "div.fontHeadlineSmall").text
link = item.find_element(By.CSS_SELECTOR, "a[jsaction]").get_attribute("href")
печать(f"Business: {name}, Link: {link}")
Извлечение отзывов и оценок
импорт re
reviews_element = item.find_element(By.CSS_SELECTOR, "span[role='img']")
reviews_text = reviews_element.get_attribute("aria-label")
match = re.match(r"(\d+\.\d+) stars (\d+[,]*\d+) Reviews", reviews_text)
если match:
stars = float(match.group(1))
review_count = int(match.group(2).replace(",", ""))
печать(f"Stars: {stars}, Отзывы: {review_count}")
Extract Additional Information
Соберите атрибуты, такие как адрес, часы работы и ценовой диапазон:
info_div = item.find_element(По ссылке.CSS_SELECTOR, ".fontBodyMedium")
spans = info_div.find_elements(По ссылке.XPATH, ".//span[not(@*) or @style]")
details = [span.текст для span в spans если span.текст.strip()]
print("Подробности:", details)
Шаг 5: Сохранение данных в CSV
Приведите собранные данные к структурированному формату и сохраните их в CSV-файл.
Подготовьте данные к ��кспорту
data = []
для пункт в business_items:
# Collect data as shown above and append to a list
data.append({
"имя": name,
"ссылка": link,
"stars": stars,
"review_count": review_count,
"details": "; ".join(details),
})
Запись в CSV
импорт CSV с открыть("business_data.csv", "w", newline="", кодировка="utf-8") в роли file:
writer = csv.DictWriter(file, fieldnames=data[0].keys())
writer.writeheader()
writer.writerows(data)
Overcoming Challenges
Dynamic Content Loading
Google Maps сильно зависит от JavaScript, из-за чего элементы загружаются асинхронно. Всегда используйте явные ожидания (WebDriverWait), чтобы не пытаться взаимодействовать с элементами до их появления.
Anti-Scraping Measures
Google может обнаружить автоматизированную активность, что приведет к CAPTCHA или блокировке IP. Чтобы снизить риск этого:
- Меняйте IP-адреса с помощью прокси.
- Случайным образом варьируйте задержки между действиями, чтобы имитировать поведение человека.
- Используйте профили браузера, чтобы снизить вероятность обнаружения бота.
Ethical Considerations
Перед скрейпингом ознакомьтесь с условиями использования Google, чтобы убедиться в соблюдении требований. Несанкционированный скрейпинг может нарушать правовые или этические нормы.
Масштабирование: использование API
Для проектов большого масштаба стоит рассмотреть API, такие как Bright Data или ScrapeHero. Эти инструменты упрощают процесс извлечения данных из Google Maps. В них уже встроены такие возможности, как ротация IP и защита от ботов, что экономит ваше время и силы. Вам не придется беспокоиться о решении технических сложностей — они делают все это за вас. Это делает их хорошим выбором для компаний или исследователей, которым быстро нужны большие объемы данных. Хотя эти сервисы не бесплатны, для задач большого масштаба они могут оказаться оправданным вложением. Всегда убедитесь, что сбор данных соответствует этическим практикам и применимым правовым требованиям.
Заключение
Скрейпинг Google Maps с Python — практичный способ автоматизировать сбор данных для исследований или бизнес-задач. Комбинируя Selenium с мощными библиотеками Python, вы можете создать скрейпер, способный извлекать ценную информацию. Помните о соблюдении этических норм и рассмотрите варианты масштабирования для крупных проектов.
