Як зібрати дані SERP DuckDuckGo: 4 ефективні підходи
Примітка: я НЕ пов’язаний із жодним провайдером; у цьому туторіалі я використовую Bright Data, бо це той сервіс, який мені найкраще знайомий. Можете вільно обрати будь-якого іншого надійного провайдера з Мій список!
Навіщо вебскрапити DuckDuckGo?
DuckDuckGo став важливою пошуковою платформою для багатьох людей, які дбають про конфіденційність. Через це все більше аналітиків і розробників хочуть вивчати його результати, щоб порівнювати ранжування, відстежувати тренди, створювати набори даних або підтримувати AI-робочі процеси.
Вебскрапінг DuckDuckGo може допомогти вам:
- Аналіз ефективності ключових слів
- Створюйте набори даних для машинного навчання
- Відстежувати зміни в пошукових трендах
- Порівняння пошукових систем
- Тестуйте SEO-стратегії
- Створювати автоматизовані інструменти для досліджень
DuckDuckGo SERP Versions
DuckDuckGo пропонує дві різні версії своєї сторінки результатів пошуку. Розуміння цих версій допомагає обрати правильний підхід до вебскрапінгу.
1. Dynamic Version
- Стандартна версія, яку бачить більшість користувачів
- Завантажує контент за допомогою JavaScript
- Використовує такі функції, як «Більше результатів»
- Потребує рендерингу JavaScript
- Формат URL:
https://duckduckgo.com/?q=
2. Static Version
- No JavaScript
- Завантажує простий HTML
- Використовує стандартну пагінацію з «Next»
- Формат URL:
https://html.duckduckgo.com/html/?q=
Ця версія ідеально підходить для легких вебскраперів, оскільки сторінку можна отримати швидким HTTP-запитом.
Огляд 4 підходів
Натисніть Enter або клацніть, щоб переглянути зображення у повному розмірі
Підхід 1: Створіть власний вебскрапер DuckDuckGo
Цей метод дає вам повний контроль. Ви пишете власний Python-скрипт, щоб отримувати й парсити дані зі статичної версії SERP DuckDuckGo.
Цей підхід чудово підходить для:
- Вивчення того, як працює вебскрапінг
- Невеликі особисті проєкти
- Власна логіка вилучення
Крок 1: Встановіть потрібні бібліотеки
pip install requests beautifulsoup4
requestsнадсилає HTTP-запитиBeautifulSoupвитягує дані з HTML
Крок 2: Надішліть запит до статичної сторінки SERP
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
url = "https://html.duckduckgo.com/html/"
params = {"q": "агентний RAG"}
response = requests.get(url, headers=headers, params=params)
html = response.text
Крок 3: Розбір HTML
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
results = soup.select("#links .result")
Крок 4: Витягніть корисну інформацію
Кожен результат пошуку містить:
- Title
- URL
- Показати посилання
- Snippet
scraped = []
for item in results:
title_tag = item.select_one(".result__a")
if not title_tag:
continue
title = title_tag.get_text(strip=True)
href = title_tag.get("href", "")
link = href if href.startswith("http") else f"https:{href}"
display_tag = item.select_one(".result__url")
display = display_tag.get_text(strip=True) if display_tag else ""
snippet_tag = item.select_one(".result__snippet")
snippet = snippet_tag.get_text(strip=True) if snippet_tag else ""
scraped.append({
"title": заголовок,
"url": посилання,
"display_url": display,
"snippet": snippet
})
Крок 5: Збережіть у CSV
import csv
if scraped:
with open("results.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.DictWriter(f, fieldnames=["title", "url", "display_url", "snippet"])
writer.writeheader()
writer.writerows(scraped)
print(f"Saved {len(scraped)} results to results.csv")
Коли використовувати цей підхід
✅ Вам потрібна повна кастомізація
✅ Вам подобається програмувати
✅ Вам не потрібен масштабний вебскрапінг
Коли цього слід уникати
❌ Ви очікуєте тисячі пошукових запитів
❌ Вам потрібна динамічна версія на JavaScript
❌ Ви не хочете вручну обробляти блокування
Підхід 2: Скористайтеся бібліотекою DDGS
DDGS це бібліотека Python і CLI-інструмент, створені, щоб спростити вебскрапінг DuckDuckGo. Це найпростіший безплатний спосіб, коли ви не хочете писати власний парсер.
Installation
pip install -U ddgs
Збирайте результати пошуку за допомогою CLI
ddgs text -q "агентний RAG" -b duckduckgo -o output.csv
Це створює CSV-файл із заголовками, URL-адресами та фрагментами.
Переваги DDGS
✅ Не потрібно писати код
✅ Працює через CLI або Python
✅ Чудово підходить для невеликих обсягів
Cons
❌ Блокування все ще можливе
❌ Обмежена гнучкість
❌ Не підходить для великих обсягів роботи
Використання проксі з DDGS (необов'язково)
Якщо ви хочете зменшити ймовірність блокувань:
ddgs text -q "агентний RAG" -b duckduckgo
-o output.csv
-pr USER:[email protected]:33335
Це маршрутизує весь трафік через ротаційний проксі.
Підхід 3: Використайте SERP API від Bright Data
Для вебскрапінгу у великому масштабі або з високою надійністю найефективнішим є підхід на основі API. SERP API від Bright Data обробляє:
- Рендеринг JavaScript
- Ротація IP-адрес
- Браузерний фінгерпринтинг
- Блокування та CAPTCHA
Ви просто запитуєте URL, а API повертає вам повністю відрендерений HTML або структурований JSON.
Чому цей підхід такий потужний
Ви можете збирати:
- Динамічна сторінка результатів пошуку DuckDuckGo
- Розділи «Search Assist», згенеровані ШІ
- Контент з нескінченним прокручуванням або «Більше результатів»
- Великі обсяги запитів
Усе це без роботи з проксі, браузерами чи блокуваннями.
Приклад запиту в Python
import requests
api_key = ""
zone = ""
target = "https://duckduckgo.com/?q=agentic rag"
response = requests.post(
"https://api.brightdata.com/request",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"zone": зона,
"url": target,
"format": "raw"
}
)
if response.status_code == 200:
html = response.text
print(html)
else:
print(f"Error: {response.status_code}")
Кому варто використовувати цей підхід
- Businesses
- SEO-агентства
- розробники ШІ
- Збирачі даних у великих масштабах
Pros
✅ Надійно
✅ Високі обсяги
✅ Без блокувань
✅ Працює з будь-якою версією DuckDuckGo
Cons
❌ Платний сервіс
Підхід 4: Вебскрапінг DuckDuckGo за допомогою MCP-сервера для AI-агентів
Якщо ви працюєте з AI-асистентами, автономними агентами або складними робочими процесами, цей підхід створений саме для вас. Bright Data надає MCP-сервер, який відкриває інструмент під назвою search_engine.
Це дає AI-інструментам змогу отримувати дані SERP, просто «запитавши» MCP-сервер.
Сценарії використання MCP
- AI-асистенти для кодування
- Дослідницькі AI-агенти
- Автоматизовані робочі процеси
- Багатоагентні системи
- Чат-інструменти з доступом до інтернету
How It Works
Ви встановлюєте MCP-сервер і налаштовуєте його за допомогою свого API-ключа (тут використано Bright Data, але можете обрати будь-який варіант):
{
"mcpServers": {
"Bright Data Web MCP": {
"command": "npx",
"args": ["-y", "@brightdata/mcp"],
"env": {
"API_TOKEN": ""
}
}
}
}
Тоді ваше середовище ШІ (таке як Claude Code) можуть отримувати доступ до даних SERP DuckDuckGo через інтерфейс MCP.
Benefits
✅ Код для вебскрапінгу не потрібен
✅ Ідеально для інтеграцій з AI
✅ Доступний безплатний тариф
✅ Така сама надійність, як у SERP API
Який підхід варто обрати?
Натисніть Enter або клацніть, щоб переглянути зображення у повному розмірі
Поради, як уникати блокувань під час вебскрапінгу
DuckDuckGo може блокувати повторні запити з тієї самої IP-адреси. Щоб знизити ризик цього:
- Використовуйте реалістичні рядки User-Agent
- Додавайте затримки між запитами
- Використовуйте ротаційні проксі
- Використовуйте офіційні API для вебскрапінгу
- Уникайте надто високої частоти запитів
Final Thoughts
Вебскрапінг DuckDuckGo може бути простим або складним, залежно від обраного методу. Якщо вам потрібно зібрати лише невеликі обсяги даних, зазвичай достатньо власного вебскрапера або бібліотеки DDGS. Але якщо вам потрібен масштабний, надійний і повністю автоматизований вебскрапінг, рішення на кшталт Bright Data SERP API або інтеграції з MCP-сервером заощадить час і допоможе уникнути проблем. Якщо вам потрібні інші варіанти, перегляньте мій список найкращі SERP API.
Кожен підхід має свої сильні сторони, тож обирайте той, що відповідає вашому рівню підготовки та потребам проєкту. За правильного використання DuckDuckGo може бути цінним джерелом пошукових даних, чи то для досліджень, застосунків, чи аналізу.
