🕷 Crawl4AI — open-source краулер, который превращает веб в Markdown для LLM

Если строишь RAG-пайплайн, агента или автоматизацию сбора данных — рано или поздно упираешься в задачу: взять веб-страницу и превратить её в чистый текст, с которым модель может работать. Не в HTML-кашу, а в структурированный Markdown с заголовками, таблицами, ссылками и без рекламного мусора. Crawl4AI делает именно это — и ещё много чего.

🦂 Что внутри. Асинхронный Python-краулер на Playwright. Заходит на страницу как браузер, рендерит JavaScript, ждёт динамический контент, делает скриншоты. На выходе — чистый Markdown, «fit markdown» (с фильтрацией шума через BM25), структурированный JSON по CSS-селекторам или по схеме через LLM. Поддерживает сессии, прокси, куки, хуки на каждом этапе. 51K+ звёзд на GitHub — самый популярный open-source краулер в категории.

🦂 LLM-извлечение. Можно подключить любую модель (OpenAI, Claude, Ollama) и задать Pydantic-схему: «достань названия товаров, цены, описания». Краулер сам разобьёт контент на чанки, прогонит через модель и вернёт структурированный JSON. Для таблиц — отдельная стратегия LLMTableExtraction с умным чанкингом для больших таблиц

🦂 Deep crawl. BFS/DFS обход, до десятков страниц за один запуск. Есть crash recovery — если процесс упал на 150-й странице из 200, можно продолжить с чекпоинта. Prefetch-режим — 5-10x быстрее обычного обхода для первичного сбора URL-ов

🦂 Деплой. Docker-образ с FastAPI, мониторинг-дашборд в реальном времени, browser pool с «прогревом» страниц, MCP-интеграция для подключения к Claude Code и другим агентам. CLI для быстрого использования: crwl https://example.com -q "Extract all product prices"

🦂 Безопасность. В v0.8.5 добавили трёхуровневую anti-bot детекцию с автоматической эскалацией через прокси. В v0.8.6 — срочный фикс после компрометации пакета litellm в PyPI (supply chain атака). Если используешь v0.8.5 или ниже — обновляйся

Главный конкурент — Firecrawl. Ключевая разница: Firecrawl — managed сервис от $16/мес, работает из коробки, не нужно поднимать инфраструктуру. Crawl4AI — полностью бесплатный, self-hosted, но требует настройки. По отзывам, Firecrawl экономит время на старте, а Crawl4AI — деньги на дистанции, особенно при больших объёмах.

Для n8n-автоматизаций и AI-агентов Crawl4AI — один из самых практичных инструментов. MCP-сервер позволяет подключить его к Claude Code напрямую, Docker-деплой встаёт за минуту, а LLM-извлечение закрывает задачу «собрать данные и сразу получить структуру» без промежуточных костылей. Единственное, к чему надо быть готовым — настройка. Это не click-and-go, это инструмент для тех, кто готов потратить час на конфигурацию ради полного контроля.

GitHub • Документация • Colab • Docker Guide


#Colab #GitHub #ClaudeCode #Docker