📱Caniscrape.

caniscrape — это инструмент разведки для парсинга.

Он анализирует сайт и показывает, насколько сложно будет его скрапить — до того, как вы напишете хоть строчку кода.

❓Что умеет:

🔘Определяет WAF, CAPTCHA, лимиты, ботов-защитников (Cloudflare, Akamai, DataDome и др.).

🔘Выставляет оценку сложности (0–10): от “Easy” до “Very Hard”.

🔘Даёт рекомендации, какие инструменты, прокси и методы нужны.

🔘Показывает историю изменений защиты сайта (☁️ cloud tracking с v1.0.0).

💡Для кого:

🔘Разработчиков — чтобы понять, стоит ли вообще парсить этот сайт.

🔘Data-инженеров — для оценки затрат на CAPTCHA/прокси.

🔘Исследователей — для анализа антибот-защит.

🔘Команд — с централизованной историей и diff’ом изменений.

#Python #WebScraping #Caniscrape #BotDetection #Playwright #DataEngineering #OpenSource #AIReconnaissance

📱Ссылка на репозиторий:
https://github.com/ZA1815/caniscrape

📱Fortress.

Fortress - это скрытный (stealth) веб-движок на базе Chromium, разработанный специально для защиты парсеров, скреперов и ИИ-агентов от блокировок анти-бот системами.

Обычные инструменты маскировки (вроде puppeteer-extra-stealth) внедряют JavaScript-код поверх страницы, что современные детекторы легко палят через проверку .toString() или контекст встроенных фреймов (iframe).

Fortress решает эту проблему радикально: он корректирует цифровой отпечаток (fingerprint) прямо внутри C++ кода Chromium (Blink, V8, BoringSSL). Для сайтов автоматизированный процесс выглядит как абсолютно чистая, легитимная и запущенная человеком копия Google Chrome.

🔹Главные фичи и преимущества:

🔘Родная C++ маскировка: Все подмененные геттеры возвращают честный системный статус [native code]. Защита инвариантна и не ломается ни в изолированных фреймах (iframes), ни в фоновых веб-воркерах (Web Workers).

🔘Проходит сложнейшие проверки: С легкостью обходит Cloudflare Turnstile, Akamai Bot Manager, PerimeterX, CreepJS (показывает 0% headless / 0% stealth) и Sannysoft.

🔘Интеграция в одну строку через CDP: Работает как drop-in замена. Вы просто подключаете свой существующий код на Playwright или Puppeteer к порту :9222 через протокол CDP (Chrome DevTools Protocol) — менять саму логику автоматизации и сценарии не нужно.

🔘Связные личности (Coherent Personas): Платформа, GPU, экран, часовой пояс, язык, шрифты и TLS-отпечатки (JA3/JA4) идеально синхронизированы между собой, полностью имитируя реальное физическое Windows-устройство.

🔘Полностью открытый код: Вся маскировка состоит из 34 небольших понятных C++ патчей. Вы можете сами провести аудит исходников и пересобрать движок под свои нужды одним скриптом.

🤖ИИ-агенты и Fortress MCP (Beta).

В комплекте идет встроенный MCP-сервер (Model Context Protocol), предоставляющий ИИ-агентам в Claude Code, Cursor или Cline 29 готовых инструментов для незаметного веб-серфинга (fetch_protected_page, extract_page, crawl_site и др.). Если агент натыкается на блокировку, он просто вызывает инструмент и забирает чистый контент страницы.

🚀Быстрый старт:

Запуск через Python или Node.js (нативные бинарники для Linux x64 и Windows x64 скачиваются автоматически):

pip install tilion-fortress
npm install tilion-fortress

Или в любом окружении через Docker (запуск сырого CDP на порту 9222):

docker run --rm -p 9222:9222 tilion/fortress:latest

Простейший пример кода:

from tilion_fortress import Fortress
from playwright.sync_api import sync_playwright

with Fortress() as f:
    with sync_playwright() as p:
        browser = p.chromium.connect_over_cdp(f.cdp_url)
        page = browser.new_page()
        page.goto("https://bot.sannysoft.com")
        page.screenshot(path="all-green.png")

⚠️ Важное правило: Никогда не используйте поверх Fortress библиотеки вроде

puppeteer-stealth

или

undetected-chromedriver

— они лишь оставят лишние JS-следы в рантайме и сломают встроенную низкоуровневую маскировку.

#Chromium #Stealth #WebScraping #Playwright #Puppeteer #Python #NodeJS #Cloudflare #Akamai #BotDetection #OpenSource #DevTools #MCP

📱Ссылка на репозиторий:
https://github.com/tiliondev/fortress