📱Parsera.

Parsera — это легковесная Python-библиотека для веб-скрапинга с использованием больших языковых моделей (LLM).

✅Она обеспечивает простой и экономичный способ извлечения данных с веб-сайтов, используя минимальное количество токенов, что повышает скорость работы и снижает расходы.

❓Почему стоит выбрать Parsera?

🔘Легковесность и высокая скорость.

🔘Минимальное использование токенов.

🔘Простая интеграция с моделями OpenAI, такими как GPT-4.

🔹Особенности:

🔘Простая установка через pip install parsera.

🔘Работает с Playwright.

🔘Запуск через командную строку, Jupyter Notebooks или Docker.

#Parsera #WebScraping #Python #LLM #AI #OpenAI #Playwright #Автоматизация #Технологии #Инструменты

📱Ссылка на репозиторий:
https://github.com/raznem/parsera

📱ScrapeServ.

ScrapeServ — это API, которое запускается на вашем компьютере, принимает URL и возвращает данные сайта в виде файлов и скриншотов. Всё просто!

🔹Основные возможности:

🔘Прокручивает страницу и делает скриншоты разных секций.

🔘Запускается в Docker-контейнере.

🔘Работает через браузер (поддерживает JavaScript).

🔘Показывает HTTP-статус и заголовки первого запроса.

🔘Автоматически обрабатывает редиректы и загрузки.

🔘Использует очередь задач с гибким распределением памяти.

🔘Блокирующий API, без лишних состояний и сложностей.

✅ScrapeServ использует Playwright и запускает Firefox-контекст для каждого задания, что делает его мощным, но ресурсоёмким инструментом.

#ScrapeServ #WebScraping #Python #Playwright #Docker #AI #Automation

📱Ссылка на репозиторий:
https://github.com/goodreasonai/ScrapeServ

📱Caniscrape.

caniscrape — это инструмент разведки для парсинга.

Он анализирует сайт и показывает, насколько сложно будет его скрапить — до того, как вы напишете хоть строчку кода.

❓Что умеет:

🔘Определяет WAF, CAPTCHA, лимиты, ботов-защитников (Cloudflare, Akamai, DataDome и др.).

🔘Выставляет оценку сложности (0–10): от “Easy” до “Very Hard”.

🔘Даёт рекомендации, какие инструменты, прокси и методы нужны.

🔘Показывает историю изменений защиты сайта (☁️ cloud tracking с v1.0.0).

💡Для кого:

🔘Разработчиков — чтобы понять, стоит ли вообще парсить этот сайт.

🔘Data-инженеров — для оценки затрат на CAPTCHA/прокси.

🔘Исследователей — для анализа антибот-защит.

🔘Команд — с централизованной историей и diff’ом изменений.

#Python #WebScraping #Caniscrape #BotDetection #Playwright #DataEngineering #OpenSource #AIReconnaissance

📱Ссылка на репозиторий:
https://github.com/ZA1815/caniscrape

📱Webctl.

webctl — это CLI-обёртка над Chromium/Playwright для автоматизации браузера людьми и AI‑агентами, с акцентом на фильтрацию вывода до попадания в контекст LLM и удобную интеграцию со skill‑системами (Claude, Goose и др.).

🔹Особенности:

🔘Автоматизация браузера командами вроде:
webctl start, webctl navigate "https://example.com", webctl click 'role=button name~="Submit"', webctl snapshot --interactive-only.

🔘Архитектура CLI + daemon: утилита отправляет JSON‑RPC по Unix‑сокету в фоновой процесс, который держит Chromium и сессию (cookies, профиль) живыми между командами.

❓Почему CLI, а не MCP:

🔘MCP обычно льёт в контекст кучу «шума» (полный accessibility tree, логи и т.д.), быстро забивая окно контекста модели.

🔘В CLI‑подходе ты сам решаешь, что покажется LLM:
webctl snapshot --interactive-only --limit 30 | grep -i "submit" или ... --format jsonl | jq ....

🔻Интеграция с агентами:

🔘webctl init генерирует skill‑/prompt‑файлы для Claude Code, Goose, Gemini, Copilot, Codex, чтобы агент знал, как вызывать webctl.

🔘Skills подхватываются по файлам (.claude/skills/webctl/SKILL.md, .agents/skills/... и т.п.), загружаются по требованию, чтобы не засорять системный промпт.

🔻Основные команды:

🔘Навигация и наблюдение: navigate, back/forward/reload, snapshot, query, screenshot.

🔘Взаимодействие: click, type, select, check, press, scroll, wait ..., плюс status, console, save для сессии.

#webctl #Playwright #CLI #BrowserAutomation #AIAgents #LLM #UnixTools #Chromium #DevTools #Automation

📱Ссылка на репозиторий:
https://github.com/cosinusalpha/webctl

📱Fortress.

Fortress - это скрытный (stealth) веб-движок на базе Chromium, разработанный специально для защиты парсеров, скреперов и ИИ-агентов от блокировок анти-бот системами.

Обычные инструменты маскировки (вроде puppeteer-extra-stealth) внедряют JavaScript-код поверх страницы, что современные детекторы легко палят через проверку .toString() или контекст встроенных фреймов (iframe).

Fortress решает эту проблему радикально: он корректирует цифровой отпечаток (fingerprint) прямо внутри C++ кода Chromium (Blink, V8, BoringSSL). Для сайтов автоматизированный процесс выглядит как абсолютно чистая, легитимная и запущенная человеком копия Google Chrome.

🔹Главные фичи и преимущества:

🔘Родная C++ маскировка: Все подмененные геттеры возвращают честный системный статус [native code]. Защита инвариантна и не ломается ни в изолированных фреймах (iframes), ни в фоновых веб-воркерах (Web Workers).

🔘Проходит сложнейшие проверки: С легкостью обходит Cloudflare Turnstile, Akamai Bot Manager, PerimeterX, CreepJS (показывает 0% headless / 0% stealth) и Sannysoft.

🔘Интеграция в одну строку через CDP: Работает как drop-in замена. Вы просто подключаете свой существующий код на Playwright или Puppeteer к порту :9222 через протокол CDP (Chrome DevTools Protocol) — менять саму логику автоматизации и сценарии не нужно.

🔘Связные личности (Coherent Personas): Платформа, GPU, экран, часовой пояс, язык, шрифты и TLS-отпечатки (JA3/JA4) идеально синхронизированы между собой, полностью имитируя реальное физическое Windows-устройство.

🔘Полностью открытый код: Вся маскировка состоит из 34 небольших понятных C++ патчей. Вы можете сами провести аудит исходников и пересобрать движок под свои нужды одним скриптом.

🤖ИИ-агенты и Fortress MCP (Beta).

В комплекте идет встроенный MCP-сервер (Model Context Protocol), предоставляющий ИИ-агентам в Claude Code, Cursor или Cline 29 готовых инструментов для незаметного веб-серфинга (fetch_protected_page, extract_page, crawl_site и др.). Если агент натыкается на блокировку, он просто вызывает инструмент и забирает чистый контент страницы.

🚀Быстрый старт:

Запуск через Python или Node.js (нативные бинарники для Linux x64 и Windows x64 скачиваются автоматически):

pip install tilion-fortress
npm install tilion-fortress

Или в любом окружении через Docker (запуск сырого CDP на порту 9222):

docker run --rm -p 9222:9222 tilion/fortress:latest

Простейший пример кода:

from tilion_fortress import Fortress
from playwright.sync_api import sync_playwright

with Fortress() as f:
    with sync_playwright() as p:
        browser = p.chromium.connect_over_cdp(f.cdp_url)
        page = browser.new_page()
        page.goto("https://bot.sannysoft.com")
        page.screenshot(path="all-green.png")

⚠️ Важное правило: Никогда не используйте поверх Fortress библиотеки вроде

puppeteer-stealth

или

undetected-chromedriver

— они лишь оставят лишние JS-следы в рантайме и сломают встроенную низкоуровневую маскировку.

#Chromium #Stealth #WebScraping #Playwright #Puppeteer #Python #NodeJS #Cloudflare #Akamai #BotDetection #OpenSource #DevTools #MCP

📱Ссылка на репозиторий:
https://github.com/tiliondev/fortress