PYTHONOMANIA
273 subscribers
195 photos
3 videos
1 file
616 links
Откройте для себя мир Python в PYTHONOMANIA!

Идеально подходит как для начинающих, так и для опытных разработчиков. Присоединяйтесь к нам, чтобы достичь совершенства в Python!

Сайт: https://pythonomania.github.io/
Download Telegram
📱Text2SQirreL.

Text2SQirreL — это открытый локальный Text2SQL‑асистент, который переводит ваши вопросы на обычном английском в исполняемые SQL‑запросы к реальным данным. Он построен на дообученных маленьких моделях Qwen3 (4B и 0.6B), которые благодаря дистилляции от большого DeepSeek‑V3 дают качество уровня «старшего» LLM, но запускаются прямо на ноутбуке без облаков и API‑ключей.

🔹Основные особенности:

🔘Локально и приватно: модели работают через Ollama/llama.cpp, данные остаются на вашей машине, подключение к облаку не требуется.

🔘Маленький размер → высокая скорость: 4B‑модель в 4‑битном GGUF весит ~2.5GB и запускается на большинстве ноутбуков без GPU.

🔘Качество уровня больших LLM: дистиллирована с DeepSeek‑V3, поддерживает SELECT/WHERE, JOIN, GROUP BY, подзапросы и другие конструкции SQLite‑совместимого SQL.

🔘Простая интеграция: утилита, которая загружает ваши CSV в SQLite, принимает вопрос на английском, генерирует SQL, выполняет его и показывает результат (можно вывести запрос флагом --show-sql).

🔘Гибкость по размерам: 4B‑модель для максимальной точности и 0.6B‑вариант для edge/мобилок и совсем ограниченных сред.

🐱Установка и запуск:

1. Ставите Ollama по инструкции на сайте проекта.
2. Создаёте виртуальное окружение и ставите зависимости:
python -m venv .venv
. .venv/bin/activate
pip install huggingface_hub openai pandas.
3. Скачиваете 4‑битную 4B‑модель (~2.5GB) и собираете её для Ollama:
huggingface-cli download distil-labs/distil-qwen3-4b-text2sql-gguf-4bit --local-dir distil-model
cd distil-model
ollama create distil-qwen3-4b-text2sql -f Modelfile
cd ...
4. Запускаете Text2SQL, указав свой CSV и вопрос на английском:
python app.py --csv example_data/employees.csv --question "How many employees are in each department?".

#AI #LLM #Text2SQL #Ollama #Qwen3 #DeepSeek #DataAnalytics #SQL #datatools #privacy #opensource #Python

📱Ссылка на репозиторий:
https://github.com/distil-labs/distil-text2sql
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍2🔥22
📱ACE-Step 1.5.

ACE-Step 1.5 — открытая модель генерации музыки, которая по качеству подбирается к коммерческим сервисам (между Suno v4.5 и Suno v5), но работает локально и довольствуется <4 ГБ VRAM. Она генерирует треки длиной от 10 секунд до 10 минут, поддерживает 50+ языков.

В основе — гибридная архитектура: LLM выступает «композитором‑планировщиком», разворачивая короткий промпт в подробный план трека (структура, метаданные, текст, описания), а Diffusion Transformer (DiT) по этому плану синтезирует аудио.

🔹Ключевые возможности:

🔘Скорость и масштаб: генерация 10–600 секунд музыки, батч до 8 треков одновременно.

🔘Управление стилем: поддержка 1000+ инструментов и стилей, контроль длительности, BPM, тональности, размера, структуры, текста.

🔘Мульти‑режимы: text‑to‑music, cover‑генерация, локальный repaint/extend участков, разбиение на дорожки (stems), добавление слоёв как в Suno Studio, Vocal→BGM‑аккомпанемент.

🔘Анализ аудио: извлечение BPM, тональности, размера, автогенерация описаний и LRC‑таймингов для текста.

🔘Персонализация: обучение своих LoRA по 8 трекам примерно за час на 3090 (12 ГБ VRAM) прямо из Gradio‑интерфейса.

🔻Установка и запуск:

🔘Требования: Python 3.11–3.12, желательно GPU с CUDA (также есть режимы для MPS / ROCm / Intel XPU / CPU).

🔘Быстрый старт:
1) Установить uv.
2) git clone https://github.com/ACE-Step/ACE-Step-1.5.git && cd ACE-Step-1.5
3) uv sync
4) uv run acestep — поднимает Gradio UI, модели докачаются при первом запуске.
5) Для REST API вместо UI: uv run acestep-api (по умолчанию порт 8001).
🔘Для Windows есть готовый portable‑пакет с уже предустановленными зависимостями.

Под разные видеокарты предусмотрены варианты LM‑моделей от 0.6B до 4B параметров; UI сам подбирает оптимальную конфигурацию (модель, бэкенд, квантование, оффлоад) исходя из объёма VRAM. Лицензия MIT, так что модель можно встраивать в свои пайплайны, продукты и тулчейны для музыкантов, продюсеров и контент‑криэйторов.

#AI #MusicGen #AIMusic #ACEStep #Diffusion #LLM #LoRA #OpenSource #AudioAI #CUDA #AMD #MacOS #Python

📱Ссылка на репозиторий:
https://github.com/ace-step/ACE-Step-1.5
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡3🔥31
📱PPT Master.

PPT Master — это мощный инструмент (workflow) для ИИ-редакторов кода вроде Cursor, Claude Code или VS Code, который превращает любые PDF, DOCX, Markdown или ссылки в полностью редактируемые презентации PowerPoint (.pptx).

🔹Главные фичи:

🔘Настоящий PowerPoint: Генерирует не плоские скриншоты, а реальные векторные фигуры, текстовые блоки и диаграммы. Любой элемент на слайде можно кликнуть и изменить руками!

🔘Локальность и безопасность: Ваши документы не загружаются на серверы сомнительных стартапов. Вся работа с файлами происходит на вашем ПК, в облако уходят только промпты для LLM.

🔘Без подписок и lock-in: Инструмент полностью бесплатный (Open Source). Вы платите только за API-токены самой нейросети (выходит сущие копейки, в районе $0.08 за готовую презентацию).

🔘Мультимодельность: Вы не привязаны к одной ИИ. Можно использовать Claude, OpenAI, Gemini или Kimi.

❓Как это работает:

Вам понадобится только установленный Python и ваш любимый AI IDE. Вы скачиваете репозиторий, закидываете исходный документ (например, годовой отчет) в папку и пишете в чат редактора: "Сделай презентацию на 10 слайдов из этого PDF". ИИ сам проанализирует текст, подберет структуру, сверстает слайды и сохранит готовый .pptx файл в папку экспорта.

#PowerPoint #AI #Productivity #OpenSource #Claude #Cursor #Presentation #Automation #DevTools

📱Ссылка на репозиторий:
https://github.com/hugohe3/ppt-master
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍2🔥21
📱AI Engineering from Scratch.

AI Engineering from Scratch — ультимативный опенсорс-курс по ИИ-инженерии!

От линейной алгебры до создания роев автономных агентов. Забудьте про скучные видеолекции и пассивное потребление. Это AI-native курс, где вы изучаете ИИ с помощью ИИ, создавая реальные проекты на Python, TypeScript, Rust и Julia.

🔹В чем главная фишка?

Классические курсы заканчиваются сертификатом и фразой: "Поздравляем, вы это выучили". Здесь каждый из 272+ уроков завершается созданием готового переиспользуемого артефакта:

🔘Prompts: продвинутые шаблоны для ИИ-ассистентов.
🔘Skills: навыки для ИИ-кодеров (Claude Code, Cursor).
🔘Agents: автономные воркеры, готовые к деплою.
🔘MCP Servers: серверы для Model Context Protocol.

❓Что внутри (20 фаз, ~306 часов):

🔘Фундамент: Математика для ML, классическое машинное обучение и Deep Learning.

🔘Модели: Computer Vision, NLP, звук, Трансформеры и создание LLM с нуля.

🔘Инженерия: Промпт-инжиниринг, RAG, Multimodal AI, интеграция инструментов (API, MCP).

🔘Агенты: Agent Engineering, Автономные системы безопасности и Мультиагентные рои (Swarms).

🐱Философия "Build It / Use It"

Вы не используете готовые фреймворки с первого дня. Сначала вы пишете архитектуру с нуля на чистом коде (понимая всю внутреннюю логику), и только потом переходите к "продакшен" инструментам вроде PyTorch или sklearn.

❓Как начать:

Курс адаптируется под вас. Новички могут начать с базовой математики (Phase 1), а сеньоры — сразу прыгнуть в разработку агентов (Phase 14). Если используете ИИ-кодеры, можно запустить команду /find-your-level, чтобы ИИ сам подобрал вам персональный путь.

#AI #MachineLearning #DeepLearning #LLM #AIAgents #Python #DataScience #OpenSource #Education #Programming

📱Ссылка на репозиторий:
https://github.com/rohitg00/ai-engineering-from-scratch
Please open Telegram to view this post
VIEW IN TELEGRAM
1⚡2🔥21
📱HY-World 2.0.

HY-World 2.0 — это мультимодальная нейросеть, которая совершает настоящую революцию в генерации 3D-миров. В отличие от большинства современных "World Models" (вроде Genie 3 или Sora), которые создают обычные плоские видеоролики, эта модель генерирует полноценные, редактируемые 3D-ассеты из текста, картинок или видео!

Вы больше не просто смотрите сгенерированное кино, а создаете реальное пространство.

🔹Главные фичи:

🔘Настоящее 3D, а не видео: Модель выдает форматы 3DGS (Gaussian Splattings), полигональные сетки (meshes) и облака точек. Результат можно напрямую импортировать в Blender, Unity, Unreal Engine или Isaac Sim.

🔘Генерация миров (World Generation): Превращает текстовый промпт или одну фотографию в детализированный 3D-мир. По этим локациям можно буквально ходить (от первого или третьего лица), они поддерживают физику столкновений!

🔘Мгновенная 3D-реконструкция (WorldMirror 2.0): Подаете на вход несколько фото или обычное видео с телефона — и нейросеть за один проход предсказывает глубину, нормали, параметры камеры и собирает цифрового 3D-двойника.

🔘Стабильность и дешевизна: В отличие от видеомоделей, где каждый кадр генерируется заново (что дорого и вызывает мерцание), здесь вы генерируете сцену один раз. Дальше она рендерится в реальном времени силами вашей видеокарты без потери качества и консистентности.

🔻Open Source:
Проект открытый! Команда Tencent уже опубликовала технический отчет и веса для модели реконструкции WorldMirror 2.0 (на Hugging Face). Полный код для генерации миров по тексту разработчики обещают выложить в ближайшее время.

#AI #3D #WorldModels #GameDev #Tencent #NeuralNetworks #OpenSource #MachineLearning #ComputerVision

📱Ссылка на репозиторий:
https://github.com/Tencent-Hunyuan/HY-World-2.0
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍2🔥22
📱LingBot-Map.

LingBot-Map — это новая базовая (foundation) 3D-модель прямого распространения, созданная специально для потоковой 3D-реконструкции видео в реальном времени!

💡Если вам нужно превратить длинное видео в детализированное облако точек на лету, то этот инструмент — один из лучших на сегодняшний день. Он превосходит как другие стриминговые методы, так и тяжелые классические подходы на базе итеративной оптимизации.

🔹Главные фишки:

🔘Geometric Context Transformer: Уникальная архитектура, которая в один проход объединяет привязку координат, геометрические подсказки и коррекцию дрейфа на длинных дистанциях (благодаря памяти траекторий и контексту якорей).

🔘Сверхбыстрый инференс: За счет использования Paged KV-кэша (с помощью библиотеки FlashInfer) модель стабильно обрабатывает видео со скоростью ~20 FPS даже на дистанциях свыше 10 000 кадров!

🔘Оконный режим (Windowed Inference): Идеальное решение для обработки гигантских сцен (>3000 кадров) без переполнения памяти видеокарты.

🔘Авто-маскировка неба: Встроенная ONNX-модель автоматически фильтрует небо, чтобы уличные реконструкции выглядели максимально чисто и без артефактов.

🎥Рендеринг и визуализация:

В комплекте идет крутой скрипт для пакетного рендеринга кинематографичных 3D-пролетов. Вы можете задать траекторию камеры (вид сверху, следование за оператором) через YAML-конфиг и сразу получить красивое .mp4 видео вашего облака точек.

🎥Доступные модели:

Веса лежат на Hugging Face и ModelScope. Авторы рекомендуют чекпоинт lingbot-map-long для больших сцен, но есть и сбалансированные варианты. Последние обновления проекта значительно ускорили работу и пофиксили баги с кэшированием ключевых кадров.

#3DReconstruction #MachineLearning #ComputerVision #PyTorch #LingBotMap #AI #OpenSource #DeepLearning

📱Ссылка на репозиторий:
https://github.com/Robbyant/lingbot-map
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍3🔥21
📱Vibescore.

Vibescore — это инструмент для быстрой оценки качества проектов, написанных с помощью ИИ (так называемый "vibe coding"). Одна команда — и вы получаете моментальную буквенную оценку (от A+ до F) "здоровья" вашего репозитория.

Сегодня "vibe coding" — это новая реальность: вы пишете промпты, ИИ пишет код, вы отправляете его в прод. Это очень быстро, но несет риски. Нейросети часто выдают функции-монстры, игнорируют базовую безопасность, забывают про тесты и используют нестабильные зависимости. Vibescore выявляет эти паттерны за пару секунд.

🔹Что проверяет и как оценивает:

Оценка формируется из 4 независимых категорий:

🔘Безопасность (Вес 30%): Поиск захардкоженных секретов, AWS-ключей, SQL/Shell инъекций, eval/exec и приватных ключей. (Самый большой вес, т.к. ошибка ИИ тут фатальна).

🔘Качество кода (Вес 25%): Длина функций, цикломатическая сложность, количество аргументов, аннотации типов и наличие докстрингов.

🔘Тестирование (Вес 25%): Наличие тестов, их количество, конфигурация CI и соотношение тестов к рабочему коду.

🔘Зависимости (Вес 20%): Наличие lock-файлов, строгая фиксация версий и проверка на использование устаревших форматов (вроде старых setup.py).

🔻Главные фичи:

🔘Комплексный анализ: В отличие от ruff или flake8, которые смотрят на код построчно, vibescore оценивает проект целиком, показывая общую картину.

🔘Идеально для CI/CD: Можно настроить автоматическое падение пайплайна (например, в GitHub Actions или pre-commit), если оценка падает ниже заданного порога (--min-score 70).

🔘Полностью оффлайн: Никаких запросов в сеть и API-ключей. У пакета вообще ноль зависимостей.

🔘*Примечание:* Сейчас детальный анализ кода и тестов заточен под Python (3.9+), но проверки безопасности и зависимостей работают для любых проектов.

🚀Быстрый старт:
pip install vibescore
vibescore .

#Python #VibeCoding #AI #DevTools #CI #Security #CodeQuality #OpenSource

📱Ссылка на репозиторий:
https://github.com/stef41/vibescore
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥3⚡2
📱Remove-AI-Watermarks.

Remove-
AI-Watermarks — это универсальная утилита для удаления как видимых, так и невидимых водяных знаков и метаданных из изображений, сгенерированных популярными нейросетями (Google Gemini, ChatGPT/DALL-E, Stable Diffusion, Midjourney, Adobe Firefly и др.).

Инструмент позволяет в одну команду очистить картинку от любых следов ИИ, включая метки SynthID, криптографические манифесты C2PA и теги EXIF, из-за которых соцсети автоматически вешают плашку "Made with AI".

🔹Главные фичи:

🔘Удаление видимых знаков: Например, логотип-звездочка от Google Gemini убирается за 0.05 сек с помощью обратного альфа-блендинга (работает оффлайн, без потери качества).

🔘Удаление невидимых знаков (SynthID, TreeRing): Прогоняет картинку через процесс диффузии (добавление шума и его подавление через SDXL), стирая частотные паттерны, которые выживают даже при сильном сжатии JPEG.

🔘Стирание метаданных: Полностью вычищает данные C2PA, EXIF (промпты, сиды) и текстовые чанки PNG, оставляя только стандартные поля (автор, копирайт).

🔘Умная защита лиц: Перед обработкой инструмент находит лица людей на фото и маскирует их, чтобы процесс стирания водяного знака (диффузия) не исказил черты лица.

🔘Analog Humanizer: Накладывает легкое пленочное зерно и хроматические аберрации, чтобы запутать детекторы ИИ-контента.

• Анализатор (Identify): Команда identify сканирует файл и выдает полную сводку о том, в какой нейросети он был создан и какие метки в нем зашиты.

🔧Установка и использование:

Рекомендуется устанавливать через pipx или uv для изоляции зависимостей:
uv tool install git+https://github.com/wiltodelta/remove-ai-watermarks.git

(Примечание: для удаления невидимых знаков потребуется установить пакет с флагом
[gpu]).

🔻Пример использования:
# Удалить ВСЕ следы ИИ с одной картинки
remove-ai-watermarks all image.png -o clean.png

# Узнать, где была сгенерирована картинка
remove-ai-watermarks identify image.png


#AI #MachineLearning #Watermarks #StableDiffusion #Midjourney #Gemini #Privacy #Python #DevTools #OpenSource

📱Ссылка на репозиторий:
https://github.com/wiltodelta/remove-ai-watermarks
Please open Telegram to view this post
VIEW IN TELEGRAM
13⚡2
📱CodeBoarding.

CodeBoarding -
это инструмент, который создает наглядную визуальную карту вашей кодовой базы.

Он помогает разработчикам и ИИ-агентам видеть архитектуру проекта целиком, чтобы понимать, как всё работает, еще до того, как неосторожный коммит что-нибудь сломает.

Проект объединяет классический статический анализ кода с логикой LLM. На выходе вы получаете архитектурные диаграммы, документацию на уровне компонентов и удобную навигацию прямо в вашей IDE, CI или документации.

🔹Главные фичи:

🔘Умные диаграммы: Генерирует как высокоуровневые схемы всей системы, так и глубокие разборы конкретных подсистем.

🔘Mermaid & Markdown: Все схемы выводятся в формате Mermaid, который легко встраивается в GitHub PR, Notion или любую Markdown-документацию (в папку .codeboarding/).

🔘Инкрементальные обновления: Утилита умеет обновлять схемы только для измененных участков кода, экономя время и токены.

🔘Широкий стек: Поддерживает код на Python, TypeScript, JavaScript, Java, Go, PHP, Rust и C#.

🔘Любые LLM: Работает с OpenAI, Anthropic, Google, Ollama (для локального запуска), OpenRouter и AWS Bedrock.

💡Зачем это нужно?

🔘Контроль над ИИ: Идеально для ревью кода, сгенерированного нейросетями. Вы сразу видите, как новые изменения вписываются в общую систему, и не даете ИИ накапливать скрытый технический долг.

🔘Онбординг: Позволяет быстрее въехать в устройство огромных незнакомых репозиториев (можно просто натравить утилиту на чужой GitHub-репозиторий).

🔘Синхронизация: Единая визуальная модель для локальной разработки, IDE и документации. Доступно в виде CLI, GitHub Action и расширения для VS Code.

🚀Быстрый старт (через CLI):

Удобнее всего ставить через изолированную среду pipx (потребуется Python 3.12+):

pipx install codeboarding --python python3.12
codeboarding-setup
codeboarding full --local /path/to/repo


(Для работы парсеров TypeScript, JavaScript, PHP и Python также потребуется установленный в системе Node.js)


#CodeBoarding #AI #Architecture #LLM #DevTools #VSCode #Mermaid #OpenSource #GitHub #Программирование

📱Ссылка на репозиторий:
https://github.com/CodeBoarding/CodeBoarding
Please open Telegram to view this post
VIEW IN TELEGRAM
3⚡4🔥3
📱EverOS.

EverOS -
это open-source Python-фреймворк, который наделяет ИИ-агентов (Claude Code, Codex, OpenClaw и др.) саморазвивающейся долгосрочной памятью.
Главная идея проекта — ваш контекст, принятые решения и файлы должны следовать за вашей работой, а не оставаться запертыми внутри одного конкретного инструмента.

🔹Главные фишки релиза 1.0.0:

🔘Markdown как источник правды: Вся память сохраняется в обычные .md файлы. Вы можете читать их, редактировать, версионировать через Git или открывать как базу знаний прямо в Obsidian.

🔘Легковесный локальный стек: Работает полностью локально на связке Markdown + SQLite + LanceDB (для векторного и BM25 поиска). Никаких тяжеловесных MongoDB, Redis или Elasticsearch!

🔘Двойная память (Dual-Track): Данные логично разделяются на агентские (навыки, рабочие кейсы) и пользовательские (профили, история общения).

🔘Мультимодальность: Запоминает и осуществляет поиск не только по тексту, но и по картинкам, аудио, PDF, HTML и офисным документам.

🔘Саморазвитие: Агент учится на основе реального использования. Повторяющиеся паттерны автоматически превращаются в готовые переиспользуемые процессы без необходимости переобучения модели.

🚀Быстрый старт:

Установка и запуск занимают всего три команды:
pip install everos
everos init
everos server start


✅Инструмент полностью совместим с API OpenAI, поэтому вы легко можете направить его на OpenRouter, vLLM, Ollama или DeepInfra.

#EverOS #AI #Python #MachineLearning #LLM #OpenSource #DevTools #Нейросети #Разработка

📱Ссылка на репозиторий:
https://github.com/EverMind-AI/EverOS
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍3🔥33
📱Tracesage.

Tracesage —
это легковесный инструмент локального мониторинга и визуализации мультиагентных систем, построенных на базе LangChain и LangGraph.

Достаточно добавить всего пару строк кода, чтобы запустить интерактивный трейсинг выполнения ИИ-агентов в реальном времени прямо в браузере. Инструмент перехватывает весь поток колбэков LangChain (запуски цепочек, вызовы инструментов, LLM-запросы, ретривал, ошибки) и наглядно раскладывает его по полочкам.

🔹Главные преимущества:

🔘Нулевая инфраструктура: Никакого Docker, Postgres или сторонних облачных сервисов. Только чистый pip install. Все данные сохраняются локально в SQLite, а веб-интерфейс работает полностью оффлайн.

🔘Интеграция в две строки: Вам не нужно менять логику работы ваших агентов. Просто добавьте колбэк-хэндлер в ваш метод ainvoke.

🔘Интерактивный граф (UI): Кастомный легковесный SVG-граф автоматически строит топологию вызовов. Вы можете кликать на любой шаг, изучать промпты, логи ответов, токены, задержки и ошибки.

🔘Поддержка MCP (Model Context Protocol): Утилита автоматически определяет, из каких именно MCP-серверов были подгружены инструменты, визуализируя их происхождение.

🔘Мост в продакшн (OpenTelemetry): Локальные трейсы можно легко экспортировать в виде OTel-спанов в ваши корпоративные системы мониторинга (Grafana Tempo, Jaeger, Datadog, Honeycomb).

🔘Безопасность (Crash-safe): Локальный обработчик изолирован и никогда не вызовет падение основного конвейера вашего приложения при сбоях.

🚀Быстрый старт:

Установка (для zsh обязательно берите в кавычки):

pip install "tracesage[langchain]"


Использование в синхронных скриптах или Jupyter-ноутбуках для автоматического глобального перехвата:

import tracesage

with tracesage.trace() as tl:
# Трейсится автоматически, в консоль выводится кликабельная ссылка
result = agent.invoke("Создай план поездки")
input("Трейс готов — откройте ссылку в консоли и нажмите Enter для выхода.")


По умолчанию интерфейс поднимается на http://localhost:7842/ui.

🛠Инструменты разработчика (CLI и Тестирование):

tracesage предлагает мощные команды для отладки прямо из терминала:

🔘tracesage show <run_id> — отрисовать структуру выполнения в виде дерева в консоли.

🔘tracesage watch <run_id> — стриминг событий в реальном времени.

🔘tracesage diff <run_a> <run_b> — сравнение двух запусков по токенам, времени и ошибкам.

Также инструмент автоматически регистрирует фикстуру tracesage_capture для pytest, позволяя писать интеграционные тесты на поведение ИИ-агентов (например, проверять, вызывался ли конкретный инструмент и не превышен ли лимит токенов).

#Python #LangChain #LangGraph #AI #MultiAgent #Observability #DevTools #OpenSource #LLM

📱Ссылка на репозиторий:
https://github.com/kjgpta/tracesage
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥3⚡2👍1
📱Unlimited OCR.

Unlimited OCR —
это продвинутая ИИ-модель для распознавания текста и разбора документов от компании Baidu, открывающая эру комплексного «one-shot» парсинга длинных многостраничных документов (One-shot Long-horizon Parsing).

Проект развивает архитектуру Deepseek-OCR и предлагает мощное решение для перевода сканов, изображений и PDF-файлов в структурированный текстовый вид без потери контекста на стыке страниц.

🔹Главные фичи и возможности:

🔘Многостраничный парсинг «из коробки»: Модель нативно поддерживает обработку PDF и многостраничных документов с длиной контекста до 32 768 токенов. Она эффективно решает проблему зацикливания текста с помощью кастомных процессоров логитов (no_repeat_ngram_size).

🔘Два режима обработки изображений:

✔️base — стандартный режим для документов и многостраничных PDF (разрешение 1024x1024).

✔️gundam — продвинутый режим с умным кроппингом (640x640) для точечного извлечения данных со сложных картинок.

🔘Максимальная скорость инференса: Помимо стандартной библиотеки transformers, модель поддерживает интеграцию с ведущими движками высокопроизводительного ИИ-вывода — vLLM и SGLang (с поддержкой FlashAttention-3).

🔘Готовность к продакшну: Разработчики подготовили официальные Docker-образы под свежие версии CUDA (включая оптимизацию под архитектуру NVIDIA Hopper).

🔻Пример использования (Hugging Face Transformers):

Минимальный стек для запуска требует Python 3.12, CUDA 12.9+ и PyTorch 2.10.

import torch
from transformers import AutoModel, AutoTokenizer

model_name = 'baidu/Unlimited-OCR'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
model_name,
trust_remote_code=True,
torch_dtype=torch.bfloat16
).eval().cuda()

# Распознавание документа за один вызов
model.infer(
tokenizer,
prompt='<image>document parsing.',
image_file='scan.jpg',
output_path='./output',
crop_mode=True,
max_length=32768
)

Проект полностью открытый. Код, веса модели и научная статья уже доступны на Hugging Face, arXiv и ModelScope, а протестировать работу вживую можно в интерактивном демо на Hugging Face Spaces.


#Baidu #UnlimitedOCR #OCR #DeepseekOCR #vLLM #SGLang #ComputerVision #AI #OpenSource #Python

📱Ссылка на репозиторий:
https://github.com/baidu/Unlimited-OCR
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍3🔥3
📱Graphify.

Graphify
- это плагин для ИИ-ассистентов (Claude Code, Cursor, GitHub Copilot, Aider и др.), который мгновенно превращает весь ваш проект — код, документацию, PDF, изображения и видео — в интерактивный граф знаний (knowledge graph).

Вместо того чтобы прочесывать файлы через grep или скармливать нейросети тонны исходников, вы можете опрашивать структурированную базу данных вашего репозитория. Достаточно просто ввести в чате вашего ИИ-кодера: /graphify .

❓Что вы получаете на выходе:

После сканирования в проекте создается папка graphify-out/ с тремя файлами:

🔘graph.html — интерактивная визуализация для любого браузера. Можно кликать по узлам, искать скрытые связи и фильтровать компоненты.

🔘GRAPH_REPORT.md — выжимка главного: ключевые архитектурные концепты, неожиданные взаимосвязи между модулями и готовые подсказки для вопросов.

🔘graph.json — полная структура графа, к которой ИИ-ассистент обращается мгновенно без повторного перечитывания файлов.

🔹Главные фичи:

🔘Глубокая аналитика: Находит «God nodes» (центральные хабы проекта, через которые течет большая часть логики), скрытые зависимости и вытягивает из комментариев вроде # NOTE:, # WHY: или # HACK: контекст проектирования, связывая их с кодом.

🔘Поддержка 36+ языков: Локально извлекает синтаксическое дерево (AST) через tree-sitter. Этот этап работает полностью оффлайн и бесплатно. Нетекстовые файлы (медиа, PDF) анализируются через API модели вашего IDE-ассистента.

🔘Приватность на первом месте: Кодовая база обрабатывается на вашей машине. Архиватор также ведет детальный лог поисковых запросов локально в JSON Lines.

🔘Готовность к Git: Папку с графом можно коммитить в репозиторий, чтобы вся команда сразу получала карту проекта. Инструмент автоматически настраивает собственный git-драйвер слияния, чтобы у разработчиков при параллельной работе файлы graph.json объединялись без конфликтов.

🚀Быстрый старт:

Рекомендуется устанавливать через менеджер пакетов uv (обратите внимание, имя пакета на PyPI пишется с двойной «y» — graphifyy):

# Установка утилиты
uv tool install graphifyy

# Регистрация плагина в вашем ИИ-ассистенте
graphify install


🔻Полезные команды для терминала:

🔘graphify query "что связывает модуль авторизации с базой данных?" — точечный поиск по графу.

🔘graphify export callflow-html — генерация интерактивной архитектурной схемы на базе диаграмм Mermaid.

#Python #AI #KnowledgeGraph #DevTools #LLM #ClaudeCode #Cursor #Aider #OpenSource #SoftwareArchitecture

📱Ссылка на репозиторий:
https://github.com/safishamsi/graphify
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥4⚡3👍2
📱ProtoMotions 3.

ProtoMotions 3
- это открытый высокопроизводительный фреймворк с GPU-ускорением, разработанный для симуляции, процедурной генерации и обучения движениям цифровых людей и гуманоидных роботов (Reinforcement Learning).

Проект выпущен под свободной лицензией Apache-2.0 и объединяет усилия исследователей в области анимации, робототехники и обучения с подкреплением, предоставляя модульную и масштабируемую платформу для быстрого прототипирования.

🔹Главные фичи и возможности:

🔘Масштабное обучение движениям: Позволяет обучить физически смоделированного персонажа моторным навыкам на основе огромного датасета анимаций AMASS (более 40 часов движения) всего за 12 часов на 4 видеокартах NVIDIA A100.

🔘Ретаргетинг в одну команду: Встроенный оптимизатор на базе PyRoki позволяет перенести базу движений человека на любого кастомного робота одной консольной командой (например, заменив параметр --robot-name=smpl на --robot-name=h1_2).

🔘Кросс-симуляционное тестирование (Sim2Sim): Переключение физических движков в один клик (--simulator=isaacgym ➔ newton ➔ mujoco). Это позволяет проверять алгоритмы управления роботами в разных условиях, используя только те сигналы датчиков, которые реально получить с «железа».

🔘Интеграция с генеративным ИИ: Поддерживает работу с ИИ-моделью NVIDIA Kimodo (генерация движений по текстовому промпту). Вы можете превратить текст в анимацию, а затем обучить робота выполнять это действие в симуляции.

🔘Фотореалистичный рендеринг: Полная интеграция с IsaacSim 5.0+ позволяет загружать красивое окружение, созданное с помощью трехмерного гауссового сплэттинга (Gaussian splatting).

🤖Из симуляции в реальность (Sim-to-Real).

Фреймворк успешно протестирован на аппаратном обеспечении. Универсальная политика трекинга обучается в симуляторе на датасете ~142 тысяч движений и переносится на реального гуманоидного робота Unitree G1 напрямую (zero-shot).
💡 Пайплайн развертывания экспортирует готовую ONNX-модель со встроенным вычислением параметров наблюдения. Фреймворкам на реальном роботе (тестировалось через RoboJuDo) достаточно просто скармливать модели сырые сигналы с датчиков — переписывать функции обработки данных вручную не нужно.

🛠Архитектурная модульность.

Вам не нужно писать монолитные тяжелые классы окружения. Например, задача управления движением собирается из независимых слоев:

🔘Контроллер (steering_control.py) — управляет целевым направлением и скоростью.

🔘Наблюдение (obs/steering.py) — тензорное ядро, переводящее цели в локальную систему координат робота.

🔘Награда (rewards/task.py) — рассчитывает функции вознаграждения за соблюдение курса и направления.

Добавить своего собственного робота так же просто: достаточно закинуть спецификацию .xml от MuJoCo в папку ассетов, заполнить конфигурационный файл и зарегистрировать его в фабрике роботов.

#ProtoMotions3 #NVIDIA #Robotics #Humanoids #ReinforcementLearning #SimToReal #UnitreeG1 #MuJoCo #AI #OpenSource #DevTools

📱Ссылка на репозиторий:
https://github.com/NVlabs/ProtoMotions
Please open Telegram to view this post
VIEW IN TELEGRAM
1⚡2🔥22
📱Mellea.

Mellea
- это библиотека для Python, которая позволяет создавать предсказуемые и надежные ИИ-приложения без гадания на кофейной гуще.

Мы все знаем, какое звено в любом ИИ-пайплайне самое нестабильное — это сам вызов LLM. Скрытые сбои, непредсказуемые ответы и полное отсутствие гарантий. Mellea предлагает заменить хрупкие промпты и капризных агентов на структурированные, жестко тестируемые рабочие процессы (workflows).

🔹Главные фичи библиотеки:

🔘Нативный структурированный вывод: Декоратор @generative превращает обычные функции с аннотациями типов в структурированные вызовы ИИ. Ваши докстринги автоматически становятся промптами, а тайп-хинты — схемами валидации. Схемы Pydantic форсируются прямо в момент генерации текста моделью.

🔘Проверка требований и самоисправление (Requirements & repair): Вы можете прикрепить к любому вызову условия на естественном языке. Mellea сама проверит результат выполнения и запустит автоматические повторные попытки (retries), если модель ошиблась.

🔘Умные стратегии сэмплинга: Нужна максимальная точность? Запустите генерацию несколько раз и выберите лучший результат, переключаясь между rejection sampling (выборка с отклонением), majority voting (голосование большинства) и другими стратегиями с помощью одного параметра.

🔘Мультиплатформенность: Из коробки поддерживаются Ollama, OpenAI, HuggingFace, WatsonX, LiteLLM и AWS Bedrock.

🔘Совместимость с MCP: Любую генеративную программу можно легко превратить в инструмент для экосистемы MCP (Model Context Protocol).

❓Как это выглядит в коде:

Вам больше не нужны громоздкие шаблоны и ручные парсеры ответов:

from pydantic import BaseModel
from mellea import generative, start_session

class UserProfile(BaseModel):
name: str
age: int

@generative
def extract_user(text: str) -> UserProfile:
"""Extract the user's name and age from the text."""

m = start_session()
user = extract_user(m, text="User log 42: Alice is 31 years old.")

print(user.name) # Выведет: Alice
print(user.age) # Выведет: 31 (гарантированно тип int)


🚀Быстрый старт:

Проект запущен командой IBM Research (Кембридж, Массачусетс) и распространяется под открытой лицензией Apache-2.0. Установить библиотеку со всеми расширениями можно одной командой:

uv pip install 'mellea[all]'


#Python #Mellea #AI #LLM #Pydantic #GenerativeAI #IBMResearch #OpenSource #DevTools #SoftwareEngineering

📱Ссылка на репозиторий:
https://github.com/generative-computing/mellea
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥32👍1
📱SGLang.

SGLang
- это высокопроизводительный движок и фреймворк для инференса и развертывания больших языковых (LLM) и мультимодальных моделей (VLM), разработанный сообществом LMSYS.

Проект оптимизирован как для запуска моделей на одиночных потребительских видеокартах, так и для масштабирования на гигантские серверные кластеры. SGLang стал де-факто индустриальным стандартом для инференса MoE-архитектур (включая модели линейки DeepSeek) и генерации роллаутов (rollout engine) на этапе обучения с подкреплением (RL).

🔹Ключевые возможности и архитектурные решения:

🔘RadixAttention: Умное автоматическое кэширование KV-кэша по дереву префиксов (Radix tree). Ускоряет инференс в разы в сценариях с общими системными промптами, few-shot примерами, агентскими циклами и multi-turn диалогами.

🔘Архитектура PD Disaggregation: Разделение стадий prefill (обработка входного контекста) и decode (потоковая генерация токенов) по разным GPU-нодам для максимальной утилизации вычислительной мощности.

🔘Параллелизм масштаба дата-центров: Полная поддержка Tensor, Pipeline, Data и масштабируемого Expert Parallelism (EP) для MoE-моделей на десятках и сотнях GPU (включая стойки NVIDIA GB200/GB300 NVL72).

🔘Быстрый структурированный вывод: Генерация строгого JSON и следование схемам до 3 раз быстрее аналогов благодаря оптимизированным конечным автоматам (Compressed FSM).

🔘Day-0 поддержка новейших моделей: Мгновенная адаптация топовых открытых моделей (DeepSeek-V3/R1/V4, Kimi K3, Nemotron 3, GLM, LLaVA, диффузионных генераторов видео и изображений WAN и Qwen-Image).

🔘Аппаратная всеядность: Оптимизирован под архитектуры NVIDIA (от RTX 4090/5090 до H100/B200/GB300), AMD Instinct (MI300X, MI355), Google TPU (через бэкенд на JAX) и Intel Xeon.

🔘Основа для RL и Post-Training: Служит высокоскоростным бэкендом генерации ответов во фреймворках обучения с подкреплением (verl, Miles, AReaL, slime).

💻Быстрый старт:

Установка:
pip install "sglang[all]"


Запуск OpenAI-совместимого сервера инференса:

python -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-V3 \
--port 30000 \
--tp 8


Отправка запроса через Python:

import openai

client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="None")

response = client.chat.completions.create(
model="default",
messages=[{"role": "user", "content": "Объясни квантовые вычисления простыми словами."}],
temperature=0.7,
)
print(response.choices[0].message.content)


#SGLang #LLM #AI #Inference #MachineLearning #DeepSeek #NVIDIA #AMD #OpenSource #DevTools #Python #DataScience

📱Ссылка на репозиторий:
https://github.com/sgl-project/sglang
Please open Telegram to view this post
VIEW IN TELEGRAM
4⚡1👍1
📱No AI Slop.

No
AI Slop - это инструмент для очистки текста от «нейросетевых штампов» (AI slop), который вырезает более 20 заезженных паттернов ИИ-генерации, не убивая при этом ваш уникальный авторский голос.

Проблема ИИ-текстов в том, что они звучат одинаково. Даже лучшие языковые модели постоянно выдают фразы вроде:

«Это не Х. Это Y.»

«То, о чем вам никто не расскажет...»

«Будущее не грядет. Оно уже здесь.»

Когда вы просите ИИ отредактировать ваш черновик, он часто «сглаживает» лексику, ритм, юмор и те самые шероховатости, которые делают текст живым и человечным.

❓Что отлавливает и удаляет No AI Slop:

🔘Бинарные противопоставления: «Это не X. Это Y.»

🔘Пустые вступления для «прочистки горла»: «Суть в следующем», «Давайте начистоту».

🔘Псевдо-инсайты: «То, что все упускают», «То, о чем никто не говорит».

🔘Искусственную интригу: «Самое лучшее: оно учится».

🔘Драматичные обрывки фраз: «Вот и всё. Это всё, что нужно».

🔘Напыщенную важность: «знаменует поворотный момент», «является ярким свидетельством».

🔘Размытые ссылки на авторитет: «эксперты согласны», «исследования показывают».

🔘Псевдоглубокие концовки: «Будущее не наступает. Оно уже здесь».

🔘Также инструмент следит за базой: использует активный залог, распутывает сложные предложения и заменяет абстракции на конкретные детали.

⌨Как использовать команды:

🔘Редактура: /no-ai-slop (ваш текст) — убирает клише, сохраняет ваш стиль и выводит список того, что было изменено.

🔘Детектор штампов: /no-ai-slop is this slop? (текст) — находит и цитирует все ИИ-паттерны в тексте.

🔘Генератор сатиры: Попросите написать текст в стиле «AI slop», чтобы получить максимально кринжовый и клишированный результат (например, ради шутки).

📦Установка:

Инструмент работает в ChatGPT, Claude Code и Codex. Самый простой способ установки — отправить вашему ИИ-агенту следующий промпт:

Install the /no-ai-slop skill globally from [https://github.com/petergyang/no-ai-slop](https://github.com/petergyang/no-ai-slop)

Для установки через терминал (npx):

npx skills add petergyang/no-ai-slop --skill no-ai-slop --global --yes

#NoAISlop #Нейросети #Тексты #Копирайтинг #Редактура #ChatGPT #Claude #DevTools #AI

📱Ссылка на репозиторий:
https://github.com/petergyang/no-ai-slop
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2⚡1👍1
📱Ollaya.

Ollaya
- это CLI-утилита и локальный демон для запуска открытых моделей принятия решений (decision models), работающий по тому же принципу и с тем же удобством, как Ollama запускает генеративные LLM.

Модели принятия решений принципиально отличаются от привычных чат-ботов: они не генерируют текст токен за токеном. Вместо этого модель принимает входящий контекст (письмо, тикет техподдержки, произвольный JSON) и список типизированных вопросов, а затем за один прямой проход (forward pass) за миллисекунды возвращает математически откалиброванные вероятности по каждому пункту.

🔹Ключевые возможности:

🔘Экстремальная скорость без генерации: Оценка параметров происходит в разы быстрее классических LLM. Легковесные энкодеры вроде laya:en (на базе ModernBERT) отвечают на 5 вопросов за 8–10 мс на RTX 4090 и доли секунды на обычном CPU.

🔘Три типа вопросов:

choice — множественный выбор категории с распределением вероятностей;

noul — бинарные вопросы (да/нет);

score — оценка по шкале (уровень злости клиента, срочность и т.д.).

🔘Совместимость с TypeSafe / Jev: Демон полностью воспроизводит протокол /v1/systemone. Код, написанный под SDK TypeSafe, переключается на локальный инстанс простой установкой переменной TYPESAFE_BASE_URL=http://localhost:11435.

🔘Знакомый интерфейс в стиле Ollama: Единый бинарный файл с привычными командами управления: ollaya run, ollaya pull, ollaya list, ollaya ps, ollaya rm.

🔘Честная калибровка вероятностей: В отличие от сырых моделей, Ollaya учитывает индивидуальную температуру каждого чекпоинта, выдавая доверительные интервалы, на которые действительно можно опираться при автоматизации бизнес-логики.

🔘Готовность к работе с ИИ-агентами: Встроенная поддержка протокола Model Context Protocol (ollaya mcp) позволяет в одну команду подключить локальные классификаторы к Claude Code, Cursor или Claude Desktop.

🔘Поддержка кастомных Modelfile: Можно упаковать фиксированный набор вопросов в собственную модель:

Dockerfile:
FROM laya
QUESTIONS ./triage.json
PARAMETER precision fp32


🧢Каталог моделей:

✔️winnow:e4b — рекомендуемая флагманская модель (файнтьюн Gemma 4 в формате GGUF через llama.cpp). Точность 0.722, время ответа ~89 мс на RTX 4090.

✔️laya / laya:en / laya:multilingual — быстрый роутер и энкодеры для мгновенной классификации на 100+ языках даже на слабом процессоре.

✔️kev (kev:4b, kev:9b) — открытые откалиброванные модели принятия решений на базе архитектуры Qwen3.5.

✔️qwen3guard — специализированная модель фильтрации контента и безопасности (safe / controversial / unsafe).

💻Пример использования в терминале:

# Мгновенная классификация тикета саппорта
ollaya run winnow:e4b --preset triage "Уже третий раз за год списываете деньги дважды! Верните платеж сегодня же или я ухожу к конкурентам."


Вывод модели:


intent            refund                                ███████████████░ 0.91
is_urgent yes ███████████████░ 0.92
frustration 2.89 / 3 very angry or using stron… ██████████████░░ 0.86
refund_requested yes ████████████████ 0.99
churn_risk yes ████████████████ 0.99


🚀Установка:

Linux / macOS (Apple Silicon):

curl -fsSL https://ollaya.dev/install.sh | sh


Windows (PowerShell):


irm https://ollaya.dev/install.ps1 | iex


✅Также доступны Docker-образы с поддержкой CUDA и официальное десктопное приложение для управления моделями из системного трея.

#Ollaya #MachineLearning #DecisionModels #Ollama #Classification #NLP #AI #DevTools #OpenSource #LocalAI #LLM

📱Ссылка на репозиторий:
https://github.com/ollaya-dev/ollaya
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31
📱Jeff.

Jeff
- это сверхлегкая (0.8B параметров) открытая модель «Системы 1» (System 1), спроектированная для быстрого принятия решений и многоклассовой классификации в любых предметных областях за миллисекунды.

Вместо того чтобы тратить секунды и десятки гигабайт видеопамяти тяжелых генеративных LLM на выбор из нескольких вариантов, роутинг или валидацию, Jeff делает выбор за один прямой проход (forward pass) без генерации лишнего текста и возвращает строго откалиброванные вероятности.

🔹Ключевые возможности и сценарии:

🔘Тандем «Быстрый + Умный» (System 1 перед System 2): Jeff ставится как легковесный шлюз перед большой моделью (например, Qwen 3.8-27B). В подавляющем большинстве случаев Jeff принимает решение сам всего за 20–70 мс (в 28–35 раз быстрее!). К тяжелой 27B-модели система обращается только тогда, когда уверенность Jeff падает ниже пороговой. На тестах такая связка показала среднюю точность 95.0% против 86.6% у одиночной 27B-модели.

🔘Модульные адаптеры (v1.3): Базовая модель весит всего ~1.7 ГБ VRAM и поддерживает горячее переключение 15 компактных LoRA-адаптеров под узкие задачи:

✔️guard — защита от промпт-инъекций и джейлбрейков (точность 98.2%);

✔️tools — выбор вызываемого инструмента для агентов (97.2%);

✔️ground — проверка обоснованности ответа источниками (анти-галлюцинации);

✔️triage и support-intents — маршрутизация тикетов и определение намерений клиентов;

✔️legal-clauses, aml, sanctions, soc — доменные проверки для финтеха, комплаенса и ИБ.

🔘Jeff-Code для кодинг-агентов: В связке с Qwen 3.8-27B берет на себя рутинные подготовительные шаги (чтение файлов, grep, запуск тестов) и решает, когда большой модели действительно нужно включать режим глубокого рассуждения (thinking). Задачи выполняются на 47% быстрее при сохранении аналогичного Pass Rate (~62.4%).

🔘Аппаратная всеядность и GGUF: Работает через нативный бэкенд MLX на Apple Silicon, через PyTorch/CUDA на видеокартах NVIDIA, а также через llama.cpp с поддержкой квантованных GGUF-сборок (Q8_0 и Q4_K_M).

💻Пример использования в Python:

from jeff import Client
from jeff.client import choice_question, yes_no_question

# Подключение к локальному инстансу с нужным адаптером
jeff = Client("http://localhost:8765", model="triage")

# Мгновенная классификация тикета
answers = jeff.ask(
"Посылка пришла разбитой, требую немедленный возврат денег.",
{
"team": choice_question(
{
"refunds": "Возвраты и финансовые вопросы",
"parcels": "Поврежденные или утерянные посылки",
"login": "Проблемы со входом и учетной записью",
},
instructions="Какая команда должна обработать тикет?",
),
"angry": yes_no_question("Клиент выражает злость?"),
},
)

# Получаем категорию с откалиброванной вероятностью
print(answers.choice("team").key) # parcels
print(answers.choice("team").confidence) # 0.94


🚀Быстрый старт:

git clone https://github.com/firelex/jeff && cd jeff
uv sync --no-default-groups --extra lora

# Скачивание базы и адаптеров
uv run hf download mstrasser/jeff-base --revision v1.3 --local-dir jeff-base-v1.3
uv run hf download mstrasser/jeff-adapter-triage --revision v1.3 --local-dir adapters/triage

# Запуск сервера
JEFF_CHECKPOINT=jeff-base-v1.3 JEFF_ADAPTERS=adapters PORT=8765 uv run --extra lora jeff-serve


✅Код проекта распространяется под лицензией MIT, веса моделей — Apache 2.0.

#Jeff #MachineLearning #LLM #DecisionModels #System1 #Qwen #Classification #AI #DevTools #OpenSource #LocalAI #AgenticAI

📱Ссылка на репозиторий:
https://github.com/firelex/jeff
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31
📱RightWayUp.

RightWayUp
- это открытая модель компьютерного зрения (Computer Vision) от команды ORTUS AI, предназначенная для определения угла поворота (roll) изображений в полном диапазоне 360° с шагом в 1° и механизмом калиброванного воздержания от ответа (calibrated abstention).

Большинство классических решений либо классифицируют поворот только с шагом 90° (0°, 90°, 180°, 270°), либо «считывают» ориентацию не по смыслу сцены, а по артефактам повернутой 8×8 сетки блоков JPEG. Кроме того, обычные модели пытаются повернуть даже те кадры, где верха и низа объективно не существует.

RightWayUp
решает эти проблемы: модель возвращает точный угол по часовой стрелке (angle_cw), скор уверенности (confidence), флаг воздержания (abstain) и умеет автоматически сохранять исправленный снимок.

🔹Ключевые особенности и архитектура:

🔘Полный круг 360° с точностью до 1°: Непрерывная оценка угла поворота кадра на основе архитектуры DINOv2 (ViT) с 360-биновой классификационной головой и circular-Gaussian soft target loss.

🔘Калиброванное воздержание (Calibrated Abstention): Если на снимке нет выраженного «верха» (текстуры, сплошная стена, чистое небо, съемка поверхности строго сверху вниз), модель активирует флаг abstain, исключая ложные срабатывания в автоматических пайплайнах.

🔘Защита от читерства на JPEG-сетке (The Grid Fix): Архитектура обучена на «чистых» данных без утечки сетки сжатия (lossless cue-free rendering), благодаря чему модель анализирует реальную физику и геометрию сцены, а не артефакты ресемплинга.

🔘Результаты выше человека и мультимодальных LLM: На бенчмарке RotBench старшие версии модели показывают 100% точности при поворотах на 0/90/180/270°, опережая как живых асессоров (97–99%), так и современные мультимодальные модели вроде GPT-5 и Gemini 2.5 Pro (40–80%).

🔘Устойчивость к помехам: Изначально создавалась для систем мониторинга камер видеонаблюдения (CCTV/CHEQIT) — отлично справляется с размытием, ночной съемкой, низким разрешением и даже тепловизионными кадрами.

🔧Линейка моделей (Tiers):

🔘Pico / Nano (23M параметров): Экстремально быстрые модели (0.55 мс на GPU, 3–7 мс на CPU). Pico оптимизирована для запуска прямо в браузере через WebAssembly/ONNX Runtime Web.

🔘Fast (23M параметров, 224 px): Дистиллированная из Max версия для edge-устройств и парков камер (0.68 мс на GPU).

🔘Balanced / Pro (Каскады Fast → Max): Большинство простых кадров обрабатываются быстрой сетью Fast, а пограничные и сложные передаются тяжелой модели Max.

🔘Max (306M параметров, ViT-L/14, 280 px): Флагманская модель для максимальной точности на сложных ракурсах и датасетах.

💻Быстрый старт:

Установка:

pip install rightwayup


Использование через CLI:


# Определение угла поворота
rightwayup predict frame.jpg

# Автоматическое выравнивание с привязкой к 90° (пропускает кадры с abstain)
rightwayup fix photo.jpg --snap 90 --out upright/


Использование в Python:


from PIL import Image
from rightwayup import Orienter

# Инициализация модели (pico, nano, fast, balanced, pro, max)
orienter = Orienter(tier="balanced")

# Предсказание угла
result = orienter.predict("frame.jpg")
print(f"Поворот: {result.angle_cw}°, Уверенность: {result.confidence}, Воздержание: {result.abstain}")

# Коррекция положения
corrected_img = orienter.correct(Image.open("photo.jpg"), snap=90)


Модели доступны в форматах ONNX (FP32, FP16, INT8), Core ML (для Apple Silicon / Neural Engine) и TensorRT.

✅Лицензия: Apache 2.0 (разрешено коммерческое использование).

#RightWayUp #ComputerVision #MachineLearning #DINOv2 #AI #Python #ONNX #CoreML #ImageProcessing #DevTools #OpenSource

📱Ссылка на репозиторий:
https://github.com/ortusaitech/rightwayup
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡22