📱VLM Run Hub.

VLM Run Hub — это обширный репозиторий предопределённых Pydantic-схем для извлечения структурированных данных из неструктурированных визуальных данных, таких как изображения, видео и документы.

❓Почему это важно?

Современные модели, такие как GPT-4o и Claude Vision, отлично работают с визуальными данными, но их сложно интегрировать в автоматизированные системы. Structured Outputs API позволяет получать строго типизированные и валидированные данные в Pydantic формате , устраняя необходимость сложного парсинга.

❓Что даёт VLM Run Hub?

🔘Готовые к использованию Pydantic-схемы для реальных индустриальных задач (финансы, медицина, медиа).

🔘Автоматическая валидация данных — чистота, точность и отсутствие ошибок.

🔘Типобезопасность — совместимость с mypy, pyright и другими инструментами.

🔘Гибкость — единые схемы можно использовать с разными VLM-провайдерами.

🔘Оптимизация под Visual ETL — превращение изображений и документов в структурированные данные.

🔹Каталог схем:

🔘Документы: выписки, счета, чеки, резюме, водительские удостоверения (US), коммунальные счета, W2-формы.

🔘Медицина: страховые карты.

🔘Ритейл: e-commerce описания товаров.

🔘Медиа: расшифровки новостей.

🔘Аэрокосмос: данные дистанционного зондирования.

#VLM #Pydantic #AI #DataExtraction #ML #Python #ComputerVision #StructuredData #Automation

📱Ссылка на репозиторий:
https://github.com/vlm-run/vlmrun-hub

📱Otary.

Otary — это современная и интуитивно понятная Python-библиотека для работы с изображениями и 2D-геометрией, объединяющая простоту, наглядность и высокую производительность.

🔹Основные возможности Otary:

🔘Унификация — единое решение для работы с изображениями и геометрией без переключения между инструментами.

🔘Читаемость — код самодокументируемый, понятный даже новичкам.

🔘Производительность — построен на NumPy и OpenCV, оптимизирован для скорости.

🔘Интерактивность — идеально подходит для Jupyter-ноутбуков и живых экспериментов.

🔘Гибкость — легко расширяется и настраивается под любые задачи.

🔻Пример:

Прочитать изображение из PDF, нарисовать эллипс, обрезать, повернуть, применить порог и отобразить:

import otary as ot

im = ot.Image.from_pdf("path/to/your/file.pdf", page_nb=0)

ellipse = ot.Ellipse(foci1=[100, 100], foci2=[400, 400], semi_major_axis=250)

im = (
    im.draw_ellipses([ellipse])
    .crop(x0=50, y0=50, x1=450, y1=450)
    .rotate(angle=90, is_degree=True)
    .threshold_simple(thresh=200)
)

im.show()

✅Всё в одной библиотеке — без OpenCV, Pillow, Scikit-Image, PyMuPDF и др.

✅Максимум гибкости для визуальных задач!

#Python #Otary #ImageProcessing #ComputerVision #DataScience #OpenCV #Geometry #PDF #Jupyter #AItools #DevTools

📱Ссылка на репозиторий:
https://github.com/poupeaua/otary

📱MinerU.

MinerU 2.5 — революционный инструмент для интеллектуального парсинга документов и PDF, превосходящий даже GPT-4o, Gemini 2.5 Pro и Qwen2.5-VL-72B в бенчмарке OmniDocBench.

✅Созданный командой OpenDataLab, этот open-source проект превращает PDF-файлы в машинно-читаемые форматы (Markdown, JSON и др.) с высокой точностью и скоростью.

🔹Основные возможности:

🔘Мультимодальная архитектура с 1.2B параметров — SOTA-результаты при сверхэффективности

🧾 Распознавание структуры документа: заголовки, таблицы, формулы, изображения.

🔘Конвертация формул в LaTeX, таблиц — в HTML.

🔘Распознавание макета, порядка чтения и даже сложных математических формул.

🔘OCR на 84 языках, поддержка CPU/GPU/NPU.

🔘Поддержка CLI, API, WebUI, Docker и Gradio.

🚀Установка:

uv pip install -U "mineru[core]"

#Python #AI #OCR #PDFParsing #MinerU #OpenDataLab #LLM #Gemini25 #GPT4o #Qwen25 #DocumentAI #ComputerVision #OpenSource #DeepLearning #LaTeX #TableRecognition #AIResearch

📱Ссылка на репозиторий:
https://github.com/opendatalab/mineru

📱DeepInverse.

DeepInverse — это открытая библиотека на базе PyTorch для решения обратных задач в области обработки изображений с помощью глубокого обучения.

Библиотека объединяет широкий набор операторов, моделей и алгоритмов, создавая модульную и воспроизводимую среду для исследований и практических экспериментов.

🔹Особенности:

🔘Большой набор предопределённых операторов визуализации.

🔘Современные нейронные сети, включая предобученные модели восстановления и денойзеры.

🔘Гибкая инфраструктура для plug-and-play восстановления, оптимизационных и развёрнутых архитектур.

🔘Поддержка обучающих функций, диффузионных моделей и оценки неопределённости.

🔘Удобные инструменты для создания наборов данных для обратных задач.

🔻Установка:

pip install deepinv
# или с дополнительными зависимостями:
pip install deepinv[dataset,denoisers]

✅DeepInverse — это мощный инструмент для исследователей и инженеров, стремящихся ускорить и упростить разработку решений для задач восстановления изображений с использованием нейросетей.

#DeepInverse #PyTorch #DeepLearning #ComputerVision #ImageRestoration #OpenSource #AI #ResearchTools

📱Ссылка на репозиторий:
https://github.com/deepinv/deepinv

📱Depth Anything 3.

Depth Anything 3 — модель, которая восстанавливает 3D из любых картинок

Представьте модель, которая может понять глубину и форму сцены практически из любых изображений — одного фото, нескольких кадров или даже видео.
Это и делает Depth Anything 3 (DA3).

🔹Главная идея проста:

🔘Обычный Transformer справляется отлично — без сложных архитектур.
🔘Одно универсальное представление глубины заменяет кучу отдельных задач.

Именно поэтому DA3 работает стабильнее и точнее предыдущих моделей — как для одного кадра, так и для нескольких видов.

❓Что умеет DA3:

🔘Глубина по одному фото.

🔘Глубина по нескольким изображениям — кадры «склеиваются» с правильной 3D-геометрией.

🔘Определение позы камеры.

🔘3D Gaussian — красивые новые ракурсы сцены.

🔘Метрическая глубина (модель знает реальный масштаб).

🔘Единая модель под разные задачи.

🔻Почему удобно:

🔘Есть web-интерфейс — загрузил фото и получил 3D.

🔘Есть CLI для автоматизации.

🔘Можно сохранять в glb, ply, depth, npz, 3DGS и другие форматы.

🔘Удобный код для экспериментов и кастомных моделей.

✅Depth Anything 3 — это простой способ получать качественную 3D-информацию из любых изображений.

#depthanything #da3 #3dvision #ai #computerVision #deeplearning #geometry #monocular #multiview #pytorch #opensource

📱Ссылка на репозиторий:
https://github.com/ByteDance-Seed/Depth-Anything-3

📱HY-World 2.0.

HY-World 2.0 — это мультимодальная нейросеть, которая совершает настоящую революцию в генерации 3D-миров. В отличие от большинства современных "World Models" (вроде Genie 3 или Sora), которые создают обычные плоские видеоролики, эта модель генерирует полноценные, редактируемые 3D-ассеты из текста, картинок или видео!

Вы больше не просто смотрите сгенерированное кино, а создаете реальное пространство.

🔹Главные фичи:

🔘Настоящее 3D, а не видео: Модель выдает форматы 3DGS (Gaussian Splattings), полигональные сетки (meshes) и облака точек. Результат можно напрямую импортировать в Blender, Unity, Unreal Engine или Isaac Sim.

🔘Генерация миров (World Generation): Превращает текстовый промпт или одну фотографию в детализированный 3D-мир. По этим локациям можно буквально ходить (от первого или третьего лица), они поддерживают физику столкновений!

🔘Мгновенная 3D-реконструкция (WorldMirror 2.0): Подаете на вход несколько фото или обычное видео с телефона — и нейросеть за один проход предсказывает глубину, нормали, параметры камеры и собирает цифрового 3D-двойника.

🔘Стабильность и дешевизна: В отличие от видеомоделей, где каждый кадр генерируется заново (что дорого и вызывает мерцание), здесь вы генерируете сцену один раз. Дальше она рендерится в реальном времени силами вашей видеокарты без потери качества и консистентности.

🔻Open Source:
Проект открытый! Команда Tencent уже опубликовала технический отчет и веса для модели реконструкции WorldMirror 2.0 (на Hugging Face). Полный код для генерации миров по тексту разработчики обещают выложить в ближайшее время.

#AI #3D #WorldModels #GameDev #Tencent #NeuralNetworks #OpenSource #MachineLearning #ComputerVision

📱Ссылка на репозиторий:
https://github.com/Tencent-Hunyuan/HY-World-2.0

📱LingBot-Map.

LingBot-Map — это новая базовая (foundation) 3D-модель прямого распространения, созданная специально для потоковой 3D-реконструкции видео в реальном времени!

💡Если вам нужно превратить длинное видео в детализированное облако точек на лету, то этот инструмент — один из лучших на сегодняшний день. Он превосходит как другие стриминговые методы, так и тяжелые классические подходы на базе итеративной оптимизации.

🔹Главные фишки:

🔘Geometric Context Transformer: Уникальная архитектура, которая в один проход объединяет привязку координат, геометрические подсказки и коррекцию дрейфа на длинных дистанциях (благодаря памяти траекторий и контексту якорей).

🔘Сверхбыстрый инференс: За счет использования Paged KV-кэша (с помощью библиотеки FlashInfer) модель стабильно обрабатывает видео со скоростью ~20 FPS даже на дистанциях свыше 10 000 кадров!

🔘Оконный режим (Windowed Inference): Идеальное решение для обработки гигантских сцен (>3000 кадров) без переполнения памяти видеокарты.

🔘Авто-маскировка неба: Встроенная ONNX-модель автоматически фильтрует небо, чтобы уличные реконструкции выглядели максимально чисто и без артефактов.

🎥Рендеринг и визуализация:

В комплекте идет крутой скрипт для пакетного рендеринга кинематографичных 3D-пролетов. Вы можете задать траекторию камеры (вид сверху, следование за оператором) через YAML-конфиг и сразу получить красивое .mp4 видео вашего облака точек.

🎥Доступные модели:

Веса лежат на Hugging Face и ModelScope. Авторы рекомендуют чекпоинт lingbot-map-long для больших сцен, но есть и сбалансированные варианты. Последние обновления проекта значительно ускорили работу и пофиксили баги с кэшированием ключевых кадров.

#3DReconstruction #MachineLearning #ComputerVision #PyTorch #LingBotMap #AI #OpenSource #DeepLearning

📱Ссылка на репозиторий:
https://github.com/Robbyant/lingbot-map

📱Unlimited OCR.

Unlimited OCR — это продвинутая ИИ-модель для распознавания текста и разбора документов от компании Baidu, открывающая эру комплексного «one-shot» парсинга длинных многостраничных документов (One-shot Long-horizon Parsing).

Проект развивает архитектуру Deepseek-OCR и предлагает мощное решение для перевода сканов, изображений и PDF-файлов в структурированный текстовый вид без потери контекста на стыке страниц.

🔹Главные фичи и возможности:

🔘Многостраничный парсинг «из коробки»: Модель нативно поддерживает обработку PDF и многостраничных документов с длиной контекста до 32 768 токенов. Она эффективно решает проблему зацикливания текста с помощью кастомных процессоров логитов (no_repeat_ngram_size).

🔘Два режима обработки изображений:

✔️base — стандартный режим для документов и многостраничных PDF (разрешение 1024x1024).

✔️gundam — продвинутый режим с умным кроппингом (640x640) для точечного извлечения данных со сложных картинок.

🔘Максимальная скорость инференса: Помимо стандартной библиотеки transformers, модель поддерживает интеграцию с ведущими движками высокопроизводительного ИИ-вывода — vLLM и SGLang (с поддержкой FlashAttention-3).

🔘Готовность к продакшну: Разработчики подготовили официальные Docker-образы под свежие версии CUDA (включая оптимизацию под архитектуру NVIDIA Hopper).

🔻Пример использования (Hugging Face Transformers):

Минимальный стек для запуска требует Python 3.12, CUDA 12.9+ и PyTorch 2.10.

import torch
from transformers import AutoModel, AutoTokenizer

model_name = 'baidu/Unlimited-OCR'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
).eval().cuda()

# Распознавание документа за один вызов
model.infer(
    tokenizer,
    prompt='<image>document parsing.',
    image_file='scan.jpg',
    output_path='./output',
    crop_mode=True,
    max_length=32768
)

Проект полностью открытый. Код, веса модели и научная статья уже доступны на Hugging Face, arXiv и ModelScope, а протестировать работу вживую можно в интерактивном демо на Hugging Face Spaces.

#Baidu #UnlimitedOCR #OCR #DeepseekOCR #vLLM #SGLang #ComputerVision #AI #OpenSource #Python

📱Ссылка на репозиторий:
https://github.com/baidu/Unlimited-OCR

📱RightWayUp.

RightWayUp - это открытая модель компьютерного зрения (Computer Vision) от команды ORTUS AI, предназначенная для определения угла поворота (roll) изображений в полном диапазоне 360° с шагом в 1° и механизмом калиброванного воздержания от ответа (calibrated abstention).

Большинство классических решений либо классифицируют поворот только с шагом 90° (0°, 90°, 180°, 270°), либо «считывают» ориентацию не по смыслу сцены, а по артефактам повернутой 8×8 сетки блоков JPEG. Кроме того, обычные модели пытаются повернуть даже те кадры, где верха и низа объективно не существует.

RightWayUp решает эти проблемы: модель возвращает точный угол по часовой стрелке (angle_cw), скор уверенности (confidence), флаг воздержания (abstain) и умеет автоматически сохранять исправленный снимок.

🔹Ключевые особенности и архитектура:

🔘Полный круг 360° с точностью до 1°: Непрерывная оценка угла поворота кадра на основе архитектуры DINOv2 (ViT) с 360-биновой классификационной головой и circular-Gaussian soft target loss.

🔘Калиброванное воздержание (Calibrated Abstention): Если на снимке нет выраженного «верха» (текстуры, сплошная стена, чистое небо, съемка поверхности строго сверху вниз), модель активирует флаг abstain, исключая ложные срабатывания в автоматических пайплайнах.

🔘Защита от читерства на JPEG-сетке (The Grid Fix): Архитектура обучена на «чистых» данных без утечки сетки сжатия (lossless cue-free rendering), благодаря чему модель анализирует реальную физику и геометрию сцены, а не артефакты ресемплинга.

🔘Результаты выше человека и мультимодальных LLM: На бенчмарке RotBench старшие версии модели показывают 100% точности при поворотах на 0/90/180/270°, опережая как живых асессоров (97–99%), так и современные мультимодальные модели вроде GPT-5 и Gemini 2.5 Pro (40–80%).

🔘Устойчивость к помехам: Изначально создавалась для систем мониторинга камер видеонаблюдения (CCTV/CHEQIT) — отлично справляется с размытием, ночной съемкой, низким разрешением и даже тепловизионными кадрами.

🔧Линейка моделей (Tiers):

🔘Pico / Nano (23M параметров): Экстремально быстрые модели (0.55 мс на GPU, 3–7 мс на CPU). Pico оптимизирована для запуска прямо в браузере через WebAssembly/ONNX Runtime Web.

🔘Fast (23M параметров, 224 px): Дистиллированная из Max версия для edge-устройств и парков камер (0.68 мс на GPU).

🔘Balanced / Pro (Каскады Fast → Max): Большинство простых кадров обрабатываются быстрой сетью Fast, а пограничные и сложные передаются тяжелой модели Max.

🔘Max (306M параметров, ViT-L/14, 280 px): Флагманская модель для максимальной точности на сложных ракурсах и датасетах.

💻Быстрый старт:

Установка:

pip install rightwayup

Использование через CLI:

# Определение угла поворота
rightwayup predict frame.jpg

# Автоматическое выравнивание с привязкой к 90° (пропускает кадры с abstain)
rightwayup fix photo.jpg --snap 90 --out upright/

Использование в Python:

from PIL import Image
from rightwayup import Orienter

# Инициализация модели (pico, nano, fast, balanced, pro, max)
orienter = Orienter(tier="balanced")

# Предсказание угла
result = orienter.predict("frame.jpg")
print(f"Поворот: {result.angle_cw}°, Уверенность: {result.confidence}, Воздержание: {result.abstain}")

# Коррекция положения
corrected_img = orienter.correct(Image.open("photo.jpg"), snap=90)

Модели доступны в форматах ONNX (FP32, FP16, INT8), Core ML (для Apple Silicon / Neural Engine) и TensorRT.

✅Лицензия: Apache 2.0 (разрешено коммерческое использование).

#RightWayUp #ComputerVision #MachineLearning #DINOv2 #AI #Python #ONNX #CoreML #ImageProcessing #DevTools #OpenSource

📱Ссылка на репозиторий:
https://github.com/ortusaitech/rightwayup