JoyCaption Beta One

Вышла новая бета версия открытой модели для текстового описания изображений

Ключевые функции

• Свободный и открытый: без ограничений, с открытым весом.
• Без цензуры: равный охват SFW и NSFW.
• Разнообразие: широкий охват стилей изображений и содержания.
• Минимальная фильтрация: обучение на больших массивах изображений.

Что нового

• Больше тренировок: 2,4 миллиона обучающих выборок.
• Простой режим: золотая середина между многословными и лаконичными режимами.
• Настройки тегирования Booru: стабилизация и повышение полезности.
• Точность водяных знаков: обновление учебных данных.
• VQA: добавление данных для расширения диапазона инструкций.
• Увеличение количества тегов: поддержка указания списка тегов booru.
• Обучение с подкреплением: устранение проблем с Alpha Two.

Предостережения

• JoyCaption далек от совершенства, возможны сбои.
• Частота сбоев снижена, но все еще высока.
• Некоторые запросы NSFW могут вызывать отказ, но это не намеренно.

Гитхаб
Демо
HF
Civitai

#image2text #captioning #vlm

BLIP3-o

Мультимодальная модель от Salesforce. Сочетает в себе авторегрессионную силу рассуждений и инструкций с генеративной силой диффузионных моделей. Есть 4B и 8B параметров

Понимает картинки и умеет отвечать на вопросы как минимум

Демо
Код
Веса

#multimodal #image2text #instruct

Pixel Reasoner: Incentivizing Pixel-Space Reasoning with Curiosity-Driven Reinforcement Learning

Модель анализирует изображения на уровне пикселей, улавливает мелкие детали и сложные визуальные отношения, которые трудно выразить текстом

Демо
Код - пока только обучение, без инференса, ждем
Веса

#reasoning #assistant #image2text

Ovis-U1

Мультимодальная модель от Alibaba для понимания, генерации и редактирования изображений

- Поддерживает понимание сложных визуальных сцен и текстового контента, ответы на вопросы об изображениях, выполнение визуальных ответов на вопросы (VQA) и генерацию описаний изображений.

- Генерирует высококачественные изображения на основе текстовых описаний, поддерживая различные стили и сложные изображения сцен.

- Точное редактирование изображений на основе текстовых инструкций, включая добавление, корректировку, замену или удаление элементов, а также перенос стиля.

Код
Веса
Демо

#vlm #text2image #imageediting #captioning #image2text

Describe Anything: Detailed Localized Image and Video Captioning (DAM)

Модель от NVIDIA генерирует подробные описания для заданных областей на изображениях и видео

Код
Демо

#captioning #image2text #video2text

VLM Image Captioning Tool

Инструмент для автоматизации описания большого количества изображений. Главная фича - позволяет настроить серию промптов (а не один промпт) для пошагового процесса.

Поддерживает большинство VLM провайдеров, в том числе локальные VLM

Видео

#captioning #image2text #vlm

PyVision: Agentic Vision with Dynamic Tooling

Так, агенты добрались и до визуального понимания.

PyVision — это новая система, которая позволяет моделям машинного обучения работать с изображениями и придумывать собственные инструменты для решения задач. Модель может анализировать картинки, находить на них нужные объекты, измерять их. По сути, учится «видеть» и понимать мир как человек, но с помощью кода и алгоритмов.

Например, создает код на питоне для решения задачи

Работает через API OpenAI, поэтому для работы нужен API ключ OpenAI

Код
Демо

#vlm #agent #image2text

Qwen3-VL: Sharper Vision, Deeper Thought, Broader Action

Визуально-языковая модель, которая не просто «видит» изображения и видео, но и понимает мир, интерпретирует события и способна действовать.

Есть две версии: Instruct и Thinking. Instruct лучше Gemini 2.5 Pro в работе с визуальными задачами, а Thinking отлично справляется с мультимодальным рассуждением.

Возможности:

- управляет интерфейсами на ПК и телефонах

- превращает скриншоты в код (HTML/CSS/JS)

- интерпретирует пространственные отношения, планирует движения и подходит для применения в робототехнике и автономных системах

- определяет объекты в сложных сценах и поддерживает предсказание 3D-границ

- узнаёт знаменитостей, еду, растения, животных, бренды автомобилей и аниме-персонажей

- анализирует несколько изображений, сравнивает их и поддерживает контекст в многоходовых диалогах

- описывает видео кадр за кадром и отвечает на вопросы о содержании

- распознает текст на 32 языках, даже если он размыт или наклонён

- показывает отличные результаты в STEM и математике

Код
Демо
HF
Чат
API

#VLM #OCR #assistant #reasoning #video2text #image2text #chat

Qwen3-VL-30B-A3B-Instruct & Thinking

Qwen выпустил младшую версию Qwen3-VL на 30B параметров из которых только 3B активные.
При этом конкурирует с GPT-5-Mini и Claude4-Sonnet, а в некоторых случаях превосходит их.

Есть Выпущена FP8 (в том числе и для Qwen3-VL-235B-A22B)

Код
Демо
HF
Чат
API

#VLM #OCR #assistant #reasoning #video2text #image2text #chat

Qwen3-VL 4B / 8B

Qwen выпустил самые маленькие версию своей VLM на 4B и 8B параметров.
Есть Instruct и Thinking, а также их FP8

#VLM #OCR #assistant #reasoning #video2text #image2text #chat

Moondream распознает видео в реальном времени

От понимания картинок к пониманию потокового видео

Может работать с веб-камерами, камерами безопасности, дронами и другими источниками видео.

Может запускать оповещения, логировать события и управлять системами.

Применяется в безопасности, контроле качества, мониторинге безопасности и розничной аналитике.

Работает по API

Гитхаб
Демо по ссылке в шапке. Там можно подключить свою вебку или закинуть видеофал

#vlm #captioning #detection #moe #cv #image2text

Uni-MoE-2.0-Omni

Языково‑ориентированная омнимодальная модель на базе Qwen2.5‑7B

Обрабатывает, анализирует и генерирует изображения, текст и речь в 10 модальностях, используя динамическую архитектуру MoE.

Гитхаб
HF

#multimodal #text2image #tts #vlm #alm #image2text

DeepSeek-OCR 2: Visual Causal Flow

#SOTA Распознавалка документов от DeepSeek на 3B параметров

— преобразует документы в markdown
— анализирует изображения и описывает их подробно
— находит определённые элементы на изображении

Ключевое новшество — DeepEncoder V2, который работает как человек:

— Сначала понимает картинку в целом
— Затем определяет порядок чтения

Что это даёт:

— Лучше справляется со сложными макетами
— Правильно читает таблицы
— Связывает подписи и значения
— Понимает колонки и текст
— Надежнее обрабатывает смесь текста и графики

Обходит Gemini 3 Pro в тестах
На 4% лучше предыдущей версии

У Unsloth уже есть инструкция по дообучению

Гитхаб
HF

#ocr #image2text #guide #finetuning