InternVL 2.5

Новый чемпион в понимании изображений. Семейство моделей от 1B до 78B параметров

Гитхаб
Чат демо
Демо HF
Веса

#VLM #MLLM #assistant

Omni-RGPT: Unifying Image and Video Region-level Understanding via Token Marks

Мультимодальная модель от NVIDIA для понимания изображений и видео на уровне отдельных объектов и областей

Код ждем

#mllm #vlm

Kimi K2

Новая версия китайской мультимодалки.

Пишут что убийца cHatGPT и DeepSeek, но как всегда преувеличивают

Архитертура #MoE, Триллион параметров, из них 32B активных. Заточена на агентные и программерские задачи. Есть две версии:

Kimi-K2-Base: Базовая модель, с которой можно начинать работу исследователям и разработчикам, которым нужен полный контроль для точной настройки и создания пользовательских решений.

Kimi-K2-Instruct: модель после обучения, которая лучше всего подходит для работы с клиентами, общения в чате общего назначения и взаимодействия с агентами. Это модель рефлекторного уровня, о которой не нужно долго думать.

- Обрабатывает 100 тысяч строк данных за раз - Строит визуализации
- Создаёт игры в вебе, на создание клона Minecraft у Kimi K2 ушла одна попытка
- Планирует путешествия через 17 инструментов
- Токены в 5 раз дешевле чем у конкурентов

Уже на Perplexity
Хотя какая разница если можно пользоваться прямо на офсайте и в мобильном приложении

Мультимодальные функции пока не работают

Гитхаб
Веса - вам точно это надо?
Попробовать на офсайте - в левом нижнем углу переключаем на английский

На мобиле не факт что K2 уже есть, не проверял
AppStore
Android

#assistant #mllm #mlm #reasoning #mobile #ios

GLM-4.6V: Open Source Multimodal Models with Native Tool Use

Большая мультимодальная модель с поддержкой использования инструментов.
Понимает визуальный контент напрямую, не переводя в текстовое описание
Контекст 128K

Модель представлена в двух версиях: GLM-4.6V (106B) для облачных и высокопроизводительных кластеров и GLM-4.6V-Flash (9B) для локального развёртывания

GitHub Repository: https://github.com/zai-org/GLM-V
HF: https://huggingface.co/zai-org/GLM-4.6V
Online Demo: https://chat.z.ai/
API Access: Z.ai Open Platform
Desktop Assistant App: https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App

#assistant #multimodal #vlm #mllm

GLM-4.7: Advancing the Coding Capability

Новая версия GLM с фокусом на кодинге

Справляется с созданием морд сайтов, постеров, слайдов и т д

— лучше справляется с мультилингвальным кодированием и задачами в терминале, например, на SWE-bench показывает 73,8 % (это на 5,8 % больше, чем у предыдущей версии)

— делает веб-страницы более современными и чистыми, а слайды — с точным макетом и размерами

— ловчее пользуется инструментами, что видно на тестах τ^2-Bench и BrowseComp

— сильнее в математике и логическом мышлении — на HLE набрала 42,8 %, что на 12,4 % больше, чем у GLM-4.6

— прокачалась в чатах, креативном письме и ролевых сценариях

— может думать перед каждым ответом, сохранять мысли между разговорами и управлять мышлением по ходам — это помогает в сложных задачах и экономит время в просты

HF
Гитхаб
Z-Chat

#assistant #coding #agent #multimodal #mllm

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

Пониматор-генератор-редактор картинок и видео от ByteDance

Работает с текстом и изображениями одновременно. Обрабатывает перемешанные текстовые и визуальные данные и генерирует контент

Быстрый, создает картинки размером 1024x1024 всего за 5 секунд

И вообще #sota на двух бенчах DPG (88.32) и ImgEdit (4.49). Это уровень специализированных диффузных генераторов + рассуждательные способности LLM

Под капотом притаилось что-то основанное на Qwen2.5-VL-7B

Код ждем наверно

#vlm #multimodal #mllm #imageediting #CoT

UniCorn: Towards Self-Improving Unified Multimodal Models through Self-Generated Supervision

Лечение афазии моделей, которые хорошо понимают изображения, но не могут их генерировать.

— разделяет одну мультимодальную модель на три роли: Proposer, Solver и Judge

— преобразует скрытое понимание модели в явные сигналы для генерации

— превосходит GPT-4o на бенчмарке DPG


Гитхаб код ждем
HF

#mllm #vlm #text2image

SAMTok: Representing Any Mask with Two Words

Токенизатор масок для мультимодалок от ByteDance

Кодирует любые сложные маски всего двумя словами (токенами), что сильно упрощает работу с ними

Гитхаб
HF
Демо

#segmentation #tokenizer #mllm

Kimi K2.5

Новая версия китайской мультимодалки от Moonshot AI

Обучена сразу на тексте и картинках/видео без костылей вроде внешних энкодеров.

Глобальная #SOTA по агентам: HLE full set (50.2%), BrowseComp (74.9%)
SOTA по визуалке и кодингу: MMMU Pro (78.5%), VideoMMMU (86.6%), SWE-bench Verified (76.8%)

Не просто отвечает на вопросы, а сама управляет агентами для реальной работы:

— пишет код по скриншоту, парсит документы, строит таблицы.
— работает с кодом и визуалом одновременно: смотрит на скриншот сайта или видео и сразу генерирует рабочий фронтенд с анимациями
— Agent Swarm: запускает агентный рой из до 100 субагентов без ручной настройки, распараллеливает задачи и сокращает время выполнения до 4.5 раз
— обучена через параллельное агентное рл (PARL), где оркестратор сам решает, кого и когда запускать, а не следует жёсткому сценарию
— парсит офисные документы на уровне эксперта: строит сводные таблицы с формулами, вставляет уравнения в латех, работает с 100-страничными файлами
— отлаживает свой же код через визуальный фидбек: смотрит на результат в браузере и сам правит стили или логику без человека
— обрабатывает видео целиком для анализа или генерации кода, а не только отдельные кадры
— экономит память за счёт нативной мультимодальности — нет отдельного визуального энкодера, всё в одном теле

HF
Чат

#assistant #mllm #mlm #reasoning #vlm #coding

JoyAI-Image

Унифицированная мультимодальная модель для работы с изображениями

понимает изображения, генерирует картинки по тексту, редактирует изображения по инструкциям

Включает в себя 8B мультимодальную языковую модель(MLLM) и 16B мультимодальный диффузный трансформер

Умеет в мультивидовую генерацию, геометрические преобразования, управление камерой, вращение объектов и точное редактирование

Гитхаб
HF

Спасибо @m_franz

#vlm #mllm #imageediting

Token Warping Helps MLLMs Look from Nearby Viewpoints

Метод помогает мультимодалкам понимать, как выглядит сцена с разных ракурсов

— работает без дополнительного обучения

— манипулирует токенами изображений, а не пикселями

— устойчива к шумам при оценке глубины сцены

Вот в чём суть проблемы:

Мультимодалки хорошо справляются с визуальным рассуждением, но плохо адаптируются к изменению ракурса изображения. При попытке изменить вид сцены на уровне пикселей возникают проблемы: даже небольшие ошибки в оценке глубины приводят к локальным искажениям, появляются геометрические артефакты, ухудшающие понимание сцены моделью

Вот с чем и борется Token Warping

Гитхаб ждем

#mllm #vlm

TimeLens2

Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале

• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов

• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B

Гитхаб
HF
Демо

#vlm #captioning #video2text #mllm