CoVT: Chain-of-Visual-Thought

Цепочка рассуждений для визуальных моделей (Chain-of-Visual-Thought)
Позволяет моделям #VLM лучше «видеть» и «думать», используя непрерывные визуальные токены,
рассуждать не только в текстовом, но и в визуальном пространстве

— использует компактные визуальные токены для кодирования перцептивных сигналов (сегментация, глубина, структура краёв и др.)

— обучает модели понимать и генерировать визуальные токены, которые затем можно декодировать в плотные предсказания для визуализации процесса рассуждения

— не полагается на внешние инструменты для визуального восприятия, а интегрирует восприятие в сам процесс рассуждения модели

— обеспечивает более точное и интерпретируемое мультимодальное понимание по сравнению с аналогами.

Базовая модель для экспериментов — Qwen2.5-VL-7B.

Сайт проекта вероятно появится когда-нибудь

HF - тут несколько разных моделей

#research #CoT #CoVT

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

Пониматор-генератор-редактор картинок и видео от ByteDance

Работает с текстом и изображениями одновременно. Обрабатывает перемешанные текстовые и визуальные данные и генерирует контент

Быстрый, создает картинки размером 1024x1024 всего за 5 секунд

И вообще #sota на двух бенчах DPG (88.32) и ImgEdit (4.49). Это уровень специализированных диффузных генераторов + рассуждательные способности LLM

Под капотом притаилось что-то основанное на Qwen2.5-VL-7B

Код ждем наверно

#vlm #multimodal #mllm #imageediting #CoT

PrismAudio

Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)

Построен на ThinkSound

Решает проблему переплетения целей в методах генерации

Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный

518 миллионов параметров, при этом быстрее аналогов

#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность

Последнее видео - Veo3 + PrismAudio

Гитхаб
HF
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

Qwythos-9B-Claude-Mythos-5

Модель для сложных рассуждений и работы с огромными текстами

• контекстное окно до 1 млн токенов
• построена на разцензуренной Qwen3.5-9B
• обучена на #CoT из логов Fable-5 и Mythos-5

Синтетические Chain of Thought усилили логику рассуждений

#reasoning