🤣 SenseTime выпустила SenseNova U1.5 - нативную мультимодальную модель на 8B с открытым кодом обучения

SenseTime представила SenseNova U1.5 - модель на 8 млрд параметров на архитектуре Mixture-of-Transformers, которая объединяет понимание, рассуждение и генерацию в пиксельном пространстве в единую нативную мультимодальную систему. В отличие от пайплайнов, где восприятие идёт через отдельный vision-энкодер, а синтез - через VAE, U1.5 отображает пиксели и текст в общий backbone без внешних модулей.

Ключевое архитектурное изменение - замена независимого patch MLP-декодирования на лёгкий пространственный декодер: визуальные токены перестраиваются в двумерное признаковое поле, затем восстанавливаются через Pixel Shuffle и локальные свёртки, чтобы соседние области обменивались информацией до финализации пикселей. Каждый регион 32×32 по-прежнему маппится в один визуальный токен, но поддерживается нативная генерация до 4K с меньшим числом швов и текстурных разрывов, чем в U1.

Пост-тренировка идёт по схеме «сначала специализация, потом унификация»: отдельные RL-эксперты отвечают за визуальную эстетику, двуязычный рендеринг текста, вёрстку инфографики и редактирование изображений, после чего multi-expert on-policy дистилляция сворачивает навыки в единого студента. SenseTime открывает код обучения - SFT, RL и on-policy дистилляцию - с ассетами на Hugging Face под организацией OpenSenseNova.

#AI #SenseTime #SenseNova #Multimodal #OpenSource