✨ STARFlow2: объединение языковых моделей и нормализующих потоков для мультимодальной генерации
Исследователи Apple ML Research представили STARFlow2 — подход, который устраняет разрыв между языковыми моделями и нормализующими потоками (normalizing flows) для создания единой мультимодальной генерации. Работа нацелена на модели, способные понимать, рассуждать и генерировать перемежающиеся последовательности текста и изображений.
Существующие решения структурно фрагментированы: дискретная токенизация снижает визуальную точность, гибридные архитектуры с каузальным текстом и диффузионным шумоподавлением асимметричны, а адаптация vision-language моделей под генерацию ухудшает их предобученное понимание. Ключевое наблюдение авторов: авторегрессионные нормализующие потоки по своей сути являются авторегрессионными трансформерами — они разделяют с LLM каузальную маску, KV-cache и структуру слева направо. Это позволяет объединить текстовую и визуальную генерацию в одной архитектуре без потери качества.
Практически это значит более согласованную генерацию смешанного контента — например, текста с релевантными изображениями — и единый механизм обучения для понимания и синтеза. Работа продолжает линию STARFlow и предлагает более унифицированную альтернативу дискретным токенайзерам и диффузионным надстройкам.
#AI #Apple #MultimodalGen #Research #StarFlow2
Исследователи Apple ML Research представили STARFlow2 — подход, который устраняет разрыв между языковыми моделями и нормализующими потоками (normalizing flows) для создания единой мультимодальной генерации. Работа нацелена на модели, способные понимать, рассуждать и генерировать перемежающиеся последовательности текста и изображений.
Существующие решения структурно фрагментированы: дискретная токенизация снижает визуальную точность, гибридные архитектуры с каузальным текстом и диффузионным шумоподавлением асимметричны, а адаптация vision-language моделей под генерацию ухудшает их предобученное понимание. Ключевое наблюдение авторов: авторегрессионные нормализующие потоки по своей сути являются авторегрессионными трансформерами — они разделяют с LLM каузальную маску, KV-cache и структуру слева направо. Это позволяет объединить текстовую и визуальную генерацию в одной архитектуре без потери качества.
Практически это значит более согласованную генерацию смешанного контента — например, текста с релевантными изображениями — и единый механизм обучения для понимания и синтеза. Работа продолжает линию STARFlow и предлагает более унифицированную альтернативу дискретным токенайзерам и диффузионным надстройкам.
#AI #Apple #MultimodalGen #Research #StarFlow2
👍1👌1