This media is not supported in your browser
VIEW IN TELEGRAM
Dimple
Дискретная диффузная мультимодальная языковая модель (DMLLM) на 7B параметров
Гибрид авторегрессии с диффузией.
Это дает ей шустрость, см видео.
Код
Демо
Веса
#multimidal #assistant
Дискретная диффузная мультимодальная языковая модель (DMLLM) на 7B параметров
Гибрид авторегрессии с диффузией.
Это дает ей шустрость, см видео.
Код
Демо
Веса
#multimidal #assistant
👍9🔥2
LaViDa-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation
Унифицированная мультимодfльная модель для генерации / понимания / редактирования картинок при участии Adobe
Использует новую архитектуру Elastic Mixture-of-Transformers (Elastic-MoT, эластичный совет трансформеров), которая сочетает лёгкую ветвь генерации и более крупную ветвь понимания. Видимо, по аналогии с советом экспертов.
Планирует и итеративно размышляет. Превосходит Qwen2.5-VL и FluxKontext-dev по скорости вывода и качеству
Разрешение генерации 1024 пикселя
Код ждем
#multimidal #vlm #imageediting #captioning #text2image #image2text
Унифицированная мультимодfльная модель для генерации / понимания / редактирования картинок при участии Adobe
Использует новую архитектуру Elastic Mixture-of-Transformers (Elastic-MoT, эластичный совет трансформеров), которая сочетает лёгкую ветвь генерации и более крупную ветвь понимания. Видимо, по аналогии с советом экспертов.
Планирует и итеративно размышляет. Превосходит Qwen2.5-VL и FluxKontext-dev по скорости вывода и качеству
Разрешение генерации 1024 пикселя
Код ждем
#multimidal #vlm #imageediting #captioning #text2image #image2text
👍5🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
Audio‑Omni
Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком
Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.
Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения
Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке
Качество звука в демовидео не впечатляет, в отличие от возможностей
Гитхаб
HF
Демо
#multimidal #alm #audio2text #text2audio #audioediting
Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком
Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.
Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения
Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке
Качество звука в демовидео не впечатляет, в отличие от возможностей
Гитхаб
HF
Демо
#multimidal #alm #audio2text #text2audio #audioediting
👍7❤1