CogOmniControl

Умный контроль генерации контента от Tencent через мультимодальные подсказки, работает с текстом, изображениями, видео.

CogVLM анализирует запрос пользователя (в т. ч. абстрактный или скудный по деталям), распознаёт творческое намерение и преобразует его в детальные инструкции для генерации видео. CogOmniDiT на основе этих инструкций выполняет саму генерацию, согласовывая различные условия через обучение с подкреплением.

• принимает смешанные запросы (текст + изображениеи т. д.)
• генерирует видео по подсказкам разных типов
• точно следует сложным инструкциям с несколькими модальностями
• синхронизирует элементы разных модальностей в одном выходе

github.com/UM-Lab/CogOmniControl - ждем

#vlm #controlnet #multireference #referencing