Emu3.5: открытая мультимодальная модель от Zhiyuan Institute
Китайский институт Zhiyuan выкатил Emu3.5 -открытую мультимодальную модель на 34B (полный размер 70гигов), которая умеет предсказывать состояние мира в следующем кадре.
Нейросеть генерирует визуальный контент по тому же принципу, как ChatGPT пишет текст, только сразу в мультимодальном пространстве.
Это позволяет модели удерживать консистентность физики мира и причинно-следственные связи, а не просто склеивать красивые кадры.
Раньше главная проблема такого подхода была в низкой скорости. Авторы решили её через новую технологию DiDA: она распараллеливает процесс и ускоряет генерацию в 20 раз.
Сценариев применения много, от распознавания и генерации картинок и кадров видео, до генерации целых миров без потери связанности по ходу движения.
Посмотреть работу вживую можно тут:
https://emu.world/
Скачать веса тут:
HF
paper
GitHub
Apache 2.0.
#Emu35 #WorldModel #Zhiyuan #Китай
———
@tsingular
Китайский институт Zhiyuan выкатил Emu3.5 -открытую мультимодальную модель на 34B (полный размер 70гигов), которая умеет предсказывать состояние мира в следующем кадре.
Нейросеть генерирует визуальный контент по тому же принципу, как ChatGPT пишет текст, только сразу в мультимодальном пространстве.
Это позволяет модели удерживать консистентность физики мира и причинно-следственные связи, а не просто склеивать красивые кадры.
Раньше главная проблема такого подхода была в низкой скорости. Авторы решили её через новую технологию DiDA: она распараллеливает процесс и ускоряет генерацию в 20 раз.
Сценариев применения много, от распознавания и генерации картинок и кадров видео, до генерации целых миров без потери связанности по ходу движения.
Посмотреть работу вживую можно тут:
https://emu.world/
Скачать веса тут:
HF
paper
GitHub
Apache 2.0.
#Emu35 #WorldModel #Zhiyuan #Китай
———
@tsingular
🔥9⚡4👍3❤1