GenMM: Example-based Motion Synthesis viaGenerative Motion Matching
Быстрый перенос персонажной анимации с референса с учетом скелета. Можно задавать траекторию движения, зацикливать, пересобирать анимацию, задать ключевые кадры. А еще умеет додумывать анимацию. Полное видео смотрите по ссылке выше
Вишенкой на торте - аддон для Блендера
Код обещают на следующей неделе
Демо
#motion2motion #chracteranimation #humananimation
Быстрый перенос персонажной анимации с референса с учетом скелета. Можно задавать траекторию движения, зацикливать, пересобирать анимацию, задать ключевые кадры. А еще умеет додумывать анимацию. Полное видео смотрите по ссылке выше
Вишенкой на торте - аддон для Блендера
Код обещают на следующей неделе
Демо
#motion2motion #chracteranimation #humananimation
👍1
Нейронавт | Нейросети в творчестве
GenMM: Example-based Motion Synthesis viaGenerative Motion Matching Быстрый перенос персонажной анимации с референса с учетом скелета. Можно задавать траекторию движения, зацикливать, пересобирать анимацию, задать ключевые кадры. А еще умеет додумывать анимацию.…
Демо GenMM, как и обещали, запустили.
Анимация персонажей рендерится в рилтайме, ее можно зациклить. Для этого справа вверху разворачиваем панель Controls, настраиваем количество кадров и ставим галочку loop
Демо
#motion2motion #chracteranimation #humananimation
Анимация персонажей рендерится в рилтайме, ее можно зациклить. Для этого справа вверху разворачиваем панель Controls, настраиваем количество кадров и ставим галочку loop
Демо
#motion2motion #chracteranimation #humananimation
This media is not supported in your browser
VIEW IN TELEGRAM
InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing
Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.
Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.
Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.
Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита
Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk
#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video
Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.
Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.
Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.
Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита
Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk
#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video
👍12❤2
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
Система одновременной генерации аудио и видео / оживлятор портретов / липсинк
— генерирует аудио и видео с хорошей синхронизацией
— создаёт контент на основе изображения, описания и речи
— учитывает тембр с помощью референсного аудио
— продолжает и озвучивает видео, синтезирует видео по аудио.
В качестве базовой модели для видеоветви используется Wan 2.2-5B, а для аудиоветви — архитектурный шаблон Wan 2.1-1.3B
На видео с девушкой - это реальное видео и видео с догенеренной концовкой
Кода нет
#chracteranimation #lipsync #portraitanimation #video2video #speech2video #talkinghead
Система одновременной генерации аудио и видео / оживлятор портретов / липсинк
— генерирует аудио и видео с хорошей синхронизацией
— создаёт контент на основе изображения, описания и речи
— учитывает тембр с помощью референсного аудио
— продолжает и озвучивает видео, синтезирует видео по аудио.
В качестве базовой модели для видеоветви используется Wan 2.2-5B, а для аудиоветви — архитектурный шаблон Wan 2.1-1.3B
На видео с девушкой - это реальное видео и видео с догенеренной концовкой
Кода нет
#chracteranimation #lipsync #portraitanimation #video2video #speech2video #talkinghead
👍7🔥6