InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing

Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.

Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.

Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.

Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита

Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk

#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video