AnyTalker: Scaling Multi-person Talking Video Generation with Interactivity Refinement

Видеоговорилка от HKUST на базе Wan2.1-Fun-V1.1-1.3B-InP, оживляет несколько персонажей сразу по звуку речи. Отличается гибкой архитектурой и способна масштабировать количество персонажей, сохраняя при этом естественность их взаимодействия

14B модель выпустят на www.videorebirth.com, видимо коммерчески

Гитхаб
HF

#speech2video #lipsync #characteranimation

EditYourself: Audio-Driven Generation and Manipulation of Talking Head Videos with Diffusion Transformers

Редактор говорящих человеков с липсинком и инпейнтингом от Pipio и Amazon на базе LTX-Video

Код может будет, непонятно

Попробовать на офсайте - дают 3 кредита
API
Fal.ai

Спасибо @m_franz

#lipsync #videoediting #videoinpainting