DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation

Фреймворк от ByteDance для генерации и редактирования видео с конкретным человеком на основе его фото и голоса. Наследник DreamID-V

Три функции:

— R2AV: генерирует видео с человеком по фото + образец голоса

— RV2AV: заменяет лицо и голос в существующем видео

— RA2V: анимирует фото по аудио — губы синхронизируются

Гитхаб ждем

#faceswap #videoediting #referencing #lipsync #av #image2av

ComfyUI-DaVinci-MagiHuman

Кастом ноды аудиовидеогенератора DaVinci-MagiHuman
С блоксвопом должно влезать в 16 ГБ VRAM

Спасибо @m_franz

#comfyui #av #text2av #text2video #lipsync

X-Dub: From Inpainting to Editing

Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.

Работает с видео дольше минуты без потери качества и «сдвига» изображения

Гитхаб
HF

Спасибо @m_franz

#lipsync #dubbing #video2video #audio2video #characteranimation

LPM 1.0

Видеогенератор диалоговых видео с персонажами в реальном времени

— генерирует видео с полнодуплексной беседой

— сохраняет идентичность персонажа при бесконечной генерации

— создаёт эмоциональные и вокальные выступления с точной синхронизацией губ и ритма тела

— совместима с аудио-в-аудио моделями вроде ChatGPT

— управляется мультимодально — через текст, аудио и изображения

— передаёт микровыражения и нюансы человеческого общения

Проект исследовательский, ни опенсорс, ни коммерческий релиз не запланированы

#research #dialog #realtime #characteranimation #av #lipsync

OmniShow

Модель для создания видео взаимодействия людей с предметами. Видеогенерация управляется текстом, изображением, аудио и позами одновременно

- Видео реалистичнее и динамичнее, чем у HunyuanCustom, HuMo-17B, VACE и Phantom-14B

- Сохраняет личность персонажа и синхронизирует движения со звуком лучше, чем HunyuanCustom и HuMo-17B

- синхронизирует аудио с видео

- подходит для разных задач, например, создания аватаров, замены объектов в видео или ремикса видео

Гитхаб ждем

#humanavatar #humananimation #lipsync #av #referencing #pose2video #characterswap #characteranimation #any2video

C-MET: Cross-Modal Emotion Transfer for Emotion Editing in Talking Face Video

Редактирование эмоций в видео с говорящим лицом с помощью текстовых, аудио- или видеоподсказок. Выравнивание на основе CLIP. Превосходит SadTalker и EDTalk

Гитхаб
HF
Демо

#portraitanimation #lipsync #talkinghead

LipDub IC‑LoRA

Липсинк-лора от Lightricks для LTX-2.3

• синхронизирует движение губ с новой речью
• поддерживает 5  языков (один говорящий)

https://huggingface.co/RuneXX/LTX-2.3-Workflows/tree/main/Video-2-Video

#workflow #lora #lipsync #dubbing #ltx23

Vidu S1

генерация видео с голосовым управлением в реальном времени от Vidu

- Управление голосом: можно генерировать и менять видео через голосовые команды.
- Бесконечный стрим: видео генерируется непрерывно
- Разрешение 540p, 25 FPS на стандартных GPU

Попробовать
API

#realtime #avatar #personalization #streaming #lipsync

ComfyUI-MiniMax-H3-LongMedia

Кастом пак для генерации длинных видео MiniMax H3 в ComfyUI от подписчика @vj_vizart

Оптимизирован под длинные сцены, не требует топового железа, упор на стабильность при больших таймлайнах

16 GB GPU уверенно тянет H3 на тяжёлых разрешениях и длинных packed sequences.

Hybrid Auto — first frame / optional last frame + refs
Ref2VA Full
Loop mode — автоматический одинаковый first/last frame;
Video Reference Edit
Lip Sync

preserve_reference позволяет синхронизировать видео с ритмом/басом/голосом, но сохранить исходный звук без реконструкции

#comfyui #minimaxH3 #lipsync #longvideo

OmniHuman 2.0

Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.

Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%

• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5

Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью

byteplus.com/en/product/OmniHuman

#lipsync #speech2video #characteranimation #portraitanimation #avatar

MAX