EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

Еще один оживлятор портретов от Alibaba, на сей раз говорящей головой управляет звук

Код ждем

#audio2video #speech2video #talkinghead

INFP: Audio-Driven Interactive Head Generation in Dyadic Conversations

Bytedance продолжают изобретать способы оживлять картинки

Интерактивная генерация головы на основе звука для диадических (парных) разговоров

Получив две дорожки диалога и одно портретное изображение произвольного агента, INFP динамически синтезирует вербальные, невербальные и интерактивные видео агента с реалистичной мимикой и ритмичными движениями позы головы.

Короче, заставит портрет говорить, петь, человечно слушать

Работает в реальном времени, 40 fps на Nvidia Tesla A10
Применимо например для видеоконференций

Код ждем

#audio2video #talkinghead #image2video #portraitanimation #realtime

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

Оживлятор портретов звуком от Alibaba. Пение, речь, танцы рук

Напоминаю, что кода EMO за прошедший год мы так и не дождались

Код ждем

#audio2video #speech2video #talkinghead #portrainanimation

OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

ByteDance снова что-то анимируют

Оживлятор человеческих (и не только) портретов любой крупности (лицо, поясной, полный рост) и соотношения сторон. Анимирует как фото, так и рисунки.

На вход помимо собственно портрета нужен сигнал для извлечения движения: звук, видео или их комбинация

Выглядит круто,
Кода нет

#portraitanimation #audio2video #audio2motion #motion2video #talkinghead #lipsync

HunyuanCustom: A Multimodal-Driven Architecture for Customized Video Generation

Мультимодальный генератор видео с кастомизацией-персонализацией по нескольким объектам.
На вход принимает текст, картинки, видео и даже звук.
Внутри LlaVa

Вопрос: сколько нужно VRAM?
Ответ: весь, готовьте H100 или ждите квантайзы с оффлоудами

Код
Веса
Попробовать (регайтесь через имейл)
ComfyUI ждем

#text2video #image2video #audio2video #video2video #personalization #multisubject

Wan-S2V: Audio-Driven Cinematic Video Generation

Релиз обещанного видеогенератора, который принимает на вход картинку и звук

Архитектурно - совет экспертов ( #MoE )

Как видим, умеет работать с диалогами и пением

Гитхаб
HF
Демо
Офсайт - пока не вижу его там, ждем

До появления компактных версий и обновок от Kijai 5... 4... 3...

Спасибо @iNevestenko

#image2video #audio2video #referencing #wan22

HuMo: Human-Centric Video Generation via Collaborative Multi-Modal Conditioning

Видеогенератор при участии Bytedance

— генерирует видео на основе текста, изображений и аудио

— удерживает идентичность и характеристики изображаемого субъекта

— синхронизирует видео с аудио

— позволяет варьировать результат с помощью текстовых промптов

В качестве вдохновения/основы указаны Phantom, SeedVR, MEMO, Hallo3, OpenHumanVid, Whisper

выпущена модель на 17B параметров, обещают выпустить 1.7B
Для работы нужен VAE & Text encoder Wan-2.1

Код
HF

#referencing #text2video #image2video #audio2video

Lookahead Anchoring: Preserving Character Identity in Audio-Driven Human Animation

Метод оживления портретов по аудио, фокус на удержании идентичности от KAIST

Код ждем

#portraitanimation #characteranimation #image2video #personalization #audio2video #speech2video

RealVideo: A Real-Time Streaming Conversational System Powered by Autoregressive Diffusion Video Generation

Потоковый диалоговый видеогенератор в реальном времени на базе Wan2.2-S2V-14B

На вход подаем свои реплики текстом. Но можно прикрутить и голосовой ввод.
Есть возможность клонирования голоса.
В общем, это видеоперсонаж, с которым можно весити диалог.

Модель авторегрессионная, что позволяет создавать длинные видео без явного продолжения.
Как она AR на базе DiT - понятия не имею.

Голосовыми ответами занимаются GLM-4.5-AirX и GLM-TTS

Гитхаб
HF

#realtime #characteranimation #talkinghead #image2video #audio2video #referencing #wan22

LTXStudio заколабились с Elevenlabs и сделали Audio-to-Video - оживление картинки по звуку

#audio2video