EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

Оживлятор портретов звуком от Alibaba. Пение, речь, танцы рук

Напоминаю, что кода EMO за прошедший год мы так и не дождались

Код ждем

#audio2video #speech2video #talkinghead #portrainanimation

HunyuanPortrait

Аниматор-оживлятор портретов от Tencent.

Переносит на портрет мимику и движения головы с референсного видео

Авторы пишут, что необходима NVIDIA 3090 + CUDA, тестировали на 24Гб VRAM

Код
Веса

#portrainanimation #lipsync #characteranimation #motion2video

Hunyuan Video Avatar

Видеоаватар с контролем эмоций от Tencent
Оживляет персонажа по голосу. Речь может сгенерить сам по тексту. На выбор несколько голосов

Модель прожорливая: минимум 24 ГБ VRAM для 704x768, а для плавного 4K рекомендуют GPU на 96 ГБ.

Код
Попробовать - на китайском офсайте. Одна секунда Илона Маска генерилась несколько минут
Веса

#lipsync #characteranimation #speech2video #talkinghead #portrainanimation

LIA-X: Interpretable Latent Portrait Animator

Оживлятор портретов по видеообразцу.
Позволяет также редактировать изображения и видео.
Умеет менять ракурс на персонажа в 3D пространстве.
Разбирает движения лица на простые элементы.
Контроль глаз, рта.

Похоже что проект на своей модели, нет упоминаний ни WAN, ни CogVideo, ничего такого

Код
Демо
Веса - 3.6 Gb

#portrainanimation #motion2video #imageediting #videoediting

InteractAvatar: Text-Driven Human-Object Interaction

Видео-аватар на базе wan22-5b

— работает с несколькими объектами одновременно

— выполняет сложные многоступенчатые команды

— создаёт реалистичные движения и жесты в такт песне

— реагирует на аудио и движения, а не только на текст

Гитхаб
HF

Спасибо @m_franz

#humanavatar #characteranimation #portrainanimation #lipsync

AGORA

Проект над которым работал наш подписчик @ramazan2k

Генерация анимируемых 3D аватаров голов на 3DGS, работает в реальном времени прямо на телефоне (60 FPS), обучается только на обычных 2D фотках без видео и multi-view.

Гитхаб - Код ждем до конца мая после ревью

#avatar #head #gaussian #portrainanimation #image2avatar

MATCH: Feed-forward Gaussian Registration for Head Avatar Creation and Editing

Создание и редактирование аватаров голов на гауссианах с помощью мультивидовых изображений. Работа с участие Гугла

Создаёт аватары за 0,5 секунды на кадр

Позволяет редактировать аватары, переносить выражения лица, делать интерполяцию образов, то есть создание промежуточных образов между разными людьми.

Гитхаб ждем

#avatar #head #gaussian #portrainanimation #image2avatar

AvatarPointillist

Проект от HKUST, создание динамических фотореалистичных и управляемых 4D-аватаров на гауссианах из одного портретного изображения

Предсказывает информацию о привязке для анимации

Преобразует точки в рендерные атрибуты с помощью Gaussian декодера

Гитхаб ждем

#avatar #head #gaussian #portrainanimation #image2avatar

FlexAvatar

Создаёт реалистичные 3D‑аватары головы по одному фото и анимирует их

• контроль выражения лица и ракурса
• работает с одно‑ и многокамерными данными
• обеспечивает полноту 3D‑модели за счёт мультивидовых данных при обучении
• интерполирует идентичность под любое количество входных данных

Код ждем

Спасибо @m_franz

#head #humanavatar #image2avatar #portrainanimation