Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars

Анимируемый 3D-аватар головы по 4 входным портретам за один прямой проход от Meta Reality Labs.

Создается за несколько минут, далее анимируется интерактивно, ~8fps на RTX 3090 GPU

Код ждем

Спасибо @m_franz

#head #image2avatar #talkinghead #gaussian

FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis

Говорящий аватар / оживлятор портретов от Alibaba с контролем интенсивности движения. работает с разными крупностями кадра и позами, с разными типами персонажей

Сравнение с конкурентами впечатляет.

Построен на базе Wan2.1

Код

#portraitanimation #image2video #speech2video #humananimation #lipsync #talkinghead

LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Анимируемые аватары по одному изображению на гауссианах от Alibaba.

Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах

Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить

#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video

Mirage Studio

Сервис говорящих аватаров от Captions уехал на отдельный сайт и дает бесплатно 600 кредитов, 1 секунда видео обойдется в 10 кредитов.

Создает видео говорящего блогера по тексту или аудио.
Можно настроить мимику, движения, эмоции, голос и фон

Попробовать

#humananimation #speech2video #humanavatar #talkinghead

Опубликован код / веса оживлятора портретов FLOAT

Код
Веса

#talkinghead #speech2video #facialanimation #lipsync

Audio2Face-3D

NVIDIA выпустила в опенсорс свой аниматор говорящих 3D голов по звуку из 2022 года

Насколько помню, раньше она была доступна в Onmiverse
Видимо, технология уже не сильно актуальна?

В SDK есть плагины для #Maya и #UE

HF

#talkinghead #audio2animation #head #speech2animation #lipsync

Mirage Studio бесплатно

Сервис говорящих аватаров от Captions объявил бесплатную генерацию видео на эти выходные, до 11:00 понедельника по московскому времени

Попробовать

#humananimation #speech2video #humanavatar #talkinghead #giveaway

LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation

Рилтаймовый аватар-оживлятор портретов на базе WAN 1.3B

На вход принимает картинку, звук, текст

Работает на дистилляции диффузии с ускорением в 20 раз. Нужно от 24ГБ VRAM, выдает 24.8 fps

Гитхаб
HF

#talkinghead #avatar #characteranimation #portraitanimation #realtime

Sparrow-1

Tavus выпустил новую диалоговую рилтаймовую аудио-видео модель (Sparrow-0 тут)

Она создана для работы с видео, где важно, чтобы разговор выглядел естественно

— понимает, кто сейчас «владеет» разговором

— использует потоковое аудио и учитывает контекст, чтобы не было задержек

— обучается под каждого говорящего, подстраиваясь под его темп речи

— учитывает такие вещи, как «э-э», «м-м», незавершённые фразы и явные перебивания

— реагирует мгновенно, когда намерение говорящего понятно, и ждёт, если есть неопределённость

— показала 100% точность и полноту в тестах, не допускает перебиваний, а среднее время отклика составляет 55 мс

— уже доступна в продуктах Tavus, включая API и платформу Tavus

#assistant #voicemode #talkinghead #realtime

Phoenix-4: Real-Time Human Rendering with Emotional Intelligence

Tavus (авторы Sparrow-1) выкатили модель для real-time видео-звонков с ИИ-аватарами. Это уже не просто «говорящая голова», а полноценный цифровой двойник.

- Задержка <150 мс: Общение без пауз, как в живом Zoom.

- Эмоциональный интеллект: Аватар считывает контекст и меняет мимику на лету.

- Масштабируемость: Один человек может «присутствовать» на тысячах встреч одновременно

- работает в HD (1080p) с частотой 40 кадров в секунду, без потери качества и задержек; 3

- не просто анимирует речь, а создаёт непрерывное и естественное поведение во время всего разговора, включая паузы и слушание

Демо - нет ощущения что с человеком общаешься. во первых он отстает, во вторых ощущение как от ChatGPT: "я так хороший позитивный чувак я пытаюсь тебе угодить"

#assistant #voicemode #talkinghead #realtime #humanavatar #avatar

Hedra Omnia / Avatar API

Открыли доступ по API

две модели

Omnia - короткие ролики с контролем камеры, движения, режиссурой, входной картинкой

Avatar - длинные 5-минутные ролики с диалогами

твит
API

#image2video #cameracontrol #motioncontrol #londvideo #talkinghead #api

C-MET: Cross-Modal Emotion Transfer for Emotion Editing in Talking Face Video

Редактирование эмоций в видео с говорящим лицом с помощью текстовых, аудио- или видеоподсказок. Выравнивание на основе CLIP. Превосходит SadTalker и EDTalk

Гитхаб
HF
Демо

#portraitanimation #lipsync #talkinghead