BlendFields: Few-Shot Example-Driven Facial Modeling

Коротко говоря, #NeRF обучили по нескольким ракурсам восстанавливать анимируемые лица. С мелкими деталями и деформациями, делающими результат более реалистичным. На видео они показывают полигональную сетку, интересно откуда такая сетка, неужели сгенерированная? Среди авторов Microsoft, Google BRAIN и прочие

Кода нет, демо нет

#image2face #imageto3D #image2avatar #facialanimation

BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis

Рендеринг в реальном времени управляемых аватаров с 4D-головой (на основе видео) на различных устройствах, включая мобильные.

Код

#talkinghead #facialanimation #humanavatar #realtime #novelveiw

Discopixel animator

Натягивает на статичное лицо анимацию мимики из небольшого набора пресетов.
Почему-то в топе на Producthunt
Ну можете сделать анимированный стикерпак например.
Для работы просит залогиниться. Сколько генераций сделает бесплатно непонятно

#facialanimation #image2video

Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency

Оживлятор потрета по речи и пению от Bytedance

Кода нет и неизвестно будет ли

#speech2video #facialanimation #talkinghead

FacePoke

Редактор выражений лица на базе LivePortrait.
слева исходная картинка. Справа Илон наблюдает приземление своего старшипа. Все детали кожи пожраны голодными шакалами. Но у автора есть план, по которому он, видимо, действует. Для дальнейшего улучшения проекта

Код
Демо

#facialanimation #faceediting

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

Это не генератор мемов, как можно заключить по названию, а очередной опенсорсный инструмент для переноса портретной анимации.

Работает ли оно только на SD1.5 (с лорами, кстати) или с более новыми генераторами картинок тоже - непонятно

Обратите внимание на заявленное превосходство над Liveportrait

Код

#pose2video #facialanimation #portrait2video #personalization

URAvatar: Universal Relightable Gaussian Codec Avatars

Портретный аватар на гауссианах. На вход достаточно подать "телефонный скан" - что это? фотограмметрия? скан с лидара? видео с разных ракурсов?

Ну и дальше в реальном времени можно управлять анимацией и освещением

Кода нет

#humanavatar #gaussian #facialanimation #headanimation #talkinghead

X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention

Аниматор портретов по образцу движения от ByteDance, опубликован код.

Код
Демо (макс 2 секунды входного видео)

#facialanimation #portraitanimation #headanimation #motioncloning #personalization

X-Portrait 2: Highly Expressive Portrait Animation

То же самое, но круче.
Есть сравнение с Runway Act

Код ждем

#facialanimation #portraitanimation #headanimation #motioncloning #personalization

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

Оживлятор портретов по звуку речи с контролем эмоций

Код ждем

#talkinghead #speech2video #facialanimation

PERSE: Personalized 3D Generative Avatars from A Single Portrait

По одному входному портрету PERSE создает анимируемый персонализированный 3D-аватар на гауссианах с независимым редактированием различных атрибутов лица

Код ждем

#humanavatar #portraitanimation #gaussian #facialanimation

Humva: Your Easiest Go-To Avatar Tool

Простейший, как заявлено в названии, инструмент для создания аватара. Хорошо говорит по-русски

В топе на Producthunt

Проверил, он довольно капризный. Аватар создается за 5-10 минут. Если создастся вообще. Закидываем фото, выбираем тему и окружение, голос и ждем.
Или можно выбрать один из готовых аватаров.

При попытке создать аватар из фото знаменитостей может выдать ошибку, и второго шанса создать свой аватар не даст. Но Юра Борисов, видимо не настолько знаменит

И не факт что ваш аватар сможет быть полезен. Мой кастомный аватар долго не мог ничего сказать на русском все время ошибка. Хотя голос стандартный, с библиотечными аватарами работает. Видимо, текст слишком длинный

Бесплатно можно создать 4 говорящих видео по 30 секунд. На вход можно подать текст, а можно готовое аудио с речью

#voicecloning #humanavatar #talkinghead #portraitanimation #facialanimation #text2speech #tts #image2avatar