Mirage Studio

Сервис говорящих аватаров от Captions уехал на отдельный сайт и дает бесплатно 600 кредитов, 1 секунда видео обойдется в 10 кредитов.

Создает видео говорящего блогера по тексту или аудио.
Можно настроить мимику, движения, эмоции, голос и фон

Попробовать

#humananimation #speech2video #humanavatar #talkinghead

Higgsfield Speak

Видеосервис Higgsfield тоже запустил аватары

Выберите стиль, выберите аватар, напишите сценарий. Сервис создаст кинематографичное движение, голос, эмоции.

Передает язык тела, эмоции и динамичное исполнение.

Вы получаете 16 встроенных типов сцен:

Vlog, Stream, Podcast, Car Talk, Coaching, Fashion, Beauty, Professions, Selling, Emotions, 3D, Forum и другие.
Каждый из них разработан для соответствия реальным форматам контента.

Можно создавать свои аватары

Идеально подходит для:

Библиотек рекламных роликов UGC.
Скетчей и форматов шоу.
Учебного и коучингового контента.
Каналов YouTube без лиц.
Клонов инфлюенсеров.
Вирусных видео с говорящими головами.

Higgsfield Speak доступен на тарифах Pro и Ultimate.

Напишите комментарий 'Speak' к официальному посту чтобы поклянчить промокод с туториалом

По промокоду SPEAK_DISCOUNT дают скидку 20% на 1 месяц
По промокоду SPEAK_EXTRA дают жалкие 15 кредитов на 3 генерации

#humananimation #speech2video #humanavatar

Появился демоспейс липсинка MultiTalk

Демо

#Lipsync #potraitanimation #speech2video #comfyUI #humananimation

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

Мультиперсонажный оживлятор портретов по звуку или видео от Alibaba

Код ждем

#portrainanimation #image2video #speech2video

Опубликован код / веса оживлятора портретов FLOAT

Код
Веса

#talkinghead #speech2video #facialanimation #lipsync

Pika audio-driven performance model

Оживлятор картинок по звуку от Pika.
В 20 раз быстрее и дешеле предыдущей модели.
Создает видео за 6 секунд.

Похоже что доступно (или будет доступно) только в мобильном приложении

AppStore

#lipsync #portraitanimation #characteranimation #speech2video #mobile #ios

InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing

Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.

Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.

Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.

Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита

Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk

#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video

Mirage Studio бесплатно

Сервис говорящих аватаров от Captions объявил бесплатную генерацию видео на эти выходные, до 11:00 понедельника по московскому времени

Попробовать

#humananimation #speech2video #humanavatar #talkinghead #giveaway

OmniHuman 2.0

Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.

Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%

• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5

Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью

byteplus.com/en/product/OmniHuman

#lipsync #speech2video #characteranimation #portraitanimation #avatar

MAX