Mirage Studio

Сервис говорящих аватаров от Captions уехал на отдельный сайт и дает бесплатно 600 кредитов, 1 секунда видео обойдется в 10 кредитов.

Создает видео говорящего блогера по тексту или аудио.
Можно настроить мимику, движения, эмоции, голос и фон

Попробовать

#humananimation #speech2video #humanavatar #talkinghead

Higgsfield Speak

Видеосервис Higgsfield тоже запустил аватары

Выберите стиль, выберите аватар, напишите сценарий. Сервис создаст кинематографичное движение, голос, эмоции.

Передает язык тела, эмоции и динамичное исполнение.

Вы получаете 16 встроенных типов сцен:

Vlog, Stream, Podcast, Car Talk, Coaching, Fashion, Beauty, Professions, Selling, Emotions, 3D, Forum и другие.
Каждый из них разработан для соответствия реальным форматам контента.

Можно создавать свои аватары

Идеально подходит для:

Библиотек рекламных роликов UGC.
Скетчей и форматов шоу.
Учебного и коучингового контента.
Каналов YouTube без лиц.
Клонов инфлюенсеров.
Вирусных видео с говорящими головами.

Higgsfield Speak доступен на тарифах Pro и Ultimate.

Напишите комментарий 'Speak' к официальному посту чтобы поклянчить промокод с туториалом

По промокоду SPEAK_DISCOUNT дают скидку 20% на 1 месяц
По промокоду SPEAK_EXTRA дают жалкие 15 кредитов на 3 генерации

#humananimation #speech2video #humanavatar

Появился демоспейс липсинка MultiTalk

Демо

#Lipsync #potraitanimation #speech2video #comfyUI #humananimation

Опубликован код и веса редактора видео MIMO
И даже есть китайский демоспейс

В базе Stable Diffusion 1.5 но видеопамяти надо от 40 ГБ
Ну может хоть быстрый ... непонятно насколько он актуален теперь при всех возможностях WAN и коммерческих моделей

Тестировали на GPU A100, L20

Гитхаб
Демо

Спасибо @Dmitriy_Ru6ts0v

#video2video #humananimation #personalization #videoediting #videoinpainting

Mirage Studio бесплатно

Сервис говорящих аватаров от Captions объявил бесплатную генерацию видео на эти выходные, до 11:00 понедельника по московскому времени

Попробовать

#humananimation #speech2video #humanavatar #talkinghead #giveaway

FrankenMotion: Part-level Human Motion Generation and Composition

Модель для генерации и комбинирования движений человека на уровне отдельных частей тела. Учитывает текстовые подсказки для каждой части тела отдельно, благодаря чему движения получаются более точными и контролируемыми

Гитхаб код ждем

#humananimation #animation

UMO

Универсальная модель для работы с анимацией человека при участии Meta (запрещено в РФ)

Умеет:

— генерировать и редактировать реалистичные движения по тексту

— заполнять пропуски в движениях

— предсказывать, как будет развиваться движение дальше

— «отматывать» движение назад, восстанавливая предыдущие состояния

— следовать по заданной геометрической траектории, сохраняя естественность движений

— обходить препятствия при движении из точки А в точку Б

— создавать взаимодействия между двумя людьми

Гитхаб ждем

#humananimation #3d #animation

MeshCap (three-mediapipe-rig)

Контроль 3D персонжа через захват скелетной позы с видеофайла или вебкамеры в рилтайме.

Ну как в рилтайме, только лицо - более в рилтайме, целое тело - с лагами

Анимацию записывает в файл формата .glb

Демо

#realtime #pose2video #pose2animation #humananimation #mocap

Kimodo

Диффузная модель для генерации качественных 3D-движений людей и роботов по тексту от NVIDIA

Помимо текста управляется с помощью разных констрейнов: ключевых кадров, позиций и вращений концевых эффекторов (например, рук и ног), 2D-путей и точек

Для локального запуска нужно около 17ГБ VRAM

Гитхаб
HF
Демо

#humananimation #text2animation #3d

Vanast

Видеопримерочная с анимацией изображения человека по контролю позы.

Может переносить несколько предметов одежды одновременно

Гитхаб ждем

#tryon #image2video #referencing #humananimation

Nvidia продолжает развивать генератор анимации Kimodo

выложили еще две модели

Kimodo-SOMA-RP-v1.1 - обучена на датасете 30-суставных скелетов с корректным ригом

TMR-SOMA-RP-v1- связывает текст и человеческие движения в общем латентном пространстве для оценки сгенерированных движений

#humananimation #text2animation #3d #text2motion

OmniShow

Модель для создания видео взаимодействия людей с предметами. Видеогенерация управляется текстом, изображением, аудио и позами одновременно

- Видео реалистичнее и динамичнее, чем у HunyuanCustom, HuMo-17B, VACE и Phantom-14B

- Сохраняет личность персонажа и синхронизирует движения со звуком лучше, чем HunyuanCustom и HuMo-17B

- синхронизирует аудио с видео

- подходит для разных задач, например, создания аватаров, замены объектов в видео или ремикса видео

Гитхаб ждем

#humanavatar #humananimation #lipsync #av #referencing #pose2video #characterswap #characteranimation #any2video

Wan-Dancer

Генератор танца по музыкеи фото

Работает с минутными фрагментами что редкость для танцевальных генераторов. Упор на плавную эволюцию поз, а не на отдельные кадры.

• Разрешение 720p при 30 кадрах в секунду
• Поддержка пяти стилей танца: классический китайский, K-pop, уличный, степ, латинский
• иерархическая структура, держит ритм и стиль по всему треку
• когерентные движения на длинных отрезках, без рывков и сбоев
• мультимодальная обработка. музыка плюс кинематика тела
Wan-Dancer

Отбой, для работы требует 8 x NVIDIA A800 80GB

Гитхаб
HF
Демо

Спасибо @m_franz

#humananimation #image2video #portraitanimation #image2dance