VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models

Генерация видео с движением, заданным образцом из другого видео

Код

#video2video #motion2video #text2video

MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

Контроллер движения камеры и объектов при генерации видео от TencentARC. Прикручивается к LVDM, VideoCrafter1 и AnimateDiff. Можно прикрутить и к SVD и другим генераторам

Код
Демо
Колаб

#text2video #motion2video #motioncontrol

MotionCtrl прикрутили к SVD

Демо

#text2video #motion2video #motioncontrol

Опубликован код контроллера движения MotionDirector

Код
Демо
Демо2
Колаб

#video2video #video2motion #motion2video

DragAnything: Motion Control for Anything using Entity Representation

Контроль движения при генерации видео по картинке. Конкурент DragNUWA

Код
ComfyUI DragAnything

#image2video #motion2video

Dough

Управление генерацией видео через Steerable Motion и Motion Director

Код
Дискорд

#video2video #video2motion #motion2video #conditioning

GoWithTheFlow

Перенос движения с образца на генерацию Hunyuan видео
Неофициальные веса нетфликсовского Go with the Flow

Веса
ComfyUI-VideoNoiseWarp

#motiontransfer #motion2video

Dreamina

В генератор картинок и видео от Capcut добавили оживлятор портретов с липсинком. Работает он на базе OmniHuman который мы смотрели в феврале без кода.

Загружаем фото, пишем текст для озвучки или загружаем аудио до 15 секунд, выбираем голос.

На выходе получаем анимацию с неплохой мимикой, жестами, движениями головы, глаз и тела.

Нужен аккаунт CapCut и веб-локация в США

Попробовать

#portraitanimation #audio2video #audio2motion #motion2video #talkinghead #lipsync

LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Анимируемые аватары по одному изображению на гауссианах от Alibaba.

Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах

Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить

#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video

FlexiAct: Towards Flexible Action Control in Heterogeneous Scenarios

Оживлятор персонажей по образцу движения от Tencent. Перенос движения на картинку.
На основе CogVideoX-5B

Код
Веса

#characteranimation #image2video #motion2video

Runway Act-Two вышел из закрытого доступа

На днях RanwayML представилми новую модель переноса действия с видео на картинку

Теперь она доступна платным подписчикам

#motion2video #image2video #characteranimation