Video Motion Graphs

Переанимация видео.
Модель берет кадры вашего видео и переставляет их чтобы получить нужное движение под заданную музыку. А недостающие достраивает.
Можно задать конкретные движения.

Работает как с танцами, так и с говорящей головой с руками. В этом случае на вход подается речь как я понял.

Код ждем. Кстати, это Adobe

#video2video #pose2video #talkinghead #music2video #speech2video

RealisDance: Equip controllable character animation with realistic hands

Оживлятор персонажей по образцу движения. Для богопротивных тиктоков должно подойти.

Но как же хорошо выглядят их видео, при том что файлам в репозитории уже по 5-7 месяцев. Я даже сомневаюсь что это мне показывают результаты, а не образцы движения

Умеет делать взаимодествие с предметами, стилизацию, необычные позы, сложные жесты и мультиперсонажку - есть примеры анимации двух персонажей

Позы и исходные картинки кодируются Wan-2.1 VAE

В коде ссылки на Open-Animate Anyone, Moore-Animate Anyone, MusePose.

Код

#image2video #humananimation #characteranimation #pose2video

MTVCrafter: 4D Motion Tokenization for Open-World Human Image Animation

Оживлятор персонажей по образцу движения

Код
Веса
Веса на основе CogVideoX-5B и Wan-2.1-14B - ждем

#characteranimation #pose2video

Brie's FramePack Lazy Repose workflow

Управляем позой в FramePack

+ еще какие-то воркфлоу для WAN и VACE

#pose2video #image2video #workflow

Seaweed APT2

Интерактивная модель генерации потокового видео по картинке в рилтайме от ByteDance, второе поколение. Первое было в январе

1 минута видео ,1 шаг, 24 кадра в секунду, потоковое разрешение 736x416 (эквивалент 640x480 - что???) в режиме реального времени на 1xh100 с интерактивным управлением!

Контроль позы, контроль камеры

Кода нет, ждем на сервисах

#image2video #realtime #cameracontrol #pose2video #posecontrol

PERSONA: Personalized Whole-Body 3D Avatar with Pose-Driven Deformations from a Single Image

Полный 3D аватар человека по одной картинке, управляемый позой - переносом движения с образца.

Код

Спасибо @m_franz

#humanavatar #characteranimation #pose2video

Wan2.2-VACE-Fun-A14B

В репозитории alibaba-pai появились веса модуля контроля видеогенерации VACE для #WAN22

Непонятно насколько они качественные и финальные

Указано что поддерживает Canny, Depth, Pose, MLSD. разрешения - 512, 768, 1024

Практически в то же время в репозитории Kijai появились

fp8 scaled
bf16

#controlnet #referencing #depth2video #pose2video

Ponimator: Unfolding Interactive Pose for Versatile Human-Human Interaction Animation

Ну и чем мне теперь заменить слово "пониматор"? Они не ПОНИмают что натворили.

Анимация взаимодействия между людьми. Использует интерактивные позы как основу для генерации движений

Фреймворк состоит из двух условных диффузионных моделей: одна генерирует динамические последовательности движений на основе временного контекста, другая создаёт интерактивные позы из одиночной позы, текста или их комбинации;

Поддерживает различные задачи: анимацию взаимодействия по изображениям, анимацию реакций, синтез взаимодействия по тексту

Код

#humananimation #animation #image2video #text2video #text2pose #pose2video

One-to-All Animation: Alignment-Free Character Animation and Image Pose Transfer

Оживлятор персонажей по позе от китайцев на базе Wan2.1

Уже поддерживается в ComfyUI-WanVideoWrapper

Гитхаб
Модели:
https://huggingface.co/MochunniaN1/One-to-All-1.3b_1
https://huggingface.co/MochunniaN1/One-to-All-1.3b_2
https://huggingface.co/MochunniaN1/One-to-All-14b

Спасибо @m_franz

#characteranimation #referencing #pose2video

CoDance: An Unbind-Rebind Paradigm for Robust Multi-Subject Animation

Оживлятор сразу нескольких персонажей на изображении по образцу движения

Ну это совершенно какая-то нишевая штука когда нужно чтоб все одинаково двигались

Код ждем

#characteranimation #image2video #pose2video

Накопилось по #minimaxH3 - часть 24

github.com/MiniMax-AI/MiniMax-H3/tree/main/skills - #Skill папка в официальном репозитории H3. 8 стилевых скиллов

huggingface.co/Asirus/TaoMate_H3_3_Step_LoRA - ещe 2 ComfyUI-версии TaoMate

github.com/Code2Collapse/ComfyUI-CustomNodePacks - нода для стабилизации видео #stabilize

huggingface.co/Comfy-Org/MiniMax-H3/tree/main/vae - #VAE INT8 перезалили, обновленная версия

Замена #ControlNet-pose — расширение кадра через аутпейнт дает стабильное движение даже при несовместимых пропорциях тела pastebin.com/BUBUJpwK #workflow #pose2video

huggingface.co/spaces/multimodalart/h3-acceleration-arena - лидерборд пополнился VDN-H3, TaoMate H3, LightX2V 1.2

huggingface.co/FastVideo/FastVideo-FastH3-8-Step-V2 - обновился ускоритель. Воркфлоу:

t2v
github.com/Comfy-Org/workflow_templates/blob/main/templates/video_fastvideo_fasth3_t2v.json

i2v
github.com/Comfy-Org/workflow_templates/blob/main/templates/video_fastvideo_fasth3_i2v.json

github.com/spacesimeco-hue/Chain-Motion-AI-Video-Editor - видеоредактор поверх #ComfyUI в браузере: таймлайн, библиотека ассетов, регенерирование сегментов

github.com/aa335615543-ux/BUNNY_H3_Conditioning_Bridge и huggingface.co/JOKER141/BUNNY_H3_Conditioning_Bridge - адаптер кондиционирования для H3, который чинит кто что делает в видео

github.com/vizart-vj/ComfyUI-MiniMax-H3-LongMedia - обновился кастом пак для генерации длинных видео от @vj_vizart