AniX: Animate Any Character in Any World

Анимация персонажей в 3D мирах текстовыми указаниями от Microsoft и Co

Мир подаем в виде сцены на гауссианах, персонажа - в виде 3d модели или мультиракурс картинок

В базе видеогенератор, так что это не 3D анимация меша. Зато взаимодействие с миром и объектами предусмотрено.

Код ждем

#characteranimation #world #gaussian

HY-Motion 1.0

Персонажная 3d анимация по тексту от Tencent HY

1B параметров
Результат вписывается в классический 3d пайплайн

А можно и не в классический, референсом движения в видеоген

Гитхаб: https://github.com/Tencent-Hunyuan/HY-Motion-1.0
HF: https://huggingface.co/tencent/HY-Motion-1.0
Демо: https://huggingface.co/spaces/tencent/HY-Motion-1.0


#text2animation #3d #characteranimation

LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation

Рилтаймовый аватар-оживлятор портретов на базе WAN 1.3B

На вход принимает картинку, звук, текст

Работает на дистилляции диффузии с ускорением в 20 раз. Нужно от 24ГБ VRAM, выдает 24.8 fps

Гитхаб
HF

#talkinghead #avatar #characteranimation #portraitanimation #realtime

X-Dub: From Inpainting to Editing

Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.

Работает с видео дольше минуты без потери качества и «сдвига» изображения

Гитхаб
HF

Спасибо @m_franz

#lipsync #dubbing #video2video #audio2video #characteranimation

LPM 1.0

Видеогенератор диалоговых видео с персонажами в реальном времени

— генерирует видео с полнодуплексной беседой

— сохраняет идентичность персонажа при бесконечной генерации

— создаёт эмоциональные и вокальные выступления с точной синхронизацией губ и ритма тела

— совместима с аудио-в-аудио моделями вроде ChatGPT

— управляется мультимодально — через текст, аудио и изображения

— передаёт микровыражения и нюансы человеческого общения

Проект исследовательский, ни опенсорс, ни коммерческий релиз не запланированы

#research #dialog #realtime #characteranimation #av #lipsync

OmniShow

Модель для создания видео взаимодействия людей с предметами. Видеогенерация управляется текстом, изображением, аудио и позами одновременно

- Видео реалистичнее и динамичнее, чем у HunyuanCustom, HuMo-17B, VACE и Phantom-14B

- Сохраняет личность персонажа и синхронизирует движения со звуком лучше, чем HunyuanCustom и HuMo-17B

- синхронизирует аудио с видео

- подходит для разных задач, например, создания аватаров, замены объектов в видео или ремикса видео

Гитхаб ждем

#humanavatar #humananimation #lipsync #av #referencing #pose2video #characterswap #characteranimation #any2video

AI4AnimationPy

Фреймворк для ИИ‑анимации персонажей на базе NumPy и PyTorch.

• импортирует данные захвата движения (GLB, FBX, BVH)
• визуализирует результаты в реальном времени (с SSAO, bloom и др.)
• решает обратную кинематику (решатель FABRIK)
• работает в трёх режимах: Standalone, Headless, Manual
• обрабатывает публичные датасеты (Cranberry, LaFan и др.)

Гитхаб
Демо
webGPU

Спасибо @Endorpheen

#animation #characteranimation #mocap

MACE‑Dance (Alibaba, SIGGRAPH 2026)

Генерация танцевальных видео из музыки на #MoE архитектуре. Видео не выложили

Motion Expert (на базе BiMamba‑Transformer) - генерирует 3D‑движения по музыке: BiMamba обрабатываетлокальные зависимости, Transformer обеспечивает кросс-модальный контекст

Appearance Expert (на базе Wan‑Animate) - синтезирует видео, сохраняя визуальную идентичность и постранственно‑временную согласованность.

Гитхаб
HF

#characteranimation #music2animation

Comfy-Org/SCAIL-2

Comfy-Org опубликовали веса оживлятора SCAIL-2 под комфи

поддержка модели в комфи и воркфлоу тут

Спасибо @alex31415926

#comfyui #workflow #characteranimation #animation #motioncontrol

Wan-Animate-2

Новая версия персонажного оживлятора без привычных костылей вроде отдельных экстракторов движения - видео-драйвер идет прямо в трансформер, и это дрейф идентичности персонажа при сложных движениях.

Ракурс камеры можно задать текстом, независимо от исходного видео. Раньше камера была жёстко привязана к драйверу, тут её отвязали.

Есть облегчённая версия для рилтайма: обучена трёхэтапно, включая дистилляцию с поблочным обратным распространением, и держит задержку на уровне живого стрима - то есть цифровые аватары и ведущие трансляций уже не про офлайн-рендер

Гитхаб
HF
А также

https://huggingface.co/Comfy-Org/Wan-Animate-2/tree/main
https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_wan2_2_14B_animate.json

#wananimate2 #characteranimation #pose2video

Volumetric Motion Rigging (VMR)

Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа

- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)

Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые

#video2animation #motioncontrol #characteranimation

VK | MAX

OmniHuman 2.0

Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.

Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%

• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5

Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью

byteplus.com/en/product/OmniHuman

#lipsync #speech2video #characteranimation #portraitanimation #avatar

MAX