Collaborative Neural Renderingusing Anime Character Sheets

Короче персонажка из видео в аниме
#mocap #video2anime

Код для продвинутых

#mocap #tracking

Decaf: Monocular Deformation Capture for Face and Hand Interactions

Восстановление 3D головы и рук и их взаимодействия с деформациями по одному видео.

Код обещают выложить

Полное видео, 4 минуты

#videoto3D #talkinghead #humanavatar #head #hands #mocap

StableMotion: Training Motion Cleanup Models with Unpaired Corrupted Data

Нейрочистка мокапа (данных с захвата движения) от Electronic Arts / NVIDIA

Находит и исправляет испорченные кадры

Снижает количество артефактов, например, «попсы» движения уменьшаются на 68%, а «замороженные» кадры — на 81%

Код

#mocap

CYANPUPPETS

Безмаркерный мокап в рилтайме с 1080p камеры

Для рилтайма достаточно 8ГБ VRAM

Интегрируется с #UE, #Unity, #Blender

Есть бесплатная версия, раздают в дискорде

Если кому лень заходить в ДС, ссылка из него - спасибо @Dmitriy_Ru6ts0v

#mocap #3d #plugin

Robust and Generalized Humanoid Motion Tracking

Доработали удары по фаберже и опубликовали препринт метода точного захвата движений человека роботом.

— умеет восстанавливаться после падений и справляться с внешними помехами

— обучается быстро,нужно всего около 3,5 часов данных о движениях

— способен выполнять движения, которые раньше не видел

— управление с джойстика тоже есть.

Главное что? Чтобы дистанционное выключение работало

#robot #mocap

Kling 3.0, Kling 3.0 Omni и 3.0 Motion Control теперь полностью доступны

- мокап и консистентность персонажей
- Гибкое создание видео — до 15 секунд, мультишот, разрешение 1080p
- Генерация изображений в 4K и режим серий

Спасибо @BrianMItro

#news #videoediting #4k #referencing #mocap

Нейронавт в MAX 📲

Kling VIDEO 3.0 Motion Control

обновлённая версия функции для профессиональной захвата движения.

Основные особенности:

консистентность лица персонажа в процессе генерации видео, сохраняет стабильность черт и плавность выражений даже при сложных, многоплановых и длительных движениях

позволяет привязывать элементы лица путём загрузки нескольких изображений или видео после отправки изображения персонажа

расширяет возможности применения Motion Control в кинематографе, высокоточном захвате движения и различных развлекательных сценариях

#guide #mocap #motioncontrol

Нейронавт в MAX 📲

MeshCap (three-mediapipe-rig)

Контроль 3D персонжа через захват скелетной позы с видеофайла или вебкамеры в рилтайме.

Ну как в рилтайме, только лицо - более в рилтайме, целое тело - с лагами

Анимацию записывает в файл формата .glb

Демо

#realtime #pose2video #pose2animation #humananimation #mocap

ComfyUI Yedp Action Director

Интерактивная работа с 3d анимациями персонажей и окружениями в #ComfyUI

- позволяет загружать до 16 персонажей, назначать анимации, захватывать выражения лица, импортировать окружения, анимировать камеры и создавать проходы для ControlNet

- основан на движке, совместимом с Mixamo

- мультипасс рендеринг 7 пассов: Depth, Normal, Canny, Pose, Shaded, Alpha, Textured

- поддержка #PBR и #HDRI освещения

- работа с гауссианами и облаками точек

- генерирует Depth, Normal и Canny для ControlNet

-сохраняет и загружает состояние вьюпорта (персонажей, освещение, привязки мокапа, ключи камеры) в .json

#3d #gaussian #tools #mocap

AI4AnimationPy

Фреймворк для ИИ‑анимации персонажей на базе NumPy и PyTorch.

• импортирует данные захвата движения (GLB, FBX, BVH)
• визуализирует результаты в реальном времени (с SSAO, bloom и др.)
• решает обратную кинематику (решатель FABRIK)
• работает в трёх режимах: Standalone, Headless, Manual
• обрабатывает публичные датасеты (Cranberry, LaFan и др.)

Гитхаб
Демо
webGPU

Спасибо @Endorpheen

#animation #characteranimation #mocap

MAMMA

Система для захвата движения без маркеров: превращает многокамерное видео в 3D‑анимацию человека.

• работает без костюмов и физических маркеров
• использует видео с синхронизированных камер (в т. ч. с телефонов)
• реконструирует движение тела в формате SMPL‑X
• обрабатывает взаимодействие нескольких людей
• выдаёт данные для 3D‑инструментов

github.com/cuevhv/mamma

#mocap

PoseCap

Мокап без маркеров для Blender от Corridor Diogital. Преобразует видео с веб-камеры в SMPL-X анимации для персонажей.

Под капотом PEAR + Meshcapade SMPL_blender_addon

• Работает с веб-камерами и видеофайлами
• Потоковая передача поз до 30 FPS
• Запись анимации на таймлайн Blender
• Конвертация персонажей Mixamo и Unreal
• Управление SMPL-X моделями тела

Пока только для Windows. Linux в планах.

Лицензия Apache-2.0 для движка, GPL-3.0 для расширения Blender. Для коммерческого использования нужна отдельная лицензия на SMPL-X модели и Meshcapade

#mocap #blender

miniface

Бесплатная система захвата движений лица и пальцев для VTuber и стримеров. Работает в браузере

• рилтайм трекинг лица - 52 blendshapes ARKit
• трекинг пальцев рук
• аватары Ready Player Me с Three.js
• запись анимации и экспорт в .glb (2-5 МБ) с костями и blendshapes
• физика волос и одежды на пружинах без движка

Гитхаб

#mocap #realtime #streaming

MAX

FlowHMR

Физически правдоподобный мокап из обычного видео. Из монокулярного ролика восстанавливает глобальное 3D-движение человека, которое физический контроллер реально может повторить в симуляции.

• 0.46B
• Глобальный 3D-motion из одиночного видео
• Движение физически корректно — симулируемый персонаж может его отследить
• Flow matching + physics-based GRPO
• Демо в 3D-вьювере прямо на сайте

Как применяют
• Робототехника: ретаргет на Unitree G1, трекинг в симуляции через SONIC
• Анимация: реконструкция сцены и ретаргет через GPT-6 Astra
• Text-to-motion: генерация видео через MiniMax H3, затем захват движения FlowHMR

Гитхаб
HF

#mocap #animation

MAX

DirtyMoCap

Полный мокап «грязных» маркеров — разреженных, перепутанных и без разметки. Восстанавливает SMPL-H движение: поза, кисти, глобальное перемещение и телосложение. SIGGRAPH Asia 2026

• Любая раскладка маркеров: одна модель, без заданного набора
• Маркеры могут быть перепутаны и без меток кадр за кадром
• Фиксированные якоря тела — суставы и точки поверхности — стабильный промежуточный слой
• Learned confidence: солвер решает, каким точкам верить, отсеивая выбросы
• До 100× быстрее стандартного PyTorch-солвера за счет CUDA

Проверяли на старых сырых захватах китайских боевых искусств без разметки: 134 записей, ~180 минут, 22 стиля — собрали новый датасет кунг-фу. Это для оптических маркерных систем, не видео-мокапа. Код и данные пока закрыты; MoSh++ все еще чуть точнее по поверхности тела, но только за счет размеченных маркеров

github.com/WangLongZJU/DirtyMoCap - ждем

#mocap

MAX