Decaf: Monocular Deformation Capture for Face and Hand Interactions

Восстановление 3D головы и рук и их взаимодействия с деформациями по одному видео.

Код обещают выложить

Полное видео, 4 минуты

#videoto3D #talkinghead #humanavatar #head #hands #mocap

URHand: Universal Relightable Hands

Ах как не хватало подобного инструмента на некоторых проектах.
Релайтинг рук на основе данных световой сцены. Создает новые ракурсы, позы, освещение, что позволяет быстро персонализировать изображение с телефона

Кода нет

#relighting #hands

PAM (Pose–Appearance–Motion Engine)

Реконструкция и генерация видео с взаимодействием рук и объектов (HOI). Объединяет в себе генерацию поз, внешнего вида и движения в одном фреймворке

Разрешение 480×720

Гитхаб
HF

#hands #HOI

EventEgoHands++ (Keio University)

Реконструкция 3D-модели кистей рук по данным event-камеры с точки зрения первого лица. Обычные камеры слепнут в темноте и от смаза при движении, event-камера фиксирует только изменения яркости — работает и в почти полной темноте

- Отдельный Hand Detector: различает левую и правую руку по-отдельности с bounding-box и масками
- Adaptive Attention: динамически гейтирует внимание по результатам детекции — моделирует взаимодействие и взаимное расположение двух рук
- Работает при плохом освещении и сильном смазе где RGB и depth пасуют
- Определяет сколько рук в кадре: одна две или ни одной

Гитхаб

#hands #videoto3d

VK | MAX