EgoForce

Система реконструкции 3D-позы рук из монокулярной камеры от первого лица. Решает проблему определения точной позиции рук в AR/VR и телеприсутствии с помощью одной камеры на шлеме.

• Работает с разными типами камер: фишай, перспективные, широкоугольные
• определяет абсолютную 3D-позицию
• встроенный решатель для работы с разными конфигурациями камер
• интеграция с Unity для визуализации

Точность на 28% выше аналогов на HOT3D датасете. Работает даже когда предплечье не видно в кадре.

Гитхаб
HF - там предупреждение о небезопасности файлов, не торопитесь скачивать
Демо

#tracking #hand #vodeo2hand #videoto3d #video2pose

Reve API (beta)

У Reve еще одна обновка - API для работы с картинками

#imageediting #api

SAM2Matting

Матирование по сегментации (SAM2, SAM3)

В отличие от сегментной маски, матирование содержит информацию не только о границе объекта, но и о мягкости/полупрозрачности краев

Поддержка разных промптов - маски, точки, боксы, текст

Обучен только на изображениях, но уверенно работает на видео

Гитхаб
HF
Демо

#video2matte #segmentation #rgb2rgba #matting #image2matte

SuperSplat обновился

Для любой гауссовой сцены теперь можно "в один клик" собрать готовое приложение с PlayCanvas, Vite и TypeScript, где сцена уже встроена, а положение камеры сохранено. При этом проект подходит для передачи ИИ-ассистенту

Пример: сцена / демо-приложение

а также из обновок:
• экспорт сцен в формат SPZ (в 10 раз меньше PLY без потери качества)
• экспорт 360° видео и изображений
• обновлён splat-transform до версии 3.0, стало быстрее и экономичнее по памяти

Гитхаб

#gaussian #scene2app #coding

ARDY

Модель от NVIDIA генерирует движения человека в интерактивном режиме. Плавная, управляемая анимация без жёстких шаблонов


• непрерывная генерация движений в рилтайме на протяжении минут
• интерактивное управление через текстовые подсказки, клавиши
• гибкие констрейны (траектории, ключевые кадры, позиции суставов)
• гибридное представление данных (явные глобальные параметры + компактное скрытое представление движений тела)
• работа с долгосрочными целями и сложными комбинациями ограничений
• адаптация к изменяющимся условиям и целям на лету

Можно запромптить анимация и потом влиять на нее на лету

Гитхаб
HF
Демо

#humananimation #animation #realtime #interactive