Нейронавт | Нейросети в творчестве

ArtHOI

Реконструкция артикулированных взаимодействий человека с объектами из монокулярного видео без дообучения

4D-реконструкция из моно-видео-приоров без 3D-супервизии.

Сегментация частей объектов + двухэтапная оптимизация: сначала артикуляция объекта, потом синтез человеческого движения

Решает неоднозначность восстановления 3D из одного вида, обеспечивает движения без коллизий: руки не проваливаются в дверцу холодильника, тело не пересекает шкаф

Гитхаб

#4D #HOI #videoto4d #hsr #hpr

Нейронавт в MAX 📲

👍3

2.09K views09:21

0:52

PAM (Pose–Appearance–Motion Engine)

Реконструкция и генерация видео с взаимодействием рук и объектов (HOI). Объединяет в себе генерацию поз, внешнего вида и движения в одном фреймворке

Разрешение 480×720

Гитхаб
HF

#hands #HOI

👍5

1.84K views09:17

0:13

Pi-HOC

Модель для определения контактов между людьми и объектами на изображениях

— работает с несколькими людьми и объектами одновременно

— обрабатывает данные за один проход

— распознаёт отдельные экземпляры людей и объектов

— предсказывает плотные контакты на 3D-моделях людей

— улучшает реконструкцию 3D-объектов из изображений

— предсказывает контакты по текстовым запросам без дополнительного обучения

Гитхаб ждем

#HOI #3d #HOC

🔥4❤1

1.51K views12:15

1:12

CoInteract

Видеогенератор от Alibaba с реалистичным взаимодействием человека и объектов на основе WanS2V

Одновременно создаёт RGB-видео и вспомогательный поток с информацией о взаимодействии человека и объекта

Human-Aware MoE направляет токены к экспертам, специализирующимся на определённых областях (голова, руки, нижняя часть тела)

Встроенные в модель правила физического взаимодействия следят чтобы не было проникновений рук в объекты

Пригодно для продуктовых видео и виртуальных примерочных

Гитхаб
HF ждем

#HOI #referencing #tryon #av

❤3👍2

2.1K views06:09

0:18

HOMIE

Фреймворк для персонализации видео с фокусом на взаимодействии человека и объектов. Решает проблему неестественных движений и потери идентичности при генерации сцен.

• генерация сложных взаимодействий с сохранением естественности движений
• точное размещение и удержание логотипов в динамике
• стабильная читаемость текста от кадра к кадру
• согласованность образа при смене ракурса

В основе - MLLM плюс WAN 2.1

Гитхаб
HF

#wan21 #hoi #personalization #i2v #referencing

👍10

1.8K views09:13