DSINE: Rethinking Inductive Biases for Surface Normal Estimation

Генератор нормалей. Требует на два порядка меньше данных для обучения чем Omnidata v2 и независим от разрешения и соотношения сторон. Приятно что работает на уличных сценах/сценах реального мира, значит может пригодиться в композе.

Код

#image2normal #video2normal

Для Sapiens появился демоспейс

Для видео удалось запустить только самую младшую модель 0.3b, остальные выдавали ошибку, а потом токены кончились

Демо

#image2pose #segmentation #image2mask #image2depth #image2normal #video2normal

StableNormal: Reducing Diffusion Variance for Stable and Sharp Normal

Генератор нормалей по изображению. Должен быть крутой. У меня к сожалению галерея сравнений не прогружается чтобы посмотреть.

Код
Демо

#image2normal #video2normal

NormalCrafter: Learning Temporally Consistent Normals from Video Diffusion Priors

Генератор нормалей для видео, которые наконец-то не кипят и не трясутся

Демо
Код

#video2normal

ComfyUI NormalCrafter

Кастом нода генератра нормалей для видео

Говорят, если его прогнать через IC-Light Detail Transfer от Kijai, то можно навалить деталей.

Верхнее видео - голый NormalCrafter. Нижнее - с деталями.

Правда, есть сомнения относительно корректности этих деталей в нормалях

твиттер

#video2normal

DAViD: Data-efficient and Accurate Vision Models from Synthetic Data
Модель от Microsoft, обученная на синтетическом датасете людей.

Умеет:
- глубину
- нормали
- отделяет людей от фона

Гитхаб
Jupiter / Colab

#video2normal #video2depth #segmentation #bgremoval #normal #depth

HunyuanWorld-Mirror

В полку генераторов-реконструкторов объемных сцен от Hunyuan-Tencent прибыло.
Говорю так потому что его определили в одно семейство с генераторами 3D миров

Воссоздает 3D сцены по видео, в том числе сгенерированным, мультиракурсным наборам изображений, и по одному изображению

За один проход создает сразу облако точек, многовидовые карты глубины, параметры камеры, нормали поверхности, сцену на гауссианах.

Код
Демо - очень шустрое. Сделал тест по одной картинке. Лучше все-таки иметь несколько ракурсов
HF ~5 ГБ

#videoto3d #video2scene #gaussian #imageto3d #image2scene #video2gaussian #video2normal #video2depth #image2normal #image2depth

Закинул видео своего медведя на реконструкцию в HunyuanWorld-Mirror по 24 отобранным кадрам

Гауссова сцена далека от идеала, на меш интереснее смотреть. Надо увеличивать количество ракурсов.

Закину гауссианы и меш в комменты для интересующихся

#videoto3d #video2scene #gaussian #imageto3d #image2scene #video2gaussian #video2normal #video2depth #image2normal #image2depth

воркфлоу от VFX‑художника heydoughogan
Создает готовые к использованию технические пассы из изображений и видео

Без ручного ротоскопа. Без догадок

→ Удаление фона на основе промпта (RMBG) для быстрой и чистой обработки кадров
→ Сегментация движущихся объектов с помощью текстовых промптов в SAM3.
→ Редактор на основе точек в SAM3 для точного контроля масок
→ Сегментация лиц для работы с кожей и косметической ретуши при компоновке
→ Стабильные пассы глубины и нормалей для релайтинга и интеграции CG

Всё автоматически привязывается к исходному разрешению и частоте кадров материала через узлы get/set

#video2normal #video2depth #workflow