Для Sapiens появился демоспейс

Для видео удалось запустить только самую младшую модель 0.3b, остальные выдавали ошибку, а потом токены кончились

Демо

#image2pose #segmentation #image2mask #image2depth #image2normal #video2normal

StableNormal: Reducing Diffusion Variance for Stable and Sharp Normal

Генератор нормалей по изображению. Должен быть крутой. У меня к сожалению галерея сравнений не прогружается чтобы посмотреть.

Код
Демо

#image2normal #video2normal

LBM: Latent Bridge Matching for Fast Image-to-Image Translation

Универсальный метод преобразования изображений

Примеры применения: удаление объекта, генерация карт нормалей и глубины, релайтинг, реставрация/улучшение

Код
Демо (релайтинг)

#image2image #imageediting #inpainting #objectremoval #relighting #image2depth #image2normal #enhance #imagerestoration

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

Генератор 3D моделей по изображению через оценку нормалей

Файнтюн Trellis

Код ждем
Демо

#imageto3d #image2normal

DICEPTION: A Generalist Diffusion Model for Vision Perception

Единая модель создает технические карты на уровне SOTA. Умеет делать глубину, нормали, позу? разные виды сегментации.

Сохраняет мелкие детали сегментации, такие как волосы.

Код ждем
Демо

Спасибо @m_franz

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation

Pixel3DMM: Versatile Screen-Space Priors for Single-Image 3D Face Reconstruction

Создание 3D-модели лица по одной фотографии. Модель анализирует изображение и предсказывает геометрические характеристики для каждой точки изображения, что позволяет точно реконструировать форму лица в трёх измерениях.

Но выходе можно получить:

- нормали

- uv-координаты

- 2D-вершины (точки на плоскости, которые помогают в реконструкции геометрии лица)

- параметры 3D морфабельной модели лица (3DMM), которые описывают форму и особенности лица в трёх измерениях

Код

#imageto3d #head #image2normal #image2uv #uv

HunyuanWorld-Mirror

В полку генераторов-реконструкторов объемных сцен от Hunyuan-Tencent прибыло.
Говорю так потому что его определили в одно семейство с генераторами 3D миров

Воссоздает 3D сцены по видео, в том числе сгенерированным, мультиракурсным наборам изображений, и по одному изображению

За один проход создает сразу облако точек, многовидовые карты глубины, параметры камеры, нормали поверхности, сцену на гауссианах.

Код
Демо - очень шустрое. Сделал тест по одной картинке. Лучше все-таки иметь несколько ракурсов
HF ~5 ГБ

#videoto3d #video2scene #gaussian #imageto3d #image2scene #video2gaussian #video2normal #video2depth #image2normal #image2depth

Закинул видео своего медведя на реконструкцию в HunyuanWorld-Mirror по 24 отобранным кадрам

Гауссова сцена далека от идеала, на меш интереснее смотреть. Надо увеличивать количество ракурсов.

Закину гауссианы и меш в комменты для интересующихся

#videoto3d #video2scene #gaussian #imageto3d #image2scene #video2gaussian #video2normal #video2depth #image2normal #image2depth