Появилась демка адаптера материалов ZeST
Го тестить

Демо

#material #image2image

DreamMat: High-quality PBR Material Generationwith Geometry- and Light-aware Diffusion Models

Это вам не просто генератор текстур. Это генератор PBR материалов, детка!

Код

#text2material #material #3D2material

light-geo-controlnet

И самое интересное что его оформили в виде контролнета!

Он использует карты нормалей и глубины объекта в качестве геометрических условий и шесть заготовок материалов с заданным освещением окружающей среды в качестве условий освещения. Далее генерирует изображения, которые соответствуют заданной геометрии и освещенности окружающей среды.

Есть и ложка говна: он для SD 2.1

#controlnet #text2material #material

3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes

Очередная бомбическая работа от NVIDIA.
Поженили гауссианы с рейтрейсером.
За счет этого можно в сцену добавлять объекты, отрабатывают тени, отражения, преломление, глубина резкости. Можно наруливать материалы, и они будут работать.

Работает довольно шустро - 78 кадров в секунду на датасете MipNeRF360 на NVIDIA RTX 6000 Ada

Есть только препринт, кода нет. Вопрос куда это прикрутят? Вернее, когда

#rendering #gaussian #material #news

Pixie: Physics from Pixels

Модель добавляет физические свойства в 3D модели на #nerf и #gaussian
Мапит материалы с физическими свойствами на объекты на основе их внешнего вида за один форвард пасс, что позволяет проводить симуляции в реальном времени

Работает значительно быстрее (в 10³ раз) по сравнению с существующими методами

Код
Jupiter

#simulation #dymanics #material #physics

UniD

модель для плотной разметки видео, сразу несколько свойств сцены в одном прогоне

• глубина
• нормали поверхности
• семантическая сегментация
• границы объектов
• части тела человека
• альбедо
• затенение
• материалы

• единый backbone, один проход для всех задач
• стабильная согласованность по кадрам

Гитхаб ждем

#material #video2depth #video2normals #segmentation #relighting

VideoNeuMat (NVIDIA + University of Manchester)

Извлекает из видеогенераторов полноценные материалы для 3D-рендеринга. Текст или фото → готовый материал, который можно перекладывать на другие объекты, менять освещение и смотреть с любого ракурса

- Из текста или одной картинки получает готовый материал: ржавый металл, чешуя бабочки, резьба по дереву - все, что видеогенератор знает, но не умел отдавать отдельно
- Материал отделен от геометрии и освещения, 3D-ready

- Вход: текст или изображение
- Выход: нейронный материал (NeuMIP) для 3D

Код / веса ждем

#material #image2material #texture #text2material

VK | MAX