PointDiT

Модель от Google, Microsoft и ко для оценки геометрии по одному изображению. Восстановливает 3D-структуру из монокулярного кадра.

• работа в пиксельном пространстве
• оценка глубины и нормалей
• стабильная генерация геометрических карт без доп. сенсоров

Непонятно будет опенсорс или нет

галерея

#image2depth #image2normals #imageto3d

SHELLS: Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling

Реконструкция 3D‑головы с текстурами от Google по нескольким видам. Держит топологию, избегает артефактов

Сразу пригодная для анимации топология

Точность до субмиллиметровых деталей.

Жрет 2.4 GB VRAM. Но это VRAM у кого надо VRAM. Кода-весов нет

на базе GNM

#head #HMR #imageto3d #photogrammetry

LATO.2

Генерация 3D-мешей с раздельным контролем геометрии и топологии. Разбивает процесс на два этапа: сначала позиции вершин, потом связи между ними.

• контроль числа вершин (200–5000)
• покомпонентная генерация для детализации
• редактирование частей меша с автоперестройкой топологии

• ~8 ГБ VRAM
• MIT-лицензия

Для генерации по одному изображению нужна отдельная стадия (например, TRELLIS)

Гитхаб
HF

#3d #textto3d #imageto3d

Rest2Art

Реконструкция артикулированных объектов из одного кадра в закрытом состоянии без единого примера движения. Из обычного захвата делает готовый ассет с геометрией частей и параметрами шарниров

• Восстановление геометрии частей + параметров сочленений из одного статичного кадра
• Параметры шарниров решаются через геометрическую согласованность с мешем, а не берутся из видео

• Качество на уровне методов, которые видят движение

Применение: Real-to-Sim-to-Real - реальный объект реконструируют, импортируют в симуляцию, запускают манипуляцию на реальном роботе

Гитхаб ждем

#image2simulation #imageto3d

LocalMesh

Реконструкция 3D-гауссиан + текстурированный PBR-меш по одному входному фото. Локально на своём GPU

- Объект вырезается из фона автоматом
- Квад-топология — не треугольный суп, готово к скульптингу, сабдиву, анимации
- Сплат остаётся отдельным файлом (.ply) — открывается в Postshot, SuperSplat, Blender
- 4K текстурный атлас по запросу
- Теневая прокси-сетка для real-time сцен

- Модели: TripoSplat, MoGe-2, LaMa, IDArb, SD 2.1 + SuperMat — скачиваются один раз при первом запуске
- Windows 10/11, NVIDIA 8+ GB VRAM

- 7 дней бесплатно, потом $39 навсегда (lifetime licence, коммерческое использование включено). На реддите автор выдал комуто открыто промокод на пожизненное бесплатное использование, но это похоже на шутку:
IMPOOR

#gaussian #imageto3d #pbr

depth-anything.cpp

Порт модели глубины Depth Anything 3 от ByteDance на чистый C++, без Python и PyTorch и быстрее в 1.3 раза. Из одной картинки вытаскивает карту глубины и позу камеры, работает на CPU

Создает не только базовую карту глубины, а целый набор данных:

- Метрическая глубина (в метрах, а не условные значения)
- Уверенность по каждому пикселю (насколько можно доверять этой точке)
- Внутренние и внешние параметры камеры (то есть как камера устроена и где она стоит)
- 3D-облако точек
- Экспорт сразу в GLB / COLMAP / PLY
- Многовидовая глубина и поза камеры (несколько фото → общая сцена)

#image2depth #imageto3d

VK | MAX

Hi3D V3.0

Обновился коммерческий генератор 3D-моделей из одной картинки, когдато бывший опенсорсным. Главный фокус - точность геометрии, структуры и текстур. Мелкие детали больше не теряются

- воксельное разрешение 2048³ - сохраняются морщины, гравировка, тонкие части
- Лучше структура сложных форм и скрытых зон, которые раньше додумывались криво
- Текстуры до 8K с улучшенной UV-разверткой
- Два режима: Quality - детальные одиночные объекты, Master - сложные композиции, многосоставные скульптуры, миниатюрные сцены

Сравнение с Meshy 7

#imageto3d

VK | MAX

Lumera

Пайплайн превращает обычную фотографию в редактируемую 3D-сцену для игрового движка. На выходе не облако точек и не гауссианы, а отдельные объекты с собственной геометрией, с которыми можно работать как в обычном 3D-редакторе

• разбивает изображение на отдельные 3D-меши объектов
• сохраняет редактируемую компоновку сцены - объекты можно двигать и заменять
• генерирует нативные источники света и HDR-окружение
• собирает проект, готовый к открытию в Unreal Engine 5

Загрузили фото интерьера - получили основу уровня для UE5

Код-веса ждем

Спасибо @Endorpheen

#ue #image2scene #imageto3d

VK | MAX

Trellis.2 + Pixal3D нативно в ComfyUI

Две лучшие открытые 3D-модели теперь в ядре ComfyUI 0.34.0+ — без кастомных нод, без адской установки CUDA-расширений, без даунгрейда PyTorch и без некоммерческих лицензионных ловушек. Одна картинка → готовая 3D-модель с PBR-материалами

Trellis.2 (Microsoft) — 4B модель, генерирует геометрию и материалы из одного изображения, разрешение до 1536³, любые топологии, свои PBR-карты

Pixal3D (Tsinghua + Tencent ARC) — построена на бэкбоне Trellis.2, но с pixel-aligned генерацией: 3D-модель строго повторяет то, что на входной картинке, почти как реконструкция

- Обе работают как родные ноды ComfyUI, бесплатно и для коммерции
- Новые ноды нагрузка/превью/сохранение 3D + постобработка меша: ремеш, декация, сглаживание, заливка дыр, покраска, слияние
- Полный PBR набор: base color, roughness, metallic + UV-развертка + запечённые normal и ambient occlusion карты

#3d #textto3d #imageto3d #pbr #comfyui

SceneMosaic (HKU + UESTC)

Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов

- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных

- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты

Гитхаб

#imageto3d #image2scene #image2layout