Нейронавт | Нейросети в творчестве

AnyDepth: Depth Estimation Made Easy

Генератор глубины для картинок и видео, в основе DINOv3

Гитхаб
HF - еще не выложили

#image2depth #video2depth

👍9❤2🔥1

2.69K views14:17

2:37

Media is too big

LingBot-Depth: Masked Depth Modeling for Spatial Perception

Превращает неточные и неполные данные с датчиков глубины в точные 3D-измерения. Особенно хорошо работает там, где обычные камеры сбоят — например, на стеклянных или металлических поверхностях

В теории, можно использовать для улучшения карт глубины из других нейросеток

Гитхаб
HF

PS. У этих ребят еще есть LingBot-VLA - базовая визульно-языковая модель для роботов

#rgbd #rgbd2grbd #image2depth #video2depth

🔥7👍3

2.62K views14:17

MetricAnything: Scaling Depth Pretraining with Noisy Heterogeneous Sources

Генератор глубины. Может работать с кучей разных данных, даже если они шумные и от разных источников

Меряются с только что вышедшим Lingbot-Depth

Гитхаб ждем

#image2depth #video2depth

👍6❤1

1.99K views10:12

Any Resolution Any Geometry: From Multi-View To Multi-Patch

Генератор нормалей и глубины по одному изображению в любом разрешении - хоть 2K, хоть 8K, с глобальной связностью геометрии

Разбивают изображение на патчи и обрабатывают совместно

Демонстрационные результаты сильно лучше Depth Anything v2 и Metric 3Dv2

Гитхаб
HF

#image2depth #image2normals

Нейронавт в MAX 📲

❤7👍6

2.09K views17:20

NVPanoptix-3D

Реконструкция 3D интерьеров по одному фото от NVIDIA на базе Uni-3D.

За один проход выполняет паноптическую сегментацию, предсказывает глубину и геометрию

HF

#imageto3d #image2scene #segmentation #image2depth

👍4

2.19K views11:14

Опубликован код и демо генератора глубины InfiniDepth

Гитхаб
Демо

Спасибо @Dmitriy_Ru6ts0v

#image2depth

👍9

2.09K views14:17

TIPSv2

Гугл выпустил модель предсказания плотности а потом "впустил обратно" - страница модели выдает 404

Но поисковые ИИшки помнят как ее устанавливать. Наверняка ничего не получится без доступа к модели

TIPSv2 предсказывает визуальные признаки, согласованные с текстовыми эмбеддингами, дальше с ними могут работать визуальные пониматоры

[UPDATE] Найдено на ModelScope, как я и надеялся, спасибо @p0lygon

#image2depth #image2normals

🤔3👍2

1.53K views09:12

0:25

Modality Forcing

Метод дообучения генераторов картинок для предсказания глубины. Работает на моделях DiT, обученных на редких (sparse) данных о глубине без сложных схем и массивов данных

#SOTA на 4 из 5 бенчмарков по предсказанию глубины

Зачем компании с названием WorldLabs учить картинкогенераторы качественно предсказывать глубину? Ага

Гитхаб
Демо
HF - на базе Flux.2

#i2d #image2depth #finetuning

👍4

1.66K views08:12

SenseNova‑Vision

Мультимодальная генеративная модель для компьютерного зрения (7B, MoT)

• решает сразу несколько задач без отдельных голов под каждую: детекция, OCR, сегментация, ключевые точки, нормали, глубина, поза камеры
• принимает инструкции на естественном языке
• генерирует текст, изображения или смешанные выходы
• единый подход вместо набора узкоспециализированных моделей

Гитхаб
HF
Демо

#vlm #multimodal #t2i #i2t #detection #segmentation #image2depth #image2normals

👍9❤1

2.07K views14:18

0:31

PointDiT

Модель от Google, Microsoft и ко для оценки геометрии по одному изображению. Восстановливает 3D-структуру из монокулярного кадра.

• работа в пиксельном пространстве
• оценка глубины и нормалей
• стабильная генерация геометрических карт без доп. сенсоров

Непонятно будет опенсорс или нет

галерея

#image2depth #image2normals #imageto3d

❤4👍3

1.96K views08:12

0:24

ZipDepth

Компактная модель для монокулярной оценки глубины. Скорость + точность

Работает на слабых устройствах и мобильных NPU

6.1 млн параметров, MIT-лицензия

Гитхаб

#image2depth #mobile #compact #video2depth

🔥10❤2

1.85K viewsedited 12:16

ReChannel

Лоры к #klein

Извлекают глубину, нормали, альфу и сегментацию из одного кадра

33K обучаемых параметров на задачу

Гитхаб
HF

#lora #image2depth #image2normals #segmentation #rgb2rgba #image2matte

👍15❤1

1.85K viewsedited 09:12

0:11

0:23

depth-anything.cpp

Порт модели глубины Depth Anything 3 от ByteDance на чистый C++, без Python и PyTorch и быстрее в 1.3 раза. Из одной картинки вытаскивает карту глубины и позу камеры, работает на CPU

Создает не только базовую карту глубины, а целый набор данных:

- Метрическая глубина (в метрах, а не условные значения)
- Уверенность по каждому пикселю (насколько можно доверять этой точке)
- Внутренние и внешние параметры камеры (то есть как камера устроена и где она стоит)
- 3D-облако точек
- Экспорт сразу в GLB / COLMAP / PLY
- Многовидовая глубина и поза камеры (несколько фото → общая сцена)

#image2depth #imageto3d

VK | MAX

🔥14👍3🥴1

1.67K views12:15

0:08

WCDA (Weather-Conditioned Depth Anything)

Новый #SOTA в оценке глубины в плохую погоду. Depth Anything проваливается в туман, дождь, снег и темноте. DA-W чинит это через стилевой фильтр, который выделяет погодные условия и адаптирует модель под них, не ломая то, что она умеет в хорошую погоду

Гитхаб
HF

#image2depth #video2depth

VK | MAX

👍8🔥1

1.91K views10:14

1:32

Media is too big

Marigold V2

Оценка глубины по одному изображению, переработанная версия Marigold

Превращает DiT в инструмент оценки глубины. Выглядит многообещающе

- Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально
- Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое
- Обобщается на непохожие данные
- Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты

- Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом

Гитхаб
HF
Демо

#image2depth #image2normals #image2pbr

👍8❤3🔥2

1.8K views06:10