Depth Anything 3: Recovering the Visual Space from Any Views
Новая версия генератора глубины от ByteDance.
Только теперь это реконструктор 3D сцен на гауссианах с качественной геометрией по любому количеству входных данных. Ну и глубину конечно тоже выдает. Качество карт глубины и оценку положения камеры улучшили.
Код
HF
Демо
#video2depth #video2scene #image2depth #image2scene #video2camera #gaussian
Новая версия генератора глубины от ByteDance.
Только теперь это реконструктор 3D сцен на гауссианах с качественной геометрией по любому количеству входных данных. Ну и глубину конечно тоже выдает. Качество карт глубины и оценку положения камеры улучшили.
Код
HF
Демо
#video2depth #video2scene #image2depth #image2scene #video2camera #gaussian
👍8🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
Diffusion Knows Transparency: Repurposing Video Diffusion for Transparent Object Depth and Normal Estimation
Базовая модель для определения глубины и нормалей прозрачных объектов на видео любой длины
Основано на MoGe, WAN, DiffSynth-Studio
Гитхаб
HF
Демо Depth
Демо Normals
#video2normals #video2depth #wan
Базовая модель для определения глубины и нормалей прозрачных объектов на видео любой длины
Основано на MoGe, WAN, DiffSynth-Studio
Гитхаб
HF
Демо Depth
Демо Normals
#video2normals #video2depth #wan
👍12❤4🔥3
AnyDepth: Depth Estimation Made Easy
Генератор глубины для картинок и видео, в основе DINOv3
Гитхаб
HF - еще не выложили
#image2depth #video2depth
Генератор глубины для картинок и видео, в основе DINOv3
Гитхаб
HF - еще не выложили
#image2depth #video2depth
👍9❤2🔥1
Media is too big
VIEW IN TELEGRAM
LingBot-Depth: Masked Depth Modeling for Spatial Perception
Превращает неточные и неполные данные с датчиков глубины в точные 3D-измерения. Особенно хорошо работает там, где обычные камеры сбоят — например, на стеклянных или металлических поверхностях
В теории, можно использовать для улучшения карт глубины из других нейросеток
Гитхаб
HF
PS. У этих ребят еще есть LingBot-VLA - базовая визульно-языковая модель для роботов
#rgbd #rgbd2grbd #image2depth #video2depth
Превращает неточные и неполные данные с датчиков глубины в точные 3D-измерения. Особенно хорошо работает там, где обычные камеры сбоят — например, на стеклянных или металлических поверхностях
В теории, можно использовать для улучшения карт глубины из других нейросеток
Гитхаб
HF
PS. У этих ребят еще есть LingBot-VLA - базовая визульно-языковая модель для роботов
#rgbd #rgbd2grbd #image2depth #video2depth
🔥7👍3
MetricAnything: Scaling Depth Pretraining with Noisy Heterogeneous Sources
Генератор глубины. Может работать с кучей разных данных, даже если они шумные и от разных источников
Меряются с только что вышедшим Lingbot-Depth
Гитхаб ждем
#image2depth #video2depth
Генератор глубины. Может работать с кучей разных данных, даже если они шумные и от разных источников
Меряются с только что вышедшим Lingbot-Depth
Гитхаб ждем
#image2depth #video2depth
👍6❤1
Опубликован код и веса MoVieS - генератора динамических 4D видео из обычных видео
Код
HF
Спасибо @Dmitriy_Ru6ts0v
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d
Код
HF
Спасибо @Dmitriy_Ru6ts0v
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d
Telegram
Нейронавт | Нейросети в творчестве
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка…
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка…
👍6❤2🔥1
Holi-Spatial
преобразует видеопотоки в 3D-пространственный интеллект
отвечает на вопросы о движении камеры, отношениях между объектами и их взаимодействии с камерой
визуализирует геометрию сцены, показывая 3D-данные и оценку глубины
Гитхаб ждем
#vlm #video2depth #videoto3d #video2scene
Нейронавт в MAX
преобразует видеопотоки в 3D-пространственный интеллект
отвечает на вопросы о движении камеры, отношениях между объектами и их взаимодействии с камерой
визуализирует геометрию сцены, показывая 3D-данные и оценку глубины
Гитхаб ждем
#vlm #video2depth #videoto3d #video2scene
Нейронавт в MAX
👍3🔥2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
DVD: Deterministic Video Depth Estimation with Generative Priors
Новая #SOTA в предсказании глубины видео от HKUST
Гитхаб
HF 5 ГБ
#video2depth
Нейронавт в MAX
Новая #SOTA в предсказании глубины видео от HKUST
Гитхаб
HF 5 ГБ
#video2depth
Нейронавт в MAX
🔥8
OmniStream
А тут универсальная модель для работы с визуальными данными
Понимание видео, анализ, сегментирование, предсказание глубины и геометрии сцены - пишут что в рилтайме и без пожирания памяти
Гитхаб
HF
#vlm #realtime #video2scene #video2depth #segmentation
Нейронавт в MAX
А тут универсальная модель для работы с визуальными данными
Понимание видео, анализ, сегментирование, предсказание глубины и геометрии сцены - пишут что в рилтайме и без пожирания памяти
Гитхаб
HF
#vlm #realtime #video2scene #video2depth #segmentation
Нейронавт в MAX
❤11
This media is not supported in your browser
VIEW IN TELEGRAM
Generative World Renderer
Фреймворк и датасет для прямого и обратного рендеринга видео на основе данных из игр
Обратный рендер извлекает из RGB-видео G-буферы (пассы) - альбедо, нормали, глубина, шероховатость, металличность
позволяет стилизовать и модифицировать игровые окружения по запросам пользователя
улучшает результаты обратного рендеринга, давая чистое альбедо, геометрию без артефактов и точные предсказания материалов
синтезирует пересвеченные изображения с помощью карт окружения
Для обратного рендера взята Cosmos-Transfer1-DiffusionRenderer
Для Game Editing — Wan2.1 1.3B
Гитхаб
Демо
#video2normals #video2pbr #video2depth #controlnet
Фреймворк и датасет для прямого и обратного рендеринга видео на основе данных из игр
Обратный рендер извлекает из RGB-видео G-буферы (пассы) - альбедо, нормали, глубина, шероховатость, металличность
позволяет стилизовать и модифицировать игровые окружения по запросам пользователя
улучшает результаты обратного рендеринга, давая чистое альбедо, геометрию без артефактов и точные предсказания материалов
синтезирует пересвеченные изображения с помощью карт окружения
Для обратного рендера взята Cosmos-Transfer1-DiffusionRenderer
Для Game Editing — Wan2.1 1.3B
Гитхаб
Демо
#video2normals #video2pbr #video2depth #controlnet
❤9🔥2🤔1
воркфлоу от VFX‑художника heydoughogan
Создает готовые к использованию технические пассы из изображений и видео
Без ручного ротоскопа. Без догадок
→ Удаление фона на основе промпта (RMBG) для быстрой и чистой обработки кадров
→ Сегментация движущихся объектов с помощью текстовых промптов в SAM3.
→ Редактор на основе точек в SAM3 для точного контроля масок
→ Сегментация лиц для работы с кожей и косметической ретуши при компоновке
→ Стабильные пассы глубины и нормалей для релайтинга и интеграции CG
Всё автоматически привязывается к исходному разрешению и частоте кадров материала через узлы get/set
#video2normal #video2depth #workflow
Создает готовые к использованию технические пассы из изображений и видео
Без ручного ротоскопа. Без догадок
→ Удаление фона на основе промпта (RMBG) для быстрой и чистой обработки кадров
→ Сегментация движущихся объектов с помощью текстовых промптов в SAM3.
→ Редактор на основе точек в SAM3 для точного контроля масок
→ Сегментация лиц для работы с кожей и косметической ретуши при компоновке
→ Стабильные пассы глубины и нормалей для релайтинга и интеграции CG
Всё автоматически привязывается к исходному разрешению и частоте кадров материала через узлы get/set
#video2normal #video2depth #workflow
👍13🔥4❤2🤔1
Fast-FoundationStereo
Стереомодель от NVIDIA. Считает диспаритет по паре фото — строит карту глубины.
• гибридная архитектура: трансформеры + CNN
• 14.6 млн параметров
• zero-shot, без донастройки
• работает в реальном времени
Дистиллирована из FoundationStereo, бэкбон — EdgeNeXt. Лицензия — nvidia-open-model-agreement. Оптимизирована под GPU NVIDIA.
Гитхаб
HF
#video2depth #stereo2depth
Стереомодель от NVIDIA. Считает диспаритет по паре фото — строит карту глубины.
• гибридная архитектура: трансформеры + CNN
• 14.6 млн параметров
• zero-shot, без донастройки
• работает в реальном времени
Дистиллирована из FoundationStereo, бэкбон — EdgeNeXt. Лицензия — nvidia-open-model-agreement. Оптимизирована под GPU NVIDIA.
Гитхаб
HF
#video2depth #stereo2depth
👍5🔥2
FaceAnything
4D-реконструкция лица из обычной последовательности кадров, без специальных ригов - через соединенное предсказание глубины и канонических лицевых координат
Гитхаб
HF ~15ГБ
Демо
#videoto4d #facereconstruction #video2depth #video2normals
4D-реконструкция лица из обычной последовательности кадров, без специальных ригов - через соединенное предсказание глубины и канонических лицевых координат
Гитхаб
HF ~15ГБ
Демо
#videoto4d #facereconstruction #video2depth #video2normals
👍8🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
ZipDepth
Компактная модель для монокулярной оценки глубины. Скорость + точность
Работает на слабых устройствах и мобильных NPU
6.1 млн параметров, MIT-лицензия
Гитхаб
#image2depth #mobile #compact #video2depth
Компактная модель для монокулярной оценки глубины. Скорость + точность
Работает на слабых устройствах и мобильных NPU
6.1 млн параметров, MIT-лицензия
Гитхаб
#image2depth #mobile #compact #video2depth
🔥10❤2
Еще новинки в семействе LingBot
LingBot-Vision
Vision-модель для роботов и мобилок
Ловит границы, глубину, геометрию сцены. Не "что на фото", а "где края и как далеко"
• 4 размера: от 13M до 1.1B параметров
• self-supervised обучение без разметки
• обгоняет DINOv3 при кратно меньших параметрах
Apache-2.0, веса открыты, подходит для edge и роботов
Гитхаб
HF
———
LingBot-Depth 2.0
Считает глубину по фото, строит 3D-карту сцены. Справляется на сложных текстурах, с прозрачностью и в слабом свете.
• оценка глубины с учётом семантики сцены
• работа с мультимодальными входами (RGB + признаки)
Подходит для мобильных и edge-устройств.
Волшебно, но ссылок на саму модель нет 🤷♂️
#vlm #cv #video2depth #video2feature
LingBot-Vision
Vision-модель для роботов и мобилок
Ловит границы, глубину, геометрию сцены. Не "что на фото", а "где края и как далеко"
• 4 размера: от 13M до 1.1B параметров
• self-supervised обучение без разметки
• обгоняет DINOv3 при кратно меньших параметрах
Apache-2.0, веса открыты, подходит для edge и роботов
Гитхаб
HF
———
LingBot-Depth 2.0
Считает глубину по фото, строит 3D-карту сцены. Справляется на сложных текстурах, с прозрачностью и в слабом свете.
• оценка глубины с учётом семантики сцены
• работа с мультимодальными входами (RGB + признаки)
Подходит для мобильных и edge-устройств.
Волшебно, но ссылок на саму модель нет 🤷♂️
#vlm #cv #video2depth #video2feature
❤8👍1😁1😱1
Media is too big
VIEW IN TELEGRAM
GenCeption от Google DeepMind
Единая feed-forward модель мультизадачного зрения. Заменяет зоопарк специализированных моделей
• оценка глубины, нормалей поверхности, позы камеры
• сегментация, 2D/3D ключевые точки
• работа с плотными и разреженными задачами
Обучена на синтетических видео, работает на реальных данных. Использует замороженную диффузионную text-to-video основу плюс лёгкие задачи-специфичные головы
Код/веса ждем
#vlm #video2depth #video2normals #tracking #video2camera #video2pose
Единая feed-forward модель мультизадачного зрения. Заменяет зоопарк специализированных моделей
• оценка глубины, нормалей поверхности, позы камеры
• сегментация, 2D/3D ключевые точки
• работа с плотными и разреженными задачами
Обучена на синтетических видео, работает на реальных данных. Использует замороженную диффузионную text-to-video основу плюс лёгкие задачи-специфичные головы
Код/веса ждем
#vlm #video2depth #video2normals #tracking #video2camera #video2pose
❤6👍3🔥1
UniD
модель для плотной разметки видео, сразу несколько свойств сцены в одном прогоне
• глубина
• нормали поверхности
• семантическая сегментация
• границы объектов
• части тела человека
• альбедо
• затенение
• материалы
• единый backbone, один проход для всех задач
• стабильная согласованность по кадрам
Гитхаб ждем
#material #video2depth #video2normals #segmentation #relighting
модель для плотной разметки видео, сразу несколько свойств сцены в одном прогоне
• глубина
• нормали поверхности
• семантическая сегментация
• границы объектов
• части тела человека
• альбедо
• затенение
• материалы
• единый backbone, один проход для всех задач
• стабильная согласованность по кадрам
Гитхаб ждем
#material #video2depth #video2normals #segmentation #relighting
👍8
Bruxos do VFX 3DGS Viewer
Онлайн сервис для работы с гауссианами в браузере.
• создание сцен из фото и видео - несколько методов, среди которых SHARP, 4D реконструкция лиц FaceAnything. Паравда, реализовано все это в колаб ноутбуках. Зато бесплатно
• просмотр сцен
• простая настройка освещения и ракурса
• экспорт в базовые форматы
• вьюер поддерживает
• GPU эффекты: волны, дым, релайтинг, растворение и т д
Также предлагают десктоп версию для #windows и #MacOS
#gaussian #viewer #image2scene #video2scene #videoto4d #facereconstruction #video2depth #video2normals
Онлайн сервис для работы с гауссианами в браузере.
• создание сцен из фото и видео - несколько методов, среди которых SHARP, 4D реконструкция лиц FaceAnything. Паравда, реализовано все это в колаб ноутбуках. Зато бесплатно
• просмотр сцен
• простая настройка освещения и ракурса
• экспорт в базовые форматы
• вьюер поддерживает
.ply, .splat, .ksplat• GPU эффекты: волны, дым, релайтинг, растворение и т д
Также предлагают десктоп версию для #windows и #MacOS
#gaussian #viewer #image2scene #video2scene #videoto4d #facereconstruction #video2depth #video2normals
❤2👍2
WCDA (Weather-Conditioned Depth Anything)
Новый #SOTA в оценке глубины в плохую погоду. Depth Anything проваливается в туман, дождь, снег и темноте. DA-W чинит это через стилевой фильтр, который выделяет погодные условия и адаптирует модель под них, не ломая то, что она умеет в хорошую погоду
Гитхаб
HF
#image2depth #video2depth
VK | MAX
Новый #SOTA в оценке глубины в плохую погоду. Depth Anything проваливается в туман, дождь, снег и темноте. DA-W чинит это через стилевой фильтр, который выделяет погодные условия и адаптирует модель под них, не ломая то, что она умеет в хорошую погоду
Гитхаб
HF
#image2depth #video2depth
VK | MAX
👍8🔥1