Media is too big
VIEW IN TELEGRAM
V-DPM: 4D Video Reconstruction with Dynamic Point Maps
4D-реконструкция динамических сцен по видео с помощью динамических точечных карт (DPM)
Гитхаб
Демо
#videoto4d #4d #scenereconstruction
4D-реконструкция динамических сцен по видео с помощью динамических точечных карт (DPM)
Гитхаб
Демо
#videoto4d #4d #scenereconstruction
👍4❤1
Media is too big
VIEW IN TELEGRAM
ObjSplat: Geometry-Aware Gaussian Surfels for Active Object Reconstruction
Система реконструкции объектов на гауссовых поверхностях. Создаёт детальные модели, которые можно использовать в физических симуляциях.
— самостоятельно выбирает точки обзора для сканирования
— постепенно создаёт модель объекта с реалистичной текстурой и точной геометрией
— определяет плохо отсканированные участки даже на сложных объектах
Код ждем
#scenereconstruction #imageto3d #gaussian #image2scene
Система реконструкции объектов на гауссовых поверхностях. Создаёт детальные модели, которые можно использовать в физических симуляциях.
— самостоятельно выбирает точки обзора для сканирования
— постепенно создаёт модель объекта с реалистичной текстурой и точной геометрией
— определяет плохо отсканированные участки даже на сложных объектах
Код ждем
#scenereconstruction #imageto3d #gaussian #image2scene
🔥5❤1🤝1
Нейронавт | Нейросети в творчестве
LingBot-Depth: Masked Depth Modeling for Spatial Perception Превращает неточные и неполные данные с датчиков глубины в точные 3D-измерения. Особенно хорошо работает там, где обычные камеры сбоят — например, на стеклянных или металлических поверхностях В…
LingBot-World: Advancing Open-source World Models
Команда LingBot видимо подходит к выпуску продуктов комплексно.
На этот раз выпустили интерактивную (игровую) модель мира
Работает в рилтайме, долго держит контекст, учитывает физику. Заявляют что каждое действие в их модели имеет последствие
Пригодна не только для генерации миров, но и для реконструкции локаций
Выпустили модель LingBot-World-Base (Cam) разрешением 480p и 720p
Ждем LingBot-World-Base (Act) и LingBot-World-Fast
Кодовая база на Wan2.2
Гитхаб
HF
#world #text2world #video2scene #scenereconstruction
Команда LingBot видимо подходит к выпуску продуктов комплексно.
На этот раз выпустили интерактивную (игровую) модель мира
Работает в рилтайме, долго держит контекст, учитывает физику. Заявляют что каждое действие в их модели имеет последствие
Пригодна не только для генерации миров, но и для реконструкции локаций
Выпустили модель LingBot-World-Base (Cam) разрешением 480p и 720p
Ждем LingBot-World-Base (Act) и LingBot-World-Fast
Кодовая база на Wan2.2
Гитхаб
HF
#world #text2world #video2scene #scenereconstruction
🔥11❤4👍2
tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction
Модель для 3D-реконструкции из нескольких изображений. Загружаешь фотографии объекта или сцены - получаешь 3D-модель.
Главное: может обрабатывать до 64 изображений ( Long-LRM только 32) и работает в 2 раза быстрее чем существующие методы. #SOTA на Objaverse и DL3DV-10K.
Создаёт неявное 3D-представление в скрытом пространстве и преобразует его в разные форматы, например вгауссианы
Умеет авторегрессивно обновлять 3D-модель при поступлении новых фотографий - как если бы снимаешь объект с разных сторон и модель уточняется в реальном времени. В чем собственно и соль TTT
Реконструкция пёселя по одному изображению - повертеть тут
Гитхаб
#3d #scenereconstruction #TTT #gaussian #novelview
Модель для 3D-реконструкции из нескольких изображений. Загружаешь фотографии объекта или сцены - получаешь 3D-модель.
Главное: может обрабатывать до 64 изображений ( Long-LRM только 32) и работает в 2 раза быстрее чем существующие методы. #SOTA на Objaverse и DL3DV-10K.
Создаёт неявное 3D-представление в скрытом пространстве и преобразует его в разные форматы, например вгауссианы
Умеет авторегрессивно обновлять 3D-модель при поступлении новых фотографий - как если бы снимаешь объект с разных сторон и модель уточняется в реальном времени. В чем собственно и соль TTT
Реконструкция пёселя по одному изображению - повертеть тут
Гитхаб
#3d #scenereconstruction #TTT #gaussian #novelview
1🔥9👍5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
OccAny
Реконструкция городского ландшафта
Обрабатывает разные типы входных данных? помимо RGB ему можно скормить все что принимают Must3R, SAM2, Depth Anything 3 и SAM3
Гитхаб
HF
#anyto3d #scenereconstruction #3d
Реконструкция городского ландшафта
Обрабатывает разные типы входных данных? помимо RGB ему можно скормить все что принимают Must3R, SAM2, Depth Anything 3 и SAM3
Гитхаб
HF
#anyto3d #scenereconstruction #3d
👍5
Geometric Latent Diffusion
GLD использует пространство признаков геометрических моделей (например Depth Anything 3) как латентное пространство для синтеза новых ракурсов, что позволяет работать с RGB и геометрией
Ну и вобщем умеет реконструировать 3d сцены
Гитхаб
HF
Демо похоже не работает
#scenereconstruction #novelview
GLD использует пространство признаков геометрических моделей (например Depth Anything 3) как латентное пространство для синтеза новых ракурсов, что позволяет работать с RGB и геометрией
Ну и вобщем умеет реконструировать 3d сцены
Гитхаб
HF
Демо похоже не работает
#scenereconstruction #novelview
👍6❤1
F⁴Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting
Оптимизированная реконструкция сцен на гауссианах, некий эквивалент LOD
Распределяет гауссианы неравномерно в зависимости от плотности деталей, тем самым экономит ресурсы на равномерных областях
Давно пора
Гитхаб ждем
#gaussian #scenereconstruction #optimization
Оптимизированная реконструкция сцен на гауссианах, некий эквивалент LOD
Распределяет гауссианы неравномерно в зависимости от плотности деталей, тем самым экономит ресурсы на равномерных областях
Давно пора
Гитхаб ждем
#gaussian #scenereconstruction #optimization
👍4
LGTM: Less Gaussians, Texture More
Проект от HKU и Apple. Реконструкция сцен на компактных текстурированных гауссианах по одному или нескольким изображения, с нативным 4К рендером
- отделяет геометрическую сложность от разрешения рендеринга
- использует значительно меньше гауссовых примитивов.
Гитхаб ждем
#scenereconstruction #gaussian #image2scene
Проект от HKU и Apple. Реконструкция сцен на компактных текстурированных гауссианах по одному или нескольким изображения, с нативным 4К рендером
- отделяет геометрическую сложность от разрешения рендеринга
- использует значительно меньше гауссовых примитивов.
Гитхаб ждем
#scenereconstruction #gaussian #image2scene
👍7😁1
This media is not supported in your browser
VIEW IN TELEGRAM
LingBot-Map
Потоковая реконструкция сцен
— в одной системе работа с координатами, геометрия и коррекцию дрейфа
— обрабатывает около 20 кадров в секунду в разрешении 518×378
Гитхаб
HF
#scenereconstruction #realtime #streaming #videoto3d #vvideo2scene
Потоковая реконструкция сцен
— в одной системе работа с координатами, геометрия и коррекцию дрейфа
— обрабатывает около 20 кадров в секунду в разрешении 518×378
Гитхаб
HF
#scenereconstruction #realtime #streaming #videoto3d #vvideo2scene
🔥12❤1😱1
Gaussian Splatting to Mesh 3.0 with Huge Quality Bump
Kiri Engine обновился с новой версией Gaussian Splatting to Mesh
Улучшена обработка тонких структур, скорость и прочее
Kiri web
iOS
Android
Видео
#gaussian #scenereconstruction #ios #android #mobile
Kiri Engine обновился с новой версией Gaussian Splatting to Mesh
Улучшена обработка тонких структур, скорость и прочее
Kiri web
iOS
Android
Видео
#gaussian #scenereconstruction #ios #android #mobile
👍12
Media is too big
VIEW IN TELEGRAM
Surflo
Модель для 3D‑реконструкции поверхностей: превращает набор фото (без привязки к позиции камеры) в единую согласованную 3D‑поверхность
Архитектура: энкодер с VGGT-backbone, Perceiver-компрессор и декодер на основе flow-matching ODE. Гауссианы применяются в конкретном механизме для улучшения качества реконструкции
• обрабатывает от 2 до 32 изображений одного объекта/сцены
• кодирует входные виды в глобальное состояние (128 токенов — фиксированный размер, не зависит от числа фото)
• генерирует поверхность произвольного разрешения (от тысяч до миллиона точек за один проход)
• подавляет локальные несоответствия точек за счёт механизма guidance (с общей функцией потерь рендеринга)
• работает быстрее оптимизационных методов (не требует сотен видов)
Гитхаб ждем
Спасибо @m_franz
#scenereconstruction #imageto3d
Модель для 3D‑реконструкции поверхностей: превращает набор фото (без привязки к позиции камеры) в единую согласованную 3D‑поверхность
Архитектура: энкодер с VGGT-backbone, Perceiver-компрессор и декодер на основе flow-matching ODE. Гауссианы применяются в конкретном механизме для улучшения качества реконструкции
• обрабатывает от 2 до 32 изображений одного объекта/сцены
• кодирует входные виды в глобальное состояние (128 токенов — фиксированный размер, не зависит от числа фото)
• генерирует поверхность произвольного разрешения (от тысяч до миллиона точек за один проход)
• подавляет локальные несоответствия точек за счёт механизма guidance (с общей функцией потерь рендеринга)
• работает быстрее оптимизационных методов (не требует сотен видов)
Гитхаб ждем
Спасибо @m_franz
#scenereconstruction #imageto3d
👍10
This media is not supported in your browser
VIEW IN TELEGRAM
GenRecon
Реконструкция 3D-сцен по небольшому набору изображений
Процесс такой: восстановление поз камер, разделение сцены на перекрывающиеся 3D-чанки, создание глобальной 3D-сетки для условий генерации и объединение всех чанков в общем латентном пространстве
На выходе высококачественный 3D-меш с PBR-материалами, пригодный для реалистичного релайтинга и редактирования
Прикручено к TRELLIS2
Гитхаб
#imageto3d #scenereconstruction #pbr
Реконструкция 3D-сцен по небольшому набору изображений
Процесс такой: восстановление поз камер, разделение сцены на перекрывающиеся 3D-чанки, создание глобальной 3D-сетки для условий генерации и объединение всех чанков в общем латентном пространстве
На выходе высококачественный 3D-меш с PBR-материалами, пригодный для реалистичного релайтинга и редактирования
Прикручено к TRELLIS2
Гитхаб
#imageto3d #scenereconstruction #pbr
🔥15👍1
PixWorld
3D-генерация и реконструкция в пиксельном пространстве. Решает проблему потерь деталей из-за латентных автоэнкодеров, дает четкую геометрию. На выходе RGBD и гауссова сцена
Cоздание и восстановление 3D, без VAE. Высокая скорость за счет архитектуры и стратегии сэмплирования. Судя по последнему пейзажу с горой, генерирует по тексту слабее чем по картинке или набору ракурсов
• работает напрямую с рендеренными изображениями
• генерация сцены за ~0.6 с - до 1000x быстрее аналогов
Гитхаб - ждем код и 4-шаговую дистиллированную модель
#gaussian #image2rgbd #image2scene #scenereconstruction
3D-генерация и реконструкция в пиксельном пространстве. Решает проблему потерь деталей из-за латентных автоэнкодеров, дает четкую геометрию. На выходе RGBD и гауссова сцена
Cоздание и восстановление 3D, без VAE. Высокая скорость за счет архитектуры и стратегии сэмплирования. Судя по последнему пейзажу с горой, генерирует по тексту слабее чем по картинке или набору ракурсов
• работает напрямую с рендеренными изображениями
• генерация сцены за ~0.6 с - до 1000x быстрее аналогов
Гитхаб - ждем код и 4-шаговую дистиллированную модель
#gaussian #image2rgbd #image2scene #scenereconstruction
👍5🔥2
Glob3R
Реконструкция 3Д-сцен
Берёт набор снимков и анализирует их по частям. В каждом участке (окне) система предсказывает геометрию сцены. Находит, как изображения связаны друг с другом. Определяет, как точки на фото соотносятся между собой
Потом собирает надёжные связи между точками в общую карту, усредняет повороты камер, усредняет перемещения.
Уточняет все параметры и строит детальную 3D-модель сцены
• глобальная реконструкция больших сцен
• работа с плотными треками и геометрией
• синтез новых видов с улучшенным рендерингом
• на выходе 3D-карты точек
Код/веса ждем
#scenereconstruction #imageto2d #image2scene #novelview
Реконструкция 3Д-сцен
Берёт набор снимков и анализирует их по частям. В каждом участке (окне) система предсказывает геометрию сцены. Находит, как изображения связаны друг с другом. Определяет, как точки на фото соотносятся между собой
Потом собирает надёжные связи между точками в общую карту, усредняет повороты камер, усредняет перемещения.
Уточняет все параметры и строит детальную 3D-модель сцены
• глобальная реконструкция больших сцен
• работа с плотными треками и геометрией
• синтез новых видов с улучшенным рендерингом
• на выходе 3D-карты точек
Код/веса ждем
#scenereconstruction #imageto2d #image2scene #novelview
🔥6❤3
Вышел в опенсорс реконструктор сцен на гауссианах F⁴Splat
Гитхаб
Спасибо @Dmitriy_Ru6ts0v
#gaussian #scenereconstruction #optimization
Гитхаб
Спасибо @Dmitriy_Ru6ts0v
#gaussian #scenereconstruction #optimization
Telegram
Нейронавт | Нейросети в творчестве
F⁴Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting
Оптимизированная реконструкция сцен на гауссианах, некий эквивалент LOD
Распределяет гауссианы неравномерно в зависимости от плотности деталей, тем самым экономит ресурсы…
Оптимизированная реконструкция сцен на гауссианах, некий эквивалент LOD
Распределяет гауссианы неравномерно в зависимости от плотности деталей, тем самым экономит ресурсы…
👍6
This media is not supported in your browser
VIEW IN TELEGRAM
RiGS (Rigid-aware 4D Gaussian Splatting)
Наконец инструмент, который создаёт динамическую 4D сцену на гауссианах из обычного монокулярного видео
В основе модификация VIPE для данных глубины. Синтетические виды помогают строить объём
• учитывает жесткие объекты и их движения
• нужен GPU уровня A100
• обработка ~30 минут
Проект в активной фазе, тестируют на RTX 4090
#video2gaussian #scenereconstruction #4d #videoto4d
Наконец инструмент, который создаёт динамическую 4D сцену на гауссианах из обычного монокулярного видео
В основе модификация VIPE для данных глубины. Синтетические виды помогают строить объём
• учитывает жесткие объекты и их движения
• нужен GPU уровня A100
• обработка ~30 минут
Проект в активной фазе, тестируют на RTX 4090
#video2gaussian #scenereconstruction #4d #videoto4d
❤5🔥5👍2
Media is too big
VIEW IN TELEGRAM
QuerySplat
Реконструкция 3D‑сцен по фото без известных позиций камер. Убирает размытость, типичную для старых query‑методов.
• строит гассианы по нескольким изображениям
• разделяет геометрию и цвет на две отдельные ветки декодера
• работает без привязки к ракурсу съёмки
• PSNR на 2.30 дБ выше лучших pose‑free методов
• на DL3DV лучший результат в синтезе новых видов
Использует Vision Geometric Model как источник 3D‑приоров. Разделение веток снижает артефакты и повышает детализацию.
Гитхаб
HF
#gaussian #image2scene #scenereconstruction
Реконструкция 3D‑сцен по фото без известных позиций камер. Убирает размытость, типичную для старых query‑методов.
• строит гассианы по нескольким изображениям
• разделяет геометрию и цвет на две отдельные ветки декодера
• работает без привязки к ракурсу съёмки
• PSNR на 2.30 дБ выше лучших pose‑free методов
• на DL3DV лучший результат в синтезе новых видов
Использует Vision Geometric Model как источник 3D‑приоров. Разделение веток снижает артефакты и повышает детализацию.
Гитхаб
HF
#gaussian #image2scene #scenereconstruction
🔥5👍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
ROME (Building Rome from a Single Image)
Метод от Applied Intuition + университетов
• Из одного фото — детальный 3D-меш всей сцены
• Завершает геометрию за пределами того, что видно на снимке
• Интерактивное измерение расстояний в метрах прямо во вьюере
• Сравнивалось с World Tracing, GenRecon, VolFill, Lyra 2.0
• Адаптивные чанки: мелкие вблизи, крупные для дальних зданий
• Автогрессивная генерация — соседние чанки переиспользуют латенты, геометрия согласованна
• 2D-3D кондиционирование: каждый воксель знает, свободен он, видим или скрыт
В веб-вьювере меши упрощены до ~1.5M граней, в статье и видео — полное разрешение
Код ждем
#scenereconstruction #imageto3d #image2mesh
MAX
Метод от Applied Intuition + университетов
• Из одного фото — детальный 3D-меш всей сцены
• Завершает геометрию за пределами того, что видно на снимке
• Интерактивное измерение расстояний в метрах прямо во вьюере
• Сравнивалось с World Tracing, GenRecon, VolFill, Lyra 2.0
• Адаптивные чанки: мелкие вблизи, крупные для дальних зданий
• Автогрессивная генерация — соседние чанки переиспользуют латенты, геометрия согласованна
• 2D-3D кондиционирование: каждый воксель знает, свободен он, видим или скрыт
В веб-вьювере меши упрощены до ~1.5M граней, в статье и видео — полное разрешение
Код ждем
#scenereconstruction #imageto3d #image2mesh
MAX
🔥6❤3👍2
MLP-Splatting
Метод представления 3D-сцен через нейронные примитивы. ECCV 2026. Каждый примитив — независимый компактный MLP (Multilayer Perceptron) с локальной поддержкой, взвешенный анизотропной гауссианой. Сцена сама разбирается на объекты и части.
Супервизия только по RGB дает примитивы, которые сами ложатся на объекты и их части. Рендер через разреженный объемный композитинг по пересечениям луча с примитивами
• Фотореалистичный синтез новых видов
• Разложение сцены на объекты без сегментации — по нескольким примитивам
• Интерактивное редактирование: выбор объекта, SE(3)-сдвиг, смена цвета
• Открытие словаря: языковая сегментация и удаление объектов
• Опциональная дистилляция семантических признаков
• Качество на уровне Feature-3DGS и выше
• В 6 раз меньше памяти, рендер вдвое быстрее
• Нужны сотни примитивов вместо миллионов гауссиан
github.com/kxhit/mlp-splatting
#mlp #scenereconstruction #rendering
Метод представления 3D-сцен через нейронные примитивы. ECCV 2026. Каждый примитив — независимый компактный MLP (Multilayer Perceptron) с локальной поддержкой, взвешенный анизотропной гауссианой. Сцена сама разбирается на объекты и части.
Супервизия только по RGB дает примитивы, которые сами ложатся на объекты и их части. Рендер через разреженный объемный композитинг по пересечениям луча с примитивами
• Фотореалистичный синтез новых видов
• Разложение сцены на объекты без сегментации — по нескольким примитивам
• Интерактивное редактирование: выбор объекта, SE(3)-сдвиг, смена цвета
• Открытие словаря: языковая сегментация и удаление объектов
• Опциональная дистилляция семантических признаков
• Качество на уровне Feature-3DGS и выше
• В 6 раз меньше памяти, рендер вдвое быстрее
• Нужны сотни примитивов вместо миллионов гауссиан
github.com/kxhit/mlp-splatting
#mlp #scenereconstruction #rendering
🔥8🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
UniForge3D
Метод, который одновременно реконструирует и генерирует 3D-объект из разреженных снимков без поз камеры. Наблюдаемую геометрию сохраняет, невидимые области достраивает по выученным приорам.
• Реконструкция работает в системе координат камеры, генерация — в каноническом пространстве, из-за этого прямое взаимодействие геометрии ломается
• Если учитывать все виды сразу без оценки их полезности, к геометрии подмешивается лишнее и страдают мелкие детали
• #SOTA по внешнему виду и геометрии на Toys4K и GSO
• Работает по разреженным снимкам без известных поз
huggingface.co/xibushu/UniForge3D
github.com/xibushu/UniForge3D
#scenereconstruction #imageto3d
MAX
Метод, который одновременно реконструирует и генерирует 3D-объект из разреженных снимков без поз камеры. Наблюдаемую геометрию сохраняет, невидимые области достраивает по выученным приорам.
• Реконструкция работает в системе координат камеры, генерация — в каноническом пространстве, из-за этого прямое взаимодействие геометрии ломается
• Если учитывать все виды сразу без оценки их полезности, к геометрии подмешивается лишнее и страдают мелкие детали
• #SOTA по внешнему виду и геометрии на Toys4K и GSO
• Работает по разреженным снимкам без известных поз
huggingface.co/xibushu/UniForge3D
github.com/xibushu/UniForge3D
#scenereconstruction #imageto3d
MAX
🔥9❤2👍2