Нейронавт | Нейросети в творчестве

NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos

Реконструкция 4D миров на гауссианах из моно видео

— генерирует видео с новыми ракурсами и движениями камеры

— помогает в 3D-трекинге, стабилизации видео, его редактировании и улучшении разрешения

— может делать аутпейнтинг — расширять видимую область сцены

Гитхаб код ждем

#video2world #novelview #cameracontrol #videoto4d #gaussian #video2scene

👍7❤3

2.14K views17:52

AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction

Еще один реконструктор динамических 3D-сцен (4D сцен, получется) из монокулярных видео. Захватывает детали внешнего вида и одновременно обеспечивает плавное движение

Модель использует адаптивное представление Габора — это что-то среднее между гауссианами и габор-функциями, что позволяет балансировать между детализацией и стабильностью изображения

Код ждем

#rendering #video2scene #videoto4d #gaussian #novelview

❤10👍4🔥1

1.92K views12:43

0:29

UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass

3D реконструкция сцены и человека по монокулярному видео за один проход

Определяет параметры камеры и SMPL (стандартной модели человеческого тела)

Гитхаб
HF
Демо еще не доделали

#HMR #video2scene #videoto3d

👍8🔥2

2.53K views08:11

3:33

Media is too big

D4RT

День 4D реконструкций на Нейронавте продолжает Гугл с работой без кода.

D4RT превращает видео в 4D-реконструкцию, отслеживая движение объектов

Чем D4RT отличается от других моделей:

— работает быстрее аналогов — в 18–300 раз

— обрабатывает видео в реальном времени

— может отслеживать точки и предсказывать их траекторию в 3D, даже если объект исчезает из кадра

— создаёт полную 3D-структуру сцены без дополнительных шагов

— определяет положение камеры и её траекторию

— хорошо справляется с динамичными сценами и сложными движениями

#videoto3d #videoto4d #3d #4d #video2scene #tracking #research

👍3🔥3

2.29K views16:12

0:07

360Anything: Geometry-Free Lifting of Images and Videos to 360°

Работа от Гугл без кода - преобразование обычных изображений и видео в 360-градусные панорамы без использования данных о камере или 3D-информации

А прогоняя материал через эту модель, они делают реконструкцию 3д сцены гауссианами и получают лучший результат

Спасибо @m_franz

#panorama #video2panorama #image2panorama #video2scene #research

🔥10❤2👍2

2.22K views08:41

LingBot-Depth: Masked Depth Modeling for Spatial Perception Превращает неточные и неполные данные с датчиков глубины в точные 3D-измерения. Особенно хорошо работает там, где обычные камеры сбоят — например, на стеклянных или металлических поверхностях В…

LingBot-World: Advancing Open-source World Models

Команда LingBot видимо подходит к выпуску продуктов комплексно.

На этот раз выпустили интерактивную (игровую) модель мира

Работает в рилтайме, долго держит контекст, учитывает физику. Заявляют что каждое действие в их модели имеет последствие

Пригодна не только для генерации миров, но и для реконструкции локаций

Выпустили модель LingBot-World-Base (Cam) разрешением 480p и 720p

Ждем LingBot-World-Base (Act) и LingBot-World-Fast

Кодовая база на Wan2.2

Гитхаб
HF

#world #text2world #video2scene #scenereconstruction

🔥11❤4👍2

2.4K views09:12

0:28

PLANING: A Loosely Coupled Triangle-Gaussian Framework for Streaming 3D Reconstruction

Реконструкция 3D-сцен из видеопотока с одной камеры. Модель комбинирует треугольники для моделирования геометрии сцены и гауссианы для рендеринга внешнего вида объектов

Вообще-то система предназначена для обучения и навигации роботов но может сгодиться и на что-нибудь еще
Код ждем

#video2scene #gaussian

👍11❤2🔥1

1.76K views08:11

Опубликован код и веса MoVieS - генератора динамических 4D видео из обычных видео

Код
HF

Спасибо @Dmitriy_Ru6ts0v

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка…

👍6❤2🔥1

2.7K views10:43

0:02

0:17

0:17

Holi-Spatial

преобразует видеопотоки в 3D-пространственный интеллект

отвечает на вопросы о движении камеры, отношениях между объектами и их взаимодействии с камерой

визуализирует геометрию сцены, показывая 3D-данные и оценку глубины

Гитхаб ждем

#vlm #video2depth #videoto3d #video2scene

Нейронавт в MAX

👍3🔥2❤1

1.77K views12:38

1:09

Media is too big

LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory

Реконструкция 3D сцен из длинных видео от Google DeepMind. Умеет обрабатывать видео, которые для других моделей слишком длинные

Гитхаб
HF

#video2scene #videoto3d

Нейронавт в MAX

👍7❤5🔥2

2.2K views15:55

0:03

OmniStream

А тут универсальная модель для работы с визуальными данными

Понимание видео, анализ, сегментирование, предсказание глубины и геометрии сцены - пишут что в рилтайме и без пожирания памяти

Гитхаб
HF

#vlm #realtime #video2scene #video2depth #segmentation

Нейронавт в MAX

❤11

2.09K views14:18

0:08

video_to_world: World Reconstruction From Inconsistent Views

Реконструкциея 3D-миров из ИИ-видео. Умеет справляться с несоответствиями в 3D, которые часто встречаются в генерируемых видео

Гитхаб

Спасибо @m_franz

#video2world #world #videoto3d #video2scene #3d

👍9

2.15K views14:06

Any4D

4D-реконструкция динамических сцен из RGB-видео.

— делает плотную и точную оценку движения

— работает с разными модальностями и датчиками: RGB-D кадрами, данными IMU и измерениями радара

— использует модульное представление 4D-сцены

Гитхаб
HF
Демо

#videoto4d #4D #video2scene

❤5👍1

2.13K views07:10

0:14

0:17

Spatial Studio

Платформа для 3D‑визуализации и иммерсивного сторителлинга на гауссианах, есть мобильная аппка для захвата сцен

• создание интерактивных сцен
• редактирование
• интеграция реальных данных в виртуальные среды
• настройка освещения и материалов
• публикация проекта для просмотра

Ориентирован на архитекторов, дизайнеров, девелоперов; поддерживает работу с большими сценами, можно делать виртуальные туры и шоурумы.

iOS - Spatial Lens, только захват
Галерея

#gaussian #ios #video2scene

👍5

1.93K views08:12

Lift4D

4D‑реконструкция динамичных объектов из монокулярного видео. Восстанавливает геометрию, движение и внешний вид при сильных деформациях и перекрытиях

Опирается на деформируемые гауссианы как базовое представление.

Качество зависит от качества начальной 3D‑оценки

Гитхаб ждем

#4d #video2scene #gaussian #videoto4d

🔥7😱2

1.75K views09:13

0:09

StudioRecon

Реконструкция 4D-сцены с людьми по 4 камерам с малым перекрытием. Разделяя фон и людей, убирает артефакты в слабо наблюдаемых зонах.

Работает на скудных данных, дает стабильный рендер с произвольных ракурсов.

• видео-диффузия насыщает фон новыми видами
• SMPL фиксирует геометрию людей
• рекурсивный модуль выравнивает движение и стыки

Код / веса ждем

#videoto4d #gaussian #4d #video2scene #hmr

👍9❤1

1.7K views08:11

0:02

Bruxos do VFX 3DGS Viewer

Онлайн сервис для работы с гауссианами в браузере.

• создание сцен из фото и видео - несколько методов, среди которых SHARP, 4D реконструкция лиц FaceAnything. Паравда, реализовано все это в колаб ноутбуках. Зато бесплатно
• просмотр сцен
• простая настройка освещения и ракурса
• экспорт в базовые форматы
• вьюер поддерживает .ply, .splat, .ksplat
• GPU эффекты: волны, дым, релайтинг, растворение и т д

Также предлагают десктоп версию для #windows и #MacOS

#gaussian #viewer #image2scene #video2scene #videoto4d #facereconstruction #video2depth #video2normals

❤2👍2

2.06K views07:10

Опубликован код 4D‑реконструктора динамичных объектов из монокулярного видео Lift4D

Протестировано на a100

Гитхаб

Спасибо @Dmitriy_Ru6ts0v

#4d #video2scene #videoto4d

🔥6👍4❤1

1.97K views17:20

1:04