Нейронавт | Нейросети в творчестве

0:50

0:05

Появились демоспейсы

Демо под лору смены ракурса
И
Демо под лору смены освещения

#qie #cameracontrol #novelview #relighting #lora

👍5

2.33K views13:16

0:05

0:03

SurfPhase: 3D Interfacial Dynamics in Two-Phase Flows from Sparse Videos

Реконструкция новых ракурсов жидкостей и флюидов по монокулярному видео

Гитхаб ждем

#novelview #videoto3d #simulation

👍4🔥1🤔1🤯1

1.79K views11:38

0:17

tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction

Модель для 3D-реконструкции из нескольких изображений. Загружаешь фотографии объекта или сцены - получаешь 3D-модель.

Главное: может обрабатывать до 64 изображений ( Long-LRM только 32) и работает в 2 раза быстрее чем существующие методы. #SOTA на Objaverse и DL3DV-10K.

Создаёт неявное 3D-представление в скрытом пространстве и преобразует его в разные форматы, например вгауссианы

Умеет авторегрессивно обновлять 3D-модель при поступлении новых фотографий - как если бы снимаешь объект с разных сторон и модель уточняется в реальном времени. В чем собственно и соль TTT

Реконструкция пёселя по одному изображению - повертеть тут

Гитхаб

#3d #scenereconstruction #TTT #gaussian #novelview

1🔥9👍5❤1

2.94K views17:21

Опубликован код и веса MoVieS - генератора динамических 4D видео из обычных видео

Код
HF

Спасибо @Dmitriy_Ru6ts0v

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка…

👍6❤2🔥1

2.7K views10:43

0:40

Media is too big

LiTo: Surface Light Field Tokenization

Новый метод захвата и представления 3D объектов от Apple

3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только захватывает данные, но и кодирует их особым образом, позволяя потом воссоздавать и генерировать 3D-объекты с реалистичными визуальными эффектами

Обучается на данных из нескольких ракурсов и сама достраивает недостающую информацию

Благодаря этому можно круто генерировать 3D из обычных картинок

Кода нет. Видать, хотят эксклюзивно использовать в своей экосистеме. А жаль. Выглядит круто

#research #rendering #novelview #image2scene #3d

Нейронавт в MAX

🔥10

2.04K views12:29

0:28

0:28

В фотошоп прикрутили кручение-верчение плоских картинок в 3D

С фикусом дурацкий пример имхо, он со всех сторон одинаково выглядит.

Попробовал в Photoshop Web - там этой фичи нет. Ну или я не знаю где искать

#photoshop #imageediting #novelview

Нейронавт в MAX

👍10❤1😁1

1.74K views08:12

LagerNVS: Latent Geometry for Fully Neural Real-Time Novel View Synthesis

Синтез новых ракурсов в реальном времени от Meta (запрещено в РФ)

Позволяет рендерить в реальном времени на одном H100 до 9 ракурсов с разрешением 512 × 512

лучше других методов отображает 3D-согласованность

качественнее аналогов показывает отражения и тонкие структуры

Гитхаб
HF доступ по запросу, россиян не любят

#novelview #image2scene

👍5😁1😭1

1.97K views11:15

1:00

LagerNVS

Модель для синтеза новых видов сцены в реальном времени от Meta (запрещено в РФ). Использует 3D-приорные данные, но не требует явных 3D-представлений

Инициализируется с помощью 3D реконструирующей модели VGGT, что улучшает качество синтеза

Хорошая 3D-согласованность, отражения и тонкие структуры

Гитхаб
HF - у фейсбука доступ по запросу, русских не любят

#novelview #image2scene

🔥5👍1

2.04K viewsedited 07:10

Geometric Latent Diffusion

GLD использует пространство признаков геометрических моделей (например Depth Anything 3) как латентное пространство для синтеза новых ракурсов, что позволяет работать с RGB и геометрией

Ну и вобщем умеет реконструировать 3d сцены

Гитхаб
HF
Демо похоже не работает

#scenereconstruction #novelview

👍6❤1

1.99K views10:13

0:15

Turtable

Кручение-верчение плоских штук в 3D теперь и в Adobe Illustrator'e

Как пишет Крис Каштанова, доступно всем

Все, проверьте пожалуйста

#vector #novelview #cameracontrol #adobe

😁6🔥1

1.62K views08:42

GitHub - jfirma1/ComfyUI-6DOF-Camera: ComfyUI node for interactive 6DOF camera control inside a 360° panoramic scene. Includes…

ComfyUI 6DOF Camera & Character Placer

Проекция камеры в комфи

По изображению и карте глубины строит облако точек в Three.js внутри ComfyUI. Далее - крутим камеру до получения нового нужного нам ракурса и получаем проекцию оригинальной картинки на наше облако точек. В сцену можно поместить скелет OpenPose.

Работает с Depth Anything V2/V3, поддерживает метрическую глубину, может использовать DA3 точечное облако или Dust3r GLB

Выводит спроецированное изображение, чистый фон, скелет OpenPose, карту глубины, маску для инпейнтинга, силуэт персонажа и карту сэмплинга

#cameracontrol #controlnet #comfyui #novelview

GitHub

ComfyUI node for interactive 6DOF camera control inside a 360° panoramic scene. Includes a live Three.js viewer, poseable IK character block-out, and full output suite — rendered view, depth, OpenP...

👍2🔥1

1.92K viewsedited 17:50

0:05

UniGeo

Фреймворк для редактирования изображений с управлением камерой через видеомодели.

• синтезирует новые ракусры сцены
• сохраняет геометрическую согласованность между ракурсами
• работает с 3D‑точечными облаками

Гитхаб
HF
Демо

Сппасибо @m_franz

#imageediting #cameracontrol #novelview

🔥5👍2

1.94K views14:17

0:17

SVGS (Spatially Varying Gaussian Splatting)

Улучшение гауссовых сплатов за счёт примитивов с пространственно изменяющимися цветами и прозрачностью.

Повышает качество реконструкции сцен и синтеза новых ракурсов

Компактнее и эффективнее базовых методов (2DGS/3DGS), лучшие результаты дают подвижные ядра.

Гитхаб

#gaussian #novelview

👍7❤2🔥1

1.91K views07:11

Apple опубликовали код объемного представления сцен LiTo

github.com/apple/ml-lito

Спасибо @Dmitriy_Ru6ts0v

#rendering #novelview #image2scene #3d

👍5🔥4❤1

1.79K views11:14

Glob3R

Реконструкция 3Д-сцен

Берёт набор снимков и анализирует их по частям. В каждом участке (окне) система предсказывает геометрию сцены. Находит, как изображения связаны друг с другом. Определяет, как точки на фото соотносятся между собой

Потом собирает надёжные связи между точками в общую карту, усредняет повороты камер, усредняет перемещения.
Уточняет все параметры и строит детальную 3D-модель сцены

• глобальная реконструкция больших сцен
• работа с плотными треками и геометрией
• синтез новых видов с улучшенным рендерингом
• на выходе 3D-карты точек

Код/веса ждем

#scenereconstruction #imageto2d #image2scene #novelview

🔥6❤3

1.77K views17:21

MetaView

Синтез новых ракурсов по одному изображению на DepthAnything 3 + Qwen-Image-Edit

Учитывает масштаб через неявную геометрию

Гитхаб
HF
Демо

#novelview #cameracontrol #i2i

👍9🔥4🤷‍♂2

2.27K views10:13

0:03

Накопилось по #minimaxH3 - часть 8

github.com/scraed/LanPaint - LanPaint 2.1.0: #inpainting видео и аудио H3

huggingface.co/ethanfel/H3_Cinematic_Multishot_Coverage - один кадр → 8 кинематографичных планов за одну генерацию

github.com/ILG2021/minimax-h3-ref-sampler - Ref Sampler: упрощает генерацию длинных видео с говорящими персонажами

github.com/rkfg/ComfyUI-MiniMaxH3-ToneCompensate - фикс перепадов яркости на стыках склеенных сегментов

github.com/MiniMax-AI/awesome-minimax-h3-integration - подборка свистоперделок H3, собранная сообществом

huggingface.co/Smite79/MiniMax-H3-Tape-FX - VHS, BetaMax, LaserDisc: трекинг, дропауты, гостинг, вертикальный ролл, OSD - нода #ComfyUI

#novelview #longvideo

VK | MAX

👍9❤2🔥2

1.95K views09:13

0:50

0:37