This media is not supported in your browser
VIEW IN TELEGRAM
Distilled-3DGS: Distilled 3D Gaussian Splatting
Сокращает примерно в десять раз количество гауссиан необходимых для высококачественного рендеринга сцен, без потери качества изображения.
Обеспечивает качество рендеринга, сравнимое с лучшими существующими методами (#SOTA) или даже превосходящее их
Код ждем
#gaussian #rendering #novelview
Сокращает примерно в десять раз количество гауссиан необходимых для высококачественного рендеринга сцен, без потери качества изображения.
Обеспечивает качество рендеринга, сравнимое с лучшими существующими методами (#SOTA) или даже превосходящее их
Код ждем
#gaussian #rendering #novelview
1👍13🔥4
Вышел код реконструктора 4D сцен Diffuman4D
Код
Спасибо @Dmitriy_Ru6ts0v
#4D #videoto4D #gaussian #novelview #rendering
Код
Спасибо @Dmitriy_Ru6ts0v
#4D #videoto4D #gaussian #novelview #rendering
Telegram
Нейронавт | Нейросети в творчестве
Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models
Реконструкция 4D сцен, снятых с ограниченного количества ракурсов. Недостающие данные дорисует, выдаст видео с нужного ракурса
Код ждем
Интерактивный…
Реконструкция 4D сцен, снятых с ограниченного количества ракурсов. Недостающие данные дорисует, выдаст видео с нужного ракурса
Код ждем
Интерактивный…
🔥13
Media is too big
VIEW IN TELEGRAM
VideoFrom3D: 3D Scene Video Generation via Complementary Image and Video Diffusion Models
Создает видео 3D сцен по грубой геометрии, траектории камеры и референсной картинке. Этакий ИИ-рендер 3D.
Под капотом зафантюненный CogVideoX и для начального кадра Flux ControlNet и еще набор каких-то методов.
Код
#3d2video #rendering
Создает видео 3D сцен по грубой геометрии, траектории камеры и референсной картинке. Этакий ИИ-рендер 3D.
Под капотом зафантюненный CogVideoX и для начального кадра Flux ControlNet и еще набор каких-то методов.
Код
#3d2video #rendering
🤷♂3👍3🔥1
Media is too big
VIEW IN TELEGRAM
Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations
Модель для работы с 3D-представлениями. Имитирует человеческий процесс обучения абстрактным понятиям.
Проще говоря, создает реконструкции 3D сцен по видео или облаку точек. Ну то есть на вход можно подать и готовую сцену на гауссианах .ply, и он должен ее улучшить.
Код
Демо
#reconstruction #video2scene #rendering #gaussian #videoto3d
Модель для работы с 3D-представлениями. Имитирует человеческий процесс обучения абстрактным понятиям.
Проще говоря, создает реконструкции 3D сцен по видео или облаку точек. Ну то есть на вход можно подать и готовую сцену на гауссианах .ply, и он должен ее улучшить.
Код
Демо
#reconstruction #video2scene #rendering #gaussian #videoto3d
👍4❤2
Radiance Meshes for Volumetric Reconstruction
Представление объемных сцен в виде radiance meshes (сеток излучения) с помощью тетраэдрических ячеек
Рендерит изображения быстрее чем nerf и гауссианы
Работает на обычных компьютерах в рилтайме. Подходит для разных задач: симуляций, редактирования, извлечения мешей и др. Также модель стабильно оптимизируется и быстро сортирует графические элементы
Работает со сложными линзами например с фишаем.
Хотя radiance mesh не является обычным мешем поверхности, она совместима со многими элементами графической экосистемы. См пример динамики на основе положения для интерактивного моделирования сил, воздействующих на сетку. Ну и успешно конвертируется в классический меш
Гитхаб
Vulklan
Web-GL
Полное видео
#novelview #rendering #radiance #image2scene
Представление объемных сцен в виде radiance meshes (сеток излучения) с помощью тетраэдрических ячеек
Рендерит изображения быстрее чем nerf и гауссианы
Работает на обычных компьютерах в рилтайме. Подходит для разных задач: симуляций, редактирования, извлечения мешей и др. Также модель стабильно оптимизируется и быстро сортирует графические элементы
Работает со сложными линзами например с фишаем.
Хотя radiance mesh не является обычным мешем поверхности, она совместима со многими элементами графической экосистемы. См пример динамики на основе положения для интерактивного моделирования сил, воздействующих на сетку. Ну и успешно конвертируется в классический меш
Гитхаб
Vulklan
Web-GL
Полное видео
#novelview #rendering #radiance #image2scene
1🔥7👍3❤2
Media is too big
VIEW IN TELEGRAM
Visionary: The World Model Carrier Built on WebGPU-Powered Gaussian Splatting Platform
Китайская среда для рендера и работы с всевозможными гауссианами и 3D-мешами в браузере. Построена на базе WebGPU и ONNX Runtime
Есть three.js с API на TypeScript для интеграции в веб-приложения
Гитхаб
Попробовать
#3d #gaussian #nerf #3d #3dediting #rendering #onlone #realtime
Китайская среда для рендера и работы с всевозможными гауссианами и 3D-мешами в браузере. Построена на базе WebGPU и ONNX Runtime
Есть three.js с API на TypeScript для интеграции в веб-приложения
Гитхаб
Попробовать
#3d #gaussian #nerf #3d #3dediting #rendering #onlone #realtime
👍5❤1
Media is too big
VIEW IN TELEGRAM
MVInverse: Feed-forward Multi-view Inverse Rendering in Seconds
Реконструкция геометрии, PBR материалов и освещения по одному или нескольким ракурсам. Все это называется обратный рендеринг.
Скорость рендера 10 fps на A100
Гитхаб
#relighting #pbr #video2pbr #video2texture #rendering #video2scene #image2scene
Реконструкция геометрии, PBR материалов и освещения по одному или нескольким ракурсам. Все это называется обратный рендеринг.
Скорость рендера 10 fps на A100
Гитхаб
#relighting #pbr #video2pbr #video2texture #rendering #video2scene #image2scene
🔥11❤1
This media is not supported in your browser
VIEW IN TELEGRAM
AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction
Еще один реконструктор динамических 3D-сцен (4D сцен, получется) из монокулярных видео. Захватывает детали внешнего вида и одновременно обеспечивает плавное движение
Модель использует адаптивное представление Габора — это что-то среднее между гауссианами и габор-функциями, что позволяет балансировать между детализацией и стабильностью изображения
Код ждем
#rendering #video2scene #videoto4d #gaussian #novelview
Еще один реконструктор динамических 3D-сцен (4D сцен, получется) из монокулярных видео. Захватывает детали внешнего вида и одновременно обеспечивает плавное движение
Модель использует адаптивное представление Габора — это что-то среднее между гауссианами и габор-функциями, что позволяет балансировать между детализацией и стабильностью изображения
Код ждем
#rendering #video2scene #videoto4d #gaussian #novelview
❤10👍4🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Utonia: Toward One Encoder for All Point Clouds
Единый энкодер для облаков точек из разных доменов — от LiDAR до CAD и видео.
— превращает разрозненные 3D-данные в единое представление
— справляется с разными типами данных: городскими сканированиями, данными LiDAR, плотными облаками точек внутри помещений и геометрией объектов
— умеет обобщать данные разной детализации, от крупных сцен до мелких объектов
Применения: 3D‑восприятие, пространственное мышление в VLM, роботы
Гитхаб
HF
Демо
#vlm #3d #pointcloud #rendering
Единый энкодер для облаков точек из разных доменов — от LiDAR до CAD и видео.
— превращает разрозненные 3D-данные в единое представление
— справляется с разными типами данных: городскими сканированиями, данными LiDAR, плотными облаками точек внутри помещений и геометрией объектов
— умеет обобщать данные разной детализации, от крупных сцен до мелких объектов
Применения: 3D‑восприятие, пространственное мышление в VLM, роботы
Гитхаб
HF
Демо
#vlm #3d #pointcloud #rendering
🔥6❤3👍1
Media is too big
VIEW IN TELEGRAM
LiTo: Surface Light Field Tokenization
Новый метод захвата и представления 3D объектов от Apple
3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только захватывает данные, но и кодирует их особым образом, позволяя потом воссоздавать и генерировать 3D-объекты с реалистичными визуальными эффектами
Обучается на данных из нескольких ракурсов и сама достраивает недостающую информацию
Благодаря этому можно круто генерировать 3D из обычных картинок
Кода нет. Видать, хотят эксклюзивно использовать в своей экосистеме. А жаль. Выглядит круто
#research #rendering #novelview #image2scene #3d
Нейронавт в MAX
Новый метод захвата и представления 3D объектов от Apple
3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только захватывает данные, но и кодирует их особым образом, позволяя потом воссоздавать и генерировать 3D-объекты с реалистичными визуальными эффектами
Обучается на данных из нескольких ракурсов и сама достраивает недостающую информацию
Благодаря этому можно круто генерировать 3D из обычных картинок
Кода нет. Видать, хотят эксклюзивно использовать в своей экосистеме. А жаль. Выглядит круто
#research #rendering #novelview #image2scene #3d
Нейронавт в MAX
🔥10
Media is too big
VIEW IN TELEGRAM
Spark 2.0
Worldlabs тоже не сидят сложа руки
Движок для рендеринга 3D-сцен в браузере на базе THREE.js и WebGL2. Обрабатывает 100 млн 3D-гауссиан.
— работает почти на всех устройствах, охватывая 98 % поддержки WebGL2
— быстро рендерит даже на слабых мобильных устройствах
— рендерит несколько объектов сплатов с правильной сортировкой
— поддерживает большинство популярных форматов файлов сплатов, включая .PLY (в том числе сжатые), .SPZ, .SPLAT, .KSPLAT, .SOG
— позволяет рендерить несколько точек зрения одновременно
— даёт возможность динамически трансформировать и редактировать сплаты для анимации
— редактирует цвет сплатов в реальном времени, делает смещение и скелетную анимацию
— использует систему шейдерных графов для динамического создания и редактирования сплатов на GPU
Гитхаб
Docs
Вьюер
#realtime #gaussian #engine #rendering
Worldlabs тоже не сидят сложа руки
Движок для рендеринга 3D-сцен в браузере на базе THREE.js и WebGL2. Обрабатывает 100 млн 3D-гауссиан.
— работает почти на всех устройствах, охватывая 98 % поддержки WebGL2
— быстро рендерит даже на слабых мобильных устройствах
— рендерит несколько объектов сплатов с правильной сортировкой
— поддерживает большинство популярных форматов файлов сплатов, включая .PLY (в том числе сжатые), .SPZ, .SPLAT, .KSPLAT, .SOG
— позволяет рендерить несколько точек зрения одновременно
— даёт возможность динамически трансформировать и редактировать сплаты для анимации
— редактирует цвет сплатов в реальном времени, делает смещение и скелетную анимацию
— использует систему шейдерных графов для динамического создания и редактирования сплатов на GPU
Гитхаб
Docs
Вьюер
#realtime #gaussian #engine #rendering
❤7
ComfyUI-mesh2motion
К вопросу об ИИ-рендере 3D
Кастом пак для ComfyUI с встроенным 3D‑редактором на базе модифицированного Mesh2Motion
• выбор рига для объектов или персонажей
• настройка движения камеры и параметров кадра кадра
• на выходе кадр (IMAGE) и видео (VIDEO) для дальнейшей обработки в ComfyUI
#rendering #3d #mesh2motion #mesh2video #comfyui
К вопросу об ИИ-рендере 3D
Кастом пак для ComfyUI с встроенным 3D‑редактором на базе модифицированного Mesh2Motion
• выбор рига для объектов или персонажей
• настройка движения камеры и параметров кадра кадра
• на выходе кадр (IMAGE) и видео (VIDEO) для дальнейшей обработки в ComfyUI
#rendering #3d #mesh2motion #mesh2video #comfyui
👍10
Apple опубликовали код объемного представления сцен LiTo
github.com/apple/ml-lito
Спасибо @Dmitriy_Ru6ts0v
#rendering #novelview #image2scene #3d
github.com/apple/ml-lito
Спасибо @Dmitriy_Ru6ts0v
#rendering #novelview #image2scene #3d
Telegram
Нейронавт | Нейросети в творчестве
LiTo: Surface Light Field Tokenization
Новый метод захвата и представления 3D объектов от Apple
3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только…
Новый метод захвата и представления 3D объектов от Apple
3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только…
👍5🔥4❤1
999 лор для Krea2 от fal
+еще одна бонусная лора для финального рендера по вьюпорту 3D
Спасибо Аноним, @m_franz
#krea2 #lora #rendering
+еще одна бонусная лора для финального рендера по вьюпорту 3D
Спасибо Аноним, @m_franz
#krea2 #lora #rendering
🔥14👍3
NeumaTex
Метод NVIDIA для 3D-текстур по фото. Восстанавливает детали и UV-карты без сложных пайплайнов.
Вместо PBR создают нейро-материалы из снимков, сделанных с разных ракурсов. Материалы моделируют более сложные свойства: прозрачность, дымка, пыль, шероховатость, рассеяние и смешанные зеркальные эффекты. При этом пригодны для релайтинга и рендера
• генерация текстур с сохранением мелких деталей
• автоматическое построение UV-развёрток
• работает с небольшим набором входных ракурсов
Кода нет
#image2pbr #image2material #research #relighting #rendering
Метод NVIDIA для 3D-текстур по фото. Восстанавливает детали и UV-карты без сложных пайплайнов.
Вместо PBR создают нейро-материалы из снимков, сделанных с разных ракурсов. Материалы моделируют более сложные свойства: прозрачность, дымка, пыль, шероховатость, рассеяние и смешанные зеркальные эффекты. При этом пригодны для релайтинга и рендера
• генерация текстур с сохранением мелких деталей
• автоматическое построение UV-развёрток
• работает с небольшим набором входных ракурсов
Кода нет
#image2pbr #image2material #research #relighting #rendering
🔥5👀2👍1
Neural Render Proxies (NRP)
Технология Disney, ускоряет процесс настройки освещения в компьютерной анимации. Интерактивно и дифференцируемо изменяет освещение статических сцен с фиксированным положением камеры и материалами
Разделили рендеринг на выборку путей и вычисление излучения. За один проход, не зависящий от освещения, собирают данные о транспортировке света. Затем обучают лёгкую нейросеть переносить свет от любой точки сцены к любому пикселю изображения
минимальные требования к памяти при выводе
масштабируемость в зависимости от разрешения, количества источников света и параметров, а не от сложности сцены
рилтайм 30–60 Гц
Только хвастаются, нам свои технологии не отдадут
Спасибо @iNevestenko
#research #rendering #lighting #relighting
Технология Disney, ускоряет процесс настройки освещения в компьютерной анимации. Интерактивно и дифференцируемо изменяет освещение статических сцен с фиксированным положением камеры и материалами
Разделили рендеринг на выборку путей и вычисление излучения. За один проход, не зависящий от освещения, собирают данные о транспортировке света. Затем обучают лёгкую нейросеть переносить свет от любой точки сцены к любому пикселю изображения
минимальные требования к памяти при выводе
масштабируемость в зависимости от разрешения, количества источников света и параметров, а не от сложности сцены
рилтайм 30–60 Гц
Только хвастаются, нам свои технологии не отдадут
Спасибо @iNevestenko
#research #rendering #lighting #relighting
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
Рефракция сплатов в PlayCanvas
Реддитор поместил гауссову сцену внутрь стеклянной фигуры (можно выбрать куб, сферу, драгоценный камень или шестиугольную призму) и реализовал преломление вида через стекло с хроматическим рассеянием, из-за которого цвета немного разделяются (аберрация)
Можно управлять индексом преломления, отражением, дисперсией и "заморозкой". Работает на WebGPU и WebGL
Попробовать - кривое демо на vercel
#gaussian #refraction #simuilation #3d #rendering
Реддитор поместил гауссову сцену внутрь стеклянной фигуры (можно выбрать куб, сферу, драгоценный камень или шестиугольную призму) и реализовал преломление вида через стекло с хроматическим рассеянием, из-за которого цвета немного разделяются (аберрация)
Можно управлять индексом преломления, отражением, дисперсией и "заморозкой". Работает на WebGPU и WebGL
Попробовать - кривое демо на vercel
#gaussian #refraction #simuilation #3d #rendering
👍8🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
LTX-2.3-3DREAL-LoRA v2
Обновилась лора для ИИ-рендера по вьюпорту или примитивам
1. Мультишот. модель сохраняет согласованность между сменами сцен и несколькими кадрами в одном клипе.
2. Аудио. в сценах с разговорами генерируется синхронизированный звук.
3. Улучшены лица говорящих персонажей, синхронизация губ и выражений лиц у персонажей, которые обращаются к камере.
4. Общее повышение качества
#rendering #ltx23 #lora #3d2video #3d2v
Обновилась лора для ИИ-рендера по вьюпорту или примитивам
1. Мультишот. модель сохраняет согласованность между сменами сцен и несколькими кадрами в одном клипе.
2. Аудио. в сценах с разговорами генерируется синхронизированный звук.
3. Улучшены лица говорящих персонажей, синхронизация губ и выражений лиц у персонажей, которые обращаются к камере.
4. Общее повышение качества
#rendering #ltx23 #lora #3d2video #3d2v
🔥15❤5👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Gaussian Light Transport
Глобальное освещение — как смесь 13-мерных гауссиан.
Что-что❓❓❓
(SIGGRAPH Asia 2026)
Новый способ считать глобальное освещение в 3D-сцене. Вместо того чтобы гонять тысячи лучей, GLT упаковывает освещение сцены в компактную смесь многомерных гауссиан. Каждый гауссиан описывает не просто точку в пространстве, а еще и в какую сторону она светит, под каким углом к поверхности и какой у нее материал
- 10-15 минут обучения
- 4-6 мегабайт на сцену — меньше, чем одна фотография в RAW
- 10-17 миллисекунд на кадр
- Качество освещения при этом выше: каустики, блики, отражения
Ключевое отличие от других подходов:
GLT не трассирует лучи, а подгоняет математическую модель прямо под уравнение света
Код ждем
#gaussian #GI #rendering
Глобальное освещение — как смесь 13-мерных гауссиан.
Что-что❓❓❓
(SIGGRAPH Asia 2026)
Новый способ считать глобальное освещение в 3D-сцене. Вместо того чтобы гонять тысячи лучей, GLT упаковывает освещение сцены в компактную смесь многомерных гауссиан. Каждый гауссиан описывает не просто точку в пространстве, а еще и в какую сторону она светит, под каким углом к поверхности и какой у нее материал
- 10-15 минут обучения
- 4-6 мегабайт на сцену — меньше, чем одна фотография в RAW
- 10-17 миллисекунд на кадр
- Качество освещения при этом выше: каустики, блики, отражения
Ключевое отличие от других подходов:
GLT не трассирует лучи, а подгоняет математическую модель прямо под уравнение света
Код ждем
#gaussian #GI #rendering
🔥11👍6
MLP-Splatting
Метод представления 3D-сцен через нейронные примитивы. ECCV 2026. Каждый примитив — независимый компактный MLP (Multilayer Perceptron) с локальной поддержкой, взвешенный анизотропной гауссианой. Сцена сама разбирается на объекты и части.
Супервизия только по RGB дает примитивы, которые сами ложатся на объекты и их части. Рендер через разреженный объемный композитинг по пересечениям луча с примитивами
• Фотореалистичный синтез новых видов
• Разложение сцены на объекты без сегментации — по нескольким примитивам
• Интерактивное редактирование: выбор объекта, SE(3)-сдвиг, смена цвета
• Открытие словаря: языковая сегментация и удаление объектов
• Опциональная дистилляция семантических признаков
• Качество на уровне Feature-3DGS и выше
• В 6 раз меньше памяти, рендер вдвое быстрее
• Нужны сотни примитивов вместо миллионов гауссиан
github.com/kxhit/mlp-splatting
#mlp #scenereconstruction #rendering
Метод представления 3D-сцен через нейронные примитивы. ECCV 2026. Каждый примитив — независимый компактный MLP (Multilayer Perceptron) с локальной поддержкой, взвешенный анизотропной гауссианой. Сцена сама разбирается на объекты и части.
Супервизия только по RGB дает примитивы, которые сами ложатся на объекты и их части. Рендер через разреженный объемный композитинг по пересечениям луча с примитивами
• Фотореалистичный синтез новых видов
• Разложение сцены на объекты без сегментации — по нескольким примитивам
• Интерактивное редактирование: выбор объекта, SE(3)-сдвиг, смена цвета
• Открытие словаря: языковая сегментация и удаление объектов
• Опциональная дистилляция семантических признаков
• Качество на уровне Feature-3DGS и выше
• В 6 раз меньше памяти, рендер вдвое быстрее
• Нужны сотни примитивов вместо миллионов гауссиан
github.com/kxhit/mlp-splatting
#mlp #scenereconstruction #rendering
🔥8🤝1