Apple опубликовали код объемного представления сцен LiTo
github.com/apple/ml-lito
Спасибо @Dmitriy_Ru6ts0v
#rendering #novelview #image2scene #3d
github.com/apple/ml-lito
Спасибо @Dmitriy_Ru6ts0v
#rendering #novelview #image2scene #3d
Telegram
Нейронавт | Нейросети в творчестве
LiTo: Surface Light Field Tokenization
Новый метод захвата и представления 3D объектов от Apple
3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только…
Новый метод захвата и представления 3D объектов от Apple
3D латентное представление объединяет информацию о геометрии и внешнем виде объекта с учётом его зависимости от угла обзора и освещения. То есть она не только…
👍5🔥4❤1
TripoSplat
Инструмент для создания гауссовой сцены из одного 2D‑изображения.
• экспорт в форматы .ply и .splat
• настройка числа гауссиан - до 262 тыс.
• работает с ComfyUI (есть официальный workflow)
• совместим с просмотрщиками 3DGS: SuperSplat и SparkJS
• даёт быстрый превью‑результат за секунды
• поддерживает тонкую настройку параметров генерации
В основе нейросетевая архитектура для реконструкции 3D по одному виду с оптимизацией гауссовых распределений.
github.com/VAST-AI-Research/TripoSplat
huggingface.co/VAST-AI/TripoSplat
huggingface.co/spaces/VAST-AI/TripoSplat
#workflow #gaussian #image2scene #scenereconstrustion
Инструмент для создания гауссовой сцены из одного 2D‑изображения.
• экспорт в форматы .ply и .splat
• настройка числа гауссиан - до 262 тыс.
• работает с ComfyUI (есть официальный workflow)
• совместим с просмотрщиками 3DGS: SuperSplat и SparkJS
• даёт быстрый превью‑результат за секунды
• поддерживает тонкую настройку параметров генерации
В основе нейросетевая архитектура для реконструкции 3D по одному виду с оптимизацией гауссовых распределений.
github.com/VAST-AI-Research/TripoSplat
huggingface.co/VAST-AI/TripoSplat
huggingface.co/spaces/VAST-AI/TripoSplat
#workflow #gaussian #image2scene #scenereconstrustion
👍16🔥2❤1
Media is too big
VIEW IN TELEGRAM
ABot-Earth 0.5
Генератор 3D сцен Земли на гауссианах от Alibaba по спутниковым снимкам
• генерирует 3D‑сцены из спутниковых изображений с географической привязкой
• синтезирует сцены менее чем за 10 минут на кв. км
• импорт в Unity и Unreal Engine
Колизей
Гитхаб
Остального пока нет
Можно попроситься в закрытое бетатестирование но для этого нужен китайский номер телефона
#gaussian #map2scene #image2scene
Генератор 3D сцен Земли на гауссианах от Alibaba по спутниковым снимкам
• генерирует 3D‑сцены из спутниковых изображений с географической привязкой
• синтезирует сцены менее чем за 10 минут на кв. км
• импорт в Unity и Unreal Engine
Колизей
Гитхаб
Остального пока нет
Можно попроситься в закрытое бетатестирование но для этого нужен китайский номер телефона
#gaussian #map2scene #image2scene
❤14
This media is not supported in your browser
VIEW IN TELEGRAM
Surflo
Реконструкция 3D-поверхности из нескольких фото. Справляется с передним и задним планом, держит согласованность видов.
• строит облако точек, конвертирует в сетку
• работает с любым числом фото - размер скрытого состояния не растёт
• даёт разное разрешение от грубого превью до плотной сетки
• для контроля точек использует Flow-Matching и гауссианы
Гитхаб ждем
#gaussian #3dreconstruction #image2scene
Реконструкция 3D-поверхности из нескольких фото. Справляется с передним и задним планом, держит согласованность видов.
• строит облако точек, конвертирует в сетку
• работает с любым числом фото - размер скрытого состояния не растёт
• даёт разное разрешение от грубого превью до плотной сетки
• для контроля точек использует Flow-Matching и гауссианы
Гитхаб ждем
#gaussian #3dreconstruction #image2scene
❤12
This media is not supported in your browser
VIEW IN TELEGRAM
Генератор 3d-объектов на гауссианах по одному изображению TripoSplat можно запустить в Pinokio
Для работы достаторчно 8ГБ VRAM
#gaussian #image2scene #scenereconstrustion
Для работы достаторчно 8ГБ VRAM
#gaussian #image2scene #scenereconstrustion
1🔥14
PixWorld
3D-генерация и реконструкция в пиксельном пространстве. Решает проблему потерь деталей из-за латентных автоэнкодеров, дает четкую геометрию. На выходе RGBD и гауссова сцена
Cоздание и восстановление 3D, без VAE. Высокая скорость за счет архитектуры и стратегии сэмплирования. Судя по последнему пейзажу с горой, генерирует по тексту слабее чем по картинке или набору ракурсов
• работает напрямую с рендеренными изображениями
• генерация сцены за ~0.6 с - до 1000x быстрее аналогов
Гитхаб - ждем код и 4-шаговую дистиллированную модель
#gaussian #image2rgbd #image2scene #scenereconstruction
3D-генерация и реконструкция в пиксельном пространстве. Решает проблему потерь деталей из-за латентных автоэнкодеров, дает четкую геометрию. На выходе RGBD и гауссова сцена
Cоздание и восстановление 3D, без VAE. Высокая скорость за счет архитектуры и стратегии сэмплирования. Судя по последнему пейзажу с горой, генерирует по тексту слабее чем по картинке или набору ракурсов
• работает напрямую с рендеренными изображениями
• генерация сцены за ~0.6 с - до 1000x быстрее аналогов
Гитхаб - ждем код и 4-шаговую дистиллированную модель
#gaussian #image2rgbd #image2scene #scenereconstruction
👍5🔥2
Glob3R
Реконструкция 3Д-сцен
Берёт набор снимков и анализирует их по частям. В каждом участке (окне) система предсказывает геометрию сцены. Находит, как изображения связаны друг с другом. Определяет, как точки на фото соотносятся между собой
Потом собирает надёжные связи между точками в общую карту, усредняет повороты камер, усредняет перемещения.
Уточняет все параметры и строит детальную 3D-модель сцены
• глобальная реконструкция больших сцен
• работа с плотными треками и геометрией
• синтез новых видов с улучшенным рендерингом
• на выходе 3D-карты точек
Код/веса ждем
#scenereconstruction #imageto2d #image2scene #novelview
Реконструкция 3Д-сцен
Берёт набор снимков и анализирует их по частям. В каждом участке (окне) система предсказывает геометрию сцены. Находит, как изображения связаны друг с другом. Определяет, как точки на фото соотносятся между собой
Потом собирает надёжные связи между точками в общую карту, усредняет повороты камер, усредняет перемещения.
Уточняет все параметры и строит детальную 3D-модель сцены
• глобальная реконструкция больших сцен
• работа с плотными треками и геометрией
• синтез новых видов с улучшенным рендерингом
• на выходе 3D-карты точек
Код/веса ждем
#scenereconstruction #imageto2d #image2scene #novelview
🔥6❤3
Bruxos do VFX 3DGS Viewer
Онлайн сервис для работы с гауссианами в браузере.
• создание сцен из фото и видео - несколько методов, среди которых SHARP, 4D реконструкция лиц FaceAnything. Паравда, реализовано все это в колаб ноутбуках. Зато бесплатно
• просмотр сцен
• простая настройка освещения и ракурса
• экспорт в базовые форматы
• вьюер поддерживает
• GPU эффекты: волны, дым, релайтинг, растворение и т д
Также предлагают десктоп версию для #windows и #MacOS
#gaussian #viewer #image2scene #video2scene #videoto4d #facereconstruction #video2depth #video2normals
Онлайн сервис для работы с гауссианами в браузере.
• создание сцен из фото и видео - несколько методов, среди которых SHARP, 4D реконструкция лиц FaceAnything. Паравда, реализовано все это в колаб ноутбуках. Зато бесплатно
• просмотр сцен
• простая настройка освещения и ракурса
• экспорт в базовые форматы
• вьюер поддерживает
.ply, .splat, .ksplat• GPU эффекты: волны, дым, релайтинг, растворение и т д
Также предлагают десктоп версию для #windows и #MacOS
#gaussian #viewer #image2scene #video2scene #videoto4d #facereconstruction #video2depth #video2normals
❤2👍2
Gausify
Еще один минималистичный веб- инструмент для создания гауссовых сцен. На выбор тут есть SHARP и TripoSplat (еще не прикрутили)
Поддерживает сжатый формат .SOG
Работает локально на WebGPU
#gaussian #viewer #image2scene
Еще один минималистичный веб- инструмент для создания гауссовых сцен. На выбор тут есть SHARP и TripoSplat (еще не прикрутили)
Поддерживает сжатый формат .SOG
Работает локально на WebGPU
#gaussian #viewer #image2scene
👍7
Media is too big
VIEW IN TELEGRAM
QuerySplat
Реконструкция 3D‑сцен по фото без известных позиций камер. Убирает размытость, типичную для старых query‑методов.
• строит гассианы по нескольким изображениям
• разделяет геометрию и цвет на две отдельные ветки декодера
• работает без привязки к ракурсу съёмки
• PSNR на 2.30 дБ выше лучших pose‑free методов
• на DL3DV лучший результат в синтезе новых видов
Использует Vision Geometric Model как источник 3D‑приоров. Разделение веток снижает артефакты и повышает детализацию.
Гитхаб
HF
#gaussian #image2scene #scenereconstruction
Реконструкция 3D‑сцен по фото без известных позиций камер. Убирает размытость, типичную для старых query‑методов.
• строит гассианы по нескольким изображениям
• разделяет геометрию и цвет на две отдельные ветки декодера
• работает без привязки к ракурсу съёмки
• PSNR на 2.30 дБ выше лучших pose‑free методов
• на DL3DV лучший результат в синтезе новых видов
Использует Vision Geometric Model как источник 3D‑приоров. Разделение веток снижает артефакты и повышает детализацию.
Гитхаб
HF
#gaussian #image2scene #scenereconstruction
🔥5👍3❤2
Media is too big
VIEW IN TELEGRAM
InfiniSplat
Спасаю вас от минимакс-хайпа, пощу на другие темы
Реконструкция сцены на гауссианах по одному изображению или по данным с датчика глубины (RGB + Depth), работает при больших смещениях камеры
• опирается на монокулярную геометрию, а не на пиксельные сетки
• выдает стабильные поверхности при резких сменах вида
Гитхаб
Демо
#gaussian #image2scene #rgbd2scene #depth2scene
Спасаю вас от минимакс-хайпа, пощу на другие темы
Реконструкция сцены на гауссианах по одному изображению или по данным с датчика глубины (RGB + Depth), работает при больших смещениях камеры
• опирается на монокулярную геометрию, а не на пиксельные сетки
• выдает стабильные поверхности при резких сменах вида
Гитхаб
Демо
#gaussian #image2scene #rgbd2scene #depth2scene
👍15❤2
This media is not supported in your browser
VIEW IN TELEGRAM
SplatEdit.app уже предлагает полный пайплайн создания сплатов, работает локально в браузере на WebGPU
Инструмент поддерживает и изображения, и видео. Для видео автоматически выбираются лучшие кадры
Полноформатное извлечение признаков, обнаружение объектов на базе Depth Anything, выравнивание ArUco, умное управление памятью и экспорт в COLMAP в формате zip.
Проект пока на ранней стадии. Скоро выйдет SplatEdit 0.3.X
https://www.splatedit.app/
#gaussian #webpgu #video2scene #image2scene
Инструмент поддерживает и изображения, и видео. Для видео автоматически выбираются лучшие кадры
Полноформатное извлечение признаков, обнаружение объектов на базе Depth Anything, выравнивание ArUco, умное управление памятью и экспорт в COLMAP в формате zip.
Проект пока на ранней стадии. Скоро выйдет SplatEdit 0.3.X
https://www.splatedit.app/
#gaussian #webpgu #video2scene #image2scene
👍15❤2
Lumera
Пайплайн превращает обычную фотографию в редактируемую 3D-сцену для игрового движка. На выходе не облако точек и не гауссианы, а отдельные объекты с собственной геометрией, с которыми можно работать как в обычном 3D-редакторе
• разбивает изображение на отдельные 3D-меши объектов
• сохраняет редактируемую компоновку сцены - объекты можно двигать и заменять
• генерирует нативные источники света и HDR-окружение
• собирает проект, готовый к открытию в Unreal Engine 5
Загрузили фото интерьера - получили основу уровня для UE5
Код-веса ждем
Спасибо @Endorpheen
#ue #image2scene #imageto3d
VK | MAX
Пайплайн превращает обычную фотографию в редактируемую 3D-сцену для игрового движка. На выходе не облако точек и не гауссианы, а отдельные объекты с собственной геометрией, с которыми можно работать как в обычном 3D-редакторе
• разбивает изображение на отдельные 3D-меши объектов
• сохраняет редактируемую компоновку сцены - объекты можно двигать и заменять
• генерирует нативные источники света и HDR-окружение
• собирает проект, готовый к открытию в Unreal Engine 5
Загрузили фото интерьера - получили основу уровня для UE5
Код-веса ждем
Спасибо @Endorpheen
#ue #image2scene #imageto3d
VK | MAX
1🔥15👍6
This media is not supported in your browser
VIEW IN TELEGRAM
WorldSculpt (Alaya Lab + Токийский университет)
Фреймворк превращает фотографии насыщенной объектами сцены в десятки и сотни отдельных 3D-моделей. Каждый объект сам по себе, со своей сеткой. Модель - файнтюн Pixal3D
- Работает не только с фото, но и с тем, что другие генераторы создали как облако точек (3DGS) - превращает их в нормальные сетки
- Интерактивный просмотрщик
- До сотен объектов на сцену
- Тренируется на отдельных объектах, но работает на целых сценах без дополнительной оптимизации
Гитхаб
HF
#imageto3d #image2scene
VK | MAX
Фреймворк превращает фотографии насыщенной объектами сцены в десятки и сотни отдельных 3D-моделей. Каждый объект сам по себе, со своей сеткой. Модель - файнтюн Pixal3D
- Работает не только с фото, но и с тем, что другие генераторы создали как облако точек (3DGS) - превращает их в нормальные сетки
- Интерактивный просмотрщик
- До сотен объектов на сцену
- Тренируется на отдельных объектах, но работает на целых сценах без дополнительной оптимизации
Гитхаб
HF
#imageto3d #image2scene
VK | MAX
👍8🔥3
Релизнули веса / код реконструктора 3D-поверхности из нескольких фото Surflo
Гитхаб
HF
#gaussian #3dreconstruction #image2scene
VK | MAX
Гитхаб
HF
#gaussian #3dreconstruction #image2scene
VK | MAX
Telegram
Нейронавт | Нейросети в творчестве
Surflo
Реконструкция 3D-поверхности из нескольких фото. Справляется с передним и задним планом, держит согласованность видов.
• строит облако точек, конвертирует в сетку
• работает с любым числом фото - размер скрытого состояния не растёт
• даёт разное…
Реконструкция 3D-поверхности из нескольких фото. Справляется с передним и задним планом, держит согласованность видов.
• строит облако точек, конвертирует в сетку
• работает с любым числом фото - размер скрытого состояния не растёт
• даёт разное…
👍11
SceneMosaic (HKU + UESTC)
Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов
- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных
- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты
Гитхаб
#imageto3d #image2scene #image2layout
Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов
- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных
- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты
Гитхаб
#imageto3d #image2scene #image2layout
🔥8👍5❤2🥴1
ComfyUI-WorldSculpt
Ноды пообъектного реконструктора сцены WorldSculpt
Спасибо @m_franz
#comfyui #imageto3d #image2scene
VK | MAX
Ноды пообъектного реконструктора сцены WorldSculpt
Спасибо @m_franz
#comfyui #imageto3d #image2scene
VK | MAX
👍12
LEGO-Anything
Фреймворк из AWS: превращает одно фото в редактируемую 3D-сцену. Кодинг-агент пишет и исполняет код Blender, смотрит рендеры и правит программу, пока не соберёт сцену.
• Из одной картинки собирает редактируемую 3D-сцену
• Результат — не картинка и не фикс-модель, а явная сцена-программа
• Сцену можно смотреть, править и опрашивать
• Агент итеративно пишет Blender-код, проверяет рендеры и пересматривает
Состав
• LEGO-Bench — бенчмарк
• LEGO-Plugin — интеграция
• LEGO-World — сборка миров
Код ждем
#imageto3d #image2scene
MAX
Фреймворк из AWS: превращает одно фото в редактируемую 3D-сцену. Кодинг-агент пишет и исполняет код Blender, смотрит рендеры и правит программу, пока не соберёт сцену.
• Из одной картинки собирает редактируемую 3D-сцену
• Результат — не картинка и не фикс-модель, а явная сцена-программа
• Сцену можно смотреть, править и опрашивать
• Агент итеративно пишет Blender-код, проверяет рендеры и пересматривает
Состав
• LEGO-Bench — бенчмарк
• LEGO-Plugin — интеграция
• LEGO-World — сборка миров
Код ждем
#imageto3d #image2scene
MAX
❤12👍4😱1
Media is too big
VIEW IN TELEGRAM
Image Blaster
Набор скиллов для Claude Code: превращает одно изображение в интерактивную 3D-сцену за пару шагов. Исследуемая среда, отдельные объекты и звук.
• Отделяет объекты от фона, генерирует 3D-ассеты
• Gaussian Splat среда с коллизионной геометрией
• Отдельные меши, которые можно хватать и двигать с физикой в вьювере
• PBR-материалы и регулируемый поликаунт, есть LowPoly
• Эмбиент и звуки объектов
• Экспорт GLB/OBJ для Blender и игровых движков
Что внутри
• World Labs Marble — среда
• Hunyuan 3D — объекты
• Nano Banana / GPT-Image — чистка исходника
• ElevenLabs — звук
Детали
От картинки до готовой замершенной сцены меньше 5 минут. Подходит для концепт-арта в прототипы уровней и сцен из референс-фото. Встраивается в Unity/Unreal/Godot, Blender, Three.js. MIT, но генерация через внешние API с твоими ключами.
#skill #image2scene
MAX
Набор скиллов для Claude Code: превращает одно изображение в интерактивную 3D-сцену за пару шагов. Исследуемая среда, отдельные объекты и звук.
• Отделяет объекты от фона, генерирует 3D-ассеты
• Gaussian Splat среда с коллизионной геометрией
• Отдельные меши, которые можно хватать и двигать с физикой в вьювере
• PBR-материалы и регулируемый поликаунт, есть LowPoly
• Эмбиент и звуки объектов
• Экспорт GLB/OBJ для Blender и игровых движков
Что внутри
• World Labs Marble — среда
• Hunyuan 3D — объекты
• Nano Banana / GPT-Image — чистка исходника
• ElevenLabs — звук
Детали
От картинки до готовой замершенной сцены меньше 5 минут. Подходит для концепт-арта в прототипы уровней и сцен из референс-фото. Встраивается в Unity/Unreal/Godot, Blender, Three.js. MIT, но генерация через внешние API с твоими ключами.
#skill #image2scene
MAX
😱8👍7👎1
This media is not supported in your browser
VIEW IN TELEGRAM
DistScene
Система от CoolBeam: превращает одно изображение в редактируемую 3D-сцену с расставленными объектами и окружением.
• Генерация сцены из одного изображения: окружение и объекты вместе
• Объект-центричный рефайнмент — восстановление деталей с акцентом на объект
• Сцены композиционные: объекты можно редактировать отдельно
• Прямой импорт в симуляторы навигации
• Интерактивная демка в браузере
Как работает
• Самодистилляция данных: Trellis.2 генерирует объекты и среды, физик-чеки собирают сцены, рендер даёт conditioning
• Два этапа: разреженная структурная генерация + геометрия-латентная генерация
• Объект уводится в локальный воксельный саппорт для рефайнмента и возвращается обратно
• База — разреженные воксели, разреженный DiT на flow-matching и LoRA
huggingface.co/coolbeam/DistScene-preview-assets
Спасибо @m_franz
#image2scene #imageto3d
MAX
Система от CoolBeam: превращает одно изображение в редактируемую 3D-сцену с расставленными объектами и окружением.
• Генерация сцены из одного изображения: окружение и объекты вместе
• Объект-центричный рефайнмент — восстановление деталей с акцентом на объект
• Сцены композиционные: объекты можно редактировать отдельно
• Прямой импорт в симуляторы навигации
• Интерактивная демка в браузере
Как работает
• Самодистилляция данных: Trellis.2 генерирует объекты и среды, физик-чеки собирают сцены, рендер даёт conditioning
• Два этапа: разреженная структурная генерация + геометрия-латентная генерация
• Объект уводится в локальный воксельный саппорт для рефайнмента и возвращается обратно
• База — разреженные воксели, разреженный DiT на flow-matching и LoRA
huggingface.co/coolbeam/DistScene-preview-assets
Спасибо @m_franz
#image2scene #imageto3d
MAX
❤8👍3