📱HY-World 2.0.

HY-World 2.0 — это мультимодальная нейросеть, которая совершает настоящую революцию в генерации 3D-миров. В отличие от большинства современных "World Models" (вроде Genie 3 или Sora), которые создают обычные плоские видеоролики, эта модель генерирует полноценные, редактируемые 3D-ассеты из текста, картинок или видео!

Вы больше не просто смотрите сгенерированное кино, а создаете реальное пространство.

🔹Главные фичи:

🔘Настоящее 3D, а не видео: Модель выдает форматы 3DGS (Gaussian Splattings), полигональные сетки (meshes) и облака точек. Результат можно напрямую импортировать в Blender, Unity, Unreal Engine или Isaac Sim.

🔘Генерация миров (World Generation): Превращает текстовый промпт или одну фотографию в детализированный 3D-мир. По этим локациям можно буквально ходить (от первого или третьего лица), они поддерживают физику столкновений!

🔘Мгновенная 3D-реконструкция (WorldMirror 2.0): Подаете на вход несколько фото или обычное видео с телефона — и нейросеть за один проход предсказывает глубину, нормали, параметры камеры и собирает цифрового 3D-двойника.

🔘Стабильность и дешевизна: В отличие от видеомоделей, где каждый кадр генерируется заново (что дорого и вызывает мерцание), здесь вы генерируете сцену один раз. Дальше она рендерится в реальном времени силами вашей видеокарты без потери качества и консистентности.

🔻Open Source:
Проект открытый! Команда Tencent уже опубликовала технический отчет и веса для модели реконструкции WorldMirror 2.0 (на Hugging Face). Полный код для генерации миров по тексту разработчики обещают выложить в ближайшее время.

#AI #3D #WorldModels #GameDev #Tencent #NeuralNetworks #OpenSource #MachineLearning #ComputerVision

📱Ссылка на репозиторий:
https://github.com/Tencent-Hunyuan/HY-World-2.0

📱LingBot-Map.

LingBot-Map — это новая базовая (foundation) 3D-модель прямого распространения, созданная специально для потоковой 3D-реконструкции видео в реальном времени!

💡Если вам нужно превратить длинное видео в детализированное облако точек на лету, то этот инструмент — один из лучших на сегодняшний день. Он превосходит как другие стриминговые методы, так и тяжелые классические подходы на базе итеративной оптимизации.

🔹Главные фишки:

🔘Geometric Context Transformer: Уникальная архитектура, которая в один проход объединяет привязку координат, геометрические подсказки и коррекцию дрейфа на длинных дистанциях (благодаря памяти траекторий и контексту якорей).

🔘Сверхбыстрый инференс: За счет использования Paged KV-кэша (с помощью библиотеки FlashInfer) модель стабильно обрабатывает видео со скоростью ~20 FPS даже на дистанциях свыше 10 000 кадров!

🔘Оконный режим (Windowed Inference): Идеальное решение для обработки гигантских сцен (>3000 кадров) без переполнения памяти видеокарты.

🔘Авто-маскировка неба: Встроенная ONNX-модель автоматически фильтрует небо, чтобы уличные реконструкции выглядели максимально чисто и без артефактов.

🎥Рендеринг и визуализация:

В комплекте идет крутой скрипт для пакетного рендеринга кинематографичных 3D-пролетов. Вы можете задать траекторию камеры (вид сверху, следование за оператором) через YAML-конфиг и сразу получить красивое .mp4 видео вашего облака точек.

🎥Доступные модели:

Веса лежат на Hugging Face и ModelScope. Авторы рекомендуют чекпоинт lingbot-map-long для больших сцен, но есть и сбалансированные варианты. Последние обновления проекта значительно ускорили работу и пофиксили баги с кэшированием ключевых кадров.

#3DReconstruction #MachineLearning #ComputerVision #PyTorch #LingBotMap #AI #OpenSource #DeepLearning

📱Ссылка на репозиторий:
https://github.com/Robbyant/lingbot-map