📱LingBot-Map.

LingBot-Map — это новая базовая (foundation) 3D-модель прямого распространения, созданная специально для потоковой 3D-реконструкции видео в реальном времени!

💡Если вам нужно превратить длинное видео в детализированное облако точек на лету, то этот инструмент — один из лучших на сегодняшний день. Он превосходит как другие стриминговые методы, так и тяжелые классические подходы на базе итеративной оптимизации.

🔹Главные фишки:

🔘Geometric Context Transformer: Уникальная архитектура, которая в один проход объединяет привязку координат, геометрические подсказки и коррекцию дрейфа на длинных дистанциях (благодаря памяти траекторий и контексту якорей).

🔘Сверхбыстрый инференс: За счет использования Paged KV-кэша (с помощью библиотеки FlashInfer) модель стабильно обрабатывает видео со скоростью ~20 FPS даже на дистанциях свыше 10 000 кадров!

🔘Оконный режим (Windowed Inference): Идеальное решение для обработки гигантских сцен (>3000 кадров) без переполнения памяти видеокарты.

🔘Авто-маскировка неба: Встроенная ONNX-модель автоматически фильтрует небо, чтобы уличные реконструкции выглядели максимально чисто и без артефактов.

🎥Рендеринг и визуализация:

В комплекте идет крутой скрипт для пакетного рендеринга кинематографичных 3D-пролетов. Вы можете задать траекторию камеры (вид сверху, следование за оператором) через YAML-конфиг и сразу получить красивое .mp4 видео вашего облака точек.

🎥Доступные модели:

Веса лежат на Hugging Face и ModelScope. Авторы рекомендуют чекпоинт lingbot-map-long для больших сцен, но есть и сбалансированные варианты. Последние обновления проекта значительно ускорили работу и пофиксили баги с кэшированием ключевых кадров.

#3DReconstruction #MachineLearning #ComputerVision #PyTorch #LingBotMap #AI #OpenSource #DeepLearning

📱Ссылка на репозиторий:
https://github.com/Robbyant/lingbot-map