Diffusion Knows Transparency: Repurposing Video Diffusion for Transparent Object Depth and Normal Estimation

Базовая модель для определения глубины и нормалей прозрачных объектов на видео любой длины

Основано на MoGe, WAN, DiffSynth-Studio

Гитхаб
HF
Демо Depth
Демо Normals

#video2normals #video2depth #wan

Generative World Renderer

Фреймворк и датасет для прямого и обратного рендеринга видео на основе данных из игр

Обратный рендер извлекает из RGB-видео G-буферы (пассы) - альбедо, нормали, глубина, шероховатость, металличность

позволяет стилизовать и модифицировать игровые окружения по запросам пользователя

улучшает результаты обратного рендеринга, давая чистое альбедо, геометрию без артефактов и точные предсказания материалов

синтезирует пересвеченные изображения с помощью карт окружения

Для обратного рендера взята Cosmos-Transfer1-DiffusionRenderer

Для Game Editing — Wan2.1 1.3B

Гитхаб
Демо

#video2normals #video2pbr #video2depth #controlnet

Sapiens2

Семейство высокоразрешающих трансформерных моделей от Meta (запрещено в РФ)

• оценивает позу (308 ключевых точек)
• сегментирует части тела (29 классов)
• рассчитывает нормали поверхности
• создаёт pointmap

Веса от 0,4B до 5 B параметров, разрешение до 4K (4096×3072)

Сгодится для создания аватаров, AR/VR и реконструкции человека

GitHub: https://github.com/facebookresearch/sapiens2
Hugging Face: https://huggingface.co/facebook/sapiens2

#hmr #humanreconstruction #video2normals #segmentation #video2pose

GenCeption от Google DeepMind

Единая feed-forward модель мультизадачного зрения. Заменяет зоопарк специализированных моделей

• оценка глубины, нормалей поверхности, позы камеры
• сегментация, 2D/3D ключевые точки
• работа с плотными и разреженными задачами

Обучена на синтетических видео, работает на реальных данных. Использует замороженную диффузионную text-to-video основу плюс лёгкие задачи-специфичные головы

Код/веса ждем

#vlm #video2depth #video2normals #tracking #video2camera #video2pose