StereoCrafter: Diffusion-based Generation of Long and High-fidelity Stereoscopic 3D from Monocular Videos

Модель для преобразования обычного видео в стерео 3D от Tencent

Может помните времена когда было модно выпускать кино в 3D. И чтобы не заморачиваться на съемках и основном посте, делали стереоконверсию фильма. На это нужны были армии ротоскоперов. А теперь эта задача становится намного дешевле

Код

#stereoconversion

M2SVid

Метод преобразования монокулярного видео в стереоскопическое на базе #SVD

• оценивает глубину для входного видео
• делает варпинг - получает вид с позиции правой камеры
• заполняет скрытые области (инпейнтинг) и уточняет видео за один шаг диффузии

Использует VAE‑кодировки, генерирует правое видео с учётом маски дисокклюзии. Качество выше аналогов по метрикам PSNR и SSIM.

Сравниваются со StereoCrafter

Гитхаб
GUI

Спасибо @m_franz

#stereoconversion