Neural Video Depth Stabilizer (NVDS)

Фреймворк для генерации согласованной во времени карты глубины для видео. Если вы когда-нибудь пробовали генерировать карты глубины для видео, вы знаете что модели, обученные предсказывать глубину для отдельно взятой картинки, просто неспособны выдать консистентную генерацию глубины для видео. От кадра к кадру у вас будет фликер и свистопляска. Вот эту проблему решает NVDS.

Вот бы нам еще видео-контролнетов для нормалей, кэнни, референс, позы и т д. Мечтаю уже.

В проекте замешан Adobe research, но моделью обещают поделиться для исследовательских целей.

[UPDATE]
Гитхаб

#depth #depth2video #video2depth

Опубликован код и веса генератора глубины по видео Neural Video Depth Stabilizer
Если удастся запустить, поделитесь результатами

Код

#depth #depth2video

ChronoDepth: Learning Temporally Consistent Video Depth from Video Diffusion Priors

Генератор консистентной карты глубины для видео.
Как я посмотрю, консистентность у них скачкообразная, но вроде есть какие-то рульки которые можно крутить. И таких проектов мало, так что ждем код и не ноем

Код ждем

#depth #depth2video #video2depth

Cosmos-Transfer1: World Generation with Adaptive Multimodal Control

Nvidia выпустили версию своего генератора миров (видео) для кондиционной генерации на основе множества входных данных в различных модальностях, таких как сегментация, карты глубины и контуры (edge)

Гитхаб

#text2video #image2video #simulation #text2world #image2world #segmentation2video #depth2video #mask2video #edge2video

Wan2.2-Fun-Reward-LoRAs

Подтверждено, это релиз.
+ опубликовали Reward-LoRAs

Reward LoRA можно использовать с базовой моделью #Wan22 и доработанными моделями (Wan2.2-Fun), что значительно повышает качество генерации видео

Гитхаб

воркфлоу - там же на гитхабе есть примеры воркфлоу wan2_2_vace_fun

🍾🍾🍾🍾🍾🍾

#workflow #controlnet #referencing #depth2video #pose2video #lora

Kijai/WanVideo_comfy_GGUF

А вот и #GGUF

#controlnet #referencing #depth2video #pose2video #wan22

В чате трое включая меня отписались что воркфлоу не работает

Короче есть воркфлоу который работает с GGUF и safetensots Wan2.2-VACE-Fun
Только пишут что VACE-Fun это не оригинальный VACE.
И результаты он выдает даже хуже чем обычный Fun-Control. Ну или руки у меня кривые.

воркфлоу
Видеоинструкция от автора воркфлоу

#workflow #controlnet #referencing #depth2video #pose2video #lora