Generative Omnimatte: Learning to Decompose Video into Layers

Модель от Google DeepMind раскладывает видео на слои (omnimatte-слои), где каждый слой содержит полностью видимый объект и связанные с ним эффекты, например, тени и отражения.

Использует генеративные и семантические данные для дополнения скрытых пикселей и точного связывания эффектов с объектами

Код - тут неофициальная реимплементация на основе CogVideoX и Wan2.1, которая, как признают авторы, чуть слабее чем официальная Casper на основе Lumiere

Спасибо @Ildar_Idrisov

#video2matte #video2mask #rgb2rgba #segmentation

SAM2Matting

Матирование по сегментации (SAM2, SAM3)

В отличие от сегментной маски, матирование содержит информацию не только о границе объекта, но и о мягкости/полупрозрачности краев

Поддержка разных промптов - маски, точки, боксы, текст

Обучен только на изображениях, но уверенно работает на видео

Гитхаб
HF
Демо

#video2matte #segmentation #rgb2rgba #matting #image2matte

Lucida

Модель для удаления фона от MIT на базе BiRefNet. Создает PNG с альфа-каналом

Справляется лучше коммерческих моделей с камуфляжем, иллюстрациями и сохранением текста

Использует точную промежуточную альфу для стекла

Есть слабые места: коммерческий API всё же лучше справляется с прозрачностью. InSPyReNet круче в сложных сценах и тонких структурах. RMBG-2.0 лучше обрабатывает волосы

Гитхаб
HF
Галерея
Демо

#image2matte #rgb2rgba #backgroundremoval