MaskVidExperiments

Кастом пак #ComfyUI по работе с масками в видео.
Обработка замаскированного объекта внутри движущегося кропа, с последующей вставкой обратно в кадр без дерганья и видимых швов

- Subject Crop: стабильный кроп вокруг объекта по всему клипу — не дёргается от шума маски, окклюзий и кратких уходов, следует только за устойчивым движением
- Subject Uncrop: пиксельно точная вставка результата обратно с мягкой кромкой
- Mask Cleanup: чистит мусор и мерцающие пятна из видеомаски, сохраняя настоящий объект
- Mask To Latent Space: честно приводит маску к латентному разрешению через VAE - без размазывания трилинейным resize, чистая инпейнт-область (пример: машина → овчарка в LTX)
- Audio Mask To Latent: регенерация выбранных временных отрезков в аудио-латент (для MiniMax H3, LTX-2)
- Differential Diffusion (Soft): мягкие кромки в масках денойза на каждом шаге, стабильно по времени

Спасибо @m_franz

#segmentation

MiniMax-H3 × Z-Image

Берут движок MiniMax-H3 и пересаживают в него чувство детализации от Z-Image - 6B image-модели, а она хороша в текстурах. Без переобучения и без правки архитектуры

- Окружение детальнее: краска, ржавчина, вода выглядят богаче
- Лица проработаны лучше, идентичность персонажей сохраняется
- Детализация не плывет между кадрами в склейках
- Видео и аудио H3 не ломаются

- Подходит как прямая замена стандартных H3-чекпоинтов, воркфлоу менять не надо
- Есть GGUF-кванты под разный VRAM: Q4_0 (11.5/19.9 GB), Q5_1 (15.2/25.9 GB), Q8_0 (21.5 GB)
- Рекомендации автора: 16 GB → Q4_0, 24 GB → Q5_1, 32 GB → Q8_0 (версии curve-zs05)

HF
GGUF

Спасибо @EvgenyiPerm

#zimage #minimaxH3

VK | MAX

MiniMax-H3-Fun-Controlnet-Union

Единый контролнет для MiniMax-H3 от Alibaba PAI

Canny, Depth, HED, MLSD, Pose

Работает только с точной конфигурацией веток из трейна, иначе чекпоинт не загрузится

Гитхаб
HF

Спасибо @StanShumsky

#minimaxH3 #controlnet

VK | MAX

depth-anything.cpp

Порт модели глубины Depth Anything 3 от ByteDance на чистый C++, без Python и PyTorch и быстрее в 1.3 раза. Из одной картинки вытаскивает карту глубины и позу камеры, работает на CPU

Создает не только базовую карту глубины, а целый набор данных:

- Метрическая глубина (в метрах, а не условные значения)
- Уверенность по каждому пикселю (насколько можно доверять этой точке)
- Внутренние и внешние параметры камеры (то есть как камера устроена и где она стоит)
- 3D-облако точек
- Экспорт сразу в GLB / COLMAP / PLY
- Многовидовая глубина и поза камеры (несколько фото → общая сцена)

#image2depth #imageto3d

VK | MAX