MVTrack4Gen

мультимодальная генерация видео с трекингом объектов по промпту. решает проблему согласованности объектов между кадрами в длинных видео - наоснове двух базовых моделей (ReCamMaster и ReDirector)

В частности позволяет пересоздать исходное видео с другого ракурса, стабилизировать камеру и т д

#sota по стабильности геометрии

Код ждем

#tracking #cameracontrol #t2v #i2v #referencing #v2v

ProxyPose

Трекер. Лора к Wan2.1-T2V-14B
Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях.

• берет один пиксель-запрос - выдает траекторию 6-DoF
• видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель
• геометрия без обучения: контурное сопоставление + PnP
• тянет трекинг для лиц и камер без доп. тренировки
• работает с event-видео и SPAD-сенсорами

Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах.

Гитхаб
HF

#tracking #6dof #v2v #video2camera

CameraAnything

По входному видео создает видео с другого ракурса, на базе Wan2.1

Контролирует внешние (точка зрения, траектория, мультисценные переходы) и внутренние (фокусное расстояние, разрешение и соотношение сторон) параметры в одном процессе генерации

Гитхаб
HF

#wan21 #cameracontrol #v2v

Накопилось по #minimaxH3 - часть 26

huggingface.co/Comfy-Org/MiniMax-H3/tree/main/vae - Kijai обновил быстрый видео VAE для H3: 2.8Gb

huggingface.co/WarmBloodAban/Minimax_H3_LoRAs - #LoRA : CGs, HUD, динамическая камера от 3-го/1-го лица как в играх

github.com/xmarre/ComfyUI-Spectrum-MiniMax-H3 - Spectrum v0.2.28: фикс CRLF для Windows. Проверяйте цепочку воркфлоу — у многих неправильно подключена

huggingface.co/silveroxides/MiniMax-H3_tests/tree/main/viggle_lora - экспериментальная Viggle #LoRA : замена персонажа по одному перерисованному кадру + перенос движения #characterswap

huggingface.co/berryber09/MiniMax-H3-Fun-Controlnet-Union-w4a8 - #W4A8 квантизация Fun #ControlNet-Union: 2.13Gb → 1.45Gb

github.com/ShamanicArts/h3-spherical-vae - круговой #VAE для панорамного видео #panorama

huggingface.co/circlestone-labs/MiniMax-H3-Image-Training-Adapter - адаптер для тренировки H3 по картинкам вместо видео без порчи видео-знаний

github.com/cicalooo/ComfyUI-MM-1Frame - извлечение лучшего кадра из генерации: не тупо первый, а авто-выбор из пяти

github.com/caiusy/traffic-motion-studio - симулятор трафика для H3: рисование траекторий, подрезы, ДТП, обгоны, экспорт 2D-референса для погонь

github.com/NyckM/3d-Camera-control-H3-Minimax - depth-контроль камеры для H3 + Viggle Meridian #cameracontrol

github.com/Comfy-Org/ComfyUI/pull/16422 - фикс тайловых швов VAE H3, на подходе к мержу

huggingface.co/neph1/1980s_horror_movies_minimax_h3 - #LoRA хоррор 80-х

huggingface.co/neph1/1950sScifiMinimaxH3 - #LoRA sci-fi 50-х

huggingface.co/Cseti/MiniMax-H3_Ref2VA-LoRA-CrossView-Warp_v1 - #LoRA для смены движения/угла камеры уже готового клипа #V2V

github.com/NyckM/3d-Camera-control-H3-Minimax - v3: depth-контроль камеры + Viggle Meridian

plox-1.github.io/h3-speedups - сравнение методов ускорения H3 с базой. Качество оценено ИИ (Fable 5.1) по 5 кадрам

civitai.com/models/2947601/simply-advanced-minimax-h3 - продвинутый #workflow : 6 картинок, 2 видео, 3 аудио — что угодно как референс/гайд/оба. LLM-пайплайн в 4 стадии (расширение→анализ референсов→креативный план→компиляция), безшовное продолжение, Force Audio. Требует frontend < v1.50.5

huggingface.co/LBH-123-AI/Minimax_h3_latent_Upscaler/tree/main/minimax_h3_latent_upscaler_3d_conv_v1 - новая версия латентного апскейлера с 3D-конволюцией

youtu.be/qyWbsUkxSFs - воркфлоу фейс-свопа #faceswap

reddit.com/r/StableDiffusion/comments/1whbdje/minimax_h3_latents_as_reference/ - латенты как референс: картинка→латент+шум дает вариативность без тяжёлого промптинга. 0.35 — рабочий порог, ниже 0.25 — почти интерпретация модели #ref2va #referencing

WAN skills

WAN запустил на своей платформе скиллы - пресеты видеоманипуляций. По сути прошлогодние эффекты из Pika.

Но сейчас мода на скиллы

#skill #v2v #wan3

MAX