In-Video Instructions: Visual Signals as Generative Control

Контроль сюжета на видеогенерации визуальными аннотациями

Метод тестировали на нескольких моделях: Veo 3.1, Kling 2.5 и Wan 2.2

Код ждем

#visualprompting #motioncontrol #image2video

MotionV2V: Editing Motion in a Video

"Первый по-настоящему нелокальный" видеоредактор, который позволяет манипулировать контентом видео в пространстве и времени. На базе CogVideoX-5B

— может контролировать, где появляются объекты

— определяет скорость и направление движения объектов

— управляет временем появления объектов

— меняет позицию камеры

— редактирует видео с помощью простого интерфейса — механизма управления на основе точек, что позволяет вносить изменения через модификацию траекторий точек

— не требует масок

— редактирует движение в видео, а не генерирует новое видео с заданным движением

— работает с полным видео и его представлением движения, а не только с первым кадром

— позволяет редактировать движение объектов, которые появляются в видео не с первого кадра

Код ждем

#motioncontrol #videoediting

Generative Video Motion Editing with 3D Point Tracks

В Adobe придумали метод редактирования движения в видео с помощью 3D-треков точек на базе Wan2.1-T2V-1.3B. Модель отличается от аналогов возможностью совместного редактирования движений камеры и объектов, сохраняя при этом контекст сцены

Модель может деформировать, удалять и добавлять объекты, менять их траектории

Полное видео 8 минут
Кода нет

#videoediting #research #cameracontrol #motioncontrol

SCAIL‑2

Новая версия оживлятора персонажей без промежуточных скелетных представлений.

Проблемы старых методов: неоднозначность скелетных карт, ограничения масок персонажей, ошибки при взаимодействии нескольких персонажей из‑за перекрывающихся скелетов.

Фичи:
* сквозная и мультиперсонажная анимация
* замена персонажей с сохранением идентичности
* нулевая настройка (zero‑shot) например анимация по видео с животными, эгоцентрическим видео или на основе меша.

Основные решения:
* унифицированная архитектура на базе латентной диффузионной модели
* датасет MotionPair‑60K (60 000 пар движений)
* In‑Context Mask Conditioning и Mode‑Specific RoPE для унификации задач
* Bias‑Aware DPO для повышения точности тонких движений (например, рук и пальцев)

Гитхаб
HF

Спасибо @BrianMItro

#characteranimation #animation #motioncontrol

OmniDirector

Фреймворк от команды Kling для клонирования движений камеры из многопланового видео без кросс‑парных данных. Управляет движениями камеры при генерации видео.

• кодирует камеры как видео с сеткой движений (camera grid)
• обучен на миллионах пар "сетка‑видео"
• интегрирует сигналы управления через иерархического агента
• координирует персонажей, действия и камеры для мультимодальных диффузионных трансформеров

Гитхаб ждем

#cameracontrol #motioncontrol #referencing

SCAIL-2 GGUF

Квантизованные веса оживлятора-аниматора SCAIL-2
Воркфлоу прилагается

раз
два

туториал

#characteranimation #animation #motioncontrol #gguf #workflow

Накопилось по #minimaxH3 - часть 7

huggingface.co/iamkaikai/MiniMax-H3-Single-Frame-VAE-500K - VAE для генерации #t2i Демо

github.com/tori29umai0123/ComfyUI-MiniMaxH3-SingleFrame - две ноды для t2i. Вторая интерполирует средний кадр по первому/последнему

huggingface.co/diffusers-modular/minimax-h3-inpainting - #inpainting видео и аудио по маске. есть воркфлоу вроде

github.com/LoveRain1997/h3-prompt-journal/ - журнал промпт-экспериментов для сложной физики камеры

huggingface.co/MATLOWAI/MiniMax-H3-Motion-Adapter - учит модель тратить такты на плавность в быстрых сценах

github.com/T8mars/comfyui-minimax-h3-audio-T8 - 130 нод для работы с аудио: Dual-clock семплинг, локинг, ремикс, референс

github.com/SkyNotSilent/awesome-minimax-h3 - 685 видео с источниками и промптами, метаданные не вырезаны

github.com/LoveRain1997/video-to-h3-prompt - пайплайн видео → готовый H3 промпт. Скилл для Codex

#prompting #motioncontrol #captioning