MoCha: End-to-End Video Character Replacement without Structural Guidance

Замена персонажей на видео на базе WAN 2.1

Насчет названия, есть программа для трекинга с таким названием, и мы уже 15 лет назад насмеялись. Правильное произношение: мока

Итак, что заявлено:

— не требует сложного управляющего контролнет-видео

— работает с одной маской для первого кадра

— поддерживает несколько референсных изображений

— создаёт видео с согласованным освещением, анимацией и выражениями лица

— хорошо справляется со сложными сценариями, позами

— точно воспроизводит действия и выражения исходного видео.

По факту я вижу 3D рендер вместо живых персонажей. Ну и этому инструменту применение найдется

Должно работать в ComfyUI-WanVideoWrapper

Гитхаб
HF
Kijai
воркфлоу

#faceswap #characterswap #wan #workflow

UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback

Релайтинг изображений и видео на базе WAN 2.1

Код
HF

#RELIGHTING #WAN

Loomis Painter: Reconstructing the painting process

Лора для реконструкции процесса рисования картины на базе WAN 2.1

На вход даем картину, на выходе - видео.

Работает в разных техниках - акрил, масло, карандаш

Был похожий проект Paints-Undo от lllyasviel

Гитхаб
HF

#image2video #wan

ComfyUI-PainterFLF2V

Улучшает динамику генерации WAN, делая движения более плавными и естественными. Динамически усиленная версия оригинальной ноды для генерации по первому-последнему кадру

#wan #comfyui #FLF2V

Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation

Генерация потокового видео в реальном времени (23.1 fps на одном GPU H100) на базе Wan2.1

Модель использует метод rewarded distribution matching distillation (Re-DMD), который улучшает динамику движения объектов и навигацию в сгенерированных видео по сравнению с традиционными методами

Можно на лету менять промпт - генерация плавно подстраивается и меняет сцену.

1.3B выложили. 14B ждем

Гитхаб
HF

#text2video #wan #streaming #realtime

Saber: Scaling Zero-Shot Reference-to-Video Generation

Видеогенератор от Meta (запрещено в РФ) с персонализацией и референсами (R2V) на базе Wan2.1-14B.

Отличается от аналогов тем, что не требует специализированных наборов данных, содержащих тройки «изображение-видео-текст», а обучается на парах «видео-текст»

На черрипиках демонстрирует явное превосходство над Phantom и VACE

Помимо основной задачи имеет эмерджентные способности:

— работает с несколькими изображениями одного объекта с разных ракурсов

— связывает изображения и текстовые подсказки

— меняет визуальные детали в видео при изменении текста (например, цвет одежды)

Гитхаб

#referencing #reference2video #personalization #wan

InfCam: Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation

Контроль камеры на генерации видео

Авторы пишут что не требует оценки глубины сцены, которая часто приводит к ошибкам. (А в инструкции на гитхабе есть указание скачать UniDepth. У меня вопросики)

Вместо этого использует бесконечное гомографическое преобразование, чтобы точнее учитывать повороты камеры. Не берусь объяснить что это такое

Прикручено к Wan2.1

Гитхаб
HF

#cameracontrol #wan #image2video

Solaris: Building a Multiplayer Video World Model in Minecraft

мультиплеерная видеомодель мира на базе MatrixGame 2.0 и Wan 2.1, генерирует согласованные наблюдения от первого лица для двух игроков одновременно

Гитхаб
HF

#world #wan

JavisDiT++

Модель синхронной генерации видео и звука из текста

Это Wan2.1 1.3B, расширенный до 2.1B без увеличения стоимости инференса.

Главная фишка - синхронизация аудио и видео на уровне токенов, плюс обучение на человеческих предпочтениях. В теории звук и картинка не просто генерируются вместе, но ещё и соответствуют друг другу. На практике 2B маловато для этого

Против VEO3 (самое последнее видео) не тянет, но эй, это модель на 2B параметров всего!

Гитхаб
HF

#wan #text2av #av

Matrix-Game 3.0

Этот интерактивный видеогенератор миров от Skywork тоже обновили

Модель генерирует видео в реальном времени с учётом долговременной памяти и действий пользователя.

Память с учётом позиции камеры для согласованности видео

Вывод ускорен с помощью дистилляции и квантизации

40 FPS при разрешении 720p с моделью 5B, с увеличением до 14B улучшает качество и динамику

Гитхаб
HF
MS

#world #wan #interactive

Lyra 2.0

Генератор 3D-миров из одного изображения от NVIDIA на базе WAN-14B

Миры стабильные, их можно исследовать

— генерирует видео с имитацией прогулки по сцене

— преобразует видео в 3D через прямую реконструкцию

— позволяет планировать траектории камеры и исследовать сцены

— решает проблемы «забывания» деталей и «сдвига» во времени при генерации длинных видео;

— экспортирует сцены в физические движки, например, в NVIDIA Isaac Sim

Гитхаб
HF

Спасибо @Endorpheen

#image2world #3d #world #wan