HiAR

модель для генерации длинных видео на базе Wan2.1-T2V-1.3B

— меняет привычный порядок генерации: вместо того чтобы сначала обрабатывать каждый блок видео по очереди, она обрабатывает все блоки одновременно на каждом шаге денойза

— уменьшает смещение при генерации длинных видео, сохраняя при этом плавность и связность

— позволяет генерировать видео практически бесконечной длины без потери качества

— сохраняет разнообразие движений в видео, не допуская «застревания» в одних и тех же движениях

Гитхаб
HF

#longvideo #wan21

Нейронавт в MAX

ComfyUI Wan VACE Video Joiner

Сборщик пачки шотов в единое целое с плавными переходами. Использует Wan 2.1 VACE или Wan 2.2 Fun VACE для генерации новых кадров на стыках клипов, чтобы переходы выглядели естественно

Автоматически заменяет шумные или артефактные кадры на границах клипов.

Умеет зацикливать видео — последний шот будет плавно переходить в первый

Civitai

#wan21 #wan22 #vace #comfyui #workflow

UniVidX

Унифицированный мультимодальный фреймворк для генерации многокомпонентного видео на базе архитектуры Wan2.1-T2V-14B

• генерирует RGB‑видео
• создаёт пассы (альбедо, нормали, глубину, освещение)
• работает с альфа‑каналами

Обучен менее чем на 1 000 видео

Подходит для задач, где нужно одновременно получить видео и сопутствующие данные - например, для VFX или 3D‑анимации

Гитхаб
HF - 2 x 800 Мб

#aov #t2v #wan21 #text2aov #normals #

LiveEdit

Редактирование потокового видео в рилтайме на базе #wan21

• 12.66 FPS в реальном времени
• трехэтапная дистилляция для переноса способностей модели
• причинно-следственная покадровая обработка
• сохранение фона и неизмененных регионов
• AR-ориентированный кэш масок для экономии вычислений

Дистилляция до 4 шагов диффузии.

Гитхаб
HF

#realtime #videoediting #streaming

HOMIE

Фреймворк для персонализации видео с фокусом на взаимодействии человека и объектов. Решает проблему неестественных движений и потери идентичности при генерации сцен.

• генерация сложных взаимодействий с сохранением естественности движений
• точное размещение и удержание логотипов в динамике
• стабильная читаемость текста от кадра к кадру
• согласованность образа при смене ракурса

В основе - MLLM плюс WAN 2.1

Гитхаб
HF

#wan21 #hoi #personalization #i2v #referencing

ID-V2V

переделывает сцену и свет в видео, личность и действия не трогает, На вход нужно собственно исходное видео и измененный первый кадр

Есть версия с контролем глубины сцены

на базе Wan2.1 (T5, VAE, CLIP), SAM3, DiT + VACE
Для глубины - DAViD и DepthAnything-V2

Гитхаб
HF

#relighting #wan21 #videoediting #referencing #sylize

LongLive-Plug

Разработка NVIDIA: один раз дистиллируешь бэкбон — получаешь переиспользуемые адаптеры для всех задач по видео. Ниже модель, но без переобучения под каждый даунстрим-таск

• Few-step LoRA — меньше шагов сэмплирования
• CFG LoRA — регулируемый guidance
• Long-context LoRA — качество на длинных роликах
• Плюг-энд-плей: композиция нужных способностей

• 50 → 4 шага сэмплирования (12.5× быстрее)
• По три LoRA на бэкбон, переиспользуются на задачах семьи
• Перенос в даунстрим-модели без дообучения

HF - есть для #wan21 #wan22 и #minimaxh3

#optimization

MAX

GRACE

Метод сжатия латентов от KAIST AI и Kakao Corp: сжимает видео-автоэнкодер так, что DiT работает на 8× меньшем числе токенов. Ускорение 11.1× при том же качестве по VBench.

• Сжимает предобученный автоэнкодер #Wan21 без потери совместимости с DiT
• Генерация видео с 8× меньшим числом латент-токенов
• Качество на уровне полного пайплайна по VBench
• Без переобучения DiT с нуля — легкая адаптация LoRA

• Wan2.1-I2V-14B: 32.8k → 4.3k токенов
• Ускорение 11.1× при 480×832, 15.5× при 736×1280
• Инференс 78 с против 863 с на A100 80GB
• Асимметричный денойзинг: база чистится раньше остатка

github.com/cvlab-kaist/GRACE
huggingface.co/chimaharicox/GRACE

#optimiozation #t2v #i2v

MAX

DiffusionART

Алгоритм дообучения диффузионных моделей от Kling AI. Обучает модели генерации видео и изображений сильно дешевле - в 12 раз меньше GPU-часов при более высоком вознаграждении.

• RL-дообучение видео- и image-моделей: качество, следование промпту, feedback
• Стабильное обучение без крахов, без настройки EMA-расписания
• Работает на #HunyuanVideo-13B, #Wan21-I2V-14B, #SD35-M

Соль — порядок операций: сначала агрегировать вознаграждения и endpoints, потом регрессия, переиспользуя замороженную цель. Убирает скрытую силу согласованности из классического NFT, из-за которой обучение нестабильно

Гитхаб
HF

#finetuning

MAX