StoryMem: Multi-shot Long Video Storytelling with Memory
А вот генерилка сюжетных мультишот видео - со склейками
Архитектура Memory-to-Video, M2V запоминает набор ключевых кадров из уже сгенерированных шотов и кодирует их в 3d VAE. Или как-то так
Это лора на #wan22
Гитхаб: https://github.com/Kevin-thu/StoryMem
HF: https://huggingface.co/Kevin-thu/StoryMem
#lora #longvideo #text2film
А вот генерилка сюжетных мультишот видео - со склейками
Архитектура Memory-to-Video, M2V запоминает набор ключевых кадров из уже сгенерированных шотов и кодирует их в 3d VAE. Или как-то так
Это лора на #wan22
Гитхаб: https://github.com/Kevin-thu/StoryMem
HF: https://huggingface.co/Kevin-thu/StoryMem
#lora #longvideo #text2film
🔥12👍5
Media is too big
VIEW IN TELEGRAM
Yume 1.5
Интерактивный генератор миров по тексту, по картинке, по текстовому описанию событий. С заявкой на победу над проблемой быстрого переполнения исторического контекста
Внутри авторегрессионный потоковый видеогенератор с Self-forcing на #wan22 5B 720P
WASD - навигация
Для рилтайма вероятно потребуется A100
Гитхаб
HF
#longvideo #world #streaming #realtime
Интерактивный генератор миров по тексту, по картинке, по текстовому описанию событий. С заявкой на победу над проблемой быстрого переполнения исторического контекста
Внутри авторегрессионный потоковый видеогенератор с Self-forcing на #wan22 5B 720P
WASD - навигация
Для рилтайма вероятно потребуется A100
Гитхаб
HF
#longvideo #world #streaming #realtime
👍5❤2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Using LTX-2 as an upscaler (temporal and spatial) for WAN 2.2
Гайд по использованию #LTX2 для апскейла видео из #WAN22 - убирает артефакты, желе и делает временной апскейл.
Берут видео от WAN (720p→1440p или 440p→1080p), прогоняют через LTX-2 с denoising не выше 0.15, чтобы избежать blur и distortions.
Два воркфлоу для ComfyUI: первый генерит WAN-видео за 3 шага, второй апскейлит LTX-2 (OOM если вместе).
Сравнение с SeedVR показывает, что LTX лучше держит детали и smoothness, особенно на motion-heavy сценах.
воркфлоу
#upscale #workflow
Гайд по использованию #LTX2 для апскейла видео из #WAN22 - убирает артефакты, желе и делает временной апскейл.
Берут видео от WAN (720p→1440p или 440p→1080p), прогоняют через LTX-2 с denoising не выше 0.15, чтобы избежать blur и distortions.
Два воркфлоу для ComfyUI: первый генерит WAN-видео за 3 шага, второй апскейлит LTX-2 (OOM если вместе).
Сравнение с SeedVR показывает, что LTX лучше держит детали и smoothness, особенно на motion-heavy сценах.
воркфлоу
#upscale #workflow
👍14🔥10🤔1🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
A Very Big Video Reasoning Suite / VBVR-Wan2.2
Набор задач, лидерборд и дообученная модель для проверки «разумности» видео‑генерации: не просто красиво двигать пиксели, а выполнять чёткие, проверяемые инструкции в видео.
Датасет: синтетические задачи на счёт, перемещение объектов, изменения сцены, логику и причинность, где можно однозначно проверить, правильно ли выполнено действие.
VBVR-Wan2.2 — #Wan22, дообученный на этом датасете: лучше держит контролируемые манипуляции в стабильных сценах (повернуть, переместить, добавить/убрать объект по инструкции), местами догоняя и обгоняя проприетарные модели на таких задачах.
При этом базовое качество генерации Wan 2.2 почти не просаживается: визуал остаётся на уровне, добавляется управляемость и следование правилам.
HF
Лидерборд
#leaderboard #reasoning
Набор задач, лидерборд и дообученная модель для проверки «разумности» видео‑генерации: не просто красиво двигать пиксели, а выполнять чёткие, проверяемые инструкции в видео.
Датасет: синтетические задачи на счёт, перемещение объектов, изменения сцены, логику и причинность, где можно однозначно проверить, правильно ли выполнено действие.
VBVR-Wan2.2 — #Wan22, дообученный на этом датасете: лучше держит контролируемые манипуляции в стабильных сценах (повернуть, переместить, добавить/убрать объект по инструкции), местами догоняя и обгоняя проприетарные модели на таких задачах.
При этом базовое качество генерации Wan 2.2 почти не просаживается: визуал остаётся на уровне, добавляется управляемость и следование правилам.
HF
Лидерборд
#leaderboard #reasoning
👍7❤1🔥1
Kijai выложил рассуждающую лору VBVR-Wan2.2
Коротко, VBVR делает модель умнее
Вносит тонкие изменения в движение и лучше следует промпту
Есть мнение, что помогает решать проблему «туннелирования» (tunneling problem), которая приводит к десинхронизации движения, например, когда человек поворачивается, а его голова остаётся на месте
HF
#reasoning #text2video #image2video #optimization #wan22 #lora
Коротко, VBVR делает модель умнее
Вносит тонкие изменения в движение и лучше следует промпту
Есть мнение, что помогает решать проблему «туннелирования» (tunneling problem), которая приводит к десинхронизации движения, например, когда человек поворачивается, а его голова остаётся на месте
HF
#reasoning #text2video #image2video #optimization #wan22 #lora
Telegram
Нейронавт | Нейросети в творчестве
A Very Big Video Reasoning Suite / VBVR-Wan2.2
Набор задач, лидерборд и дообученная модель для проверки «разумности» видео‑генерации: не просто красиво двигать пиксели, а выполнять чёткие, проверяемые инструкции в видео.
Датасет: синтетические задачи на…
Набор задач, лидерборд и дообученная модель для проверки «разумности» видео‑генерации: не просто красиво двигать пиксели, а выполнять чёткие, проверяемые инструкции в видео.
Датасет: синтетические задачи на…
👍18🤔5❤1😱1
This media is not supported in your browser
VIEW IN TELEGRAM
X-Dub: From Inpainting to Editing
Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.
Работает с видео дольше минуты без потери качества и «сдвига» изображения
Гитхаб
HF
Спасибо @m_franz
#lipsync #dubbing #video2video #audio2video #characteranimation
Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.
Работает с видео дольше минуты без потери качества и «сдвига» изображения
Гитхаб
HF
Спасибо @m_franz
#lipsync #dubbing #video2video #audio2video #characteranimation
🔥15❤1🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
ComfyUI Wan VACE Video Joiner
Сборщик пачки шотов в единое целое с плавными переходами. Использует Wan 2.1 VACE или Wan 2.2 Fun VACE для генерации новых кадров на стыках клипов, чтобы переходы выглядели естественно
Автоматически заменяет шумные или артефактные кадры на границах клипов.
Умеет зацикливать видео — последний шот будет плавно переходить в первый
Civitai
#wan21 #wan22 #vace #comfyui #workflow
Сборщик пачки шотов в единое целое с плавными переходами. Использует Wan 2.1 VACE или Wan 2.2 Fun VACE для генерации новых кадров на стыках клипов, чтобы переходы выглядели естественно
Автоматически заменяет шумные или артефактные кадры на границах клипов.
Умеет зацикливать видео — последний шот будет плавно переходить в первый
Civitai
#wan21 #wan22 #vace #comfyui #workflow
👍18❤1
Wan2.2-I2V-A14B-4step-720p-high / low
Lightx2v выпустили новую малошаговую лору для WAN 2.2
fp8
Kijai
#wan22 #lora #distilled #optimization
Lightx2v выпустили новую малошаговую лору для WAN 2.2
fp8
Kijai
#wan22 #lora #distilled #optimization
🤝10🔥3❤1👍1🤔1
Prompt Relay: Inference-Time Prompt Routing for Temporal Control in Multi-Event Video Generation
Хронологический контроль без обучения для создания видео с несколькими событиями. Каждая подсказка направляется в определенный временной сегмент без дополнительных вычислительных затрат. Плагин, прикручено к Wan2.2, CogVideo, HunyuanVideo
Первое видео WAN 2.2 без Prompt Relay, второе - с Prompt Relay
Гитхаб
#wan22 #cogvideo #hunyuanvideo #storycontrol
Хронологический контроль без обучения для создания видео с несколькими событиями. Каждая подсказка направляется в определенный временной сегмент без дополнительных вычислительных затрат. Плагин, прикручено к Wan2.2, CogVideo, HunyuanVideo
Первое видео WAN 2.2 без Prompt Relay, второе - с Prompt Relay
Гитхаб
#wan22 #cogvideo #hunyuanvideo #storycontrol
👍7🔥3
Wan2.2-T2V-A14B-Diffusers-FP8
NVIDIA выпустила квантованную FP8 версию Wan2.2 t2v под GPU Blackwell и TensorRT‑LLM
Ну и что? у нас дядя на квантовальной фабрике работает, у нас этих FP8 просто завались
отличия от оригинала:
• квантование FP8 (MXFP8 с блочным масштабированием)
• оптимизирована под архитектуру Blackwell
• интегрирована с TensorRT-LLM
• калибрована на датасете OpenVid-1M
https://huggingface.co/nvidia/Wan2.2-T2V-A14B-Diffusers-NVFP4
#fp8 #optimization #wan22 #t2v
NVIDIA выпустила квантованную FP8 версию Wan2.2 t2v под GPU Blackwell и TensorRT‑LLM
Ну и что? у нас дядя на квантовальной фабрике работает, у нас этих FP8 просто завались
отличия от оригинала:
• квантование FP8 (MXFP8 с блочным масштабированием)
• оптимизирована под архитектуру Blackwell
• интегрирована с TensorRT-LLM
• калибрована на датасете OpenVid-1M
https://huggingface.co/nvidia/Wan2.2-T2V-A14B-Diffusers-NVFP4
#fp8 #optimization #wan22 #t2v
😁8👍3
Wan2.2-NVFP4-Sparse
Сжатая версия #Wan22 оптимизированная под Blackwell от Lightricks
Быстрее стандартной версии примерно в 50 раз
инференс в 4 шага
480p и 720p
первое видео - базовый ван, второе - Sparse
#nvfp4 #t2v #optimization
Сжатая версия #Wan22 оптимизированная под Blackwell от Lightricks
Быстрее стандартной версии примерно в 50 раз
инференс в 4 шага
480p и 720p
первое видео - базовый ван, второе - Sparse
#nvfp4 #t2v #optimization
🔥8🤷♂3👍2
Media is too big
VIEW IN TELEGRAM
LoomVideo
Мультимодальная модель от Alibaba (5B параметров) для генерации и редактирования видео на Wan 2.2+Qwen3-VL
• генерирует видео из текста
• редактирует видео по текстовым инструкциям
• редактирует видео с эталонным изображением
• создаёт видео из нескольких изображений + текст
github.com/MSALab-PKU/LoomVideo
huggingface.co/MSALab/LoomVideo
Спасибо @m_franz
#wan22 #videoediting #multimodal
Мультимодальная модель от Alibaba (5B параметров) для генерации и редактирования видео на Wan 2.2+Qwen3-VL
• генерирует видео из текста
• редактирует видео по текстовым инструкциям
• редактирует видео с эталонным изображением
• создаёт видео из нескольких изображений + текст
github.com/MSALab-PKU/LoomVideo
huggingface.co/MSALab/LoomVideo
Спасибо @m_franz
#wan22 #videoediting #multimodal
🤔8👍4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
comfyui-lrw-nodes
При использовании WAN2.2 First‑Last Frame (FLF) модель чётко попадает в целевой последний кадр, но промежуточные кадры получаются кривыми если между первым и последним кадром сильно меняется поза или ракурс
Движение между кадрами рывками, появляются артефакты, искажения формы/пропорций, итоговая анимация теряет связность: начало и конец есть, а середина «ломается»
Кастом пак добавляет риманову геодезическую направляющую для WAN2.2 FLF
• исправляет нестабильное движение между кадрами при сильных изменениях позы/ракурса
• вычисляет геодезический путь в латентном пространстве
• мягко подмешивает путь перед KSampler — даёт модели плавный «подсказ» для средних кадров
Workflow
#flf #comfyui #wan22 #workflow
При использовании WAN2.2 First‑Last Frame (FLF) модель чётко попадает в целевой последний кадр, но промежуточные кадры получаются кривыми если между первым и последним кадром сильно меняется поза или ракурс
Движение между кадрами рывками, появляются артефакты, искажения формы/пропорций, итоговая анимация теряет связность: начало и конец есть, а середина «ломается»
Кастом пак добавляет риманову геодезическую направляющую для WAN2.2 FLF
• исправляет нестабильное движение между кадрами при сильных изменениях позы/ракурса
• вычисляет геодезический путь в латентном пространстве
• мягко подмешивает путь перед KSampler — даёт модели плавный «подсказ» для средних кадров
Workflow
#flf #comfyui #wan22 #workflow
🔥11
SwiftVR
Одношаговый реставратор-апскейлер видео в рилтайме на базе #wan22
Решает две основные проблемы существующих методов:
1. Квадратичная сложность пространственного внимания при высоких разрешениях.
2. Высокие требования к памяти и задержке из-за тяжёлых видеоавтоэнкодеров
* Restoration-aware Autoencoder (ReAE). Лёгкий энкодер-декодер, совместно настроенный с DiT в пиксельном пространстве, устраняет узкое место, связанное с 3D-VAE и декодированием с разбивкой на тайлы
* Потоковое восстановление. Обработка видео происходит по частям без использования будущих кадров
26 FPS 1080p на RTX 5090, 31 FPS QHD на H100, 14 FPS 4K на H100
В чате уже потестили, результатневпечатляющий
Гитхаб
HF
Спасибо @m_franz
#videorestoration #upscalevideo #realtime
Одношаговый реставратор-апскейлер видео в рилтайме на базе #wan22
Решает две основные проблемы существующих методов:
1. Квадратичная сложность пространственного внимания при высоких разрешениях.
2. Высокие требования к памяти и задержке из-за тяжёлых видеоавтоэнкодеров
* Restoration-aware Autoencoder (ReAE). Лёгкий энкодер-декодер, совместно настроенный с DiT в пиксельном пространстве, устраняет узкое место, связанное с 3D-VAE и декодированием с разбивкой на тайлы
* Потоковое восстановление. Обработка видео происходит по частям без использования будущих кадров
26 FPS 1080p на RTX 5090, 31 FPS QHD на H100, 14 FPS 4K на H100
В чате уже потестили, результат
Гитхаб
HF
Спасибо @m_franz
#videorestoration #upscalevideo #realtime
👍7😱2
This media is not supported in your browser
VIEW IN TELEGRAM
DreamX-World 1.0
Уже была в мае новость про эту видеомодель мира на базе #wan22
Сейчас выпустили
DreamX-World-5B - вроде 5B уже было, но тут свежие веса 🤷♂️
DreamX-World-5B-Cam - 5-секундные видео с точным контролем камеры
Минута непрерывного хронометража, интерактивность в рилтайме. Хорошая память - можно крутиться и ничего не пропадет
Обещают выпустить какую-то бету
Гитхаб
#cameracontrol #world #intereactive #text2world #realtime
Уже была в мае новость про эту видеомодель мира на базе #wan22
Сейчас выпустили
DreamX-World-5B - вроде 5B уже было, но тут свежие веса 🤷♂️
DreamX-World-5B-Cam - 5-секундные видео с точным контролем камеры
Минута непрерывного хронометража, интерактивность в рилтайме. Хорошая память - можно крутиться и ничего не пропадет
Обещают выпустить какую-то бету
Гитхаб
#cameracontrol #world #intereactive #text2world #realtime
👍7🤔3
DomainShuttle
Реалистичная и стилизованная персонализация видео.
Видеогенерация с заданным объектом в заданном домене. Баланс точности и редактируемости на базе Wan2.2-T2V-A14B (к WAN2.1 тоже прикрутили)
Для работы нужны веса и WAN и самого DS, у последнего highnoise + lownoise весят по 35ГБ. Но опыт оптимизации WAN у нас же есть уже, да?
Гитхаб
HF
#personalization #t2v #referencing #wan22
Реалистичная и стилизованная персонализация видео.
Видеогенерация с заданным объектом в заданном домене. Баланс точности и редактируемости на базе Wan2.2-T2V-A14B (к WAN2.1 тоже прикрутили)
Для работы нужны веса и WAN и самого DS, у последнего highnoise + lownoise весят по 35ГБ. Но опыт оптимизации WAN у нас же есть уже, да?
Гитхаб
HF
#personalization #t2v #referencing #wan22
👍5🔥2👎1
Wan 2.2 I2V: One Expert, FP4, on a Single RTX 5090
Как вы помните, видеогенератор WAN 2.2 состоит из двух экспертов: low noise и high noise. Так вот, TheStage AI взяли low noise и дообучили ему лору на high noise. Получилось: 1 модель + лора
Ну и сверху еще навалили ускорений: NVFP4 + FP4 attention
На сайте два автора подписались - судя по фамилиям русские
Первое видео - обычный low noise
Второе - low noise с лорой
HF
ComfyUI
#wan22 #optimization #nvfp4 #fp4 #lora
Как вы помните, видеогенератор WAN 2.2 состоит из двух экспертов: low noise и high noise. Так вот, TheStage AI взяли low noise и дообучили ему лору на high noise. Получилось: 1 модель + лора
Ну и сверху еще навалили ускорений: NVFP4 + FP4 attention
На сайте два автора подписались - судя по фамилиям русские
Первое видео - обычный low noise
Второе - low noise с лорой
HF
ComfyUI
#wan22 #optimization #nvfp4 #fp4 #lora
🔥21❤1🤔1
SCoPE
Модицфикация видеогенератора для управления камерой. Даешь ей один кадр и траекторию движения камеры - получаешь видео с заданным движением камеры
У каждого пикселя картинки есть луч от камеры в сцену. Пока сцена не сгенерирована, непонятно что там, но луч уже задан пользователем. SCoPE добавляет этот луч в механизм внимания. Внимание начинает сравнивать не только "что изображено" но и "откуда смотрим". Два луча, которые пересекаются в одной точке сцены, усиливают друг друга, так модель понимает геометрию.
• Все типы движения камеры: наезд, отъезд, облёт, подъём краном, произвольные пути
• Можно прогнать сцену с несколькими траекториями
• Управление с клавиш WASD
• Пересъемка входного видео с новой камерой
• Добавляет меньше 0.1% новых параметров - почти бесплатно
Прикручено к #wan22
Гитхаб
HF
#cameracontrol
Модицфикация видеогенератора для управления камерой. Даешь ей один кадр и траекторию движения камеры - получаешь видео с заданным движением камеры
У каждого пикселя картинки есть луч от камеры в сцену. Пока сцена не сгенерирована, непонятно что там, но луч уже задан пользователем. SCoPE добавляет этот луч в механизм внимания. Внимание начинает сравнивать не только "что изображено" но и "откуда смотрим". Два луча, которые пересекаются в одной точке сцены, усиливают друг друга, так модель понимает геометрию.
• Все типы движения камеры: наезд, отъезд, облёт, подъём краном, произвольные пути
• Можно прогнать сцену с несколькими траекториями
• Управление с клавиш WASD
• Пересъемка входного видео с новой камерой
• Добавляет меньше 0.1% новых параметров - почти бесплатно
Прикручено к #wan22
Гитхаб
HF
#cameracontrol
👍7👀1
👍9😁7🍌4
This media is not supported in your browser
VIEW IN TELEGRAM
LongLive-Plug
Разработка NVIDIA: один раз дистиллируешь бэкбон — получаешь переиспользуемые адаптеры для всех задач по видео. Ниже модель, но без переобучения под каждый даунстрим-таск
• Few-step LoRA — меньше шагов сэмплирования
• CFG LoRA — регулируемый guidance
• Long-context LoRA — качество на длинных роликах
• Плюг-энд-плей: композиция нужных способностей
• 50 → 4 шага сэмплирования (12.5× быстрее)
• По три LoRA на бэкбон, переиспользуются на задачах семьи
• Перенос в даунстрим-модели без дообучения
HF - есть для #wan21 #wan22 и #minimaxh3
#optimization
MAX
Разработка NVIDIA: один раз дистиллируешь бэкбон — получаешь переиспользуемые адаптеры для всех задач по видео. Ниже модель, но без переобучения под каждый даунстрим-таск
• Few-step LoRA — меньше шагов сэмплирования
• CFG LoRA — регулируемый guidance
• Long-context LoRA — качество на длинных роликах
• Плюг-энд-плей: композиция нужных способностей
• 50 → 4 шага сэмплирования (12.5× быстрее)
• По три LoRA на бэкбон, переиспользуются на задачах семьи
• Перенос в даунстрим-модели без дообучения
HF - есть для #wan21 #wan22 и #minimaxh3
#optimization
MAX
👍7🔥2