Го тестить реставратор видео Project Starlight

#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance

Wan2.1-control-loras

Аналог контролнета для Wn2.1
Дает повышение качества

Воркфлоу в комментах

#enhance #video2video #upscale #videorestoration

Topaz Labs Video AI 7

реставратор видео Starlight mini - видимо, облегченная для локального запуска версия - доступен в платном пакете от Topaz Labs за жалкие $249, с целым годом грядущих обновлений

Помимо наваливания разрешения с деталями есть интерполяция кадров (слоумойшен) и (!!!) работа с .EXR - что вообще уникально. Хотя возможно, я слишком мало интересуюсь коммерческими реставраторами

Спасибо @MIXTRESH

#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance #frameinterpolation #exr

SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training

Метод одношаговой реставрации видео с помощью диффузии

Код ждем

#videorestoration

Опубликован код и веса видеореставратора SeedVR2

Одна H100-80G может обрабатывать видео с разрешением 100x720x1280. 4 штуки H100-80G - дополнительно поддерживают видео 1080p и 2K.

Но обещают в будущем Tile-VAE и Progressive Aggregation Sampling

Код
Веса

#videorestoration

SimpleGVR: A Simple Baseline for Latent-Cascaded Video Super-Resolution

Улучшайзер видео от анонимных авторов без кода

Модель работает в два этапа: сначала создаёт базовое видео низкого разрешения, а затем повышает его качество до высокого разрешения

Полное видео

#videorestoration #enhancevideo #enhance #superresolution

Vivid-VR: Distilling Concepts from Text-to-Video Diffusion Transformer for Photorealistic Video Restoration

Реставратор видео от Alibaba - Taobao, улучшает качество видео, сохраняя реалистичность текстур и временную согласованность

Для согласованности и контроля используют контролнет

Базовая модель CogVideoX1.5-5B

Для реставрации 121 кадра видео требуется примерно 43 ГБ VRAM
Если хотите уменьшить использование VRAM, замените "pipe.enable_model_cpu_offload" на "pipe.enable_sequential_cpu_offload" в ./VRDiT/inference.py - потребление сокращается до 25 ГБ за счет скорости

Код

Спасибо @m_franz

#videorestoration #video2video #upscale

FLASHVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution

Апскейл-реставрация видео в реальном времени на базе WAN 2.1

∼17 FPS for 768 × 1408 на одном A100 GPU

Рекомендуют всегда делать апскейл 4x для лучших результатов

Использует три ключевых инновации: трёхэтапный процесс дистилляции для потокового суперразрешения, локально ограниченное разрежённое внимание для сокращения избыточных вычислений и крошечный условный декодер для ускорения реконструкции без потери качества

Уже добавлен в #ComfyUI

HF
Гитхаб
Воркфлоу уже у нас в чате
Веса у Kijai для Comfy

Спасибо @Qwinty

#upscale #upscalevideo #videorestoration #superresolution #workflow #realtime

FlashVSR-v1.1

Обновился апскейлер-реставратор видео на базе WAN
Улучшили стабильность и точность
———————————————————

Wan2.2-T2V-A14B-4steps-lora-rank64-Seko-V2.0
Обновилась ускорялка WAN 2,2

Спасибо @m_franz

#upscale #upscalevideo #videorestoration #superresolution #workflow #realtime #lora #optimization

SwiftVR

Одношаговый реставратор-апскейлер видео в рилтайме на базе #wan22

Решает две основные проблемы существующих методов:
1. Квадратичная сложность пространственного внимания при высоких разрешениях.
2. Высокие требования к памяти и задержке из-за тяжёлых видеоавтоэнкодеров

* Restoration-aware Autoencoder (ReAE). Лёгкий энкодер-декодер, совместно настроенный с DiT в пиксельном пространстве, устраняет узкое место, связанное с 3D-VAE и декодированием с разбивкой на тайлы
* Потоковое восстановление. Обработка видео происходит по частям без использования будущих кадров

26 FPS 1080p на RTX 5090, 31 FPS QHD на H100, 14 FPS 4K на H100

В чате уже потестили, результат невпечатляющий

Гитхаб
HF

Спасибо @m_franz

#videorestoration #upscalevideo #realtime

VRGDG SeedVR2 TensorRT Studio

Локальный инструмент для реставрации и апскейла видео на GPU. Берет пайплайн SeedVR2 и превращает в удобный воркфлоу под Windows

• загрузка видео и превью короткого отрезка перед полным рендером
• сравнение результата: Original, Restored, Compare, Side by side
• восстановление рендера после обрыва - сохраненные чанки продолжают с места остановки
• настройка разрешения, aspect policy, точности модели, temporal batch, seed, цветокоррекции
• финальная обработка без повторного рендера - шарпенинг, зерно, сглаживание швов, skin finishing
• история проектов - медиа, манифесты и логи хранятся вместе в outputs

• TensorRT ускоряет VAE decoding на NVIDIA RTX, работает быстрее обычного SeedVR2
• 8 секундный клип с 360p до 2K на RTX 5090 моделью 7B Sharp FP16 - около 8 минут, время зависит от разрешения источника, fps и VRAM

#videorestoration #upscale #windows

AetherScale

Кастом пак #ComfyUI от подписчика @vj_vizart

Апскейл и восстановление видео, HDR-тонирование, анализ движения, экспериментальный #DLSS5

• апскейл через NVIDIA VFX с подавлением шума, артефактов и размытия
• CUDA HDR-тонирование и цветокоррекция
• анализ движения кадр за кадром со сценами-разрезами и компактным хранением в FP16
• экспериментальный DLSS 5 Neural Rendering с режимами вывода от 1x до 3x

#upscale #videorestoration

VK | MAX

LynnReal-Omni

Единая модель на базе #MiniMaxH3 для всех видео-задач: #t2v, #i2v, генерация по позе, structural control, omni-reference generation, #styletransfer, видео-редактирование, восстановление деградированного видео и стриминг длинных видео. 4 шага

Принимает разнородные входы — референсы внешности, 3D-рендеры, записи игр. Агент может компоновать условия внутри одной модели

LynnReal-Omni-Flash (27B, 3 шага) — ускоренная с легким VAE-декодером. На одном H100 генерация + декодинг 22 кадров 540p: 843 ms (Standard), 377 ms (Flash). Основа для #realtime стриминга.

Гитхаб
ComfyUI

#comfyui #videoediting #controlnet #videorestoration #imageediting