Upscale-A-VideoTemporal-Consistent Diffusion Model for Real-World Video Super-Resolution
Диффузионный апскейлер видео. На вход нужно видео и текстовое описание. Демонстрационные результаты выглядят круто. На деле посмотрим когда выложат код.
Код
#upscale #superresolution #video2video #upscalevideo
Диффузионный апскейлер видео. На вход нужно видео и текстовое описание. Демонстрационные результаты выглядят круто. На деле посмотрим когда выложат код.
Код
#upscale #superresolution #video2video #upscalevideo
🔥3
Media is too big
VIEW IN TELEGRAM
DiffVSR: Enhancing Real-World Video Super-Resolution with Diffusion Models for Advanced Visual Quality and Temporal Consistency
Ну-ка, ну-ка
Еще один апскейлер для видео от китайцев, хвалится консистентностью, на черрипиках хорош
Препринт (Ссылка на сайте не работает)
Код ждем
#upscale #upscalevideo #enhance
Ну-ка, ну-ка
Еще один апскейлер для видео от китайцев, хвалится консистентностью, на черрипиках хорош
Препринт (Ссылка на сайте не работает)
Код ждем
#upscale #upscalevideo #enhance
👍6🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Project Starlight
"Первый в мире" (правда что ли?😕 ) диффузный реставратор видео от Topz Labs, решивший проблему консистентности
6B+ параметров, реставрация до 10 секунд видео - бесплатно (где и как?). 5-минутные видео 1080p - за кредиты
Модель автоматически удаляет шум, размытие, делает апскейл и антиалиасинг
Как же потестить все это волшебство? Говорят, для раннего доступа надо лайкнуть и прокомментировать официальный твит словом "Starlight"
#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance
"Первый в мире" (правда что ли?
6B+ параметров, реставрация до 10 секунд видео - бесплатно (где и как?). 5-минутные видео 1080p - за кредиты
Модель автоматически удаляет шум, размытие, делает апскейл и антиалиасинг
Как же потестить все это волшебство? Говорят, для раннего доступа надо лайкнуть и прокомментировать официальный твит словом "Starlight"
#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11🥴6❤1
Нейронавт | Нейросети в творчестве
Project Starlight "Первый в мире" (правда что ли? 😕 ) диффузный реставратор видео от Topz Labs, решивший проблему консистентности 6B+ параметров, реставрация до 10 секунд видео - бесплатно (где и как?). 5-минутные видео 1080p - за кредиты Модель автоматически…
Го тестить реставратор видео Project Starlight
#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance
#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance
👍3🔥2
Media is too big
VIEW IN TELEGRAM
Topaz Labs Video AI 7
реставратор видео Starlight mini - видимо, облегченная для локального запуска версия - доступен в платном пакете от Topaz Labs за жалкие $249, с целым годом грядущих обновлений
Помимо наваливания разрешения с деталями есть интерполяция кадров (слоумойшен) и (!!!) работа с .EXR - что вообще уникально. Хотя возможно, я слишком мало интересуюсь коммерческими реставраторами
Спасибо @MIXTRESH
#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance #frameinterpolation #exr
реставратор видео Starlight mini - видимо, облегченная для локального запуска версия - доступен в платном пакете от Topaz Labs за жалкие $249, с целым годом грядущих обновлений
Помимо наваливания разрешения с деталями есть интерполяция кадров (слоумойшен) и (!!!) работа с .EXR - что вообще уникально. Хотя возможно, я слишком мало интересуюсь коммерческими реставраторами
Спасибо @MIXTRESH
#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance #frameinterpolation #exr
🔥7👍3😁1
ComfyUI-VideoUpscale_WithModel
ComfyUI ноды для увеличения разрешения видео с использованием недиффузных моделей, таких как ESRGAN.
Работает с моделями из базы https://openmodeldb.info/
#ComfyUI #upscalevideo
ComfyUI ноды для увеличения разрешения видео с использованием недиффузных моделей, таких как ESRGAN.
Работает с моделями из базы https://openmodeldb.info/
#ComfyUI #upscalevideo
👍9🔥2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Topaz Labs Astra
"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight
Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)
Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"
Или идем на офсайт и жмем кнопку Get early access
#upscalevideo #upscale #frameinterpolation
"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight
Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)
Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"
Или идем на офсайт и жмем кнопку Get early access
#upscalevideo #upscale #frameinterpolation
❤7😈1
astra.app
"Первый в мире" креативный апскейлер видео от Topaz Labs вышел из стадии раннего доступа и доступен для всех... от $39 в месяц
#upscalevideo #upscale #frameinterpolation
"Первый в мире" креативный апскейлер видео от Topaz Labs вышел из стадии раннего доступа и доступен для всех... от $39 в месяц
#upscalevideo #upscale #frameinterpolation
🥴5🤔1💩1🤡1
Media is too big
VIEW IN TELEGRAM
DLoRAL: One-Step Diffusion for Detail-Rich and Temporally Consistent Video Super-Resolution
Новый апскейлер с фокусом на точность, а не креатив. По капотом SD2.1
Код
Бонус: список диффузных видео апскейлеров
#upscale #Upscalevideo #superresolution
Новый апскейлер с фокусом на точность, а не креатив. По капотом SD2.1
Код
Бонус: список диффузных видео апскейлеров
#upscale #Upscalevideo #superresolution
👍8🤔1
imgupscaler.ai
Годный апскейлер картинок
Есть также апскейл видео, реставрация старых фото, удаление блюра, шарпенинг текста на фото
Ну видео апскейлер сомнительный, может там просто RealESRGAN
А вот для картинок вполне - юзайте Pro ибо Fast некачественный.
Апскейлит пошагово 2K - 4K и т д. На 2K результат максимально понравился, на 4K уже вместо глаз месиво и цвет искажен
Лимиты неизвестны
#upscale #upscalevideo #imagerestoration #deblur
Годный апскейлер картинок
Есть также апскейл видео, реставрация старых фото, удаление блюра, шарпенинг текста на фото
Ну видео апскейлер сомнительный, может там просто RealESRGAN
А вот для картинок вполне - юзайте Pro ибо Fast некачественный.
Апскейлит пошагово 2K - 4K и т д. На 2K результат максимально понравился, на 4K уже вместо глаз месиво и цвет искажен
Лимиты неизвестны
#upscale #upscalevideo #imagerestoration #deblur
❤4🔥3
WAN 2.2 Upscale
Нет, это не новая модель, а способность WAN делать апскейл реальных видео, которую помог мне открыть анонимный юзер из чата (тут хотелось написать его ник но он скрыт). Апскейл генеративных видео - не такая скользкая поляна, там есть пространство для художественного маневра. А вот в реальных видео если появилось что-то лишнее после апскейла - это уже другое видео, в продакшене зачастую брак.
WAN может быть трудно настроить для апскейла, особенно если вы используете GGUF а не полную жирную модель. Кроме того, он склонен перевирать цвет и моргать яркостью в начале генерации. Ну и еще можете схватить OOM (переполнение памяти) если дерзнете апскейлить слишком сильно или слишком длинное видео.
Но скорость сопоставима со топазовским Starlight-mini который в реальности работает вовсе не так волшебно как в рекламе. А качественно у WAN огромный потенциал. Да, надо уметь запускать воркфлоу в комфи и иногда покручивать рульки. Ждать, покручивать и повторять.
На примере с Дуровым первое - оригинал-эталон. Второе - даунскейл до 512p - на нем и экспериментировал. Третье - starlight-mini, взял короткий кусочек. Четвертое - WAN 2.2. Видео для апскейла довольно сложное учитывая что там изначально деталей мало было, а после апскейла появились черные края.
Ну а с убитой гифкой Де Фюнеса вообще чудо сотворил. То бишь, и в реставрацию умеет.
В комменты закину пару воркфлоу. У меня лучше всего работает WAN2.2-distributed-upscale-video. Промпт для апскейла можно делать в AIVideoPrompter
#captioning #video2text #upscalevideo #workflow
Нет, это не новая модель, а способность WAN делать апскейл реальных видео, которую помог мне открыть анонимный юзер из чата (тут хотелось написать его ник но он скрыт). Апскейл генеративных видео - не такая скользкая поляна, там есть пространство для художественного маневра. А вот в реальных видео если появилось что-то лишнее после апскейла - это уже другое видео, в продакшене зачастую брак.
WAN может быть трудно настроить для апскейла, особенно если вы используете GGUF а не полную жирную модель. Кроме того, он склонен перевирать цвет и моргать яркостью в начале генерации. Ну и еще можете схватить OOM (переполнение памяти) если дерзнете апскейлить слишком сильно или слишком длинное видео.
Но скорость сопоставима со топазовским Starlight-mini который в реальности работает вовсе не так волшебно как в рекламе. А качественно у WAN огромный потенциал. Да, надо уметь запускать воркфлоу в комфи и иногда покручивать рульки. Ждать, покручивать и повторять.
На примере с Дуровым первое - оригинал-эталон. Второе - даунскейл до 512p - на нем и экспериментировал. Третье - starlight-mini, взял короткий кусочек. Четвертое - WAN 2.2. Видео для апскейла довольно сложное учитывая что там изначально деталей мало было, а после апскейла появились черные края.
Ну а с убитой гифкой Де Фюнеса вообще чудо сотворил. То бишь, и в реставрацию умеет.
В комменты закину пару воркфлоу. У меня лучше всего работает WAN2.2-distributed-upscale-video. Промпт для апскейла можно делать в AIVideoPrompter
#captioning #video2text #upscalevideo #workflow
👍19❤6🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
FLASHVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution
Апскейл-реставрация видео в реальном времени на базе WAN 2.1
∼17 FPS for 768 × 1408 на одном A100 GPU
Рекомендуют всегда делать апскейл 4x для лучших результатов
Использует три ключевых инновации: трёхэтапный процесс дистилляции для потокового суперразрешения, локально ограниченное разрежённое внимание для сокращения избыточных вычислений и крошечный условный декодер для ускорения реконструкции без потери качества
Уже добавлен в #ComfyUI
HF
Гитхаб
Воркфлоу уже у нас в чате
Веса у Kijai для Comfy
Спасибо @Qwinty
#upscale #upscalevideo #videorestoration #superresolution #workflow #realtime
Апскейл-реставрация видео в реальном времени на базе WAN 2.1
∼17 FPS for 768 × 1408 на одном A100 GPU
Рекомендуют всегда делать апскейл 4x для лучших результатов
Использует три ключевых инновации: трёхэтапный процесс дистилляции для потокового суперразрешения, локально ограниченное разрежённое внимание для сокращения избыточных вычислений и крошечный условный декодер для ускорения реконструкции без потери качества
Уже добавлен в #ComfyUI
HF
Гитхаб
Воркфлоу уже у нас в чате
Веса у Kijai для Comfy
Спасибо @Qwinty
#upscale #upscalevideo #videorestoration #superresolution #workflow #realtime
👍13🔥8❤1
FlashVSR-v1.1
Обновился апскейлер-реставратор видео на базе WAN
Улучшили стабильность и точность
———————————————————
Wan2.2-T2V-A14B-4steps-lora-rank64-Seko-V2.0
Обновилась ускорялка WAN 2,2
Спасибо @m_franz
#upscale #upscalevideo #videorestoration #superresolution #workflow #realtime #lora #optimization
Обновился апскейлер-реставратор видео на базе WAN
Улучшили стабильность и точность
———————————————————
Wan2.2-T2V-A14B-4steps-lora-rank64-Seko-V2.0
Обновилась ускорялка WAN 2,2
Спасибо @m_franz
#upscale #upscalevideo #videorestoration #superresolution #workflow #realtime #lora #optimization
huggingface.co
JunhaoZhuang/FlashVSR-v1.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍16
This media is not supported in your browser
VIEW IN TELEGRAM
Topaz's Flagship Upscale Models in ComfyUI
Топаз завезли в комфи.
Объясняю понятным языком: платно, в API ноды
для видео:
- Video Upscale (до 4K)
- Starlight Fast — повышение чёткости видео с помощью диффузионной технологии
- Starlight Creative (Astra) — творческое улучшение видео
- Apollo — интерполяция кадров
для изображений:
- Image Enhance (до 8K)
- Bloom (Reimagine) — креативное улучшение и переработка изображений
#upscale #comfyui #upscalevideo #imagerestoration #frameinterpolation
Топаз завезли в комфи.
Объясняю понятным языком: платно, в API ноды
для видео:
- Video Upscale (до 4K)
- Starlight Fast — повышение чёткости видео с помощью диффузионной технологии
- Starlight Creative (Astra) — творческое улучшение видео
- Apollo — интерполяция кадров
для изображений:
- Image Enhance (до 8K)
- Bloom (Reimagine) — креативное улучшение и переработка изображений
#upscale #comfyui #upscalevideo #imagerestoration #frameinterpolation
👍8😁2🤔1
Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion
Потоковый апскейлер видео. Ускоряет обработку в 130 раз, улучшает перцептивное качество.
Пишут что обрабатывает кадры 720p за 0,328 секунды на RTX 4090. Сколько кадров обрабатывает за это время? Ну кто так пишет? Тот кто хочет напустить тумана. Похоже что речь о задержке а не времени обработки целого видео
Работает только с прошлыми кадрами, не используя будущие для обработки
Гитхаб
HF
#vsr #upscale #upscalevideo #streaming
Потоковый апскейлер видео. Ускоряет обработку в 130 раз, улучшает перцептивное качество.
Пишут что обрабатывает кадры 720p за 0,328 секунды на RTX 4090. Сколько кадров обрабатывает за это время? Ну кто так пишет? Тот кто хочет напустить тумана. Похоже что речь о задержке а не времени обработки целого видео
Работает только с прошлыми кадрами, не используя будущие для обработки
Гитхаб
HF
#vsr #upscale #upscalevideo #streaming
👍7❤2🔥1🤯1😱1
This media is not supported in your browser
VIEW IN TELEGRAM
SparkVSR
Интерактивный улучшайзер видео на базе CogVideoX1.5-5B-I2V от Google, повышает четкость и качество
В отличие от других моделей, позволяет пользователю контролировать процесс улучшения видео с помощью ключевых кадров
Выбирать ключевые кадры можно разными способами: вручную, через кодек или случайную выборку.
Подходит не только для улучшения качества, но и для реставрации старых фильмов и переноса стиля между видео.
Гитхаб
HF
#upscalevideo #enhancevideo #superresolution #upscale
Интерактивный улучшайзер видео на базе CogVideoX1.5-5B-I2V от Google, повышает четкость и качество
В отличие от других моделей, позволяет пользователю контролировать процесс улучшения видео с помощью ключевых кадров
Выбирать ключевые кадры можно разными способами: вручную, через кодек или случайную выборку.
Подходит не только для улучшения качества, но и для реставрации старых фильмов и переноса стиля между видео.
Гитхаб
HF
#upscalevideo #enhancevideo #superresolution #upscale
🔥14👍5
ComfyUI_SparkVSR_SM
Кастом ноды видеоэнхенсера SparkVSR
Подписчики уже активно тестируют, результаты в чате
Спасибо @m_franz
#upscalevideo #enhancevideo #superresolution #upscale #colorize
Кастом ноды видеоэнхенсера SparkVSR
Подписчики уже активно тестируют, результаты в чате
Спасибо @m_franz
#upscalevideo #enhancevideo #superresolution #upscale #colorize
👍11
SwiftVR
Одношаговый реставратор-апскейлер видео в рилтайме на базе #wan22
Решает две основные проблемы существующих методов:
1. Квадратичная сложность пространственного внимания при высоких разрешениях.
2. Высокие требования к памяти и задержке из-за тяжёлых видеоавтоэнкодеров
* Restoration-aware Autoencoder (ReAE). Лёгкий энкодер-декодер, совместно настроенный с DiT в пиксельном пространстве, устраняет узкое место, связанное с 3D-VAE и декодированием с разбивкой на тайлы
* Потоковое восстановление. Обработка видео происходит по частям без использования будущих кадров
26 FPS 1080p на RTX 5090, 31 FPS QHD на H100, 14 FPS 4K на H100
В чате уже потестили, результатневпечатляющий
Гитхаб
HF
Спасибо @m_franz
#videorestoration #upscalevideo #realtime
Одношаговый реставратор-апскейлер видео в рилтайме на базе #wan22
Решает две основные проблемы существующих методов:
1. Квадратичная сложность пространственного внимания при высоких разрешениях.
2. Высокие требования к памяти и задержке из-за тяжёлых видеоавтоэнкодеров
* Restoration-aware Autoencoder (ReAE). Лёгкий энкодер-декодер, совместно настроенный с DiT в пиксельном пространстве, устраняет узкое место, связанное с 3D-VAE и декодированием с разбивкой на тайлы
* Потоковое восстановление. Обработка видео происходит по частям без использования будущих кадров
26 FPS 1080p на RTX 5090, 31 FPS QHD на H100, 14 FPS 4K на H100
В чате уже потестили, результат
Гитхаб
HF
Спасибо @m_franz
#videorestoration #upscalevideo #realtime
👍7😱2