WAN 2.2 Upscale

Нет, это не новая модель, а способность WAN делать апскейл реальных видео, которую помог мне открыть анонимный юзер из чата (тут хотелось написать его ник но он скрыт). Апскейл генеративных видео - не такая скользкая поляна, там есть пространство для художественного маневра. А вот в реальных видео если появилось что-то лишнее после апскейла - это уже другое видео, в продакшене зачастую брак.

WAN может быть трудно настроить для апскейла, особенно если вы используете GGUF а не полную жирную модель. Кроме того, он склонен перевирать цвет и моргать яркостью в начале генерации. Ну и еще можете схватить OOM (переполнение памяти) если дерзнете апскейлить слишком сильно или слишком длинное видео.

Но скорость сопоставима со топазовским Starlight-mini который в реальности работает вовсе не так волшебно как в рекламе. А качественно у WAN огромный потенциал. Да, надо уметь запускать воркфлоу в комфи и иногда покручивать рульки. Ждать, покручивать и повторять.

На примере с Дуровым первое - оригинал-эталон. Второе - даунскейл до 512p - на нем и экспериментировал. Третье - starlight-mini, взял короткий кусочек. Четвертое - WAN 2.2. Видео для апскейла довольно сложное учитывая что там изначально деталей мало было, а после апскейла появились черные края.

Ну а с убитой гифкой Де Фюнеса вообще чудо сотворил. То бишь, и в реставрацию умеет.

В комменты закину пару воркфлоу. У меня лучше всего работает WAN2.2-distributed-upscale-video. Промпт для апскейла можно делать в AIVideoPrompter

#captioning #video2text #upscalevideo #workflow

Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence

Пониматор видео на базе Qwen2.5-VL

Интегрирует в процесс рассуждений ключевые временные метки и ограничивающие рамки, что позволяет делать выводы более обоснованными и надёжными.

Гитхаб
HF

#vlm #video2text #reasoning #captioning

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation

Разработка Nvidia с бенчмарком
Пониматор видео в 4D (с учетом времени)

— 4D-RGPT умеет улавливать 4D особенности видео, включая глубину и движение во времени

— Отличается от других моделей тем, что лучше справляется с задачами, где нужно понимать динамику и пространственные отношения в видео

— Может отвечать на сложные вопросы о том, что происходит в разных частях видео, учитывая глубину и изменения во времени

Код ждем

#vlm #video2text

TimeLens2

Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале

• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов

• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B

Гитхаб
HF
Демо

#vlm #captioning #video2text #mllm