Wan-Streamer v0.2

Повысили разрешение с 192×336 до 640×368, сохранив скороость.

Для этого переработали архитектуру генератора латентных представлений для мульти-GPU

Расширили возможности визуального формата. Теперь работает не только с крупными планами, но и со сценами, где важна общая картина взаимодействия

Кода и весов по прежнему нет

#avatar #intereactive #realtime #streaming #research

Wan-Streamer v0.3

Новая версия интерактивного аудио-видео-генератора

Отличия v0.3 от v0.2:

• v0.3 более универсальная модель, с более выразительным поведением агента
• в v0.3 добавлено свободное поведение и действия, описываемые естественным языком
• разрешение и скорость прежние: 640×368, 25 fps
• v0.3 использует предварительное обучение на видео с последующим адаптацией к взаимодействию, тогда как v0.2 фокусировалась на данных взаимодействия
• новая версия позволяет смешивать речь и действия в одной временной последовательности, их синхронизация учится вместе и генерируется напрямую

И по-прежнему неизвестно будет ли опенсорс

Спасибо @m_franz

#avatar #intereactive #realtime #streaming #research

InfinityEdit

Инструмент для бесконечного редактирования видео по текстовым командам, который не заканчивается, от Zhejiang University + Alibaba Group. Видео продолжает генерироваться, а команды накладываются на живой поток одна за другой

- Правки по текстовым инструкциям
- Поток не обрывается: каждая новая правка продолжает уже измененное видео, а не переписывает его заново
- Генерация длинного видео с накоплением правок без потери качества

- Работает поверх готового видеогенератора, сам инструмент легкий

Замороженный бэкбоун - Helios-Distilled

Гитхаб

#streaming #videoediting

VK | MAX

Gemini 3.5 Transcribe (Google)

Новая модель распознавания речи от Google. В отличие от обычных ASR сразу чистит мусор, форматирует и понимает контекст

- Умная транскрипция: убирает "эээ", "ммм", исправляет самоперебивы, автоматом форматирует
- Распознавание более 85 языков с региональными акцентами, должен понимать русский
- Определение до 3 спикеров в записи (3+ экспериментально)
- Пользовательский словарь: специфические термины, коды, названия
- Вызов функций: может делегировать сложные задачи вроде генерации картинок другим моделям Gemini

- Стриминг: субсекундная задержка через Live API

- Преемник Chirp 3 - значительный скачок по качеству
- Замена традиционным ASR-пайплайнам: одна модель вместо конвейера из детекции, диарнализации и пост-обработки

#ASR #STREAMING

VK | MAX

Накопилось по #minimaxH3 - часть 22

github.com/TaoLiveAIGC/TaoMate-H3 - стриминг-рантайм генерации аудио+видео от Alibaba TaoLive. Чанками, непрерывная длинная генерация, 480p/768p/1080p

huggingface.co/Alissonerdx/Minimax-H3-ComfyUI - #LoRA на четкость H3: то же разрешение, но резче или мыльнее. Не апскейлер

github.com/TwoAbove/ComfyUI-H3VideoOutpaint - аутпейнтинг видео без промпта: скользящее окно расширяет клип (например до 9:12) с сохранением тайминга и звука. Окно-контекст до 107 кадров. Для 20 шагов res_multistep

huggingface.co/datasets/jacokon/fasth3-live - FastH3 Live: непрерывный рилтайм стрим видео+аудио на одной 5090. 721 сцена, 22.1 fps на 448×448. 4-шаговый DiT, sage attention, ретайминг под slow-motion. 22.7GB

github.com/RH-RunningHub/MiniMax-H3-MultiGPU-Lightning - RunningHub H3 Lightning: мультиGPU-рецепт ускорения инференса H3

huggingface.co/drbaph/MiniMax-H3-Turbo-Lora-ComfyUI/tree/main/experimental - экспериментальные DMD турбо #LoRA на 8 шагов

huggingface.co/circlestone-labs/MiniMax-H3-Image-Training-Adapter - адаптер для тренировки LoRA-концептов без порчи видео-знаний модели

github.com/cicalooo/ComfyUI-MM-1Frame - извлечение лучшего кадра: авто-выбор из пяти. Работает с Hard Gravy турбо, Spectrum и Klein 4B для ремонта. Второй референс — OpenPose, требует слово-позу в промпте

reddit.com/r/StableDiffusion/comments/1wdlg0q/instant_references_no_refmod_or_fancy_custom/ - референсы без #RefMods : папка картинок → кадры видео-референса. Много изображений в один вход. Менять набор — чистить кеш

github.com/NyckM/3d-Camera-control-H3-Minimax - контроль камеры от bruxosdovfx. GUI на португальском

github.com/maosika-ai/depthcat - Depthcat: клип → depth-блокаут для Fun Controlnet. Только статинг, без лиц и стиля. Белое близко, чёрное далеко. До 15 сек, нужна доп. модель 111Mb

huggingface.co/FastVideo/FastVideo-Minimax-FastH3-Preview-v0.2 - 4-шаговая v0.2, плюс FastH3-Live 1.2.0

huggingface.co/berryber09/MiniMax-H3-Fun-Controlnet-Union-w4a8 - W4A8 квантизация #ControlNet-Union

github.com/ShamanicArts/h3-spherical-vae - круговое VAE-декодирование для equirectangular видео H3 #panorama

github.com/duckyshell/ComfyUI-MiniMaxH3-FirstBlockCache - FirstBlockCache: cross-step кеш для 20-шаговиков, ~30% быстрее

civitai.com/models/2930172/manga-tone-rendering-lora-for-minimax-h3 - манга-тон для H3: монохром, штриховка, тон держится при движении камеры. Триггер manga-tone rendering

civitai.com/models/2929051/minimax-h3-15-reference-image-workflow - воркфлоу на 15+ референсов: патч .BAT/.PY снимает лимит девяти для #Ref2VA

huggingface.co/Playtime-AI/Minimax_H3-Age_Slider - слайдер возраста #slider

huggingface.co/Alissonerdx/Minimax-H3-ComfyUI - #LoRA переноса стиля + #workflow #styletransfer

#comfyui #srealrime #streaming #optimization #realism

Vidu S2

Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке

S2-Avatar

720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает

S2-Editing

редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки

- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат

API

#realtime #interactive #streaming #videoediting #avatar #vr

VK | MAX