DuoMatching

Метод дистилляции от ByteDance для быстрой генерации видео. Объединяет joint и marginal distribution matching, чтобы учиться сразу у видео- и у картинковых моделей, и даёт качество нескольких шагов почти в реальном времени.

• Генерация видео за несколько шагов вместо десятков, без доп. затрат на инференс
• Учится у видео-учителя и у картинковых моделей (перенос визуальных и семантических приоров)
• Дополняет joint-DMD явным маргинальным матчингом
• Ниже дрейф при автогрегрессивных роллаутах

Важные параметры
• Комбинация joint + marginal DMD
• Побеждает более 80% предпочтений людей в тестах
• Ноль лишних расходов на инференс

Совместный матчинг распределения кадров снимает большой дрейф, но ограничен в качестве и семантике. DuoMatching дополняет его помаргинальным матчингом для кадровых супервизий — на выходе качество и семантика без замедления

github.com/JohnZhan2023/DuoMatching

#optimization

RTX VSR Studio

Отдельное Windows-приложение для апскейла видео через NVIDIA RTX Video Super Resolution. Без ComfyUI и PyTorch — напрямую вызывает SDK NVIDIA. Сделано под длинные ролики: двухчасовой фильм обрабатывается сегментами, при сбое начинаешь с того же кадра, а не с нуля.

• Апскейл до 720p, 1080p, 1440p, 4K с сохранением пропорций кадра
• Resumable-сегменты: сбой или отмена — при повторе продолжается с точного кадра
• Before/after превью с разделителем, тестовый кусок 30 секунд
• Батч-очередь на несколько файлов
• Вывод H.264/HEVC (mp4) и ProRes/DNxHR (mov) под Final Cut и DaVinci
• Пресеты под контент: Balanced, Anime, Film, Screen capture, Old/DVD
• Denoise и deblur на исходном разрешении
• Никогда не перезаписывает файлы, аудио и субтитры копирует как есть
• Есть CLI

• Нужен RTX 20+ (Tensor Cores), драйвер 570.65+, Windows 10 64-bit, ffmpeg
• VRAM почти не важна: кадры по одному, 1080p→4K пике ~1.6 ГБ

Только 8-bit SDR: HDR и 10-bit SDK не тянет, опциональный tonemap меняет картинку. ProRes/DNxHR кодируются на CPU — медленнее и файлы больше. Пробное: 20-я и 30-я серии

#upscale

MAX

ESauron

#оффтоп из разряда шпионских страстей. Помните как по интерференции WiFi сигнала определяли количество и положение людей за стеной?

Тут тоже хитрая штука - научились находить скрытые камеры по всплеску электромагнитной активности при резкой смене освещенности. Во всплеске виноват кодек - он нагружает память и расходует больше энергии

MAX

Накопилось по #minimaxH3 - часть 32

#LoRA

huggingface.co/sandpies/ComfyUI-H3-Video-Upsampler
github.com/dntpi/ComfyUI-H3-Video-Upsampler - H3 Video Upsampler + LoRA апскейла ×2: 2Mpx результат в слепом сравнении выиграл у нативной генерации #upscale

huggingface.co/akatz-ai/MiniMax-H3-Person-Remover-LoRA - Person Remover: оригинальное видео + чистый первый кадр, SAM 3.1 отслеживает и вырезает человека. Чистый кадр делается через Flux Klein («убери X и покажи, что за ним»)

github.com/dotaku22/MosaicDiff -находит и отслеживает мозаику цензуры в клипе и восстанавливает поврежденный участок через H3 + кастомную LoRA #uncensored

huggingface.co/Jacob121294/h3-restore-enhance-improve-lora и huggingface.co/kirk86413/upscale-h3 - LoRA реставрации старого видео/апскейла, без ридми #restoration #upscale

huggingface.co/B0rghese/Minimax_Stereoptical_Process - Stereoptical Process: 2D-целл-анимация поверх 3D-фона. Триггеры Stereoptical Process, 2D Cel Animation over 3D Background

#workflow

civitai.com/articles/36281/comfyui-tutorial-character-swap-with-minimax-h3-using-lora-no-masking - #characterswap без маскирования: меньше VRAM. 0.4Mp за 8 шагов, апскейл до 1.2Mp латентным апскейлером. 3060 6GB: 20 мин генерация + 21 мин апскейл

youtube.com/watch?v=4L4lTf_NCSg - прозрачные видео на H3 в ComfyUI по шагам

github.com/aowind/sprite-action-forge - Sprite Action Forge: одна иллюстрация → полный набор игровых спрайтов движений. Локально, 8GB VRAM. Работает с четвероногими и монстрами

github.com/kubakubkub/ComfyUI_KubaNodes - проекция клипов на фасад здания: разделение на части, свои промпты, анимация слоёв на таймлайне. Вид проекции с точки зрителя

github.com/alaintural/synctile-h3 - SyncTile: 4K-клип — апскейл в латенте + 9 тайлов с блендингом на каждом шаге, декод один раз. Без швов и рассинхрона глаз. ~11 мин на 5-сек 4K на 4090 #upscale

huggingface.co/diffusers-modular/minimax-h3-inpainting - обновление: добавлен mask_drop_step для однопроходного хармониза #inpainting

github.com/wang410922/ComfyUI-H3ReferencePrep/blob/main/ComfyUI-H3ReferencePrep/README.md - H3ReferencePrep: Face Tracker по кадрам, с запасным трекингом головы/человека, ремонтом маски лица и Temporal Sanity Gate

github.com/entert-ai/ComfyUI-H3-RefMods-Lab - RefMod Lab: создание #RefMods из картинок/аудио/видео, выбор источников на лету, токены каждого источника, слияние RefMods. Перетащил RefMod в канвас — подгрузился воркфлоу его создания

#optimization

github.com/Speach1sdef178/ComfyUI-VELA-H3 - VELA 1.0: ускорение вычислений H3 без правок ядра — быстрый путь там, где безопасно, точный там, где важно. VDN 1.1 → VDN+VELA: 2:53 → 2:13 на 0.8Mp/5 сек. На 10 сек выигрыша нет (опубликовано честно). 8 шагов VDN+VELA против 20 шагов сырой H3: 3:03 против 8:07. RTX 3090 Ti

youtube.com/watch?v=DvTl-QbDzdQ - групповой тест H3 PDMD-ускорений

Step 5 Preview

Китайская модель от StepFun уровня Kimi и GLM, доступная бесплатно в OpenCode. На OpenRouter вышла на первое место. Разреженная модель с окном контекста в миллион токенов.

• Кодинг уровня Kimi и GLM, бесплатно в OpenCode
• Миллионный контекст дешевле за счtт разреженной архитектуры
• Держит длительные задачи с проверками и доработками

openrouter.ai/stepfun/step-5-preview

#giveaway #coding

MAX

ManimGX

Открытый движок 3D-анимации для ИИ-агентов. На Rust и wgpu, полностью совместим с Python API Manim CE. Агент пишет сцену — на выходе готовый MP4

• Совместимость с Manim CE API — писал код под Manim, работает и тут
• Шрифты, набор формул и кодирование видео уже в пакете — ничего докупать не надо

Спасибо @Endorpheen

#animation #agent

MAX