Media is too big
VIEW IN TELEGRAM
Veda от ByteDance, HKU и USTC
Разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы - на 90-95% тратится меньше вычислений при почти незаметной разнице
• 90% разреженность на уровне полного attention по человеческим оценкам
• топ-k пропуск тайлов - внимание масштабируется почти линейно, а не O(N²)
• головы и слои получают свои формы тайлов - локальные и дальние зависимости
• дистилляция от полного attention через KL - до бинаризации маски
• 720P 241 кадр: 19.4 мин до 3.8 мин, ускорение 5.1x
• per-layer attention 10.5x быстрее FlashAttention-3
• 90% sparsity на WaverBench1.0 не проигрывает dense (50% против 49%)
Связка под #MiniMaxH3 #T2VA: Ускорение до 2.76x end-to-end на RTX 4090
Гитхаб
HF
Спасибо @m_franz
#optimization
Разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы - на 90-95% тратится меньше вычислений при почти незаметной разнице
• 90% разреженность на уровне полного attention по человеческим оценкам
• топ-k пропуск тайлов - внимание масштабируется почти линейно, а не O(N²)
• головы и слои получают свои формы тайлов - локальные и дальние зависимости
• дистилляция от полного attention через KL - до бинаризации маски
• 720P 241 кадр: 19.4 мин до 3.8 мин, ускорение 5.1x
• per-layer attention 10.5x быстрее FlashAttention-3
• 90% sparsity на WaverBench1.0 не проигрывает dense (50% против 49%)
Связка под #MiniMaxH3 #T2VA: Ускорение до 2.76x end-to-end на RTX 4090
Гитхаб
HF
Спасибо @m_franz
#optimization
❤6👍3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
brag
Клод-скилл, который превращает свежий проект в готовый промо-ролик одной командой. Анализирует репозиторий, сам выбирает продуктовый ракурс и тон, а рендер через Hyperframes от Heygen
• музыка, моушн и текст для запуска в комплекте
• /brag --tone - управление настроением ролика
• /brag --voice - закадровая озвучка через Kokoro
• результат: план, бриф, шеари-копирайты и brag.mp4 в brag-output/
• новая /brag-slim только для Opus 5.5 - без Hyperframes
Установка через плагин для Claude Code, или npx skills add для Codex, opencode, Cursor, Copilot. Нужен Node 22+ и FFmpeg. На старте - 10.2k звезд
#skill #code2video
MAX
Клод-скилл, который превращает свежий проект в готовый промо-ролик одной командой. Анализирует репозиторий, сам выбирает продуктовый ракурс и тон, а рендер через Hyperframes от Heygen
• музыка, моушн и текст для запуска в комплекте
• /brag --tone - управление настроением ролика
• /brag --voice - закадровая озвучка через Kokoro
• результат: план, бриф, шеари-копирайты и brag.mp4 в brag-output/
• новая /brag-slim только для Opus 5.5 - без Hyperframes
Установка через плагин для Claude Code, или npx skills add для Codex, opencode, Cursor, Copilot. Нужен Node 22+ и FFmpeg. На старте - 10.2k звезд
#skill #code2video
MAX
👍13
MERT-v2-FullSong
Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях
• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers
Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков
На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик
#encoder #music
MAX
Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях
• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers
Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков
На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик
#encoder #music
MAX
👍8
Ming Image Prompt Builder
Визуальный редактор структурированных промптов для Ming-Image-0.1-Design в #ComfyUI. Рисуешь прямоугольники на холсте, описываешь объекты и точный текст - на выходе готовый Ming JSON
• прямоугольники для семантических групп - объекты, точный текст, цвета #RRGGBB
• превью раскладки прямо в ноде
• импорт и экспорт JSON с валидацией
• region-редактор: resize, копирование, переключатель слоев фронт/бэк
• работает с официальным текстовым энкодером Ming и с comfyui_ming_native
Схема промпта: canvas_settings + layers с координатами, иерархией и цветами. Геометрия - подсказка для модели, не детерминированный контроль. Без инференса и загрузки моделей - только сборка JSON
*Пишут что Ming очень хорош в изображении текста
#prompting #mingimage #design
MAX
Визуальный редактор структурированных промптов для Ming-Image-0.1-Design в #ComfyUI. Рисуешь прямоугольники на холсте, описываешь объекты и точный текст - на выходе готовый Ming JSON
• прямоугольники для семантических групп - объекты, точный текст, цвета #RRGGBB
• превью раскладки прямо в ноде
• импорт и экспорт JSON с валидацией
• region-редактор: resize, копирование, переключатель слоев фронт/бэк
• работает с официальным текстовым энкодером Ming и с comfyui_ming_native
Схема промпта: canvas_settings + layers с координатами, иерархией и цветами. Геометрия - подсказка для модели, не детерминированный контроль. Без инференса и загрузки моделей - только сборка JSON
*Пишут что Ming очень хорош в изображении текста
#prompting #mingimage #design
MAX
👍10❤1
Nanosaur 2
Компактная модель генерации изображений без цензуры с фокусом на аниме
Неофициальный релиз модели на 670M параметров, обученной на датасете из 14 миллионов изображений по тегам (аниме-стиль, обширный набор персонажей и стилей). Принимает и естественный язык, и теги
Похоже, в отличие от нескольких недавних бесполезных компактных поделок, способных только на 256х256, способен и на полное 1024х1024. Прямо выходное разрешение не указано
• родной VAE и текстовый энкодер на 270M в комплекте
• понимает натуральный язык и теги - что удобнее
• большое покрытие персонажей, арт-стилей и концептов
• часто выигрывает у SDXL, несмотря на меньший размер
• модель 1.3 ГБ, с энкодером и VAE - 2 ГБ
• int8 и w4a8 квантизации уменьшают DiT до 388 МБ
• запускается на слабом железе
Проект ищет финансирование на версию побольше
Есть #int8 и #w4a8 (not recommended
#compact #t2i
MAX
Компактная модель генерации изображений без цензуры с фокусом на аниме
Неофициальный релиз модели на 670M параметров, обученной на датасете из 14 миллионов изображений по тегам (аниме-стиль, обширный набор персонажей и стилей). Принимает и естественный язык, и теги
Похоже, в отличие от нескольких недавних бесполезных компактных поделок, способных только на 256х256, способен и на полное 1024х1024. Прямо выходное разрешение не указано
• родной VAE и текстовый энкодер на 270M в комплекте
• понимает натуральный язык и теги - что удобнее
• большое покрытие персонажей, арт-стилей и концептов
• часто выигрывает у SDXL, несмотря на меньший размер
• модель 1.3 ГБ, с энкодером и VAE - 2 ГБ
• int8 и w4a8 квантизации уменьшают DiT до 388 МБ
• запускается на слабом железе
Проект ищет финансирование на версию побольше
Есть #int8 и #w4a8 (not recommended
#compact #t2i
MAX
👍10👨💻2
This media is not supported in your browser
VIEW IN TELEGRAM
TostAI Sprite Sheet Studio
Делает из видео - игровой спрайт-шит за один проход, полностью локально без внешних API. В одном сервере два инструмента
• генератор - маттинг VRMBG-3.0, автокроп, упаковка в сетку + JSON, превью и GIF
• редактор - правит готовый лист: пивотируй, чини матт, выбивай фон, перепалитровывай
• 44 операции в 9 группах - от pixel-art снэпа до вставки промежуточных кадров
• выравнивание пивота по кадру - убирает джиттер от маттинга
• Docker-образ с моделью в комплекте, нужен NVIDIA GPU от 24 ГБ VRAM
• работает и без докера через Python, веб-морда на 8765 порту
• модель VRMBG-3.0 гейтед - свой HF-токен для скачивания
Есть готовый превью-плеер с лупами и оnion skin. Docker тянет ~7.4 ГБ
github.com/camenduru/TostAI-Sprite-Sheet-Studio
github.com/camenduru/TostUI-tost-sprite-video-docker
#video2sprite #gamedev
MAX
Делает из видео - игровой спрайт-шит за один проход, полностью локально без внешних API. В одном сервере два инструмента
• генератор - маттинг VRMBG-3.0, автокроп, упаковка в сетку + JSON, превью и GIF
• редактор - правит готовый лист: пивотируй, чини матт, выбивай фон, перепалитровывай
• 44 операции в 9 группах - от pixel-art снэпа до вставки промежуточных кадров
• выравнивание пивота по кадру - убирает джиттер от маттинга
• Docker-образ с моделью в комплекте, нужен NVIDIA GPU от 24 ГБ VRAM
• работает и без докера через Python, веб-морда на 8765 порту
• модель VRMBG-3.0 гейтед - свой HF-токен для скачивания
Есть готовый превью-плеер с лупами и оnion skin. Docker тянет ~7.4 ГБ
github.com/camenduru/TostAI-Sprite-Sheet-Studio
github.com/camenduru/TostUI-tost-sprite-video-docker
#video2sprite #gamedev
MAX
👍9❤4
This media is not supported in your browser
VIEW IN TELEGRAM
supersplat-snap
Выравнивание нескольких сцен yf гауссианах в SuperSplat по контрольным точкам
• ставишь парные точки на двух и более сплэтах, метод Umeyama считает поворот, сдвиг и масштаб
• вторичные сплэты подгоняются под первый (Splat A)
• точки редактируются после расстановки - значения X/Y/Z дотягиваются
• после выравнивания точки едут вместе со сплэтом - можно итерировать
• полный undo, работает с .splat и .ply, поддерживает 3+ сплэтов
Установка - клонировать SuperSplat v2.27.3 и перекопировать четыре файла, форк не нужен. Советы по точкам: не ставить все на одной плоскости, 4-6 точек по разным высотам для точного совпадения
#gaussian
MAX
Выравнивание нескольких сцен yf гауссианах в SuperSplat по контрольным точкам
• ставишь парные точки на двух и более сплэтах, метод Umeyama считает поворот, сдвиг и масштаб
• вторичные сплэты подгоняются под первый (Splat A)
• точки редактируются после расстановки - значения X/Y/Z дотягиваются
• после выравнивания точки едут вместе со сплэтом - можно итерировать
• полный undo, работает с .splat и .ply, поддерживает 3+ сплэтов
Установка - клонировать SuperSplat v2.27.3 и перекопировать четыре файла, форк не нужен. Советы по точкам: не ставить все на одной плоскости, 4-6 точек по разным высотам для точного совпадения
#gaussian
MAX
👍9😁2
TrackEverything от CMU и Meta (запрещено в РФ)
Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах
• все точки, а не только с первого кадра - трек начинается, как только точка появилась
• 3D и 2D трассы одновременно, с учётом движения камеры
• классификация статика/динамика покадрово по окнам
• разбиение на дубликаты в 3D-представлении убирает двойные соответствия
Метод через дедупликацию 3D-сцен-репрезентаций - в отличие от предшественников с ретроспективой на первый кадр. Слабые места честно называются: быстрые смещения и текстуры с повторами ломают соответствие
Гитхаб ждем
#tracking
MAX
Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах
• все точки, а не только с первого кадра - трек начинается, как только точка появилась
• 3D и 2D трассы одновременно, с учётом движения камеры
• классификация статика/динамика покадрово по окнам
• разбиение на дубликаты в 3D-представлении убирает двойные соответствия
Метод через дедупликацию 3D-сцен-репрезентаций - в отличие от предшественников с ретроспективой на первый кадр. Слабые места честно называются: быстрые смещения и текстуры с повторами ломают соответствие
Гитхаб ждем
#tracking
MAX
🔥5👍2
Накопилось по #minimaxH3 - часть 28
github.com/fukkun2705-commits/ComfyUI-H3-FaceAutoBypass - сам решает, нужен ли клипу фейсфикс
huggingface.co/vpakarinen/natural-face-speech-h3-lora - #lora мимика + четкая английская речь, добавлены мужской/женский голоса с синхронизацией
huggingface.co/Alissonerdx/Minimax-H3-ComfyUI - экспериментальные #LoRA на перенос стиля и VFX-эдит (тот же шот с одной правкой) #styletransfer
Лора на замену головы #headswap #LoRA
huggingface.co/LiseTY/Minimax-H3-ref2v_Anime_2_Realism - #LoRA для аниме→фотореализм #realism
huggingface.co/JOKER141/MiniMaxH3-GunFu-Gunfight-LORA - #LoRA перестрелок
github.com/RK-BoilingPoint/H3-Visual-Marker-Control - управление кадрами-маркерами: синяя рамка вокруг персонажа и вокруг цели — персонаж сам подходит. Двух персонажей: синий/красный, жtлтый — «дальняя цель»
github.com/dntpi/ComfyUI-H3-Refine - H3 Chain Tone v0.3: компенсация накопленного сдвига яркости при склейке клипов #longvideo
huggingface.co/akatz-ai/MiniMax-H3-Character-Swap-LoRA - LoRA замены персонажа: фон сохраняется лучше базы, но тайминг движений и мимика ненадежны #characterswap
huggingface.co/neph1/minimax_h3_headmounted_fpv_cam - #LoRA «камера на голове» в стиле шутеров от первого лица #pov
huggingface.co/ostris/minimax_h3_training_adapter/tree/main - Ostris H3 Training Adapter v3 #finetuning
huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA - 360-орбита: одни и те же первый/последний кадр, камера облетает застывшую сцену, петля. Для #FL2VA, нужен спец-промпт #cameracontrol
github.com/aaruyou/ComfyUI-RemoteMiniMaxH3 - энкодер H3 на другом ПК, VRAM основной машины свободнее
github.com/aroslanov/ComfyUI-VideoAnalyzer - видео → H3-промпт через VLM. Несколько Qwen VL на выбор под VRAM #prompting #video2prompt
slopus.ai - Slopus: десктоп-приложение для AI-видео локально. Сцены (first/last, animate, pose, replace, extend, bridge), таймлайн с эффектами и экспортом, встроенный агент с отменой #desktop #agent
github.com/lisitskyaa/ComfyUI_UltimateSDUpscaleGuider_H3 - USDU гайдер-апскейл для H3 #upscale
github.com/bbaudio-2025/Comfyui-MMH3-UltimateUpscale - ультимативный #upscale
huggingface.co/Efficient-Large-Model/H3-to-LTX-Latent-Adapter - адаптер латентов H3 → LTX
github.com/fukkun2705-commits/ComfyUI-H3-FaceAutoBypass - сам решает, нужен ли клипу фейсфикс
huggingface.co/vpakarinen/natural-face-speech-h3-lora - #lora мимика + четкая английская речь, добавлены мужской/женский голоса с синхронизацией
huggingface.co/Alissonerdx/Minimax-H3-ComfyUI - экспериментальные #LoRA на перенос стиля и VFX-эдит (тот же шот с одной правкой) #styletransfer
Лора на замену головы #headswap #LoRA
huggingface.co/LiseTY/Minimax-H3-ref2v_Anime_2_Realism - #LoRA для аниме→фотореализм #realism
huggingface.co/JOKER141/MiniMaxH3-GunFu-Gunfight-LORA - #LoRA перестрелок
github.com/RK-BoilingPoint/H3-Visual-Marker-Control - управление кадрами-маркерами: синяя рамка вокруг персонажа и вокруг цели — персонаж сам подходит. Двух персонажей: синий/красный, жtлтый — «дальняя цель»
github.com/dntpi/ComfyUI-H3-Refine - H3 Chain Tone v0.3: компенсация накопленного сдвига яркости при склейке клипов #longvideo
huggingface.co/akatz-ai/MiniMax-H3-Character-Swap-LoRA - LoRA замены персонажа: фон сохраняется лучше базы, но тайминг движений и мимика ненадежны #characterswap
huggingface.co/neph1/minimax_h3_headmounted_fpv_cam - #LoRA «камера на голове» в стиле шутеров от первого лица #pov
huggingface.co/ostris/minimax_h3_training_adapter/tree/main - Ostris H3 Training Adapter v3 #finetuning
huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA - 360-орбита: одни и те же первый/последний кадр, камера облетает застывшую сцену, петля. Для #FL2VA, нужен спец-промпт #cameracontrol
github.com/aaruyou/ComfyUI-RemoteMiniMaxH3 - энкодер H3 на другом ПК, VRAM основной машины свободнее
github.com/aroslanov/ComfyUI-VideoAnalyzer - видео → H3-промпт через VLM. Несколько Qwen VL на выбор под VRAM #prompting #video2prompt
slopus.ai - Slopus: десктоп-приложение для AI-видео локально. Сцены (first/last, animate, pose, replace, extend, bridge), таймлайн с эффектами и экспортом, встроенный агент с отменой #desktop #agent
github.com/lisitskyaa/ComfyUI_UltimateSDUpscaleGuider_H3 - USDU гайдер-апскейл для H3 #upscale
github.com/bbaudio-2025/Comfyui-MMH3-UltimateUpscale - ультимативный #upscale
huggingface.co/Efficient-Large-Model/H3-to-LTX-Latent-Adapter - адаптер латентов H3 → LTX
👍10❤4🔥3