X-AuT
Метод сжатия аудио-энкодера для речевых LLM на примере Qwen3-ASR-0.6B. Убирает 4 из 18 слоtв энкодера, восстанавливает качество через дистилляцию от большой модели (1.7B) — в итоге —21% параметров, —21% латентности на автомобильном PPU, ошибка почти не растёт (+2.5%). С автомобильной спецификой.
Гитхаб
HF
#encoder #optimization #asr
VK | MAX
Метод сжатия аудио-энкодера для речевых LLM на примере Qwen3-ASR-0.6B. Убирает 4 из 18 слоtв энкодера, восстанавливает качество через дистилляцию от большой модели (1.7B) — в итоге —21% параметров, —21% латентности на автомобильном PPU, ошибка почти не растёт (+2.5%). С автомобильной спецификой.
Гитхаб
HF
#encoder #optimization #asr
VK | MAX
👍8❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Mask Forcing (HKUST / LIGHTSPEED / UCLA)
Прием для дистилляции авторегрессивных видеогенераторов. Проблема: при дистилляции из двунаправленной модели в каузальную, видео часто получаются перенасыщенными и сглаженными. Mask Forcing это лечит, ничего не меняя в архитектуре.
Эффекты:
- Быстрее сходится и выше качество
- Больше динамики в движении, лучше следование инструкциям
- Чинится перенасыщение и сглаживание
- Работает и для длинных видео (30 сек в тесте с LongLive)
- Монтируется в любые существующие пайплайны AR дистилляции, chunk-wise и frame-wise
- Не требует реального видео, дополнительных стадий пост-трейна, изменений архитектуры или инференса
На видео слева Self-forcing, справа Mask forcing
Гитхаб
#optimization
VK | MAX
Прием для дистилляции авторегрессивных видеогенераторов. Проблема: при дистилляции из двунаправленной модели в каузальную, видео часто получаются перенасыщенными и сглаженными. Mask Forcing это лечит, ничего не меняя в архитектуре.
Эффекты:
- Быстрее сходится и выше качество
- Больше динамики в движении, лучше следование инструкциям
- Чинится перенасыщение и сглаживание
- Работает и для длинных видео (30 сек в тесте с LongLive)
- Монтируется в любые существующие пайплайны AR дистилляции, chunk-wise и frame-wise
- Не требует реального видео, дополнительных стадий пост-трейна, изменений архитектуры или инференса
На видео слева Self-forcing, справа Mask forcing
Гитхаб
#optimization
VK | MAX
🔥7👍3
DeepSeek-V4-Pro-0813-nvfp4-DSpark
NVIDIA выпустила NVFP4-квант DeepSeek-V4-Pro со спекулятивным декодингом DSpark
Сжали DeepSeek-V4-Pro-0813 (1.65T MoE, 49B активных) в NVFP4 и добавили DSpark. Разница с предыдущим NVFP4-релизом: теперь и draft-голова DeepSeek тоже переведена в NVFP4 (была MXFP4), так что один файл работает и как таргет, и как черновик
#dspark #nvfp4
VK | MAX
NVIDIA выпустила NVFP4-квант DeepSeek-V4-Pro со спекулятивным декодингом DSpark
Сжали DeepSeek-V4-Pro-0813 (1.65T MoE, 49B активных) в NVFP4 и добавили DSpark. Разница с предыдущим NVFP4-релизом: теперь и draft-голова DeepSeek тоже переведена в NVFP4 (была MXFP4), так что один файл работает и как таргет, и как черновик
#dspark #nvfp4
VK | MAX
huggingface.co
nvidia/DeepSeek-V4-Pro-0813-nvfp4-DSpark · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍4😈2
This media is not supported in your browser
VIEW IN TELEGRAM
FastFlowLM (AMD)
Движок для запуска ИИ на ноутбуках с Ryzen AI. Быстро, энергоэффективно, локально.
Гитхаб
Спасибо @krnk_music
#amd #tools
VK | MAX
Движок для запуска ИИ на ноутбуках с Ryzen AI. Быстро, энергоэффективно, локально.
Гитхаб
Спасибо @krnk_music
#amd #tools
VK | MAX
👍12
CVRR (DMIS-Lab — KAIST)
Принудительное визуальное мышление: модель не может ответить на вопрос по картинке, не подумав скрытым состоянием, отделенным от прямого доступа к визуальным данным
Обычная #VLM может жульничать — ответ приходит прямым путем из визуальных токенов. CVRR перекрывает этот обход: ответный декодер видит только рекуррентное скрытое состояние, а не оригинальные визуальные ряды. Если модель ответила — значит она действительно рассуждала через латент.
- Доступны чекпоинты на Qwen2.5-VL-7B, Qwen3-VL-8B, Gemma3-4B/12B, Gemma4-12B, InternVL3-9B
- Apache 2.0
Гитхаб
HF
VK | MAX
Принудительное визуальное мышление: модель не может ответить на вопрос по картинке, не подумав скрытым состоянием, отделенным от прямого доступа к визуальным данным
Обычная #VLM может жульничать — ответ приходит прямым путем из визуальных токенов. CVRR перекрывает этот обход: ответный декодер видит только рекуррентное скрытое состояние, а не оригинальные визуальные ряды. Если модель ответила — значит она действительно рассуждала через латент.
- Доступны чекпоинты на Qwen2.5-VL-7B, Qwen3-VL-8B, Gemma3-4B/12B, Gemma4-12B, InternVL3-9B
- Apache 2.0
Гитхаб
HF
VK | MAX
👍8🔥3
SceneMosaic (HKU + UESTC)
Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов
- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных
- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты
Гитхаб
#imageto3d #image2scene #image2layout
Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов
- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных
- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты
Гитхаб
#imageto3d #image2scene #image2layout
🔥8👍5❤2
YuE2-ComfyUI v0.4.0
Адаптация YuE2-3B для ComfyUI от @Aleks_101
Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи
v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается
v0.4.0:
Редактор партитуры
- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)
#yue2 #musicediting #comfyui
Адаптация YuE2-3B для ComfyUI от @Aleks_101
Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи
v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается
v0.4.0:
Редактор партитуры
- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)
#yue2 #musicediting #comfyui
👍10❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Volumetric Motion Rigging (VMR)
Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа
- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)
Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые
#video2animation #motioncontrol #characteranimation
VK | MAX
Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа
- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)
Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые
#video2animation #motioncontrol #characteranimation
VK | MAX
👍6🫡3🤔2
LTX-2.5 22B IC-LoRA Deblur
Недавно Lightricks выложили лору на восстановление резкости для #LTX25
#lora #videorestoration #deblur
VK | MAX
Недавно Lightricks выложили лору на восстановление резкости для #LTX25
#lora #videorestoration #deblur
VK | MAX
👍24
ComfyUI Assistant
Еще один ИИ-ассистент в интерфейсе #ComfyUI.
Лезет в твой граф. Видит ноды, соединения, виджеты. Может объяснить, что делает выбранный участок, выделить нужные ноды на канве, поменять значения, добавить или убрать ноды, пересоединить, поправить промпты, завальдировать после изменений
Поиск по установленным нодам и документации. Установка кастомных репозиториев после подтверждения. Запоминает исправления и предпочтения между диалогами
Веб-поиск (Brave, Tavily, SerpAPI)
Работа с картинками (#vlm)
Поддерживает LM Studio, Ollama, OpenAI-совместимые API и Anthropic
Пока только ручная установка с GitHub
#assistant
VK | MAX
Еще один ИИ-ассистент в интерфейсе #ComfyUI.
Лезет в твой граф. Видит ноды, соединения, виджеты. Может объяснить, что делает выбранный участок, выделить нужные ноды на канве, поменять значения, добавить или убрать ноды, пересоединить, поправить промпты, завальдировать после изменений
Поиск по установленным нодам и документации. Установка кастомных репозиториев после подтверждения. Запоминает исправления и предпочтения между диалогами
Веб-поиск (Brave, Tavily, SerpAPI)
Работа с картинками (#vlm)
Поддерживает LM Studio, Ollama, OpenAI-совместимые API и Anthropic
Пока только ручная установка с GitHub
#assistant
VK | MAX
👍9❤1👀1
#Yue2
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky
#musicediting #music2midi #finetuning
VK | MAX
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky
#musicediting #music2midi #finetuning
VK | MAX
🔥9👍1
Накопилось по #minimaxH3 - часть 23
huggingface.co/Smite79/MiniMax-H3-Longvideos - один промпт → ~2 минуты видео со звуком. Решает проблемы склейки шотов. Без воркфлоу, с инструкцией #longvideo
github.com/tritant/ComfyUI_MiniMax_H3_Extender - чейнинг клипов с motion context, дисковым кешем, динамическими референсами и аудио. Есть #workflow
github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder - построитель промптов по официальному гайду в #ComfyUI: секции, тайминги, ID спикеров, теги референсов. Без LLM
github.com/RmaNMetaverse/ComfyUI-FirstframeLastframeExtractor - автосохранение первого и последнего кадра из VAE-декода для повторной генерации в большем размере
jurn.link/dazposer/index.php/2026/08/15/updated-my-minimax-workflow-for-the-3060-12gb-card/ - воркфлоу #T2V для RTX 3060 12Gb: до 2.0 Мп без падений, Kitchen Attention, автоэкстракт кадров
huggingface.co/CZMartin22/TaoMate-H3-3step-ComfyUI - TaoMate упаковали в 3-шаговую лору
huggingface.co/Robert1212star/TaoMate-H3-3Step-ComfyUI - версия для комфи
huggingface.co/Kijai/MiniMax-H3_comfy/tree/main/loras - версия #LoRA 182Mb от Kijai #optimization
github.com/xm6018924/BSAI-ComfyUI-FaceRefine - еще один фикс мелких и дальних лиц
github.com/GENKAIx/Genkai-ComfyUI-Nodes - PromptSync: видео H3 рядом с таймкодами промпта — проверка, где происходят действия и диалоги
github.com/LoveRain1997/video-to-h3-prompt - видео → готовый H3-промпт: разделение на действие/камеру/эффекты/звук. CLI, нужен ffmpeg #captioning #vieo2prompt
github.com/FranckyB/ComfyUI-H3RefModPicker - форк RefModPicker: лучше UI, добавлен звук #refmods
huggingface.co/siraxe/H3_slider_experiments - #slider Camera Arc, Detail, Speed, Smear. Без триггеров
github.com/NyckM/H3-Relight-Minimax-ComfyUI - #relighting до трeх источников света на виджете → референс и промпт. GUI на португальском
huggingface.co/Smite79/MiniMax-H3-Longvideos - один промпт → ~2 минуты видео со звуком. Решает проблемы склейки шотов. Без воркфлоу, с инструкцией #longvideo
github.com/tritant/ComfyUI_MiniMax_H3_Extender - чейнинг клипов с motion context, дисковым кешем, динамическими референсами и аудио. Есть #workflow
github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder - построитель промптов по официальному гайду в #ComfyUI: секции, тайминги, ID спикеров, теги референсов. Без LLM
github.com/RmaNMetaverse/ComfyUI-FirstframeLastframeExtractor - автосохранение первого и последнего кадра из VAE-декода для повторной генерации в большем размере
jurn.link/dazposer/index.php/2026/08/15/updated-my-minimax-workflow-for-the-3060-12gb-card/ - воркфлоу #T2V для RTX 3060 12Gb: до 2.0 Мп без падений, Kitchen Attention, автоэкстракт кадров
huggingface.co/CZMartin22/TaoMate-H3-3step-ComfyUI - TaoMate упаковали в 3-шаговую лору
huggingface.co/Robert1212star/TaoMate-H3-3Step-ComfyUI - версия для комфи
huggingface.co/Kijai/MiniMax-H3_comfy/tree/main/loras - версия #LoRA 182Mb от Kijai #optimization
github.com/xm6018924/BSAI-ComfyUI-FaceRefine - еще один фикс мелких и дальних лиц
github.com/GENKAIx/Genkai-ComfyUI-Nodes - PromptSync: видео H3 рядом с таймкодами промпта — проверка, где происходят действия и диалоги
github.com/LoveRain1997/video-to-h3-prompt - видео → готовый H3-промпт: разделение на действие/камеру/эффекты/звук. CLI, нужен ffmpeg #captioning #vieo2prompt
github.com/FranckyB/ComfyUI-H3RefModPicker - форк RefModPicker: лучше UI, добавлен звук #refmods
huggingface.co/siraxe/H3_slider_experiments - #slider Camera Arc, Detail, Speed, Smear. Без триггеров
github.com/NyckM/H3-Relight-Minimax-ComfyUI - #relighting до трeх источников света на виджете → референс и промпт. GUI на португальском
👍9🔥5❤2👨💻1