X-AuT
Метод сжатия аудио-энкодера для речевых LLM на примере Qwen3-ASR-0.6B. Убирает 4 из 18 слоtв энкодера, восстанавливает качество через дистилляцию от большой модели (1.7B) — в итоге —21% параметров, —21% латентности на автомобильном PPU, ошибка почти не растёт (+2.5%). С автомобильной спецификой.
Гитхаб
HF
#encoder #optimization #asr
VK | MAX
Метод сжатия аудио-энкодера для речевых LLM на примере Qwen3-ASR-0.6B. Убирает 4 из 18 слоtв энкодера, восстанавливает качество через дистилляцию от большой модели (1.7B) — в итоге —21% параметров, —21% латентности на автомобильном PPU, ошибка почти не растёт (+2.5%). С автомобильной спецификой.
Гитхаб
HF
#encoder #optimization #asr
VK | MAX
👍8❤1
MERT-v2-FullSong
Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях
• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers
Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков
На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик
#encoder #music
MAX
Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях
• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers
Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков
На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик
#encoder #music
MAX
👍8