Технозаметки Малышева

Unsloth разогнали Qwen3.6 через MTP ускорив генерацию в 2 раза

Стандартная языковая модель предсказывает токены поочереди.
Unsloth прикрутили Multi Token Prediction механизм, предсказывающий несколько токенов вперёд, пока основная модель их проверяет.
В примере на сайте Unsloth Qwen3.6 угадывает сразу четыре.
Результат: Qwen3.6 35B-A3B летает на скорости 240 токенов в секунду на RTX 6000.

⚙️ Как работает MTP:
В отличие от обычного инференса MTP (Multi-Token Prediction) ставит поверх общего трансформера 4 независимые головы, каждая из которых заглядывает на 1-4 токена вперёд. Ключевое открытие Meta* FAIR: MTP усиливает «точки выбора», семантически важные развилки текста, а не механическое продолжение.
Это улучшает качество, особенно на коде: 13B-модель решает на 12% больше задач HumanEval и на 17% больше MBPP.

🚀 Что сделал Unsloth:
Unsloth прикрутил MTP-головы Qwen3.6 к GGUF-квантам и выпустил готовые сборки: Qwen3.6-27B-MTP выдаёт 160 tok/s, Qwen3.6-35B-A3B-MTP - 240 tok/s на RTX 6000.
Ускорение 1.4-2.2× без потери точности.
llama.cpp добавил поддержку MTP 16 мая, а Unsloth выпустил GGUF на следующий день.
Модели работают как в Unsloth Studio так и в llama.cpp, vLLM и SGLang.
В олламе MTP пока не замечен.

💼 Зачем бизнесу:
MTP - двойной выигрыш: качество и скорость в одной архитектуре. Для тех, кто гоняет LLM локально, Qwen3.6-MTP на 35B-A3B с 18GB RAM стала первым вариантом, где 240 tok/s достижимы без облака.
Такими темпами самоспекулятивное декодирование через MTP станет стандартом для всех открытых моделей, а не фишкой отдельных сборок.

Надо затестить на других карточках.
Интересно сколько выдаст.
Иметь локального агента с Qwen3.6 даже на 150 токенов в секунду, - это шикарно.
Правда MTP сжирает дополнительно 1 гиг VRAM, но это небольшая плата за скорость.

*Meta, - запрещённая в РФ организация, признанная террористической

#MTP #Qwen36 #Unsloth #LLM #Inference
------
@tsingular

🔥20❤2⚡2🤯1

2.51K viewsedited 06:54