Unsloth разогнали Qwen3.6 через MTP ускорив генерацию в 2 раза

Стандартная языковая модель предсказывает токены поочереди.
Unsloth прикрутили Multi Token Prediction механизм, предсказывающий несколько токенов вперёд, пока основная модель их проверяет.
В примере на сайте Unsloth Qwen3.6 угадывает сразу четыре.
Результат: Qwen3.6 35B-A3B летает на скорости 240 токенов в секунду на RTX 6000.

⚙️ Как работает MTP:
В отличие от обычного инференса MTP (Multi-Token Prediction) ставит поверх общего трансформера 4 независимые головы, каждая из которых заглядывает на 1-4 токена вперёд. Ключевое открытие Meta* FAIR: MTP усиливает «точки выбора», семантически важные развилки текста, а не механическое продолжение.
Это улучшает качество, особенно на коде: 13B-модель решает на 12% больше задач HumanEval и на 17% больше MBPP.

🚀 Что сделал Unsloth:
Unsloth прикрутил MTP-головы Qwen3.6 к GGUF-квантам и выпустил готовые сборки: Qwen3.6-27B-MTP выдаёт 160 tok/s, Qwen3.6-35B-A3B-MTP - 240 tok/s на RTX 6000.
Ускорение 1.4-2.2× без потери точности.
llama.cpp добавил поддержку MTP 16 мая, а Unsloth выпустил GGUF на следующий день.
Модели работают как в Unsloth Studio так и в llama.cpp, vLLM и SGLang.
В олламе MTP пока не замечен.

💼 Зачем бизнесу:
MTP - двойной выигрыш: качество и скорость в одной архитектуре. Для тех, кто гоняет LLM локально, Qwen3.6-MTP на 35B-A3B с 18GB RAM стала первым вариантом, где 240 tok/s достижимы без облака.
Такими темпами самоспекулятивное декодирование через MTP станет стандартом для всех открытых моделей, а не фишкой отдельных сборок.

Надо затестить на других карточках.
Интересно сколько выдаст.
Иметь локального агента с Qwen3.6 даже на 150 токенов в секунду, - это шикарно.
Правда MTP сжирает дополнительно 1 гиг VRAM, но это небольшая плата за скорость.

*Meta, - запрещённая в РФ организация, признанная террористической

#MTP #Qwen36 #Unsloth #LLM #Inference
------
@tsingular

🏎 LM Studio 0.4.14, - MTP теперь в релизе

Предсказание сразу нескольких токенов (MTP) — это встроенная в саму модель голова-предсказатель, которая угадывает 2–3 токена наперёд, опираясь на собственные скрытые состояния.

На видеокарте RTX 5060 Ti 16 ГБ: Qwen3.6-35B-A3B (со MoE) разгоняется с 98 до 144 т/с (в 1,47 раза). В ответ, правда, сжирает дополнительный объём памяти под рассуждения — 262 тыс. → 65 тыс. при сжатии KV cache-значений до q4_0, либо 98 тыс. при turbo3.
Dense модель на 27 млрд становится на 42 % медленнее — подход помогает только тем моделям, у которых есть запас по пропускной способности памяти.

Поддержку влили в основную ветку llama.cpp.
В LM Studio работает с GGUF/llama.cpp. На Mac — сборки под MLX (oQ8-mtp).

Как включить: обновить LM Studio до 0.4.14 → скачать модель с поддержкой MTP (Qwen3.6-35B-A3B-MTP-GGUF / Qwen3.6-27B-MTP-GGUF) → включить его при загрузке.

🔗 Changelog | llama.cpp PR #22673 | Бенчмарк MTP на 16GB

#LMStudio #MTP #llamacpp #Qwen3
———
@tsingular

В итоге Qwen3.6-35B-A3B-MTP-GGUF на M5 max (запускал с 3мя предсказателями) показывает 92 т/с при том что это Q8 квант

brew install llama.cpp
llama-server -hf ggml-org/Qwen3.6-35B-A3B-MTP-GGUF \
                   --spec-type draft-mtp --spec-draft-n-max 3 --port 8080

на этой же машине qwen3.6:35b в олламе (который Q4) показывает 62 т/с

Т.е. еще раз, - MoE MTP с Q8 быстрее Q4 без MTP в 1.5 раза!

Очень быстро, очень нравится :)

#MTP #llamacpp #бенчмарки
———
@tsingular