➡ Ускорение Gemini Nano на Pixel с помощью замороженного Multi-Token Prediction

Исследователи Google представили новую архитектуру Multi-Token Prediction (MTP) для on-device моделей Gemini Nano v3, которая уже развернута на Pixel 9 и Pixel 10. Решение позволяет генерировать текст значительно быстрее и с меньшим энергопотреблением — без дообучения базовой модели и без отправки данных на сервер.

Ключевая проблема мобильных LLM — узкое место авторегрессивной генерации (один токен за шаг), которое недогружает процессор и тратит память. Google решила её, добавив легковесный Transformer-декодер (MTP head) к финальным слоям замороженной модели. Этот «драфтер» предсказывает несколько будущих токенов за один проход, используя уже вычисленные скрытые состояния основной модели. Затем основной «верификатор» принимает или отклоняет кандидатов — итоговый вывод бит-в-бит идентичен оригиналу.

Особенность реализации — zero-copy архитектура: MTP head не создаёт собственный KV-кэш, а обращается напрямую к замороженному кэшу основной модели. Это устраняет «двойной налог» на оперативную память, критичный для мобильных устройств. Для разработчиков это означает готовое ускорение AI-функций (суммаризация уведомлений, проверка текста) без необходимости обучать отдельные тяжёлые модели для каждой задачи.

#Tech #AI #GoogleAI #GeminiNano #OnDeviceAI #MultiTokenPrediction #Pixel