➡ Ускорение Gemini Nano на Pixel с помощью замороженного Multi-Token Prediction

Исследователи Google представили новую архитектуру Multi-Token Prediction (MTP) для on-device моделей Gemini Nano v3, которая уже развернута на Pixel 9 и Pixel 10. Решение позволяет генерировать текст значительно быстрее и с меньшим энергопотреблением — без дообучения базовой модели и без отправки данных на сервер.

Ключевая проблема мобильных LLM — узкое место авторегрессивной генерации (один токен за шаг), которое недогружает процессор и тратит память. Google решила её, добавив легковесный Transformer-декодер (MTP head) к финальным слоям замороженной модели. Этот «драфтер» предсказывает несколько будущих токенов за один проход, используя уже вычисленные скрытые состояния основной модели. Затем основной «верификатор» принимает или отклоняет кандидатов — итоговый вывод бит-в-бит идентичен оригиналу.

Особенность реализации — zero-copy архитектура: MTP head не создаёт собственный KV-кэш, а обращается напрямую к замороженному кэшу основной модели. Это устраняет «двойной налог» на оперативную память, критичный для мобильных устройств. Для разработчиков это означает готовое ускорение AI-функций (суммаризация уведомлений, проверка текста) без необходимости обучать отдельные тяжёлые модели для каждой задачи.

#Tech #AI #GoogleAI #GeminiNano #OnDeviceAI #MultiTokenPrediction #Pixel

🍏 Bonsai 27B — открытая модель рассуждений, помещающаяся на iPhone

Компания PrismML представила Bonsai 27B — полностью открытую модель рассуждений, которая благодаря экстремальному сжатию умещается на смартфоне. Размер модели — от 3,9 ГБ (1-битная версия) до 5,9 ГБ (тернарная), тогда как стандартная FP16 занимает 54 ГБ. Это стало возможным за счёт использования 1–2 бит на вес нейросети вместо обычных 16.

По данным PrismML, тернарная версия сохраняет 95% производительности исходной Qwen3.6-27B, а 1-битная — 90%. Математика и код практически не пострадали, снижение заметно в задачах понимания изображений и следования инструкциям. На iPhone 17 Pro Max модель выдаёт около 11 токенов в секунду, а полного заряда батареи хватает примерно на 67 000 токенов.

PrismML уже ведёт переговоры с Apple о лицензировании технологии сжатия. По данным CNBC, Apple тестирует Bonsai на скорость, энергопотребление и производительность. Веса модели доступны под лицензией Apache 2.0, поддерживаются MLX (Apple) и NVIDIA GPU. Компания также планирует применить свой метод к серии Gemma от Google.

#AI #Bonsai27B #OpenModel #Tech #OndeviceAI #PrismML

⚙️ OPPO представила ColorOS 17 с локальной моделью Linear Attention и агентами Persona X

На конференции ODC 2026 в Чжухае OPPO анонсировала ColorOS 17 - не просто обновление оболочки, а полноценный AI-стек, работающий на устройстве. Система уже насчитывает более 770 млн активных пользователей в 90+ странах, а первыми обновление получат OPPO, OnePlus и realme.

Ключевая новинка - модель On-Device Compute на собственной архитектуре Linear Attention. Заявлен нативный контекст 128K при снижении потребления памяти на 48% и энергии на 55% по сравнению с прошлым поколением. Второй столп - движок памяти Persona X, который отслеживает данные, окружение и поведение пользователя, позволяя системе запоминать, забывать и рефлексировать вместо сброса контекста в каждой сессии.

Agent Matrix расширяет возможности ассистента Breeno: улучшенный разбор интентов и длинный контекст дали рост удовлетворённости бета-тестеров на 19%. Среди бытовых сценариев - доступ к ~200 сервисам Alipay одной фразой, планирование поездок в Tencent Map и работа с WeChat. Breeno Suggestions охватывает 40+ партнёрских сервисов и 700+ микросценариев с точностью предсказаний 95%. Под капотом Aurora Engine снижает нагрузку рендеринга на 30%, а Tide Engine повышает удержание приложений в памяти на 55,6%.

#AI #OPPO #ColorOS17 #OnDeviceAI #LinearAttention #Breeno