🍏 Bonsai 27B — открытая модель рассуждений, помещающаяся на iPhone

Компания PrismML представила Bonsai 27B — полностью открытую модель рассуждений, которая благодаря экстремальному сжатию умещается на смартфоне. Размер модели — от 3,9 ГБ (1-битная версия) до 5,9 ГБ (тернарная), тогда как стандартная FP16 занимает 54 ГБ. Это стало возможным за счёт использования 1–2 бит на вес нейросети вместо обычных 16.

По данным PrismML, тернарная версия сохраняет 95% производительности исходной Qwen3.6-27B, а 1-битная — 90%. Математика и код практически не пострадали, снижение заметно в задачах понимания изображений и следования инструкциям. На iPhone 17 Pro Max модель выдаёт около 11 токенов в секунду, а полного заряда батареи хватает примерно на 67 000 токенов.

PrismML уже ведёт переговоры с Apple о лицензировании технологии сжатия. По данным CNBC, Apple тестирует Bonsai на скорость, энергопотребление и производительность. Веса модели доступны под лицензией Apache 2.0, поддерживаются MLX (Apple) и NVIDIA GPU. Компания также планирует применить свой метод к серии Gemma от Google.

#AI #Bonsai27B #OpenModel #Tech #OndeviceAI #PrismML

🆕 PrismML выпустила Bonsai 2 27B - сжатую LLM, помещающуюся на смартфон

Стартап PrismML из Калтеха представил Bonsai 2 27B - модель, которая сжимает открытый Qwen3.8 27B от Alibaba до 5,9 ГБ. Это в 9-10 раз меньше памяти, чем у оригинала, и достаточно мало для запуска на ПК и, возможно, на флагманском смартфоне.

Ключевая технология - «тернарные» веса: вместо стандартных 16 бит на параметр используются всего три значения (+1, −1, 0). По словам CEO Бабака Хассиби, модель сохраняет 98% агрегированных бенчмарков Qwen - против 95% у первой Bonsai, вышедшей в марте. Первая версия уже скачана более 11 млн раз.

Стартап привлёк $22,25 млн seed-раунда от Khosla Ventures, Cerberus Capital и Caltech; среди советников - сооснователь Databricks Ион Стойка. Следующая цель - сжатие моделей на сотни миллиардов параметров: по словам Хассиби, крупные модели сжимать легче без потери качества. Стойка подчёркивает: локальный запуск даёт бесплатный и приватный ИИ без облака.

#AI #Models #PrismML #Bonsai #LLM #Compression