🆕 PrismML выпустила Bonsai 2 27B - сжатую LLM, помещающуюся на смартфон

Стартап PrismML из Калтеха представил Bonsai 2 27B - модель, которая сжимает открытый Qwen3.8 27B от Alibaba до 5,9 ГБ. Это в 9-10 раз меньше памяти, чем у оригинала, и достаточно мало для запуска на ПК и, возможно, на флагманском смартфоне.

Ключевая технология - «тернарные» веса: вместо стандартных 16 бит на параметр используются всего три значения (+1, −1, 0). По словам CEO Бабака Хассиби, модель сохраняет 98% агрегированных бенчмарков Qwen - против 95% у первой Bonsai, вышедшей в марте. Первая версия уже скачана более 11 млн раз.

Стартап привлёк $22,25 млн seed-раунда от Khosla Ventures, Cerberus Capital и Caltech; среди советников - сооснователь Databricks Ион Стойка. Следующая цель - сжатие моделей на сотни миллиардов параметров: по словам Хассиби, крупные модели сжимать легче без потери качества. Стойка подчёркивает: локальный запуск даёт бесплатный и приватный ИИ без облака.

#AI #Models #PrismML #Bonsai #LLM #Compression