ИИ модели без умножения матриц значительно снижают энергопотребление

Учёные разработали метод создания крупных языковых моделей без умножения матриц на основе предыдущей работы BitNet.
Новый подход снижает энергопотребление и повышает эффективность ИИ-систем.
Модель с 2,7 млрд параметров показывает производительность, сравнимую с обычными LLM.
Демонстрация: 1,3 млрд параметров на скорости 23,8 токенов/сек на GPU и FPGA-чипе.

При этом энергопотребление FPGA-чипа - всего 13 Вт!!!

Технология делает LLM доступнее для устройств с ограниченными ресурсами.

Суть инновации заключается в использование только тернарных значений (-1, 0, 1) вместо чисел с плавающей запятой и замену механизма внимания на более простую и эффективную единицу MLGRU.

#MatrixMultiplication #EnergyEfficiency #LanguageModels
-------
@tsingular