💡Стартап Subquadratic заявляет о прорыве узкого места, сдерживающего LLM
Майамский AI-стартап Subquadratic вышел из скрытого режима с громким заявлением: он решил математическую проблему, которая почти десятилетие ограничивала производительность больших языковых моделей. Компания представила модель SubQ, которая, по её словам, быстрее, дешевле и энергоэффективнее аналогов, обрабатывая до 12 раз больше текста за раз.
Ключевое новшество — отказ от «плотного внимания» (dense attention) в пользу «разреженного внимания» (sparse attention). В стандартных трансформерах каждое слово (токен) умножается на каждое другое, что приводит к квадратичному росту вычислений. Subquadratic сокращает число операций, выбирая только релевантные связи, что резко снижает затраты при сохранении качества на уровне моделей OpenAI, Google DeepMind и Anthropic.
Независимая оценка от компании Appen подтвердила заявленные характеристики. «Это может стать переломным моментом, — говорит директор Appen по GenAI. — Модели страдают от медлительности и неэффективности». Сооснователь Subquadratic Джастин Дэнджел уверен: «Мы надеемся начать новую эру эффективности. Через несколько лет никто не будет строить модели на трансформерах».
#AI #LLM #Subquadratic #Transformer #Effectiveness
Майамский AI-стартап Subquadratic вышел из скрытого режима с громким заявлением: он решил математическую проблему, которая почти десятилетие ограничивала производительность больших языковых моделей. Компания представила модель SubQ, которая, по её словам, быстрее, дешевле и энергоэффективнее аналогов, обрабатывая до 12 раз больше текста за раз.
Ключевое новшество — отказ от «плотного внимания» (dense attention) в пользу «разреженного внимания» (sparse attention). В стандартных трансформерах каждое слово (токен) умножается на каждое другое, что приводит к квадратичному росту вычислений. Subquadratic сокращает число операций, выбирая только релевантные связи, что резко снижает затраты при сохранении качества на уровне моделей OpenAI, Google DeepMind и Anthropic.
Независимая оценка от компании Appen подтвердила заявленные характеристики. «Это может стать переломным моментом, — говорит директор Appen по GenAI. — Модели страдают от медлительности и неэффективности». Сооснователь Subquadratic Джастин Дэнджел уверен: «Мы надеемся начать новую эру эффективности. Через несколько лет никто не будет строить модели на трансформерах».
#AI #LLM #Subquadratic #Transformer #Effectiveness