Немецкая Aleph Alpha представила Kolibri - открытую языковую модель на 78 млрд параметров с архитектурой mixture-of-experts, где на каждый токен активны около 3 млрд параметров. Модель двуязычная (немецкий и английский) и распространяется по лицензии Apache 2.0 на Hugging Face.
Заявленная цель - попасть на «фронт Парето» по соотношению качества и стоимости инференса. Kolibri набирает 71% на немецких бенчмарках и декодирует быстрее сопоставимых GPT OSS A5B, Qwen 3.6 A3B и Gemma 4 A4B. Немецкие данные составляют 21,3% обучающего корпуса - под них построен отдельный пайплайн, а часть синтетики генерировали китайские модели. Контекстное окно - до 1 млн токенов, обучение шло на 768 GPU B200 в Германии и Финляндии.
Разработка велась по европейскому праву с учётом EU AI Act, целевые заказчики - госуправление, авиация и промышленность. Для разработчиков это редкий пример открытых весов европейского происхождения с сильной поддержкой немецкого языка и длинным контекстом.
🎨 qvabo.studio/tg · картинки и видео
#Tech #Model #AI #AlephAlpha #Kolibri #OpenSource #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍1🤝1😎1