K2-Horizon-MoVA-36B-A4B

Открытая MoE-модель с новой архитектурой внимания — Mixture-of-Values (#MoVA). 36B параметров, но на токен активируется только 4B — быстрая как маленькая, умная как большая. Контекст 512K, Apache 2.0

- MoVA — собственный архитектурный прием: вместо одного значения на внимание — смесь значений, что дает больше выразительности при тех же затратах
- 4B активных против 36B общих — можно запустить на том, на чем dense-модель такого же качества не влезет
- Агентные задачи, кодинг и рассуждения — сильные стороны: Terminal-Bench, GPQA Diamond, SciCode
- 512K контекста — длинные цепочки вызовов и документы не режутся

старшая версия на 375B / 23B
Кванты

Спасибо @Endorpheen

#agent #coding #reasoning