⚙️ OpenBMB выпустила MiniCPM5-2B — открытую on-device модель класса до 4B

OpenBMB и ModelBest открыли веса MiniCPM5-2B: плотная модель на 2,52 млрд параметров с нативным контекстом 131 072 токена под лицензией Apache-2.0. Архитектура стандартная — 42 слоя LlamaForCausalLM с grouped-query attention (16 query-голов, 2 key/value), без эмбеддингов около 1,98 млрд параметров. Это значит, что модель грузится в обычные движки без кастомных ядер и форка кода.

Средний балл на 34 бенчмарках — 53,9, выше некоторых открытых базлайнов на 4B: Qwen3.5-4B даёт 51,1, granite-4.2-3B — 42,7. Сильные стороны — кодинг-агенты, вызов инструментов и длинный контекст: LiveCodeBench v6 69,1 против 56,4 у Qwen3.5-4B, SWE-bench Verified 46,4 против 33,6, BFCL v4 66,6, NoLiMa 68,1 против 43,5. Знания слабее: MMLU-Pro 70,8 против 78,0 у 4B Qwen.

Пост-тренировка: SFT на ~400 млрд токенов, RL-учителя по математике, коду, агентам и письму (алгоритм JustRL II), затем on-policy дистилляция 16 RL-экспертов в одного студента — заявленный прирост около 10,96 пункта на reasoning-наборах и 6,96 на агентных. Опубликованы корпуса UltraData и промежуточные чекпойнты Base, Midtrain и SFT-only. Поддержка рантаймов: vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX, LiteRT и FlagOS, форматы GGUF, MLX и GPTQ.

#Tech #AI #MiniCPM #OpenBMB #OpenModels #Ondevice