⚙️ Reflection выпустила Beam: открытая модель на 501 млрд параметров

16 октября Reflection AI выложила веса Beam под лицензией Apache 2.0. Это MoE-модель с 501,3 млрд параметров, из которых 23,4 млрд активны при обработке каждого токена. Ориентирована на программирование и многошаговые агентные задачи.

Главная особенность - меньше токенов на пути к ответу. В обучении с подкреплением к награде добавили штраф, растущий с числом сгенерированных токенов. Тренировка шла на 10 500 GPU NVIDIA GB300 четыре недели, свыше 100 млн попыток. Reflection утверждает, что на сложных задачах Beam догоняет GLM-5.2, расходуя треть или четверть вычислительного ресурса на генерацию.

Веса выложены в трёх точностях: BF16 (около 934 GiB), FP8 и NVFP4 (273 GiB). Вместе с моделью вышел вспомогательный DFlash2 на 1,93 млрд параметров для спекулятивного декодирования, ускоряющий генерацию в 1,72-3,03 раза. Для запуска по официальному гайду нужен сервер с четырьмя GPU NVIDIA B300.

🎨 qvabo.studio/tg · картинки и видео

#Ai #Reflection #OpenSource #LLM #Models