❗️UnMaskFork: тестовое масштабирование для masked diffusion через детерминированное ветвление действий

Исследователи из Sakana AI представили метод UnMaskFork (UMF), позволяющий применять test-time scaling к masked diffusion language models (MDLM). В статье, принятой на ICML 2026, показано, что коллаборация нескольких MDLM над одним ответом улучшает результаты на задачах программирования и математики.

В отличие от стандартных LLM, генерирующих текст слева направо, MDLM заполняют полностью замаскированную последовательность параллельно. Однако обычный приём «повышения температуры» для увеличения разнообразия ответов на таких моделях, как Dream-Coder, не работает. UMF решает эту проблему через «переключение моделей»: несколько MDLM совместно раскрывают маски одного ответа, а Monte Carlo Tree Search определяет оптимальную последовательность, в которой каждая модель заполняет наиболее уверенные для неё части. Метод не требует дополнительного обучения — достаточно комбинировать предобученные модели на этапе инференса.

UMF стабильно превосходит существующие методы test-time scaling на бенчмарках по кодингу и показывает устойчивый рост производительности на математике. Работа продолжает линию исследований «коллективного интеллекта AI» в Sakana AI, включая AB-MCTS и Sakana Fugu.

#AI #DiffusalModels #TestTimeScaling #SakanaAI #ICML2026