❗️UnMaskFork: тестовое масштабирование для masked diffusion через детерминированное ветвление действий

Исследователи из Sakana AI представили метод UnMaskFork (UMF), позволяющий применять test-time scaling к masked diffusion language models (MDLM). В статье, принятой на ICML 2026, показано, что коллаборация нескольких MDLM над одним ответом улучшает результаты на задачах программирования и математики.

В отличие от стандартных LLM, генерирующих текст слева направо, MDLM заполняют полностью замаскированную последовательность параллельно. Однако обычный приём «повышения температуры» для увеличения разнообразия ответов на таких моделях, как Dream-Coder, не работает. UMF решает эту проблему через «переключение моделей»: несколько MDLM совместно раскрывают маски одного ответа, а Monte Carlo Tree Search определяет оптимальную последовательность, в которой каждая модель заполняет наиболее уверенные для неё части. Метод не требует дополнительного обучения — достаточно комбинировать предобученные модели на этапе инференса.

UMF стабильно превосходит существующие методы test-time scaling на бенчмарках по кодингу и показывает устойчивый рост производительности на математике. Работа продолжает линию исследований «коллективного интеллекта AI» в Sakana AI, включая AB-MCTS и Sakana Fugu.

#AI #DiffusalModels #TestTimeScaling #SakanaAI #ICML2026

⛵️ Sakana AI представила SAIL - масштабирование имитационного обучения роботов в контексте

Sakana AI совместно с Токийским университетом представила метод SAIL (Scaling In-Context Imitation Learning), который позволит роботам осваивать новые задачи без дообучения самой модели. Работа будет представлена на конференции IROS 2026.

Идея в том, что фундаментальные модели уже впитали огромные объёмы изображений, текста и робототехнических данных - SAIL извлекает эти знания для управления роботом, не меняя веса модели. Политика строится на VLM-генераторе траекторий, которому дают несколько успешных демонстраций. Сгенерированный маршрут проверяется в симуляторе, а оценочный VLM просматривает видео и определяет, где прогресс остановился. Дальше policy-VLM переписывает траекторию с учётом замечаний, а Monte Carlo tree search исследует альтернативы и дорабатывает перспективные варианты. На физического робота отправляется только выбранная траектория - это снижает риск провала из-за одной ошибочной цели движения.

Результаты: на шести задачах манипуляции в симуляции рост бюджета поиска с одного кандидата до 45 поднял среднюю долю успешных траекторий с 25% до 73%. Авторы также протестировали SAIL на реальном роботе и заключают, что генерация траекторий выигрывает от test-time scaling - дополнительные вычисления позволяют модели проверять и уточнять действия в симуляторе перед выходом в физический мир.

🎨 qvabo.studio/tg · картинки и видео

#Tech #SakanaAI #Robotics #VLM #TestTimeScaling #AI #Research