🌉 Сферические оптимизаторы чёрного ящика: мост между двумя мирами

Исследователи Sakana AI представили на ICML 2026 работу «Bridging Spherical Black-Box Optimizers», объединяющую два разрозненных подхода к оптимизации без градиентов. Параметрические методы (Evolution Strategies) масштабируются на высокие размерности, но находят лишь одно решение. Непараметрические (Consensus-Based Optimization) находят множество решений, но не работают в больших размерностях. Команда показала, что оба семейства — вариации одного уравнения обновления.

На основе этого открытия созданы гибридные оптимизаторы AdaPol и SchedPol. Их ключевое применение — слияние фундаментальных моделей (LLM). Оценка больших языковых моделей на каждом шаге ресурсоёмка, а маленький датасет вызывает переобучение у стандартных оптимизаторов. Новые алгоритмы трактуют слияние LLM как мультимодальную задачу: находят несколько различных оптимумов на малом датасете, что позволяет получать обобщённые качественные слияния при кратно меньших вычислительных затратах.

#AI #BlackBoxOptimization #EvolutionStrategies #SakanaAI #ICML2026