⚙️ Новый метод LEAD от Apple ML Research: разрыв «бутылочного горлышка» в долгосрочных рассуждениях LLM

Исследователи Apple ML Research представили метод Lookahead-Enhanced Atomic Decomposition (LEAD), решающий проблему нестабильности выполнения длинных цепочек рассуждений в больших языковых моделях. В работе показано, что даже при наличии высокоуровневых стратегий декомпозиция задач на атомарные шаги приводит к «бутылочному горлышку без восстановления»: ошибки на нескольких «трудных» шагах становятся необратимыми из-за крайне неравномерного распределения ошибок.

LEAD добавляет краткосрочную будущую валидацию к каждому атому, что позволяет модели «заглядывать вперёд» и корректировать действия до того, как ошибка станет катастрофической. На контролируемых алгоритмических головоломках метод показал значительный прирост стабильности по сравнению с обычной атомарной декомпозицией.

#Tech #LLM #AppleML #AI #Research #Decomposition