⚙️ PathCal: калибровка рефлексии в LLM для эффективного рассуждения

Исследователи представили PathCal — новый метод декодирования без дообучения, который улучшает эффективность reasoning в больших языковых моделях. В основе подхода лежит анализ рефлексивных маркеров — слов «wait», «but», «alternatively», которые модели используют при генерации длинных цепочек рассуждений (Chain-of-Thought).

Авторы обнаружили, что разные классы рефлексивных маркеров по-разному влияют на точность и длину генерации, а их выбор наиболее критичен до того, как модель переходит в стабильную траекторию рассуждения. PathCal использует распределение вероятностей по маркерам для оценки локальной конкуренции между текущим ходом мысли и альтернативной ветвью, мягко перенаправляя логиты при избыточном весе конкурирующих гипотез.

Метод не требует внешних верификаторов или дополнительной выборки. На шести бенчмарках PathCal показал улучшение или сохранение точности при сокращении длины генерации — ключевой результат для практического применения LRM в задачах, где важны как качество, так и скорость.

#AI #LLM #reasoning #ChainOfThought #Effectiveness #Research