🤖 ICRL: как научить ИИ учиться на собственных ошибках без внешней критики

Исследователи представили ICRL (Internalizing Self-Critique with Reinforcement Learning) — новый фреймворк, который позволяет языковым моделям «интернализировать» самокритику и улучшать свои способности без внешних подсказок. Работа опубликована на arXiv.

Современные LLM-агенты часто допускают ошибки, но критика (например, от человека или другой модели) может направить их к правильному ответу. Проблема в том, что при удалении критики модель снова ошибается — она не усваивает урок. ICRL решает эту задачу, обучая одновременно «решателя» (solver) и «критика» (critic) на общей основе. Критик получает вознаграждение в зависимости от того, насколько его советы улучшают результат решателя.

Ключевая инновация — механизм калибровки распределения (distribution-calibration re-weighting), который отбирает только те подсказки критика, которые совместимы с собственным распределением промптов решателя. Это предотвращает зависимость модели от внешней критики. Дополнительно используется групповая оценка преимуществ (role-wise group advantage estimation) для стабильного обучения обеих ролей.

Тесты на Qwen3-4B и Qwen3-8B показали прирост в 6,4 балла над GRPO на агентных задачах и 7,0 баллов на математических рассуждениях. Примечательно, что обученный 8B-критик сравним по качеству с 32B-критиками, используя значительно меньше токенов. Код доступен на GitHub.

#Tech #AI #ICRL #Learning #LLM