GoogleResearch ReasoningBank: агенты учатся на собственных ошибках
Часто LLM-агентам приходится повторять одно и то же по несколько раз.
Для решения этой проблемы Google Research представил фреймворк, который заставляет агентов извлекать уроки из провалов и позволяет из сырых логов построить обобщённые стратегии.
🧠 Память о провалах: ReasoningBank строит банк памяти из двух источников: удачные траектории дают подтверждённые стратегии, неудачные — контрфактические сигналы и ловушки. Каждый элемент памяти содержит заголовок, описание и содержание с рассуждениями. Оценка успеха/провала через LLM-as-a-Judge.
⚙️ MaTTS, масштабирование с памятью: Комбинация ReasoningBank с test-time scaling. Параллельное масштабирование (k траекторий на одну задачу) создаёт контрастные сигналы: спонтанные совпадения отфильтровываются, устойчивые паттерны усиливаются.
Последовательное масштабирование фиксирует промежуточные инсайты из итеративного улучшения.
📊 Результаты: На WebArena прирост SR на +8.3% относительно агента без памяти, на SWE-Bench-Verified на +4.6%. Сокращение шагов до 1.4 на задачу. С MaTTS (k=5) ещё +3% SR.
На Gemini-2.5-Pro достигнут SR 53.9% на WebArena против 46.7% без памяти.
💼 Зачем бизнесу: Агентные системы в продакшене повторяют одни и те же ошибки.
ReasoningBank даёт механизм самообучения без дообучения модели: агент эволюционирует в рантайме, накапливая стратегическую память.
Для компаний, запускающих автономных агентов в поддержку, DevOps и аналитику, это прямой путь к сокращению стоимости итераций при росте качества.
🔮 Будущее: Memory-driven scaling — новая размерность для агентных систем. Банки рассуждений станут стандартным слоем инфраструктуры, как RAG сегодня.
И стать основой для обучения моделей следующего поколения.
Не просто рассуждающие модели, а модели сразу с опытом работы с инструментами с размышлениями.
paper | GitHub
#ReasoningBank #GoogleResearch #агенты #памятьИИ #LLM #самообучение
------
@tsingular
Часто LLM-агентам приходится повторять одно и то же по несколько раз.
Для решения этой проблемы Google Research представил фреймворк, который заставляет агентов извлекать уроки из провалов и позволяет из сырых логов построить обобщённые стратегии.
🧠 Память о провалах: ReasoningBank строит банк памяти из двух источников: удачные траектории дают подтверждённые стратегии, неудачные — контрфактические сигналы и ловушки. Каждый элемент памяти содержит заголовок, описание и содержание с рассуждениями. Оценка успеха/провала через LLM-as-a-Judge.
⚙️ MaTTS, масштабирование с памятью: Комбинация ReasoningBank с test-time scaling. Параллельное масштабирование (k траекторий на одну задачу) создаёт контрастные сигналы: спонтанные совпадения отфильтровываются, устойчивые паттерны усиливаются.
Последовательное масштабирование фиксирует промежуточные инсайты из итеративного улучшения.
📊 Результаты: На WebArena прирост SR на +8.3% относительно агента без памяти, на SWE-Bench-Verified на +4.6%. Сокращение шагов до 1.4 на задачу. С MaTTS (k=5) ещё +3% SR.
На Gemini-2.5-Pro достигнут SR 53.9% на WebArena против 46.7% без памяти.
💼 Зачем бизнесу: Агентные системы в продакшене повторяют одни и те же ошибки.
ReasoningBank даёт механизм самообучения без дообучения модели: агент эволюционирует в рантайме, накапливая стратегическую память.
Для компаний, запускающих автономных агентов в поддержку, DevOps и аналитику, это прямой путь к сокращению стоимости итераций при росте качества.
🔮 Будущее: Memory-driven scaling — новая размерность для агентных систем. Банки рассуждений станут стандартным слоем инфраструктуры, как RAG сегодня.
И стать основой для обучения моделей следующего поколения.
Не просто рассуждающие модели, а модели сразу с опытом работы с инструментами с размышлениями.
paper | GitHub
#ReasoningBank #GoogleResearch #агенты #памятьИИ #LLM #самообучение
------
@tsingular
🔥13✍6❤3⚡3