🧩 ArcMemo — память для LLM, которая учит модель сохранять и переиспользовать концепты при решении задач.
📈 Результат: +7.5% относительно базовой модели на бенчмарке ARC-AGI.
❓ Проблема:
Обычно длинные цепочки рассуждений исчезают после каждого запроса, и модель «забывает» полезные паттерны.
💡 Решение — ArcMemo:
- Сохраняет абстрактные модули в виде концептов на естественном языке или в виде параметрических мини-функций.
- Концепты бывают двух типов:
- Открытые: описание ситуации + подсказка.
- Программные: псевдокод и функции с параметрами.
- После решения задача конспектируется в набор таких концептов.
- При новой задаче модель подбирает релевантные концепты и комбинирует их для решения.
- С обратной связью на тестах память обновляется и расширяется.
📌 Вывод: память в виде модульных концептов повышает переносимость и делает решения более стабильными.
🔗 Paper: arxiv.org/abs/2509.04439
#AI #LLM #ARCAGI #Reasoning #Memory
📈 Результат: +7.5% относительно базовой модели на бенчмарке ARC-AGI.
❓ Проблема:
Обычно длинные цепочки рассуждений исчезают после каждого запроса, и модель «забывает» полезные паттерны.
💡 Решение — ArcMemo:
- Сохраняет абстрактные модули в виде концептов на естественном языке или в виде параметрических мини-функций.
- Концепты бывают двух типов:
- Открытые: описание ситуации + подсказка.
- Программные: псевдокод и функции с параметрами.
- После решения задача конспектируется в набор таких концептов.
- При новой задаче модель подбирает релевантные концепты и комбинирует их для решения.
- С обратной связью на тестах память обновляется и расширяется.
📌 Вывод: память в виде модульных концептов повышает переносимость и делает решения более стабильными.
🔗 Paper: arxiv.org/abs/2509.04439
#AI #LLM #ARCAGI #Reasoning #Memory
❤14🔥4👍2
🧠 Две настройки утроили результат GPT-5.6 Sol на ARC-AGI-3
С официальным тестовым окружением модель набрала 13,3%. После включения двух функций Responses API результат вырос до 38,3%, а расход выходных токенов сократился примерно в 6 раз.
Средний результат человека на тех же публичных заданиях OpenAI оценивает в 48%.
Что изменили:
1. Сохранили рассуждения между действиями
Раньше после каждого хода агент терял найденные закономерности и фактически заново разбирался в игре.
2. Заменили обрезание истории на compaction
Вместо удаления старых действий длинный контекст сжимался, сохраняя важные наблюдения и выбранную стратегию.
В результате агент:
- быстрее принимал решения;
- реже повторял уже проделанную работу;
- лучше учился по ходу игры;
- тратил значительно меньше токенов.
Итоговый результат зависит не только от модели. Большую роль играют API, управление контекстом, промпт и устройство тестового harness.
OpenAI рекомендует использовать Responses API, сохранять рассуждения между вызовами и включать compaction для длинных сессий.
https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
#OpenAI #GPT56 #Agents #ARCAGI #LLM #AIEngineering
С официальным тестовым окружением модель набрала 13,3%. После включения двух функций Responses API результат вырос до 38,3%, а расход выходных токенов сократился примерно в 6 раз.
Средний результат человека на тех же публичных заданиях OpenAI оценивает в 48%.
Что изменили:
1. Сохранили рассуждения между действиями
Раньше после каждого хода агент терял найденные закономерности и фактически заново разбирался в игре.
2. Заменили обрезание истории на compaction
Вместо удаления старых действий длинный контекст сжимался, сохраняя важные наблюдения и выбранную стратегию.
В результате агент:
- быстрее принимал решения;
- реже повторял уже проделанную работу;
- лучше учился по ходу игры;
- тратил значительно меньше токенов.
Итоговый результат зависит не только от модели. Большую роль играют API, управление контекстом, промпт и устройство тестового harness.
OpenAI рекомендует использовать Responses API, сохранять рассуждения между вызовами и включать compaction для длинных сессий.
https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
#OpenAI #GPT56 #Agents #ARCAGI #LLM #AIEngineering
👍39🔥4❤3