🗂 Как два параметра API утроили результаты GPT‑5.6 Sol на ARC‑AGI‑3

OpenAI обнаружила, что на бенчмарке ARC‑AGI‑3 (2D‑головоломки) GPT‑5.6 Sol изначально показывал лишь 7,8%, а GPT‑5.5 — 0,4%. Проблема оказалась не в модели, а в настройках тестового окружения: приватные рассуждения (reasoning) отбрасывались после каждого действия, а при переполнении контекста старые сообщения просто удалялись (rolling truncation). Это мешало модели запоминать свои мысли и стратегии.

Включив два параметра Responses API — сохранение рекуррентного рассуждения (retained reasoning) и компактизацию контекста (compaction) — инженеры OpenAI добились результата 38,3% на публичном наборе ARC‑AGI‑3 (рост втрое) и сократили число выходных токенов в 6 раз. Для сравнения: средний человек набирает около 48% (RHAE). В производственной среде ChatGPT и Codex эти настройки уже используются по умолчанию.

Ключевой вывод: бенчмарки часто измеряют не только модели, но и API‑конфигурацию. Удержание контекста рассуждений и компактизация вместо обрезания позволяют моделям учиться на своих же размышлениях, что критично для длительных агентных задач.

#AI #OpenAI #GPT #ARCAGI3 #Benchmarks #Agents