📝 Sakana AI и KPMG представили CoffeeBench — бенчмарк для LLM-агентов в многолетней экономической среде

Sakana AI совместно с аудиторской фирмой KPMG Azsa опубликовали CoffeeBench — новый бенчмарк для оценки долгосрочных управленческих способностей LLM-агентов. Тест симулирует цепочку поставок в кофейной индустрии: шесть агентов (фермеры, обжарщики, розничные продавцы) управляют бизнесом в течение 90 дней, взаимодействуя через ценовые переговоры, заказы и управление запасами. Цель — максимизировать чистую прибыль.

Эксперименты показали значительные различия между моделями. GPT-5.5 и Claude Opus 4.7 активно вели переговоры и наращивали прибыль, тогда как Claude Haiku 4.5 впадал в «ступор» — анализировал ситуацию, но не предпринимал действий, что приводило к убыткам. Инструментарий включает открытый код на GitHub, техническую статью и треки траекторий агентов. Бенчмарк также планируется использовать для изучения механизмов финансовых махинаций (циклические сделки, принудительные продажи) в условиях сильного давления на KPI.

#AI #Research #Agents #SakanaAI #CoffeeBench #LLM #Benchmark