🗒 ScarfBench: Новый бенчмарк для оценки AI-агентов при миграции Java-фреймворков

Исследователи IBM представили ScarfBench (Self-Contained Application Refactoring Benchmark) — открытый бенчмарк для оценки AI-агентов на задачах миграции между корпоративными Java-фреймворками: Spring, Jakarta EE и Quarkus.

В отличие от традиционных бенчмарков, сравнивающих сгенерированный код с эталоном, ScarfBench проверяет, собирается ли приложение, разворачивается ли и сохраняет ли поведение. Бенчмарк включает 34 приложения, 102 реализации фреймворков, 204 задачи миграции, ~151K строк кода и 1331 экспертный тест.

Результаты тестирования современных кодинг-агентов показали, что даже лучшие из них достигают менее 10% успеха по поведенческим тестам. Миграция фреймворков требует не просто перевода кода, но адаптации систем сборки, управления зависимостями и сохранения семантики — это принципиально сложнее, чем исправление багов или генерация кода.

Практическая значимость: ScarfBench задаёт реалистичный стандарт оценки AI для enterprise-разработки. Инструмент доступен на GitHub и Hugging Face Spaces.

#AI #Benchmark #ScarfBench #Agents #Java #Enterprise #IBM