👨🏻‍💻 FrontierCode: Новый бенчмарк оценивает качество кода, а не только прохождение тестов

Команда Cognition представила FrontierCode — бенчмарк для оценки качества кода, который измеряет, насколько код готов к слиянию (mergeable), а не просто проходит юнит-тесты. Каждое задание создавалось ведущими мейнтейнерами open-source и занимало 40+ часов. Оценка ведётся по параметрам: регрессионная безопасность, чистота кода, корректность тестов и поддерживаемость.

Результаты оказались отрезвляющими: лучшая модель Opus 4.8 набрала лишь 13% на сложнейшем наборе задач. Это резко контрастирует с 50%+ на SWE-Bench, показывая, что проблема генерации качественного кода далека от решения. Бенчмарк также учитывает проблему ложноположительных траекторий, выявленную METR — многие PR, проходящие SWE-bench, не были бы приняты в основной код.

FrontierCode — прямой наследник подхода FrontierMath, но для кода. Он задаёт новую планку для оценки агентов: не «прошёл ли тест», а «принял бы такой код опытный разработчик». Это смещает фокус индустрии с количества на качество.

#Tech #AI #FrontierCode #Cognition #Benchmarks