📌 RWE-bench: бенчмарк на решение инженерных задач

Стартап Xplore собрал набор из 20 задач по механике, электронике и авиационной технике, где модель должна выдать работающую конструкцию.

Каждую задачу составил инженер команды, специалист в своей области, и к каждой приложено образцовое решение, удовлетворяющее всем требованиям.

Задачи устроены так, что в них приходится увязывать несовместимое.

В одной нужно спроектировать в системе автоматизированного проектирования цельный стальной коленчатый вал для трёхцилиндрового дизеля с масляными каналами, уложившись в пределы по напряжениям, жёсткости и нагрузке на подшипники при полной нагрузке на 2400 оборотах и выдержав миллионы циклов до усталостного разрушения.

В другой требуется развести на восьмислойной плате 32-разрядную шину памяти DDR3L от процессора Zynq-7000 к двум микросхемам, т. е. 71 цепь от корпуса с 484 выводами при почти 300 установленных компонентах, не выходя за допуски по рассинхронизации сигналов и сопротивлению.

В третьей надо построить расчётную сетку и досчитать до сходимости обтекание лопатки турбины, чтобы выдать коэффициент теплоотдачи по поверхности и общий тепловой поток.

Проверяемая модель работает в своей обычной обвязке на максимальном уровне рассуждений и получает песочницу с инженерными инструментами, среди которых CadQuery, Gmsh, CalculiX и Python.

Перед сдачей она может сама проверить результат. Готовую работу принимает специальная программа, которую Xplore не раскрывает.

Она пересчитывает каждое требование и для этого запускает физические решатели, а ошибка хотя бы по одному пункту означает незачёт. Человек и модель-судья в проверке не участвуют.

🟡Тесты

Лучший средний результат у GPT-6 Astra, 37%, за ней - Claude Opus 5.5 с 29% и GPT-6.1 Sol с 25%.

У Gemini 4 Argon 12%, у Claude Fable 5.1 7%, у Kimi K3.1 Pro 1%, а пять моделей не решили ни одной задачи, это DeepSeek V4.1 Flash, Qwen3.8 Max, GLM-5.3, Muse и Grok 4.7.

Sol обходится в 10,28 доллара, Astra стоит 58,83, а Opus 5.5 - 57,52. Самой дорогой оказалась Fable 5.1, 97,57 доллара за попытку при 7% решённых задач.

Дешевле всех работает DeepSeek V4.1 Flash, 1,03 доллара, но без единой решённой задачи.

Xplore продаёт тренировочные среды на основе этих задач отдельной услугой, а сами задачи никогда не передаются для обучения моделей.

Отдать модель на проверку можно только по договорённости с командой, и результат попадает в таблицу лишь с согласия заказчика.

Выкладывать тесты в открытый доступ стартап не обещает, а в планах у неё более сложные задания и новые области, биомеханика, строительство и материаловедение.

Похожий тест с инженерными задачами есть у коллектива китайских университетов во главе с Университетом Цинхуа.

Их EngiWorld открыт - выложены код, данные задач и статья с методикой.

@ai_machinelearning_big_data

#news #ai #ml