Модель набрала 30,2% на бенчмарке ARC-AGI-3, взлетев с предыдущего рекорда в 7,8%. Opus 5 решил пять ранее нерешённых задач, четыре из них на уровне человека или выше. ARC Prize связывает успех с более сильным логическим Reasoning, позволившим автономно исследовать и планировать в незнакомых средах.
На старом ARC-AGI-2 модель показывает 90,4%, а на ARC-AGI-1 — 97,5%. Однако независимые тесты на бенчмарке Witness от Guanghan Ning показали более скромные улучшения: Opus 5 статистически наравне с Kimi K3 и Fable 5. На необычной комбинации правил модель даже уступила Opus 4.8. Исследователи предполагают, что часть успеха может быть обусловлена целенаправленным обучением на задачах из ARC-AGI-3, хотя общий прогресс в Reasoning всё же есть.
#AI #Anthropic #ClaudeOpus5 #ARCAGI #Tests
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👌1💯1