Claude Fable 5가 새로운 Agent Arena 순위표에서 1위를 차지
Fable 5는 조종성은 다소 떨어지지만, ‘임무 성공률’과 ‘칭찬 대 불만 비율’이라는 두 가지 핵심 지표에서 Opus-4.8 및 GPT-5.5를 역대 최대 격차로 앞섰습니다. Fable이 무언가를 할 수 있다면, 아주 훌륭하게 해냄 하지만 무언가를 할 수 없거나 하고 싶지 않을 경우, 모델을 목표 방향으로 유도하기가 어려울 수 있음
Agent Arena에서는 수백만 건의 실제 장기 에이전트 과제를 통해 모델을 평가합니다. 모델은 웹 검색, 파일 시스템, 터미널 도구를 활용해 코드 작성, 슬라이드 제작, 웹 조사, 앱 개발, 문서 분석 등 복잡한 워크플로를 수행함
인과 추적 방법론을 사용하여 모델의 순 개선도를 측정하며, 이는 평균 모델 대비 결과가 얼마나 향상되었는지를 나타냄
Fable 5는 조종성은 다소 떨어지지만, ‘임무 성공률’과 ‘칭찬 대 불만 비율’이라는 두 가지 핵심 지표에서 Opus-4.8 및 GPT-5.5를 역대 최대 격차로 앞섰습니다. Fable이 무언가를 할 수 있다면, 아주 훌륭하게 해냄 하지만 무언가를 할 수 없거나 하고 싶지 않을 경우, 모델을 목표 방향으로 유도하기가 어려울 수 있음
Agent Arena에서는 수백만 건의 실제 장기 에이전트 과제를 통해 모델을 평가합니다. 모델은 웹 검색, 파일 시스템, 터미널 도구를 활용해 코드 작성, 슬라이드 제작, 웹 조사, 앱 개발, 문서 분석 등 복잡한 워크플로를 수행함
인과 추적 방법론을 사용하여 모델의 순 개선도를 측정하며, 이는 평균 모델 대비 결과가 얼마나 향상되었는지를 나타냄