📰 아티피셜 애널리시스, 직무별 AI 평가 지수 6종 개편 (v2.0)
직무별 AI 역량을 평가하는 지수 6종을 v2.0으로 개편함. 환각 없는 응답과 에이전트 도구 사용에 더 큰 비중을 둠
— Intelligence Index v5.0 평가 반영
— 직무별 역량 사용 빈도로 가중치 산정
— 금융·회계 HLE를 HLE-Diamond로 교체
👉 @ArtificialAnlys 원문
직무별 AI 역량을 평가하는 지수 6종을 v2.0으로 개편함. 환각 없는 응답과 에이전트 도구 사용에 더 큰 비중을 둠
— Intelligence Index v5.0 평가 반영
— 직무별 역량 사용 빈도로 가중치 산정
— 금융·회계 HLE를 HLE-Diamond로 교체
👉 @ArtificialAnlys 원문
오픈 모델 순위 얘기는 가중치 공개 뒤에
thinkymachines의 Inkling 2 Small, 지금은 Tinker에서 쓸 수 있고 가중치 공개는 추후 예정임
arena의 미국 오픈 모델 1위 얘기도 공개됐을 때 기준. 웹개발 AutoEval 성적이라는 조건도 붙음
원문
thinkymachines의 Inkling 2 Small, 지금은 Tinker에서 쓸 수 있고 가중치 공개는 추후 예정임
arena의 미국 오픈 모델 1위 얘기도 공개됐을 때 기준. 웹개발 AutoEval 성적이라는 조건도 붙음
원문
X (formerly Twitter)
Thinking Machines (@thinkymachines) on X
Introducing Inkling 2 Small. Scoring 31 on the AA Intelligence Index, it's a big jump over its predecessor.
Inkling 2 Small is available for fine-tuning and inference on Tinker today, with full w…
Inkling 2 Small is available for fine-tuning and inference on Tinker today, with full w…