✔️ Claude 3.5 Sonnet: 업그레이드된 성능

- 코딩 능력 크게 향상 (SWE-bench Verified에서 33.4%에서 49.0%로 상승)
- 도구 사용 작업에서도 성능 개선 (TAU-bench 소매 도메인 62.6%에서 69.2%로, 항공사 도메인 36.0%에서 46.0%로 향상)
- 기존 가격과 속도 유지

✏️ 개인적인 코멘트

Claude 3.5 Sonnet의 코딩 능력 향상은 정말 갈수록 놀라워지네요

저는

SWE-bench Verified

점수 향상이 특히 인상 깊은데요. 이게 뭘 의미하냐면, AI가 실제 개발 환경에서 발생하는 복잡한 코딩 문제를 더 정확하게 해결할 수 있게 되었다는 거예요.

버그 수정부터 새로운 기능 구현까지, 개발자들이 AI에 더 많은 부분을 의지할 수 있게 된 거죠. 이제 우리는 더 창의적인 문제 해결에 집중하고, 반복적인 코딩 작업은 AI에 맡길 수 있게 될 수 있지 않을까요?

(내가 보면 몇점 받으려나..)

✔️ 새로운 '컴퓨터 사용' 기능 도입

- Claude가 실제 사람처럼 컴퓨터를 사용할 수 있는 기능
- 화면 보기, 커서 이동, 버튼 클릭, 텍스트 입력 등 가능
- 현재는 베타 버전으로, 개선이 필요한 상태

✏️ 개인적인 코멘트

RPA(Robotic Process Automation)와 비슷하지만, 훨씬 더 유연하고 일반적인 접근 방식인데요,

기업들의 반복적인 업무 자동화에 큰 도움이 될 것 같아요. 다만, 초기에는 오류 가능성이 있으니 중요도가 낮은 작업부터 시작하는 게 좋겠네요.

근데 물론 보안 측면에서도 주의가 필요할 것 같아요. AI에게 컴퓨터 제어 권한을 주는 건 새로운 위험을 초래할 수 있으니까요. 영화에서나 일어날 법한 일들이 일어날수도..

✔️ 기타 주목할 만한 발표들

1. Claude 3.5 Haiku 모델 소개
- Claude 3 Opus와 비슷한 성능, 더 빠른 속도
- 코딩 작업에서 특히 강점 (SWE-bench Verified 40.6% 기록)

2. 안전성에 대한 강조
- US AI Safety Institute, UK Safety Institute와 협력
- 컴퓨터 사용 기능의 잠재적 위험에 대비한 새로운 분류기 개발

3. 미래 전망
- AI 시스템의 능력과 영향력에 대한 더 깊은 이해 기대
- 개발자들의 피드백을 통한 지속적인 개선 예정

✏️ 개인적인 코멘트

특히 컴퓨터 사용 기능에서 만큼은 AI와 인간의 상호작용 방식을 완전히 바꿀 수 있는 잠재력이 있어 보입니다.

동시에 안전성에 대한 Anthropic의 접근 방식도 주목할 만해요. AI의 발전 속도가 빨라지는 만큼, 이에 따른 위험도 증가하고 있으니까요.

앞으로 AI 개발자들은 이런 강력한 도구들을 어떻게 안전하고 효과적으로 활용할 수 있을지 고민해야 할 것 같아요. 흥미진진한 시대가 왔네요!