[AI 논문 톺아보기] Tracing the thoughts of a large language model (1편)
BQ 개발자입니다!
오랜만에 LLM 쪽 공부를 좀 하고 싶었는데 재밌는 논문이 발표돼서 스터디 한번 진행해보려고 합니다. 앤트로픽에서 최근 발표한 "Tracing the thoughts of a large language model" 논문인데요, 대규모 언어 모델의 내부 작동 방식을 들여다본 연구라 너무 흥미로워서 가져왔습니다!
📚 LLM의 언어 간 공통 사고 공간
LLM은 수십억 개의 매개변수를 가진 복잡한 시스템인데, 이 모델들이 어떻게 '생각'하는지는 개발자들에게도 미스터리였습니다. 이 논문에서 연구팀은 신경과학에서 영감을 받아 일종의 'AI 현미경'을 개발했다고 해요
🌐 놀라운 발견: 언어 간 공통 사고 공간
연구팀은 "small의 반대는?"이라는 질문을 여러 언어로 물어보는 실험을 했습니다. 그 결과가 정말 좀 흥미롭습니다.
언어가 달라도 '작음'과 '반대'라는 개념을 처리하는 내부 특징이 동일하게 활성화되었습니다. 이 특징들은 '큼'이라는 개념을 촉발시킨 다음, 질문 언어에 맞게 번역되어 출력되는 과정을 보였어요.
즉, 영어, 프랑스어, 중국어 등 서로 다른 언어로 된 입력을 받더라도, 모델은 어떤 공통된 개념적 공간에서 처리한 후 해당 언어로 '번역'하는 것 같습니다! 너무 신기하지 않나요?ㄷㄷㄷ
더 흥미로운 점은 모델 규모가 커질수록 이런 언어 간 공유 회로가 증가한다는 것입니다. Claude 3.5 Haiku는 더 작은 모델에 비해 언어 간 특징 공유 비율이 두 배 이상 높았다고 하네요.
🧠 언어학적 시사점
저는 언어학에는 완전 무뇌한이지만 이런 발견은 인간의 언어 처리에 대한 오랜 논쟁과 맞닿아 있다고 하내요. 인간도 언어와 무관한 '생각의 언어'를 사용하는지에 대해 언어학자들은 오랫동안 논쟁해왔다고 하더라구요
LLM에서 발견된 이런 패턴이 인간의 언어 처리와 얼마나 유사한지는 아직 명확하지 않지만, 정말 흥미로운 접점이 될 것만 같습니다!
🔬 연구 방법: AI 현미경
논문에서는 '회로 추적(circuit tracing)'이라는 방법을 사용했다고 하네요. 이는 모델 내부의 특징들을 식별하고, 이들이 어떻게 서로 연결되는지 추적하는 기술입니다.
연구팀은 또한 신경과학에서 영감을 받은 실험도 수행했는데요, 모델의 내부 상태에서 특정 개념을 제거하거나 다른 개념을 주입하는 실험을 통해 모델의 작동 방식을 더 깊이 이해할 수 있었습니다.
❓ 남은 질문들
물론 아직 많은 질문이 남아있는 것 같습니다:
- 이 공통 사고 공간은 모든 개념에 적용될까?
- 문화적으로 특수한 개념은 어떻게 처리될까?
- 인간의 언어 처리도 이와 유사할까?
위 내용이 재밌으셨나요? 다음 편에서는 위 분석을 가능케한 AI 현미경이 어떻게 동작하는지에 대해서 한번 알아보겠습니다!
---
여러분의 좋아요와 공유는 사랑입니다🥰
#LLM #논문톺아보기 #인공지능 #클로드 #BQ개발자
BQ 개발자입니다!
오랜만에 LLM 쪽 공부를 좀 하고 싶었는데 재밌는 논문이 발표돼서 스터디 한번 진행해보려고 합니다. 앤트로픽에서 최근 발표한 "Tracing the thoughts of a large language model" 논문인데요, 대규모 언어 모델의 내부 작동 방식을 들여다본 연구라 너무 흥미로워서 가져왔습니다!
📚 LLM의 언어 간 공통 사고 공간
LLM은 수십억 개의 매개변수를 가진 복잡한 시스템인데, 이 모델들이 어떻게 '생각'하는지는 개발자들에게도 미스터리였습니다. 이 논문에서 연구팀은 신경과학에서 영감을 받아 일종의 'AI 현미경'을 개발했다고 해요
연구팀이 던진 핵심 질문 중 하나는 이거였습니다:
"클로드는 수십 개 언어를 구사할 수 있는데, 그 '머릿속'에서는 어떤 언어를 사용하고 있을까?"
🌐 놀라운 발견: 언어 간 공통 사고 공간
연구팀은 "small의 반대는?"이라는 질문을 여러 언어로 물어보는 실험을 했습니다. 그 결과가 정말 좀 흥미롭습니다.
언어가 달라도 '작음'과 '반대'라는 개념을 처리하는 내부 특징이 동일하게 활성화되었습니다. 이 특징들은 '큼'이라는 개념을 촉발시킨 다음, 질문 언어에 맞게 번역되어 출력되는 과정을 보였어요.
즉, 영어, 프랑스어, 중국어 등 서로 다른 언어로 된 입력을 받더라도, 모델은 어떤 공통된 개념적 공간에서 처리한 후 해당 언어로 '번역'하는 것 같습니다! 너무 신기하지 않나요?ㄷㄷㄷ
더 흥미로운 점은 모델 규모가 커질수록 이런 언어 간 공유 회로가 증가한다는 것입니다. Claude 3.5 Haiku는 더 작은 모델에 비해 언어 간 특징 공유 비율이 두 배 이상 높았다고 하네요.
🧠 언어학적 시사점
저는 언어학에는 완전 무뇌한이지만 이런 발견은 인간의 언어 처리에 대한 오랜 논쟁과 맞닿아 있다고 하내요. 인간도 언어와 무관한 '생각의 언어'를 사용하는지에 대해 언어학자들은 오랫동안 논쟁해왔다고 하더라구요
LLM에서 발견된 이런 패턴이 인간의 언어 처리와 얼마나 유사한지는 아직 명확하지 않지만, 정말 흥미로운 접점이 될 것만 같습니다!
🔬 연구 방법: AI 현미경
논문에서는 '회로 추적(circuit tracing)'이라는 방법을 사용했다고 하네요. 이는 모델 내부의 특징들을 식별하고, 이들이 어떻게 서로 연결되는지 추적하는 기술입니다.
연구팀은 또한 신경과학에서 영감을 받은 실험도 수행했는데요, 모델의 내부 상태에서 특정 개념을 제거하거나 다른 개념을 주입하는 실험을 통해 모델의 작동 방식을 더 깊이 이해할 수 있었습니다.
❓ 남은 질문들
물론 아직 많은 질문이 남아있는 것 같습니다:
- 이 공통 사고 공간은 모든 개념에 적용될까?
- 문화적으로 특수한 개념은 어떻게 처리될까?
- 인간의 언어 처리도 이와 유사할까?
위 내용이 재밌으셨나요? 다음 편에서는 위 분석을 가능케한 AI 현미경이 어떻게 동작하는지에 대해서 한번 알아보겠습니다!
---
여러분의 좋아요와 공유는 사랑입니다
#LLM #논문톺아보기 #인공지능 #클로드 #BQ개발자
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥2
이번 CNBC 기사에 따르면
앤트로픽 2분기 목표 매출이 10.9b$이네요 ㄷㄷㄷ
이렇게만된다면 2분기에 바로 순수익 전환으로 가능한 상태
1분기에는 4.8b$ 매출 기록 상태📱 CNBC 기사
이야 설마 2분기에 바로 순수익 전환을 한다고...? 한참 걸릴 줄 알았는데
참고로 OpenAI의 경우 사기업이라 공개 자료는 없지만, 예측 통계에 따르면
2026년에만 ~14b$ 적자가 예상되고 있고, 흑자 전환은 2029년으로 예상되고 있습니다
근데 좀 말이 되는것 같기도 한게
주변에 OpenAI쪽에 돈쓰는 사람은 많이 못보는데, 반대로
클로드쪽에 200$ 맥스짜리 쓰는 사람들은 넘쳐나는 상태
하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩
#앤트로픽 #클로드 #Antrhopic
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
일단 Confidential S-1 Form 제출한 상태
이 기세면 Anthropic도 3~4달뒤에는 IPO를 실제로 하겠네요
https://www.anthropic.com/news/confidential-draft-s1-sec
앤트로픽, SpaceX, OpenAI 큰거 다 온다아ㅏㅏㅏ
하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩
#앤트로픽 #클로드 #Antrhopic
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
미국 정부에서 벤 풀어줬다고하네요 ㅅㅅㅅㅅㅅ
하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩
#앤트로픽 #클로드 #Antrhopic
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2