[AI 논문 톺아보기] Tracing the thoughts of a large language model (1편)
BQ 개발자입니다!
오랜만에 LLM 쪽 공부를 좀 하고 싶었는데 재밌는 논문이 발표돼서 스터디 한번 진행해보려고 합니다. 앤트로픽에서 최근 발표한 "Tracing the thoughts of a large language model" 논문인데요, 대규모 언어 모델의 내부 작동 방식을 들여다본 연구라 너무 흥미로워서 가져왔습니다!
📚 LLM의 언어 간 공통 사고 공간
LLM은 수십억 개의 매개변수를 가진 복잡한 시스템인데, 이 모델들이 어떻게 '생각'하는지는 개발자들에게도 미스터리였습니다. 이 논문에서 연구팀은 신경과학에서 영감을 받아 일종의 'AI 현미경'을 개발했다고 해요
🌐 놀라운 발견: 언어 간 공통 사고 공간
연구팀은 "small의 반대는?"이라는 질문을 여러 언어로 물어보는 실험을 했습니다. 그 결과가 정말 좀 흥미롭습니다.
언어가 달라도 '작음'과 '반대'라는 개념을 처리하는 내부 특징이 동일하게 활성화되었습니다. 이 특징들은 '큼'이라는 개념을 촉발시킨 다음, 질문 언어에 맞게 번역되어 출력되는 과정을 보였어요.
즉, 영어, 프랑스어, 중국어 등 서로 다른 언어로 된 입력을 받더라도, 모델은 어떤 공통된 개념적 공간에서 처리한 후 해당 언어로 '번역'하는 것 같습니다! 너무 신기하지 않나요?ㄷㄷㄷ
더 흥미로운 점은 모델 규모가 커질수록 이런 언어 간 공유 회로가 증가한다는 것입니다. Claude 3.5 Haiku는 더 작은 모델에 비해 언어 간 특징 공유 비율이 두 배 이상 높았다고 하네요.
🧠 언어학적 시사점
저는 언어학에는 완전 무뇌한이지만 이런 발견은 인간의 언어 처리에 대한 오랜 논쟁과 맞닿아 있다고 하내요. 인간도 언어와 무관한 '생각의 언어'를 사용하는지에 대해 언어학자들은 오랫동안 논쟁해왔다고 하더라구요
LLM에서 발견된 이런 패턴이 인간의 언어 처리와 얼마나 유사한지는 아직 명확하지 않지만, 정말 흥미로운 접점이 될 것만 같습니다!
🔬 연구 방법: AI 현미경
논문에서는 '회로 추적(circuit tracing)'이라는 방법을 사용했다고 하네요. 이는 모델 내부의 특징들을 식별하고, 이들이 어떻게 서로 연결되는지 추적하는 기술입니다.
연구팀은 또한 신경과학에서 영감을 받은 실험도 수행했는데요, 모델의 내부 상태에서 특정 개념을 제거하거나 다른 개념을 주입하는 실험을 통해 모델의 작동 방식을 더 깊이 이해할 수 있었습니다.
❓ 남은 질문들
물론 아직 많은 질문이 남아있는 것 같습니다:
- 이 공통 사고 공간은 모든 개념에 적용될까?
- 문화적으로 특수한 개념은 어떻게 처리될까?
- 인간의 언어 처리도 이와 유사할까?
위 내용이 재밌으셨나요? 다음 편에서는 위 분석을 가능케한 AI 현미경이 어떻게 동작하는지에 대해서 한번 알아보겠습니다!
---
여러분의 좋아요와 공유는 사랑입니다🥰
#LLM #논문톺아보기 #인공지능 #클로드 #BQ개발자
BQ 개발자입니다!
오랜만에 LLM 쪽 공부를 좀 하고 싶었는데 재밌는 논문이 발표돼서 스터디 한번 진행해보려고 합니다. 앤트로픽에서 최근 발표한 "Tracing the thoughts of a large language model" 논문인데요, 대규모 언어 모델의 내부 작동 방식을 들여다본 연구라 너무 흥미로워서 가져왔습니다!
📚 LLM의 언어 간 공통 사고 공간
LLM은 수십억 개의 매개변수를 가진 복잡한 시스템인데, 이 모델들이 어떻게 '생각'하는지는 개발자들에게도 미스터리였습니다. 이 논문에서 연구팀은 신경과학에서 영감을 받아 일종의 'AI 현미경'을 개발했다고 해요
연구팀이 던진 핵심 질문 중 하나는 이거였습니다:
"클로드는 수십 개 언어를 구사할 수 있는데, 그 '머릿속'에서는 어떤 언어를 사용하고 있을까?"
🌐 놀라운 발견: 언어 간 공통 사고 공간
연구팀은 "small의 반대는?"이라는 질문을 여러 언어로 물어보는 실험을 했습니다. 그 결과가 정말 좀 흥미롭습니다.
언어가 달라도 '작음'과 '반대'라는 개념을 처리하는 내부 특징이 동일하게 활성화되었습니다. 이 특징들은 '큼'이라는 개념을 촉발시킨 다음, 질문 언어에 맞게 번역되어 출력되는 과정을 보였어요.
즉, 영어, 프랑스어, 중국어 등 서로 다른 언어로 된 입력을 받더라도, 모델은 어떤 공통된 개념적 공간에서 처리한 후 해당 언어로 '번역'하는 것 같습니다! 너무 신기하지 않나요?ㄷㄷㄷ
더 흥미로운 점은 모델 규모가 커질수록 이런 언어 간 공유 회로가 증가한다는 것입니다. Claude 3.5 Haiku는 더 작은 모델에 비해 언어 간 특징 공유 비율이 두 배 이상 높았다고 하네요.
🧠 언어학적 시사점
저는 언어학에는 완전 무뇌한이지만 이런 발견은 인간의 언어 처리에 대한 오랜 논쟁과 맞닿아 있다고 하내요. 인간도 언어와 무관한 '생각의 언어'를 사용하는지에 대해 언어학자들은 오랫동안 논쟁해왔다고 하더라구요
LLM에서 발견된 이런 패턴이 인간의 언어 처리와 얼마나 유사한지는 아직 명확하지 않지만, 정말 흥미로운 접점이 될 것만 같습니다!
🔬 연구 방법: AI 현미경
논문에서는 '회로 추적(circuit tracing)'이라는 방법을 사용했다고 하네요. 이는 모델 내부의 특징들을 식별하고, 이들이 어떻게 서로 연결되는지 추적하는 기술입니다.
연구팀은 또한 신경과학에서 영감을 받은 실험도 수행했는데요, 모델의 내부 상태에서 특정 개념을 제거하거나 다른 개념을 주입하는 실험을 통해 모델의 작동 방식을 더 깊이 이해할 수 있었습니다.
❓ 남은 질문들
물론 아직 많은 질문이 남아있는 것 같습니다:
- 이 공통 사고 공간은 모든 개념에 적용될까?
- 문화적으로 특수한 개념은 어떻게 처리될까?
- 인간의 언어 처리도 이와 유사할까?
위 내용이 재밌으셨나요? 다음 편에서는 위 분석을 가능케한 AI 현미경이 어떻게 동작하는지에 대해서 한번 알아보겠습니다!
---
여러분의 좋아요와 공유는 사랑입니다
#LLM #논문톺아보기 #인공지능 #클로드 #BQ개발자
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥2
안녕하세요, BQ개발자입니다.
개인적으로 업스테이지에 일하는 지인들이 있어서 그런지 그쪽 소식에 항상 관심이 가네요..!
요즘 AI 분야는 모델 크기 경쟁이 심한데, 우리나라 회사가 그 와중에 나름 선방하고 있어서 소식 공유해봅니다.
Solar Pro 2는 31B(310억) 파라미터 규모로 크기는 작은 편인데,
한국어 처리에서는 GPT-4나 Claude 3급과 비교해도 꽤 괜찮은 성능을 보여주고 있다네요.
특히 한국어 특화 모델답게 우리말 문맥을 잘 이해하고, 법률·금융·의료 같은 전문 영역에서도 쓸 만하다고 합니다.
이제 기업용으로도 실제 배포가 시작되었다고 하니, 한국 기업들이 자국 AI 모델을 쓸 수 있는 선택지가 하나 늘어난 셈이네요.
개인적으로는 우리나라 회사가 AI 경쟁에서 한 자리 차지하고 있다는 것 자체가 괜히 뿌듯!!!
---
여러분의 좋아요와 공유는 사랑입니다 😍
#AI #LLM #SolarPro2 #업스테이지 #한국AI
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7
🤖 Claude Code가 조용히 말을 안 듣기 시작할 때 — context 70%의 의미
안녕하세요, BQ개발자입니다.
요즘 AI가 정말 핫하죠 ㅎㅎ 오랜만에 AI 얘기를 조금 써보겠습니다.
Claude Code를 쓰다 보면 이상하고, 넘 짜증나는 경험을 하게되는데요,
오늘은 이 현상이 왜 생기는지 찾아봤습니다.
✔️ 요약
- context window는 "찼거나 / 안 찼거나" 두가지로 나눌 수 있는 상태가 아님
- 70%부터 이미 지시사항 반영이 줄어들기 시작함
- /compact 타이밍은 비용 문제가 아니라 품질 문제임
1️⃣ 왜 70%가 임계치인가
Transformer는 각 토큰이 다른 모든 토큰에 attention을 분배하는 구조입니다. 이 attention이 균등하게 분배되지 않아요.
context가 짧을 때는 CLAUDE.md의 지시사항이 전체 대비 비중이 높고, 현재 입력과의 연결도 충분합니다. 근데 코드, 파일 내용, 이전 대화가 쌓이면서 context가 70%를 넘으면, 앞부분 지시사항에 할당되는 attention weight가 상대적으로 낮아져요.
"잊어버리는" 게 아닙니다. 기술적으로는 지시사항이 context에 여전히 있거든요. 그냥 현재 입력 대비 상대적 weight가 낮아지는 것뿐이에요. 에러메시지도 없고, 작업이 멈추지도 않아요. 결과물이 조용히 나빠지는 게 전부입니다.
2️⃣ /compact 타이밍이 왜 90%가 아닌 70~80%여야 하는가
90%에서 /compact를 실행하면 이미 attention이 희석된 상태에서 압축이 일어납니다. Claude가 지시사항을 덜 반영한 채로 쌓아온 흐름을 요약하는 거라서, 압축된 요약 자체가 지시사항과 어긋난 방향으로 만들어질 수 있어요.
70~80%에서 실행하면 달라집니다. 지시사항이 아직 충분히 attention을 받는 상태에서 세션이 압축되니까, "내 지시사항을 제대로 이해한 상태의 Claude"가 요약하는 거죠. compact 이후 세션의 품질 기반 자체가 달라지는 겁니다.
3️⃣ /context를 다르게 볼 수 있을 것 같은..?
Claude Code에서 /context 명령어를 쓰면 현재 context 사용량이 표시됩니다. 보통 비용 확인 용도로 쓰는 경우가 많은데요.
이걸 "지금 내 지시사항이 얼마나 반영되고 있는가"를 간접적으로 측정하는 도구로 보는 게 더 정확할 것 같아요. 70%를 넘었다면, Claude가 규칙을 안 따르거나 지시를 무시하는 것 같을 때 코드나 프롬프트를 먼저 의심하기 전에 context 상태를 확인해보는 게 맞습니다.
✏️ 개인적으로 본 방향
context window는 비용 지표보다 품질 지표로 보는 게 더 유용한 것 같습니다.
수치가 70%를 넘는 순간부터 Claude는 여전히 작동하고 있지만, 내가 원하는 Claude가 맞는지는 점점 불확실해집니다.
/compact는 비용을 줄이는 게 아니라 품질 기준점을 리셋하는 거라고 보면 될 것 같아요.
---
다음 편에서는 MCP를 많이 설치할수록 Claude가 오히려 할 수 있는 일이 줄어드는 역설적인 구조를 다뤄볼게요.
여러분의 좋아요와 공유는 사랑입니다 🥰
#BQ개발자 #ClaudeCode #LLM #AIEngineering
안녕하세요, BQ개발자입니다.
요즘 AI가 정말 핫하죠 ㅎㅎ 오랜만에 AI 얘기를 조금 써보겠습니다.
Claude Code를 쓰다 보면 이상하고, 넘 짜증나는 경험을 하게되는데요,
에러도 안 나고, 작업도 멈추지 않는데,
어느 순간부터 CLAUDE.md에 적어둔 규칙들을 Claude가 점점 안 따르기 시작합니다.
오늘은 이 현상이 왜 생기는지 찾아봤습니다.
✔️ 요약
- context window는 "찼거나 / 안 찼거나" 두가지로 나눌 수 있는 상태가 아님
- 70%부터 이미 지시사항 반영이 줄어들기 시작함
- /compact 타이밍은 비용 문제가 아니라 품질 문제임
1️⃣ 왜 70%가 임계치인가
Transformer는 각 토큰이 다른 모든 토큰에 attention을 분배하는 구조입니다. 이 attention이 균등하게 분배되지 않아요.
context가 짧을 때는 CLAUDE.md의 지시사항이 전체 대비 비중이 높고, 현재 입력과의 연결도 충분합니다. 근데 코드, 파일 내용, 이전 대화가 쌓이면서 context가 70%를 넘으면, 앞부분 지시사항에 할당되는 attention weight가 상대적으로 낮아져요.
"잊어버리는" 게 아닙니다. 기술적으로는 지시사항이 context에 여전히 있거든요. 그냥 현재 입력 대비 상대적 weight가 낮아지는 것뿐이에요. 에러메시지도 없고, 작업이 멈추지도 않아요. 결과물이 조용히 나빠지는 게 전부입니다.
2️⃣ /compact 타이밍이 왜 90%가 아닌 70~80%여야 하는가
90%에서 /compact를 실행하면 이미 attention이 희석된 상태에서 압축이 일어납니다. Claude가 지시사항을 덜 반영한 채로 쌓아온 흐름을 요약하는 거라서, 압축된 요약 자체가 지시사항과 어긋난 방향으로 만들어질 수 있어요.
70~80%에서 실행하면 달라집니다. 지시사항이 아직 충분히 attention을 받는 상태에서 세션이 압축되니까, "내 지시사항을 제대로 이해한 상태의 Claude"가 요약하는 거죠. compact 이후 세션의 품질 기반 자체가 달라지는 겁니다.
3️⃣ /context를 다르게 볼 수 있을 것 같은..?
Claude Code에서 /context 명령어를 쓰면 현재 context 사용량이 표시됩니다. 보통 비용 확인 용도로 쓰는 경우가 많은데요.
이걸 "지금 내 지시사항이 얼마나 반영되고 있는가"를 간접적으로 측정하는 도구로 보는 게 더 정확할 것 같아요. 70%를 넘었다면, Claude가 규칙을 안 따르거나 지시를 무시하는 것 같을 때 코드나 프롬프트를 먼저 의심하기 전에 context 상태를 확인해보는 게 맞습니다.
✏️ 개인적으로 본 방향
context window는 비용 지표보다 품질 지표로 보는 게 더 유용한 것 같습니다.
수치가 70%를 넘는 순간부터 Claude는 여전히 작동하고 있지만, 내가 원하는 Claude가 맞는지는 점점 불확실해집니다.
/compact는 비용을 줄이는 게 아니라 품질 기준점을 리셋하는 거라고 보면 될 것 같아요.
---
다음 편에서는 MCP를 많이 설치할수록 Claude가 오히려 할 수 있는 일이 줄어드는 역설적인 구조를 다뤄볼게요.
여러분의 좋아요와 공유는 사랑입니다 🥰
#BQ개발자 #ClaudeCode #LLM #AIEngineering
❤9
안녕하세요, BQ개발자입니다.
LLM 에이전트를 장기 프로젝트에 투입해본 팀이라면 이런 증상을 경험해보셨을 것 같아요.
처음엔 잘 돌아가던 에이전트가 몇 시간 후 "초기에 그러지 말라고 한 방향"으로 흘러가고 있는 것을요.
코드를 고친 게 아닌데, 에이전트가 다른 에이전트가 된 것처럼 행동합니다.
이게 왜 일어나는지, 그리고 Ralph Loop(반복 루프 설계 패턴)가 이것을 어떻게 해결하는지 정리해봤습니다.
1️⃣ 왜 히스토리를 길게 유지하면 실패하는가
LLM은 입력 전체에 attention(주의)을 분산해서 다음 토큰을 예측합니다. 세션이 시작할 때는 컨텍스트(context window)에 핵심 지시사항만 있으니 모델이 그것에 집중합니다. 그런데 대화 히스토리, 중간 실행 결과, 검색 내용이 쌓이면 상황이 달라집니다.
컨텍스트가 수만 토큰 수준으로 커지면, 세션 초반의 지시사항은 뒤에 쌓인 수천 토큰과 동등한 가중치를 경쟁해야 합니다. 결과적으로 초기 지시사항이 받는 상대적 주의가 줄어들고, 에이전트는 점점 "최근에 많이 보인 내용" 쪽으로 쏠리게 됩니다. 모델이 잊는 게 아니라, 구조적으로 주의를 균등하게 분산할 수밖에 없기 때문에 일어나는 일이에요.
"context window를 더 크게 만들면 해결되는 거 아닌가"라는 생각이 드실 수 있는데요. 창이 커질수록 더 많은 히스토리가 쌓이고, 초기 지시사항의 비중이 희석되는 구조는 동일합니다. 근본 해결책이 아니에요.
2️⃣ Ralph Loop: 반직관적 해법
Ralph Loop는 이 문제를 다른 방향에서 접근합니다. 컨텍스트를 연장하는 대신, 의도적으로 리셋합니다. 에이전트를 매 작업 단위마다 새 세션으로 실행하는 겁니다.
새 세션으로 시작하면 컨텍스트에 히스토리가 없습니다. 초기 지시사항이 항상 앞에 있고, 주의가 분산될 축적된 노이즈도 없습니다. 에이전트는 항상 깨끗한 컨텍스트로 작업을 받습니다.
여기서 당연한 반론이 생깁니다. 새 세션은 이전 작업을 전혀 모르는데, 이건 그냥 기억을 지우는 게 아닌가요?
그렇지 않은 이유가 Ralph Loop의 핵심입니다.
3️⃣ AGENTS.md: 에피소드 기억을 의미 기억으로 변환
각 세션이 끝날 때는 두 가지가 일어납니다.
첫째, 변경한 코드를 git commit합니다. 다음 세션이 git log와 git diff를 읽으면 "이전에 무슨 작업이 있었는지"를 파악할 수 있습니다. 수천 줄의 대화 히스토리를 읽는 게 아니라, 이미 정리된 변경 내역을 읽는 거예요.
둘째, AGENTS.md에 메타레벨 판단을 기록합니다. 중요한 건 대화 내용을 그대로 옮기는 게 아니라는 점입니다. "이 방향을 시도했더니 이런 이유로 실패했다, 다음 세션은 이것부터 확인해라"처럼, 소화된 판단을 남깁니다.
대화 히스토리는 에피소드 기억입니다. "그때 그 일이 있었다"는 raw 기록이에요. AGENTS.md에 쌓이는 건 의미 기억입니다. 경험에서 추출된 원칙과 판단이에요.
새 세션은 수천 줄의 대화 히스토리 대신 AGENTS.md를 읽습니다. 이전 세션들이 이미 소화한 교훈을 읽는 겁니다. 컨텍스트를 리셋하는 것이 정보를 버리는 게 아니라, 소화된 지식을 외부로 내보내고 나서 비우는 것이기 때문에 가능한 설계예요.
✏️ 개인적으로 흥미로운 지점
"컨텍스트를 길게 유지하는 게 더 많이 안다는 의미"라는 직관이 왜 틀린지, 구조적으로 설명이 되는 게 흥미롭지 않나유!
오히려 깨끗하게 비우면서 소화된 지식을 외부에 저장하는 것이 더 잘 작동하는 구조인 느낌 ㄷㄷ
물론 이 설계가 만능은 아닙니다. 작업 단위를 어떻게 나눌지, AGENTS.md에 무엇을 기록할지 설계해야 하고 — 이 설계가 잘못되면 다른 문제가 생겨요. (이 부분은 뒤에 또 정리해볼게요)
다음 편에서는 이 루프에 얼마나 많은 토큰을 투입할 것인가, 즉 토큰 예산이 어떻게 연구 자본이 되는지 다뤄보겠습니다.
---
여러분의 좋아요와 공유는 사랑입니다 😍
#BQ개발자 #AI에이전트 #RalphLoop #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥1