[AI 논문 톺아보기] Tracing the thoughts of a large language model (2편)

BQ 개발자입니다!

지난 편에서 LLM이 여러 언어를 처리할 때 공통된 '생각 공간'을 사용한다는 발견을 살펴봤어요. 오늘은 이런 발견을 가능하게 한 'AI 현미경'에 대해 알아보겠습니다.

📱[AI 논문 톺아보기] Tracing the thoughts of a large language model (1편)


🔬 AI 현미경: 기본 개념

AI 현미경은 대규모 언어 모델(LLM)의 내부 작동 방식을 관찰하고 분석하는 방법입니다. 이 방법의 핵심은 모델 내부에서 특정 개념을 나타내는 활성화 패턴을 찾고, 이 패턴들 간의 관계를 추적하는 것입니다.

LLM은 인공 신경망으로 구성되어 있는데, 수십억 개의 인공 뉴런들이 서로 연결되어 있습니다. 이 뉴런들은 입력에 따라 켜지거나 꺼지면서 특정 패턴을 형성하고, 이 패턴이 모델의 출력을 결정합니다. 연구팀은 이런 활성화 패턴 중에서 의미 있는 패턴을 찾아내고, 이를 '특징(feature)'이라고 부릅니다.

🔍 특징 식별: 첫 번째 단계

특징을 식별하는 과정은 간단한 원리에 기반합니다. 특정 개념(예: "작음")이 포함된 여러 문장과 그렇지 않은 문장을 모델에 입력하고, 두 집합 간에 일관되게 다르게 나타나는 활성화 패턴을 찾는 것입니다.

예를 들어, "small", "tiny", "little" 등의 단어가 포함된 문장들을 처리할 때 항상 특정 뉴런 그룹이 활성화된다면, 이 패턴은 "작음" 개념을 나타낼 가능성이 높습니다. 마치 우리 뇌에서 특정 생각을 할 때 특정 뇌세포들이 함께 활성화되는 것과 비슷하죠.

이렇게 찾아낸 특징이 정말 해당 개념을 나타내는지 확인하기 위해, 새로운 문장에서도 같은 패턴이 나타나는지 테스트합니다. 이는 과학적 방법론의 기본 원칙인 '가설 검증'과 동일한 접근법입니다.

🧪 인과관계 확인: 핵심 단계

특징을 식별한 후에는, 이 특징이 모델의 출력에 실제로 영향을 미치는지 확인해야 합니다. 이를 위해 연구팀은 '개입 실험'을 수행합니다.

개입 실험은 모델 내부에서 특정 뉴런 패턴의 활성화 값을 인위적으로 변경하고, 이로 인해 모델의 출력이 어떻게 변하는지 관찰하는 것입니다. 이는 인과관계를 확인하는 가장 직접적인 방법입니다.

예를 들어, 모델이 시를 쓰는 과정에서 "토끼" 관련 뉴런들의 활성화를 억제하면, 모델은 "토끼" 대신 다른 단어(예: "습관(habit)")을 선택할 수 있습니다. 이는 해당 뉴런 패턴이 모델의 단어 선택에 직접적인 영향을 미친다는 증거가 됩니다.


🔄 회로 구성: 종합적 이해

여러 뉴런 패턴들 간의 관계를 추적하면, 모델이 특정 작업을 수행하는 '회로'를 구성할 수 있습니다. 회로는 특징들과 그들 간의 연결로 이루어진 네트워크로, 모델의 정보 처리 흐름을 보여줍니다.

예를 들어, "small의 반대는?"이라는 질문을 처리할 때의 회로는 다음과 같을 수 있습니다:
1. 입력 텍스트에서 "small" 단어가 "작음" 관련 뉴런들을 활성화
2. "반대는?" 부분이 "반대" 관련 뉴런들을 활성화
3. "작음"과 "반대" 뉴런들이 함께 "큼" 관련 뉴런들을 활성화
4. "큼" 뉴런들이 출력 층에서 "big", "large" 등의 단어 확률을 높임

이런 회로를 통해 모델이 어떻게 정보를 처리하고 결정을 내리는지 이해할 수 있습니다.


📊 실제 발견: 계획 능력

AI 현미경을 통해 연구팀은 LLM이 단순히 한 단어씩 생성하는 것이 아니라, 앞을 내다보고 계획을 세운다는 사실을 발견했습니다.

운율 있는 시를 쓰는 실험에서, 모델은 두 번째 줄을 쓰기 전에 이미 운율이 맞는 단어(예: "rabbit")를 염두에 두고 있었습니다. 이는 모델 내부에서 해당 단어와 관련된 뉴런들이 미리 활성화되어 있었다는 사실을 통해 확인되었습니다.

모델은 단순히 다음 단어를 예측하는 것을 넘어, 더 긴 시간 지평에서 계획을 세우고 그에 맞게 텍스트를 생성할 수 있다는 의미!!

---

여러분의 좋아요와 공유는 사랑입니다 🥰

📱 순진한 코린이의 밈코인 착각 - VC도 없고 내부자 물량도 없어욧!

밈코는 늘 다 내부자 물량 + MM 물량이라고 이야기를 했지만 뭐 VC 없으니 자유롭고 어쩌구 반박글 잔뜩이었는데...

현실: 윈터뮤트 MM 하나빠진다고 수십가지 밈코들 1초만에 반의 반토막

📌 Abstract 만우절 기념 24시간 방송 중

Abstract 팀, Luca, 인플루언스들 등 계속 돌아가면서 24시간 방송 중

https://portal.abs.xyz/stream/Abstract

이게 노방종 24시간 뭐 그런거죠?!

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#abstract #앱스트렉트

📌 멘틀 홀더분들은 다들 MEXC 런치풀은 하시고 계시죠...?

📱 MEXC x Mantle Extravaganza 곧 오픈?!

📱 MEXC 비큐 파트너 가입 링크 (수수료 최저치)

아 - 달 - 다

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#MEXC #멘틀 #꿀이벤트

📌 소신발언+ 뇌피셜 - 한국인이 팀원들만 졸업 시켜준 그 코인 주피터 ($JUP)

📱 (2025.01.25) 당신의 $JUP은 주피터의 성공과 무관하다- Jupiter의 문샷 인수가 들려주는 다른 이야기

📱 (2025.03.06) 뇌피셜 + 개인적인 의견) 이제서야 토큰 내고, 수수료 나누기 시작하는밈코인 관련 프로토콜들 (Feat. 펌닷펀, 주피터 등) 2차 설거지는 아니겠지?

📱 (2025.03.09) 주피터 현재 논란 정리 - 직원들이 월에 USDC + 100k $JUP을 받게 된다고?

방에 계실분들은 다들 어느정도 아시겠지만 전 주피터를 늘 안좋게 보는 편입니다.

이유는 단순하게 국내에서 이상하게 좋아하는 사람들은 많은데

토큰노믹스든, 팀의 행보든 비전만 이야기하고 토큰 홀더와 토큰 역할 생각하는건 정말 너무 제로에 가깝다고 보기에 (솔직히 양아치라고봄)


프로토콜들을 보면 잘하는 부분도 있지만 못하는 부분들도 분명히 각자 많고

정상적인 프로토콜들을 잘할때 칭찬을 받고 못할때는 욕을 먹게 됨

근데 이상하게 주피터는 이상한 판단 내릴때도 사람들이 좋아해주고

토큰 신경 1도 안쓰는 행보 보여줘도 좋아하는 사람이 많음. 이해를 하기가 힘든 현상


솔라나 밈코인장에 수수료 하나도 분배안하고 자기들이 냠냠냠 다 먹고

남은 금액들은 심지어 문샷 최고점 인수하고 돈 빵빵 날려도 칭찬

최근 거의 거버넌스 6개가 연달아 직원들 수익 올려주기 +

충격적이었던 직원들 1인당 매달 거의 1억씩 월급에 보너스까지 얹혀주는 MEW의 보너스 이야기 실제로 진행되어도 칭찬

뭐 파운더가 나와서 한마디만 하면 바로 칭찬


이상하게 주피터만 국내에서 뭘해도 좋아해주는 사람들이 많음.

내가 들고 있는 토큰이 저렇게 하면 난 핵 화나서 다 던져버릴 것 같은데...

이상하게 주피터 ($JUP)나 해시키($HSK)처럼 아무 이유없이 국내에서 팬층이 두껍게 쌓이는 토큰들이 있음

이유가 뭘까? 뭔가 한국인의 니즈를 자극시켜주는 뭔가가 있는건가?

가격은 계속 박살나도, 토큰이 쓸모가 없어도 계속 지지를 해줌 신기한 현상

주피터 직원들은 한국인들이 다 졸업시켜줬뜨아!

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#주피터 #JUP #뇌피셜

📌 오 이니시아 그 프라이빗방(은 아니고 그냥 이니시아 좋아하는 사람들 방) 홀더도 배분이 있네요?!

작년 5월에 10분 저희방에서도 추첨되어서 들어갔을텐데, 방에 계신분들은 $INIT 소소한 용돈 기대해보셔도?!

📱 (2024.05.17) 이니시아 x BQ채널 텔방 링크 추첨

텔방도 챙겨주는쿠나?!

저때 당첨되어서 들어가신 10분은 카보자구요

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#이니시아 #INITIA

📌 웜홀 낼모레 유통량 47% 언락 - 과연 결말은?!

웜홀이 1일 22시간뒤에 약 110m$ (1.39b $W)이 언락되네요

이는 현재 시총의 47%가량인 수준!

하루만에 진짜 이렇게 크게 풀리는건 처음보네요. 시총 47% 수준의 물량이 하루만에 언락이라니!

이제 여기에서 언락 맞춰서 웜홀에서 대형 소스들을 내면서 운전을 해줄지

아니면 진짜 언락당했다가 되어버릴지 궁금

📱 토큰노미스트 자료

그 저 예전에 스테이킹하던거 헷징안해서 다 토막살인 당했는데 웜홀님 뭐 모나드 에드라도 발표좀해봐요!!!

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#웜홀 #W