📌 LLM 어플리케이션 8편: 청킹 - 긴 글을 어떻게 나눌 것인가

BQ개발자입니다.

지난 편에서 임베딩으로 텍스트의 의미를 벡터로 변환할 수 있다고 배웠습니다.
이제 RAG 시스템을 만들어볼까요?

📱LLM 어플리케이션 7편: 임베딩 - 의미를 숫자로 바꾸는 기술


🔍 RAG의 데이터 흐름

먼저 RAG가 어떻게 작동하는지 봅시다.

1. 문서 저장: "인사규정.pdf" → 임베딩 → 벡터 DB에 저장
2. 질문 처리: "연차 몇 개야?" → 임베딩 → 질문 벡터 생성
3. 검색: 질문 벡터와 가장 유사한 문서 벡터 찾기
4. 답변: 찾은 문서를 LLM에 전달 → 답변 생성

간단해 보이죠?
그런데 1번 단계에서 중요한 결정을 해야 합니다.

"문서를 어떤 단위로 저장할 것인가?"

⚠️ 청킹 없이 그냥 저장하면?

100페이지짜리 인사규정을 통째로 하나의 벡터로 만들었다고 가정해봅시다.

사용자: "신입사원 연차 몇 개야?"

RAG 시스템:
1. 질문을 벡터로 변환
2. 가장 유사한 문서 검색 → "인사규정.pdf" (100페이지 전체)
3. LLM에게 전달: "이 100페이지에서 신입사원 연차를 찾아서 답해줘"

결과:
- LLM이 100페이지를 다 읽어야 함 (비용 폭발)
- 토큰 한계 초과로 처리 불가능
- 설령 처리해도 답변 정확도 떨어짐

이래서는 검색이 무의미합니다.


🤔 청킹(Chunking)이란?

청킹은 긴 문서를 검색 가능한 작은 단위로 나누는 과정입니다.

100페이지를 적절히 나누면:
- 3페이지: 근무시간 규정
- 4페이지: 연차 규정 ← 이것만 검색됨
- 5페이지: 병가 규정
...

이제 질문과 관련된 부분만 정확히 찾을 수 있습니다.


⚡ 정보의 원자성 vs 맥락성

청킹은 두 가지 상충하는 요구사항 사이의 균형입니다.

원자성 (Atomicity)
- 각 청크가 하나의 명확한 정보를 담아야 함
- 작을수록 검색 정확도 향상
- 하지만 맥락 없이는 의미가 불완전

맥락성 (Context)
- 정보를 이해하는 데 필요한 배경 포함
- 클수록 이해도 향상
- 하지만 불필요한 정보로 인한 노이즈 증가

최적의 청킹은 이 둘 사이의 균형점을 찾는 것입니다.


📏 청킹 방법론의 진화

1. 고정 크기 청킹
- 300자, 500자 등 일정 크기로 자르기
- 문제: 문장이나 단어가 중간에 잘림
- "...연차는 15일이며, 2년차부터는 매년 1일씩 추|"

2. 재귀적 청킹
- 우선순위: 문장 → 절 → 단어 경계
- 의미 단위를 최대한 보존
- 크기 제한도 지키면서 가독성 확보

3. 의미 기반 청킹
- 문서의 논리적 구조 활용 (제목, 단락, 섹션)
- 주제가 바뀌는 지점에서 분할
- 자연스러운 의미 단위 유지


🎯 고급 청킹 전략

부모-자식 청킹 (Parent-Child)

핵심 아이디어: 검색과 제공을 분리

자식 청크 (검색 최적화):
- "신입사원의 연차는 15일입니다."
- 작고 구체적, 정확한 매칭 가능

부모 청크 (답변 최적화):
- 자식 청크 + 주변 맥락
- "신입사원의 연차는 15일입니다. 2년차부터는..."
- 완전한 정보 제공

스몰-투-빅 (Small-to-Big)

검색된 청크의 앞뒤 문맥을 자동 포함:
- 핵심: "연차는 15일입니다."
- 제공: [이전 문장] + 핵심 + [다음 문장]
- 자연스러운 흐름 유지


💡 청킹이 RAG 성능을 좌우하는 이유

임베딩은 의미를 수치화하는 기술이지만,
청킹은 어떤 의미를 수치화할지 결정하는 요소입니다.

같은 정보도 청킹에 따라:
- "15일" → 의미 없는 숫자
- "신입사원 연차 15일" → 명확한 정보

RAG의 품질은 임베딩 모델보다 청킹 전략에 더 의존합니다.
검색의 정밀도와 답변의 완전성이 여기서 결정되기 때문입니다.

정보를 어떻게 구조화하고 보존할 것인가.
이것이 청킹의 본질입니다.


이렇게 오늘은 지식을 효과적으로 저장하고 검색하는 방법을 배웠습니다.
다음은 이 지식을 활용해 능동적으로 사고하는 시스템, 에이전트를 알아보겠습니다!

---

여러분의 좋아요와 공유는 사랑입니다 🥰

#BQ개발자 #LLM애플리케이션 #청킹 #AIEngineering

📌 FLock은 매일 경제 TV에 출현했었 ㄷㄷ

요즘 티비에서도 크립토에 대한 내용을 하나씩 다뤄주고 있네요

매일 경제 TV에서도 크립토 인사이트가 생기고 크립토 내용이!

📱 유튜브 영상

✔️ 간단 내용 요약

- 데이터를 공유하고 트레이닝을 하는데 데이터 사일로 문제가 늘 있다

- 이를 블록체인으로 해결이 가능하다고 판단했기에 AI 산업에서 블록체인으로 넘어왔다

- 탈중앙화 AI는 타겟층이 다르다. 데이터가 민감한 산업을 타겟팅한다는게 오픈AI등과 다르다

- 예시로 병원이든, 데이터가 민감한 곳에서는 오픈AI를 아예 사용하지 못한다 이러한 케이스들을 타겟팅한다

- 만드는 모든것들을 리서치와 발표를 통해 검증받고 있으며 신뢰받을 수 있는 탈중앙화 AI 모델 및 트레이닝 네트워크로 인식되는 것이 가장 큰 목표

정말 몇년전만해도 상상하기 힘든 일들이 계속해서 일어나는..

ETF도 그렇고, 이제는 TV나 다양한 곳들에서 크립토 이야기들과 인사이트를 찾아볼 수 있고

크립토는 확실히 매년 어마무시한 수준으로 커가고 있다!

📱(2025.06.01) FLock. gmFlock 통한 트레이닝 출시

📱 (2025.06.26) FLock 토큰을 가장 잘 활용하는 방법 gmFLock - APR도 50~80% 나옴

📱 (2025.07.11) gmFLOCK 스테이킹 후기- 상당히 쾌적한데?

📱 (2025.07.26) FLock Moonbase가 메인이다?

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#FLock #플록

📌 Irys 카이토 리더보드에서 빠졌으면 걱정하지말라네요

이번에 카이토쪽이 리더보드 알고리즘을 바꾸면서 전반적으로 리더보드쪽에

사람들이 다 바뀌게 되었는데

아이리스측의 경우 이를 인지하고 있고 카이토쪽과 같이 일해서 합리적으로 만들어놓는다고 합니다

리더보드에서 갑자기 사라지신분들의 경우 나중에 췍췍하면될듯?

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#IRYS #데이터 #스토리지 #AI

📌 레제로 ($ZRO) + 스타게이트 ($STG) 토큰 합병 거버넌스 진행 중

레제로에서 이번에 스타게이트 토큰을 인수하겠다고 발표가 나왔네요

사실 레제로에서 나온 녀석이라 주체는 비슷해보이는데 같이 하나로 합친다는 소식인듯?

📱 거버넌스 프로포절

✔️ 토큰 합병 어떻게 이루어지나?

- $STG 토큰 가격을 0.1675$로 계산

- STG -> $ZRO로 전환 예정 (1 $STG = 0.08634 $ZRO)

- 스타게이트 마지막 투표 진행 이후에 진행될 예정

굉장히 스마트한 플레이 중 하나라고 보고 있는 중

레제로 토큰, 스타게이트 토큰 둘다 나왔는데 이제 하나로 합쳐지면서

시장은 어떻게 보자면 레제로 시총 + STG 시총 = 레제로 새로운 시총 느낌으로 잘 만든!

레제로도 하나씩 토큰쪽 다 합치고 힘주기 시작하겠다!! 라는 선언문 같은 느낌이네요

현재는 $STG = 0.1927$

레제로 $ZRO = 2.45$로

$STG 가격이 좀 더 낮게 평가되고 있기에 헷징하고 수익 노리는 플레이도 많은 상태

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#레이어 #ZRO #STG #스타게이트

📌 Treehouse tAsset 업데이트예고 - 다른 자산 추가될수도???

Treehouse에서 tAsset들의 다음 단계를 예고하는 트윗을 계속 쏘고 있네요

📱 원문트윗

무슨 확장인지 모르겠지만, 제 개인적인 생각으로는 현재까지는 Treehouse의 tETH로만 모든것이 되었는데

아마 다른 자산까지 스테이킹 LSD 추가하고 DOR 네트워크에 추가하면서

tSOL이든 t뭐든 추가하는 움직임이 곧 나오지 않을까 싶은 뇌피셜

안전하게 이자 굴리는 안전지대 느낌으로 하나씩 확장해주면 나야 고맙다!!


✔️ 참고자료들

📱 (2025.07.10) 시즌 2 시작한 TreeHouse 활용해서 1이더로 10이더치 파밍 + 10% 이자 받기

📱 (2025.07.09) 트리하우스 CEO가 말하는 "WEN TGE?" - TGE는 IPO처럼 신중하게 접근해야한다

📱 (2025.05.09) 이더 / cmETH 이제 어디서 돌려요? 바낸, Jump, WinterMute, GSR등 투자 받은 Treehouse Finance

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#TreeHouse #트리하우스 #이더리움돌리기 #cmETH #tETH

📌 EKubo 현재 이율 여전히 개꿀

USDe-USDT는 TVL 3.9m$ 돌파로 APR 20%까지 내려온 상태

USDC-USDT는 여전히 18%로 개꿀

https://evm.ekubo.org/charts

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#EKUBO #EVM #이쿠보

📌 레제로쪽 이제 조금씩 기대해볼만하나? 팀원 물량 락업과 함께 토큰 힘주기

이게 참 재미있는게 여러 토큰들이 좀 파격적인 움직임을 보여줄때가

사실 팀 및 투자자 물량이 언락되기 시작할때!

이때는 진짜 가격을 확실히 올려야되기에 여러 프로포절들이 나오는데

레제로도 이제 올해 8월달부터 팀원 및 투자자 물량들이 풀리기 시작합니다

아마 최근 STG 합병 소식 등도 이를 맞춰서 준비해나가는 그림이 아닐까 싶은 뇌피셜

https://coinmarketcap.com/currencies/layerzero/#yields

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#레이어제로

📌 자 이제 시작이야 내꿈은~ LBTC 이자 쌓이는 시대, 롬바드

📱 (2025.07.16) 롬바드 LBTC 곧 이자 쌓이는 Yield Bearing으로 변경 예정!!

이제 8월 11일부터 LBTC가 공식적으로 비트코인 이자가 쌓이는 구조로 바뀌게 됩니다.

쉽게 이해해서 이제 LBTC 홀딩을 통해서 받게되는 다양한 보상들 ($BABY, $TAC 등등)이 자동으로 LBTC로 전환되어서

LBTC 들고 있는 유저는 가만히 있어도 이자가 쌓이고

LBTC:BTC 가격이 올라가는 구조!

한줄 정리 비트코인 들고 있을꺼면 LBTC로 들고 있자.

📱 (25.02.13 업데이트) 다가오는 비트코인 리스테이킹, 효율성 0위. Lombard 에어드랍 A to Z 가이드 (Feat. 비트이자, Babylon, Corn, Veda)

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#BTC #리스테이킹 #Lombard #롬바드 #바빌론

개인적으로 애는 스테이블코인 파밍 꿀 중 하나가 되지 않을까 싶음

에세나 Sats 다 챙기면서 에세나 체인 TerminalFi 포텐까지 기대가능하니

USDe 활용하는 유저라면 와이낫!

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#TerminalFi #에세나 #에세나체인수혜주

📌 오늘 오후 9시 생방송 - 레이어제로 $ZRO 뭔일인데 폭등뭔데! 아비트러지 기회도?!

매주 월요일 금요일 오후 9시. 그리고 중요한 소식이 있을때는 수요일에도 찾아오는 비큐 생방송

오늘 오후 9시에 유툽 라이브 진행!!

📱 BQ 유튜브

🟢 Abstract 동시 송출

✔️ 오늘의 주제: 레제로와 스타게이트 무슨일이 일어나고 있는걸까?

또한 추가로 현재 상당히 많은 사람들이 하고 있는 $ZRO, $STG 아비트러지 전략까지!

시간 남으면 Lido의 최근 프로포절과 토큰에 영향을 주는 양면에 대해서도 이야기 예정

와서 편하게 시청하시구 궁금하신 질문은 뭐든지 다 환영!! (주제랑 상관없어도 됨. 생방인데 뭐)

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#BQ유튜브 #라이브

📌 만약에라도 조정이 오면 생각하는 시나리오

차트는 비반꿀

뭐 조정 안주고 가는게 최고의 행복 시나리오겠지만

혹시나 미래에 조정이 온다면 생각하는 곳들 정도

하트와 좋아요는 비큐 컨텐츠의 큰 힘이 됩니다 🤩

#ETH $ETH

ON AIR

📱 BQ 유튜브

🟢 Abstract 동시 송출

We are Live!

생방송 시자아아악!

꿀정보 + 편하게 즐기다가시라구요~