📌 LLM 어플리케이션 5-2편: 메모리 - AI의 기억은 검색 가능한 구조화된 정보다

안녕하세요, BQ개발자입니다.

지난 편에서 LLM이 본질적으로 건망증 환자라는 이야기를 했는데요, 그럼 이 문제를 어떻게 해결할까요?

📱LLM 어플리케이션 5-1편: 메모리 - LLM은 본질적으로 건망증 환자다

"AI는 어떻게 기억을 관리해야 할까?"

🤔 인간의 기억 vs AI의 기억

인간의 기억은 자연스럽게 떠오릅니다. "아, 그때 그랬지" 하면서 연관된 기억들이 줄줄이 따라오죠.

하지만 AI는 다릅니다. 기억이 자동으로 떠오르지 않아요.

AI에게 기억은 "필요할 때 찾아서 사용하는 정보"입니다.
인간처럼 자연스럽게 연상되는 게 아니라, 검색해서 가져와야 하는 데이터예요.


⚡ 계층적 메모리 시스템의 필요성

그래서 AI에는 계층적 메모리 시스템이 필요합니다.

단기 메모리 (현재 세션):
현재 대화의 최근 몇 번 교환만 유지합니다. "방금 전에 말한 것" 정도의 맥락은 유지하는 거죠.

장기 메모리 (압축된 과거):
과거 대화의 핵심 내용만 저장합니다. 하지만 여기서 중요한 게, 단순한 대화 로그가 아니라는 점이에요.


🧠 단순 요약이 아닌 구조화된 지식 추출

핵심은 "무엇을 어떻게 저장할 것인가"입니다.

대화 내용을 그대로 저장하면 검색이 어렵고, 단순히 요약하면 중요한 정보가 손실됩니다.

대신 구조화된 지식 추출이 필요해요:

사용자 선호사항:
- "매운 음식 싫어함"
- "오전 회의 선호"
- "간단명료한 답변 원함"

중요한 결정사항:
- "A안으로 진행하기로 함"
- "예산은 100만원으로 확정"
- "다음 주까지 완료 목표"

반복되는 패턴:
- "매주 월요일마다 일정 관련 질문"
- "특정 프로젝트에 대한 지속적 관심"


🔍 의미적 검색의 복잡성

저장하는 것도 어렵지만, 검색하는 것은 더 까다롭습니다.

"예전에 날씨에 대해 얘기했던 것" 같은 모호한 참조를 처리해야 하거든요.

단순한 키워드 검색으로는 해결되지 않습니다. "날씨 → 우산 → 비 → 외출 계획"처럼 연관된 개념들을 추적해야 해요.

여기서 벡터 유사도 검색이 중요해집니다. 키워드가 정확히 일치하지 않아도 의미적으로 관련된 정보를 찾을 수 있거든요.


🎯 검색 가능한 형태로 재구성

결국 AI의 "기억"은 검색 가능한 형태로 정보를 재구성하는 것입니다.

이는 전통적인 데이터베이스와도 다릅니다:
- 데이터베이스: 정확한 매칭
- AI 메모리: 의미적 연관성으로 검색

또 인간의 기억과도 다릅니다:
- 인간: 자연스러운 연상
- AI: 능동적 검색과 조합

🚀 기억의 재정의

정리하면 AI에게 기억은 과거 정보를 현재 맥락에 적절히 연결하는 능력입니다.

단순히 많이 저장하는 게 아니라, 필요한 순간에 적절한 정보를 찾아서 현재 상황에 맞게 제공하는 것이 핵심이죠.

하지만 내부 기억을 아무리 잘 관리해도, 또 다른 문제가 남습니다. "AI가 우리 회사 내부 문서는 어떻게 알지?"

다음 편에서는 "RAG - 똑똑한 AI도 회사 문서를 모르는 이유"를 다뤄보겠습니다.

---

여러분의 좋아요와 공유는 사랑입니다 🥰

#BQ개발자 #LLM애플리케이션 #AI메모리시스템 #AIEngineering