새벽에 이렇게 글쓰다가 밈코인하니 뭔가 한없이 가벼워진 느낌이네요

아마 전 다중인격인 것 같습니다. 그래도 다들 적응하고 계시죠?🤣

<AI Agent 구성 요소와 측정>

채팅방에서 좋은 질문이 나왔습니다.

"좋은 AI Agent 프로젝트에는 어떤 게 있나요?"

이 질문을 이해하기 위해서는 AI Agent는 어떻게 구성되고 있는가에 대한 이해가 필요합니다. AI Agent Survey 페이퍼를 4~5개 정도 읽고 있는데, 공통적으로 이야기하는 부분을 정리해 공유합니다.

제가 간략하게 쓰는 내용이니 논문과 같은 표현보다는 독자들이 직관적으로 이해할 수 있게 정리해서 작성해보았습니다. 궁금한 분들은 레퍼런스 논문들을 읽어보시는 것을 추천합니다. (* 제가 적은 내용은 매우 간략 버전이며 한 문장 한 문장이 논문 주제입니다.)

0️⃣ AI와 AI Agent는 다른 지표를 사용해야 한다.

AI Agent는 기존의 단일 AI와는 다른 형태를 보입니다. 기존 LLM 단순히 입력-모델-출력으로 구성된 결과물을 위한 인프라라면, AI Agent는 여러 AI 또는 인프라와 결합되어 복합적인 문제를 해결하기 위한 도구입니다. 범용 문제를 해결하기도 하지만 특정 문제를 해결하기 위해 테스크에 따라 과적합 되어 있을 수 있으며, 비용, 환경, 대상 등 다양한 추가적인 변인을 고려하여 벤치마크를 설계해야 합니다.

1️⃣ AI Agent에 대한 정의와 공통 요소

AI Agent에 대한 정의는 여전히 모호한 영역 중 하나입니다. agent가 무엇이냐? 라고 하기보다는 어떤 게 더 agentic 한지에 대해 스펙트럼으로 이해하는 게 중요할 것 같습니다. 이 부분에서는 크게 3가지 요소가 있습니다.

- 목표 및 환경: 에이전트의 활동 반경 및 실제 테스크의 복잡도가 높을 수록 Agentic하다. 상호작용 대상의 수 , 실시간 소통 등이 복잡함의 요소가 될 수 있습니다.
- UI & UX: 사용을 위한 입력이 자연어에 가까울 수록 Agentic하며, 인간의 별도의 추가 입력이 없이 자율적으로 목표를 수행할 수록 Agentic 하다.
- 시스템 디자인: 시스템을 사용하기 위한 제어 흐름이 자율적이고 동적일 수록 Agentic하다.

2️⃣ Agent의 설계 요소

Agent 설계를 위해 정말 다양한 요소가 있겠지만 크게 네 가지로 구분할 수 있습니다.

- Profile: 초기값 설정. 페르소나를 포함하여 전체 요소에 대한 전략 등에 대한 설정을 포함합니다.
- Memory: 메모리 구성 방식 (장기기억, 단기기억 등), 메모리 정보 저장 방식 (자연어, 벡터 등), 메모리 관련 모든 것을 포함합니다. 개인적으로는 메모리 관리에 대해 더 관심이 많아 [2]를 읽어보시는 것을 추천드립니다.
- Planning: Reasoning 방식(단일 경로, 복수 경로), 피드백 방식(환경, 인간, 모델) 등을 의미합니다.
- Action: 시스템을 통해 나온 결과물과 동작을 포함합니다. 대상, 환경, 횟수, 제한 등이 포함됩니다.

3️⃣ 평가 방법

- 벤치마크는 주관적 평가와 객관적 평가로 나뉩니다. 주관적 평가에는 잘 알려진 튜링테스트 등이 있고, 객관적 평가에는 각 task에 따른 수행 완료 등이 있습니다. 또한 주관적 평가에는 윤리 등이 들어갈 수 있습니다.
- 근데 재밌는 제안 중 하나는 비용과 연계된 지표를 사용해야 한다는 것입니다. 정확도를 기준으로 한다면 비용이 많이드는 최신 모델일수록 더 좋은 정확도를 가질 확률이 높기에 실제 Agent로 사용하기 어려울 수 있습니다.
- 그리고 단순히 베이스 모델만이 아닌 다운스트림 모델에 대한 측정을 개별로 해야합니다. 각 Agent가 다루는 주제(과학, 개발, 문화 등)에 따라 정확도와 비용이 달라질 수 있습니다. Agent의 종류는 정말 다양합니다. 대표적인 Agent는 다음과 같습니다. (i.e., General Agent, Tool Agent, Simulation Agent, Embodied Agent, Game Agent, Web Agent, Assistant Agent)

* 관련해서 Web2/Web3에 다양한 시스템 디자인들도 추후 공유해보겠습니다.

<References>

- Wang, Lei, et al. "A survey on large language model based autonomous agents." Frontiers of Computer Science 18.6 (2024): 186345.
- Zhang, Zeyu, et al. "A survey on the memory mechanism of large language model based agents." arXiv preprint arXiv:2404.13501 (2024).
- Kapoor, Sayash, et al. "Ai agents that matter." arXiv preprint arXiv:2407.01502 (2024).
- Durante, Zane, et al. "Agent ai: Surveying the horizons of multimodal interaction." arXiv preprint arXiv:2401.03568 (2024).

요새 여러 소셜 노이즈에 DePIN이 간간히 눈에 보이네요. 연말연초메타인가🤔 일단 간단하게 보고 있는 것과 봐야할 것. (저도 잘 모르고 언젠가 채널에 간략 리서치 올라올 가능성 있는 것들)

- GEODNET
- Helium
- Helium Mobile
- Hivemapper
- MVL
- DIMO

참고로 들고 있는 것 0.

Q1/Q2 언저리에 미국/중국 머니가 본인들이 (유동성 출구) 필요할 때 쉴링할거라 생각중.

기술 검증 안했지만 주말용 도파민 공유. 스캠일 수 있음.

Virtuals Protocol의 Sui 버전. 코인베이스벤처스 투자팀 중 하나가 팔로우하고 있어 발견함. 토큰 있음. 시총 $5M

DYOR NFA

https://x.com/suiaifun

수이 보는 이유. 분명 inflow는 상위권. 논문 쓰는 거보면 기술도 상위권.

근데 시총 성장 및 inflow 대비 생태계가 다양한 버티컬로 크는 느낌이 부족함.

이게 가라 돈인지, 진짜 유저도 느는 생태계 성장인지 아니면 고래 잔치인지 의문중.

이게 지난 하락에 완전히 안빼서 그런가 큰 하락 모먼트가 좀 보이는데

일단 개인적으로 가장 많이 보는 DEX시장의 주요 알트 거래량 감소가 눈에 띔. 지난 반등 대비 시장 센티멘트가 안따라온다는 건데..코베프리미엄도 음수, CEX 거래량도 24시간 동안 꾸준히 감소. (BTC, ETH) pumpfun을 포함한 virtuals 등의 런치패드도 지난 며칠간 하락세.

보통 이러면 진짜 호재 없으면 하락이 크게 온 경험이 있음. 그냥 김프 정상화가 될 때까지 다 현금으로 가지고 있는 게 맞는 것 같기도 하고🤔

DYOR NFA

근래 가장 많이 본 프로젝트 중 하나 swarms

multi-agent python libarary 관련 밈코인. 데브가 과거에 코드 배끼고 레퍼런스 안써서 논란이 있었고 그걸로 ai16z shaw가 fud 날려서 가격이 박살난 경력이 있는 밈코. + 실제로 dev가 좀 미숙한 느낌.

분명 윤리적인 이슈가 있긴 한데, 코드는 잘 짠 것 같음. 그냥 방장이 코딩 슈퍼 고수는 아닌데, 나라도 그렇게 짰을 것 같은 코드들이 눈에 띔. 근데 웹은 왜 그모양으로 짠 건지 모르겠음. 일단 차트가 ㄹㅇ 괴팍해서 스크린샷 가져와봄.

multi agent 관련해서 현재 크립토랑 무관한 mit 박사과정 중인 친구가 이거 dev를 원래부터 팔로우해서 들었는데, swarms 라이브러리는 원래 들어본 적 있었다고 하고 (써본적은 없지만), 쌈닭 기질이 있어 논란이 이리저리 있는 친구인건 맞는 것 같음.

근데 박사과정 친구가 "그 사람이 코인도 찍음?" "ㅇㅇ 밈코인 밸류가 $30-40m"이라 하니 둘 다 서로 다른 이유로 잠깐 현타오는 모먼트가 있었는데 내가 뇌가 절여지긴 했구나 또 한 번 느낌

차트보니까 일반인이 이걸 어떻게 투자하나 싶긴해

* 참고로 본인은 pip install swarm까지 해봄. 설치가 되긴 하는데 아직 코드 돌려보진 않았음.

https://dexscreener.com/solana/hl4kftfhzzmm7ngefszqxzj3m6cadwe7tesyuruqymmj

Kaito NFT 대박날 것 같다..대박의 냄새가 난다..그 당시에 놓쳤던 Arkham보다 대박 날 것만 같다...지금이 저점이라 nft 몇 개 사야만 할 것 같은 슈퍼포모중..

전 Kaito의 초창기버전부터 팔로우했는데, 잘 되고 있는 게 넘 보기 좋네요. 특히나 여기 팀은 대표부터 비디까지 모두가 최고입니다😎

팀과 처음 콜 한 게 벌써 1년이 더 넘었는데 역시나 업계 1위의 자리로 잘 가고 있는 것 같습니다. 적혀있는대로 카이토팀에 투자 못한게 새삼 다시 아쉽네요.

Kaito NFT 내용 정리

Oracle Patron NFT편에 이이서 미드 커브(?) 투자 2편입니다.

Kaito NFT 배경 내용 정리
- Kaito.ai에서 Genesis NFT를 발행
- 총 발행량 1,500개, 민팅가 0.1 ETH
- 토큰 출시가 예상되는 상황에서 기존 Kaito.ai 유료 유저 & 파트너 (1,000개)와 Yap Leaderboard에서 특정 조건을 달성한 유저 대상(500개) 민팅
- 1차는 20일, 2차는 22일, 퍼블릭은 24일 (현재는 퍼블릭은 안오지 않을까 싶음)
- Opensea에서 민팅 중, 현재 1차 민팅 NFT 물량이 나와서 거래되고 있는데, 점점 가격이 올라서 현재 4.5ETH로 민팅가격 대비 45배..

Kaito NFT의 적정가치는?
- 대규모 웹3 서비스 토큰 기준으로 보면 Arkham($ARKM)이 있고, 현재 시총 $518M, FDV $1.56B
- Grass($GRASS)는 MC $625M, FDV$2.57B / Galxe($GAL)은 MC$248M, FDV $389M
- ETH가 $3,500으로 기준으로 생각하고, Katio 토큰의 시총을 가정하고, NFT에게 분배되는 물량을 가정하여 계산해봄.

시가총액 $500M일 때
- 1% 할당: NFT 개당 $3,333 (0.95 ETH)
- 2% 할당: NFT 개당 $6,667 (1.90 ETH)
- 3% 할당: NFT 개당 $10,000 (2.86 ETH)
- 4% 할당: NFT 개당 $13,333 (3.81 ETH)
- 5% 할당: NFT 개당 $16,667 (4.76 ETH)

시가총액 $1B일 때
- 1% 할당: NFT 개당 $6,667 (1.90 ETH)
- 2% 할당: NFT 개당 $13,333 (3.81 ETH)
- 3% 할당: NFT 개당 $20,000 (5.71 ETH)
- 4% 할당: NFT 개당 $26,667 (7.62 ETH)
- 5% 할당: NFT 개당 $33,333 (9.52 ETH)

시가총액 $2B일 때
- 1% 할당: NFT 개당 $13,333 (3.81 ETH)
- 2% 할당: NFT 개당 $26,667 (7.62 ETH)
- 3% 할당: NFT 개당 $40,000 (11.43 ETH)
- 4% 할당: NFT 개당 $53,333 (15.24 ETH)
- 5% 할당: NFT 개당 $66,667 (19.05 ETH)

가격이 급격하게 오르니까 이게 가치가 어떻게 되는거야? 라고 궁금했던 분들은 참고하시길 바랍니다. (DYOR)

전 이걸 다른 기준 다 충족했는데 지갑 등록 6시간 늦게해서 0.1ETH에 살 기회를 박탈당했습니다..😂

호재 나오면 누가 알려주세요. 단기간 호재는 이제 트럼프가 ETHEREUM LFG 해주는 거말고 안보임😢

새벽동안 빠질 것 같아 일단 대부분 현금으로 바꿨고, 월요일에 코인들 맞이할 예정

<ai16z Seoul Meetup with Shaw>

2024년 4분기 ai agent 시즌의 뜨거운 감자 ai16z가 오는 1월 3일(금)에 한국에서 밋업을 진행합니다. ai16z와 함께 코호스트로는 Solana Liquid Restaking의 선두주자 Fragmetric과 Hashed가 함께 할 예정입니다.

ai16z의 핵심 개발자 Shaw와 Hashed의 SB의 짧은 패널 세션과 Q&A 세션을 진행할 예정입니다. 부족한 영어지만 짧은 시간 최대한의 인사이트를 전달할 수 있도록 해보겠습니다. 2025년의 시작을 알리는 행사가 되겠네요 :)

행사 신청은 다음 링크를 참고해주세요.

https://lu.ma/l64ptpwk

* 이 서울 이벤트의 모든 기획을 트위터 스페이스로부터 잡아오신 Hashed의 Super Degen이신 Jun Kim(백오피스인게 가장 의문인 사람)에게 감사의 말을 전합니다.

—

​​​날짜 및 장소：
​​날짜: 1월 3일 (금) 13:00 - 15:00
​​장소: 서울시 강남구 강남대로 374 20층 (해시드라운지)

​세부 프로그램：
​​13:00 - 13:30 | 등록 및 세션/연사 소개
​​13:30 - 13:50 | Fireside Chat: 🎙 Shaw (ai16z), SB An (Hashed)
​​13:50 - 14:20 | Q&A 세션
​​14:20 - 15:00 | 네트워킹

최근 KOL들이 쉴링하는 프로젝트 Wayfinder.ai

느낌상 엄청 특별해보이진 않고 굳이 따지자면 Griffain 같습니다. 다만 토큰명이 $PROMPT라 좀 센스있다 싶긴해요. 아직 프로덕트는 안나왔는데 데모영상은 유튜브에 올라오고 있습니다.

지켜본지는 꽤 된 것 같은데 요새 KOL들이 또 여러모로 쉴링중인 것 같아서 공유해봅니다. 그정도로 대단한 것 아닌데 KOL은 대체 얼마나 받길래 쉴링을 이렇게 해줄까요? 불장에는 어둠의 빈수안 계정만들어서 KOL로 살아도 재밌겠네요.

레퍼럴에 따라 총 물량의 1% 를 나눠준다는데, 별로 안줄 것 같아서 기대는 안합니다. 레퍼럴 죽어도 싫은 분들을 위해 일반 링크도 첨부합니다.

* 수빈퍼럴 다시공유함. 자꾸 에러생겨서. 레퍼럴하고 싶은 분들 display name에 띄어쓰기 절대 넣지마세요. 에러가 넘 많이 나네요.

수빈퍼럴 | 일반 링크

이번 연말/연초 목표는 ai agent framework 살짝 돌려보면서 이게 실제 돌아가는 코드인지, 구조는 어떻게 되는지 하나씩 살펴볼 예정입니다. 이게 결국 테스트 코드라도 돌려보는 것과 아닌 것은 차이가 크거든요.

일단 swarms test code 돌아가는 것 확인 완료했습니다. 이거 처음 돌려보면 겪을 수 있는 시행착오는 OpenAI API Key는 무료 API로는 안되고 최소한이라도 결제해야 한다는 점...

근데 코어로 들어갈 수록 코드가 살짝 산만한 느낌도 있네요. 그리고 별 이슈는 아닌데 swarms dev는 ai를 진짜 잘 쓰는 친구가 아닐까 생각도 듭니다. 코드 짠 것 더 디테일하게 보고 있는데 절대 본인이 100% 짰을 것 같진 않고 ai 기반으로 잘 짠 것 같네요. 근데 요새 dev들 대부분 다 ai가 더 잘짜주니 별 문제는 아닙니다.

혹시나 제가 이런 이야기하는 이유가 궁금한 dev가 있다면 Agent 클래스 코드 보는 것 추천합니다.

크리스마스 부근에 저도 회고 올려보겠습니다. 근데 재미는 없을 예정입니다👀