토큰 비용 전쟁의 다음 라운드: '싼 모델'이 아니라 '똑똑한 추론'

1. 프론티어 모델 성능이 높아질수록, 청구서도 같이 높아지는 현실임. 에이전트가 작업을 진행하면서 토큰 사용량은 기하급수적으로 높아지는 상황임. 직관적인 대응은 당연히 더 저렴한 모델로 갈아타는 것임.

2. 근데 싼 모델은 그냥 답답한 게 아니라 실제로 틀린 답을 더 많이 냄. 재시도가 늘고 검수 비용이 붙어서 결국 '정답 하나당 비용'이 올라감. 단가만 보고 갈아타면 오히려 손해 보는 경우가 생기는 것임. 그래서 진짜 문제는 "어떤 모델을 쓰냐"가 아니라 "같은 모델로 얼마나 정확하게 뽑아내냐"가 됨.

3. 그래서 나온 접근이 모델 자체는 그대로 둔 채, 추론하는 방식만 바꿔서 작은 모델로도 큰 모델급 정확도를 뽑아내자는 발상임. 학계 용어로는 test-time compute 최적화, 구조화된 프롬프팅, 모델 라우팅(쉬운 건 싼 모델, 어려운 건 비싼 모델) 같은 이름으로 불려 왔고, 이 narrative를 가장 공격적으로 밀고 있는 크립토-AI 프로젝트가 OpenServ(SERV)임.

4. OpenServ의 핵심 기술은 BRAID(Bounded Reasoning for Autonomous Inference and Decisions)라는 추론 프레임워크임. 이건 마케팅 슬로건이 아니라 실제로 arXiv에 올라온 논문임. 요약하자면 큰 모델이 "계획"을 한 번 짜고, 작고 싼 모델이 그 계획을 "실행"한다는 원리임.

5. 기존 LLM 추론(Chain-of-Thought)은 모델에게 자연어로 "생각을 소리 내어 말하게(think out loud)" 하는데, BRAID는 이 방식이 비효율적이라고 봄. 영어 같은 자연어는 소통에는 좋지만 정밀한 계산에는 나쁜 포맷이고, 길게 늘어진 자연어 추론은 토큰을 많이 먹으면서 중간에 논점이 흐트러지는(context drift) 문제가 있다는 것임.

논문에서 주장하는 수치는,

- GSM-Hard에서 GPT-5에 BRAID를 입혀 약 99% 정확도, 동시에 약 74배의 'Performance per Dollar(PPD)' 개선
- SCALE MultiChallenge에서 GPT-5-nano의 정확도를 35.66% → 57.72%로 끌어올려, 일반 GPT-5(54.41%)를 약 40배 낮은 비용으로 추월
- 초기 발표(2025년 8월)에서는 GPT-4o의 GSM8K 정확도를 42% → 91%로 올렸다는 수치도 제시

6. 다만 냉정하게 봐야 함. arXiv 논문은 누구나 올릴 수 있는 프리프린트지 동료 심사(peer review)를 통과한 학술 성과가 아님(검증 진행 중). 언론에서 "독립적으로 검증했다"고 인용되는 Cinar 박사는 사실 이 논문의 공동 저자라, 독립 검증이라 보긴 어려움. 또 벤치마크 ≠ 실무고, 애초에 이 벤치마크는 GPT 티어만 측정했지 Claude를 직접 잰 게 아니라 "Claude급"은 측정이 아니라 프레이밍에 가까움. 거기에 창의적 글쓰기나 열린 대화처럼 미리 흐름도를 그리기 어려운 비정형 작업에서는 이점이 줄어든다는 적용 범위의 제약도 있음.

7. 몇몇 SERV에 올라간 app 중에서는 SolRouter가 괜찮은 듯. AI를 쓰되 내 프롬프트와 응답이 절대 노출되지 않게 만드는 프라이버시 인프라로, 요즘 핫한 AI + Privacy임. 브라우저에서 데이터를 바로 암호화 → TEE(신뢰 실행 환경) 안에서만 평문이 존재 → 연산 증명을 온체인에 게시해 누구나 검증 가능. 이렇게 하면 플랫폼도, 모델도, 서버 운영자도 사용자의 원문 데이터를 보지 못한다는 게 설계 목표임.

8. 다만 이쪽도 OpenServ 런치패드에서 나온 초기 단계 프로젝트고 아직 데브넷 베타 수준이라, 방향성은 흥미롭지만 유망한 프로토타입 정도로 보는 게 맞지 않을까.

난 아직 둘다 안 샀음. 조정 좀 제발

메가이더 터미널 관련 노이즈가 있네요.

(megaeth)가 터미널을 종료한다고 발표했어. 그 이유가 적합한 사용자층을 끌어들이지 못했기 때문이래. 오케이, 그건 이해할 수 있어.

그리고 그들은 "지금까지의 모든 사용자 활동에 대한 스냅샷이 찍혔다"고도 발표했어. 즉, 터미널을 닫은 그 순간의 스냅샷인데, 이걸 최종 포인트 배분에 사용할 거라고.

그래서 논리와 상식을 적용해보면, 최종 라운드 포인트는 터미널 시즌 1 기간 동안 온체인(onchain)에서 했던 모든 활동을 기반으로 지급될 예정이었어. 그 기간이 3주였지.

하지만 내가 보기엔 그게 전혀 일어나지 않았어.

최종 포인트는 스냅샷을 찍은 후, 그리고 터미널 종료를 공식 발표한 후인 4주차 동안의 활동에 대해 배분된 것처럼 보여.

> MegaETH가 터미널 종료를 발표한 지 3주 만에 -> 5월 21일
> 같은 포스트에서 "스냅샷이 촬영되었다"고 발표 -> 5월 21일
> 스냅샷까지의 활동에 대해 추가 포인트가 배포될 거라고 함 -> 5월 21일
> 보충 포인트 배포 > 5월 30일
> 대박 서프라이즈: 터미널이 죽은 게 아니었음, 배포된 포인트는 주 4에 대한 거였음