Dwarkesh/Dylan이 AGI 에 너무 치우친 낙관주의자라면 이런 사람들의 말도 들어봄직함. https://x.com/phl43/status/2092973404924104808

AI가 엄청난 기술이라는 것과, OpenAI·Anthropic이 2~3년 안에 수조 달러 매출을 올린다는 것은 다르다.

1. 자동화 가능한 업무 ≠ 대체 가능한 일자리. 업무 대부분을 자동화해도 일부 필수 업무가 인간에게 남으면, 그 부분이 전체 생산량을 제한할 수 있다.
2. 기술적 가능성 ≠ 빠른 도입. 기업의 업무 재설계, 책임 배분, 고객의 행동 변화에는 시간이 걸린다는 것.
3. 현재의 인건비 ≠ 미래 AI 기업 매출. 경쟁으로 AI 가격이 내려가면 절약된 돈은 고객이나 도입 기업에게 돌아갈 수 있어. 사용량 증가가 가격 하락을 충분히 상쇄할지도 별개고.
4. 생산 능력 ≠ 최종 구매 수요. 서비스가 싸졌다고 무한히 소비하지는 않아. 대규모 실직으로 소득 분배까지 바뀌면, 누가 최종 상품을 구매할지도 설명해야 해.
5. AI 산업의 성장 ≠ 모델 회사의 높은 이익. 정말 희소한 것이 반도체·전력이라면, 그 공급자가 이익을 많이 가져갈 수도 있어.
https://x.com/phl43/status/2092973404924104808

Dwarkesh가 다시 남긴 코멘트는
1. 수요는 개발자만으로도 크고, 곧 다른 직종으로 확장된다
개발자들이 메타·애플 수준으로 AI를 사용하면 막대한 연산량이 필요하고, 앞으로는 코딩을 넘어 원격 근로자 전반을 대체하니 시장이 훨씬 커진다.

2. AI는 사람보다 채용하고 교육하기 쉽다
회사 자료를 빠르게 학습하고, 이미 검증된 모델을 복제하면 되니 인간 채용보다 확산이 빠르다.

3. 연산이 부족하면 효율 좋은 모델이 돈을 번다
후발주자가 증류로 따라잡는 속도와 선두 AI의 재귀적 자기개선 속도가 중요하다. 지속적인 독점적 우위를 확신하는 건 아니지만, 연산이 부족한 상황에서 더 좋은 학습법·추론 효율을 가진 회사는 높은 마진을 얻을 수 있다.

비슷한 뷰 https://x.com/wintonark/status/2093407411663151595?s=46&t=h5Byg6Wosg8MJb4pbPSDow

AI로 자본이 몰리는 현상이 벤처·주식시장을 넘어 이제 부채시장으로 확산되고 있다.

컴퓨트가 부족한 동안 데이터센터는 높은 금리에도 경제성이 있고, NVIDIA GPU는 담보가치가 높아 재무구조가 약한 사업자도 자금을 조달할 수 있다.

처음에는 이 자금 수요가 하이일드 채권과 경쟁하겠지만, AI 인프라가 안정적인 자산으로 인정받으면 투자등급 기업의 자금까지 빨아들일 수 있다.

데이터센터 투자 규모가 연간 수조 달러로 커지면, 이는 글로벌 회사채 시장에서도 무시할 수 없는 수준이다.

여기에 AI가 경제성장을 끌어올려 장기금리까지 상승하면, 저렴한 차환을 전제로 운영되던 기존 기업들은 금리와 신용스프레드 양쪽에서 압박받는다.

결국 AI는 기존 기업의 고객을 빼앗지 않더라도, 자본을 빼앗고 조달비용을 높이는 방식으로 사업모델을 흔들 수 있다.

“우리는 AI disruption과 무관하다”고 말하는 기업일수록 오히려 자본구조와 차환 위험을 더 주의해서 봐야 한다.

1. 고객은 토큰이 아니라 결과를 산다

“AI를 100배 빠르게 만드는 것이 아니라, 기다릴 필요가 없는 작업을 골라 기존 인프라의 비싼 전제들을 제거하면 지능을 훨씬 싸게 생산할 수 있다.”

Sail은 자신을 오픈모델 API와 장기 실행 에이전트용 VM을 제공하는 ‘토큰 공장’으로 정의한다. 하지만 토큰은 현재의 측정·과금 단위일 뿐 최종 상품은 아니다.

고객이 정말 원하는 것은 다음과 같다.

- 내가 원하는 일을 끝낼 것
- 결과가 검증 가능할 것
- 정해진 품질을 만족할 것
- 마감시간을 지킬 것
- 비용 상한을 넘지 않을 것

따라서 운영 시스템이 최적화해야 할 값은 단순한 최저 토큰 가격이 아니다.

검증된 성공 1건의 기대비용
= 모델·GPU·메모리·도구·재시도·검증 비용
÷ 작업 성공확률

싼 모델이 계속 실패한다면 비싼 모델보다 결과적으로 더 비싸다. 장기적으로는 고객이 토큰 수를 지정하기보다, 에이전트가 여러 번 시도하고 도구를 사용해 결과를 완성하며 필요한 토큰 예산을 스스로 관리하게 된다.

2. 가장 중요한 제품 가설: 사람을 기다리게 하지 않는다

AI 작업은 크게 두 시장으로 갈라진다.

1. 실시간 작업
- 채팅, 음성, IDE 자동완성
- 사용자가 화면 앞에서 기다림
- 개별 응답의 지연시간이 중요
- 고가 GPU와 NVLink 같은 강한 인터커넥트가 유리

2. 백그라운드 작업
- 심층 연구, 보안 검사, 코드 유지보수
- 모델 eval, RL rollout, 대량 문서 처리
- 몇 시간에서 며칠 동안 실행
- 순간 속도보다 총처리량·성공률·비용이 중요

Sail의 핵심 가설은 앞으로 토큰 수요의 대부분이 두 번째 시장에서 발생한다는 것이다. Neil은 단기적으로 실시간과 백그라운드가 약 50:50, 장기적으로는 백그라운드가 90%까지 갈 수 있다고 전망한다.

이 가설이 맞으면 전체 인프라의 조건이 연쇄적으로 바뀐다.

검증 가능한 장기 작업
→ 사람이 결과를 기다리지 않음
→ 지연시간 제약 완화
→ 큰 배치로 GPU 처리량 극대화
→ NVLink가 약한 칩도 활용
→ 작고 분산된 데이터센터 활용
→ 낮은 가동률과 간헐 전력 수용
→ 토큰 비용 하락
→ 더 많은 시도와 더 긴 추론
→ 작업 성공률 향상

즉, 백그라운드 에이전트는 사용 사례 하나가 아니다. 칩·데이터센터·전력의 경제성을 모두 바꾸는 출발점이다.

3. GPU보다 메모리와 데이터 이동이 중요해진다

GPU는 많은 작업을 큰 배치로 처리할 때 가장 효율적이다. 여러 요청을 묶으면 총처리량은 높아지지만 각 사용자는 더 기다린다. Neil은 이를 자가용과 버스에 비유한다.

- 자가용: 한 사람에게 빠르지만 시스템 효율은 낮음
- 버스: 여러 사람을 함께 옮겨 효율적이지만 개별 도착은 느림

여러 GPU를 연결해도 성능은 선형으로 늘지 않는다. 인터뷰의 예에서는 GPU 8개를 사용해도 통신 오버헤드 때문에 속도는 약 4~5배만 개선될 수 있다. 최저 지연에는 NVLink가 중요하지만, 백그라운드 처리량이 목표라면 expert·pipeline parallelism으로 통신을 숨길 수 있다.

트랜스포머에는 성격이 다른 두 작업이 붙어 있다.

- MLP·가중치 계산: compute-bound
- Attention·KV cache: memory-bound

모델 가중치가 고정된 세계 지식이라면 KV cache는 현재 대화의 동적 기억이다. 문맥과 사용자 수가 늘수록 계속 커지고, 긴 세션에서는 가중치보다 큰 메모리를 차지할 수도 있다.

이 때문에 하나의 완벽한 칩보다 이종 컴퓨팅이 중요해진다.

- 빠르지만 작은 SRAM → 고속 가중치·계산 처리
- 크지만 상대적으로 느린 HBM·DRAM → 긴 문맥과 KV cache
- 더 느리고 싼 Flash → 지연을 감수한 KV offload 후보

Neil은 현재 KV cache가 정보량에 비해 지나치게 커서 약 10~100배 압축 여지가 있을 수 있다고 본다. 반면 큰 행렬곱은 이미 이론 성능의 약 70~80%까지 사용하므로 커널 개선만으로 1000배 절감은 불가능하다.

4. 공급 전략: 최고의 GPU가 아니라 가장 저평가된 자원을 찾는다

Neil의 원칙은 “나쁜 칩은 없고 나쁜 가격만 있다”이다.

- 저지연 추론 → NVIDIA·NVLink
- 대량 비동기 작업 → AMD·TPU·Trainium·신생 칩
- 계산 집약 단계 → 연산 성능이 좋은 칩
- 긴 문맥 단계 → 메모리 용량이 큰 칩

여기서 이기종 라우팅은 하나의 토큰을 여러 국가의 칩에 나누는 것이 아니다. 요청·작업·독립적인 작업 단계별로 적합한 칩과 사이트를 고르는 것이다. 진행 중인 KV cache는 같은 사이트에 두고, 사이트가 죽으면 의미적 체크포인트에서 다시 시작하는 편이 현실적이다.

데이터센터에서도 같은 논리가 적용된다.

훈련은 GPU가 끊임없이 통신해야 하므로 거대한 집중형 클러스터가 필요하다. 추론은 독립 요청을 여러 곳으로 나눌 수 있다. 미국에서는 1GW·100MW 시설보다 1MW 전력이 훨씬 많이 흩어져 있고, 액체냉각을 쓰면 약 8개 랙으로 1MW급 컴퓨트를 구성할 수 있다는 설명이다.

Sail은 다른 고객이 기피하는 자원을 모으려 한다.

- 놀고 있는 사설 GPU
- 시장에서 저평가된 칩
- 95% 가동률의 소형 데이터센터
- 백업 발전기·중복 회선이 없는 시설
- 태양광·풍력처럼 간헐적이지만 싼 전력

한 사이트가 멈추면 다른 사이트로 작업을 옮긴다. 몇 시간짜리 작업에 1~10분이 추가되는 것은 실시간 서비스에는 치명적이지만, 사용자가 자고 있는 백그라운드 작업에는 허용될 수 있다.

이것이 ‘scavenger strategy’다. OpenAI·Anthropic과 최고급 Blackwell과 안정적인 전력을 놓고 경쟁하지 않고, 시장이 제대로 가격을 매기지 못한 파편화된 자원을 모아 하나의 토큰 공장으로 운영한다.

5. 필요한 제품: Agent Compute Operating Layer

고객에게는 복잡한 인프라를 보여줄 필요가 없다. 고객은 다음만 지정하면 된다.

- 작업 목표와 완료 조건
- 품질 기준과 검증 방법
- 마감시간과 비용 상한
- 데이터 처리 지역
- 허용할 외부 작업과 부작용

뒷단의 운영계층은 다음을 처리한다.

1. 작업을 단계와 DAG로 분해
2. 단계별 모델·칩·사이트 선택
3. 배칭과 deadline 스케줄링
4. KV cache 위치와 세션 affinity 관리
5. 의미적 체크포인트 저장
6. 장애 시 다른 사이트에서 재실행
7. 이메일·결제·배포 같은 부작용 중복 방지
8. 결과 검증 후 필요하면 더 강한 모델로 승격

Long-horizon task에서 중요한 체크포인트는 GPU 메모리 전체가 아니다.

- 완료한 작업 단계
- 대화와 도구 실행 결과
- 생성한 파일과 Git 상태
- 사용한 모델·프롬프트·도구 버전
- 남은 비용과 마감시간
- 이미 실행한 외부 부작용

따라서 이 제품은 단순 GPU 중개나 최저가 추론 API가 아니다. 고객에게는 “일을 끝내주는 서비스”를 제공하고, 내부에서는 모델·칩·메모리·사이트·전력을 하나의 시스템으로 조정하는 운영체제다.

장기적인 해자도 특정 커널 하나가 아니다. 어떤 작업을 어떤 모델·칩·사이트에서 몇 번 실행해야 가장 싸고 확실하게 끝나는지를 축적한 라우팅·실행·검증 데이터다.