크립토메이지

"우리는 사전 훈련에 대해 긍정적으로 생각합니다. 계속해서 이득을 주고 있으니까요. 달라진 점은 이제 RL(강화학습)에서도 똑같은 현상을 목격하고 있다는 것입니다. 우리는 사전 훈련 단계를 거친 뒤 그 위에 RL 단계를 봅니다. RL의 경우도 사실 똑같습니다. 다른 회사들도 발표 자료에서 "우리는 모델을 수학 경시대회(AIME 등)로 훈련시켰고, 모델이 얼마나 잘하는지는 훈련 시간에 대해 로그 선형(log-linear) 관계를 보인다"라고 밝히고 있습니다. 단순히 수학 경시대회뿐만이 아닙니다. 매우 다양한 RL 작업에서 그렇습니다. 우리는 사전 훈련에서 보았던 것과 똑같은 스케일링을 RL에서도 보고 있습니다."

"당신이 표현한 대로 "10년 안에 '데이터센터 안의 천재들의 나라(country of geniuses in a data center)'에 도달할 것인가"라는 기본 가설에 대해, 저는 90% 정도 확신합니다. (~) 10년 타임라인에 대해서 저는 90% 확신하며, 이는 사람이 가질 수 있는 거의 최대한의 확신입니다. 2035년까지 이 일이 일어나지 않을 것이라고 말하는 건 미친 소리라고 생각합니다. 제정신인 세상이라면 그건 주류 의견에서 벗어난 것일 겁니다."

"우리는 이미 검증되는 것에서 검증되지 않는 것으로의 상당한 일반화를 보고 있습니다. 이미 보고 있어요."

"지속적 학습(continual learning), 즉 단일 모델이 업무 중에 학습한다는 아이디어를 우리는 연구하고 있습니다. 향후 1~2년 안에 우리도 그것을 해결할 가능성이 큽니다. 다시 말하지만, 저는 그것 없이도 대부분 도달할 수 있다고 생각합니다. 연간 수조 달러 시장, 어쩌면 제가 "기술의 사춘기"에서 쓴 모든 국가 안보적 함의와 안전 함의가 그것 없이도 일어날 수 있습니다. 하지만 우리, 그리고 다른 이들도 continual learning를 연구하고 있다고 상상합니다. 우리가 1~2년 안에 그곳에 도달할 가능성이 큽니다."

"여러 아이디어가 있습니다. 자세히 다 설명하진 않겠지만, 하나는 단순히 컨텍스트를 더 길게 만드는 것입니다. 더 긴 컨텍스트가 작동하는 것을 막는 건 없습니다. 단지 더 긴 컨텍스트에서 훈련하고 추론 시 그것을 서빙하는 법을 배워야 할 뿐입니다. 둘 다 우리가 작업하고 있는 엔지니어링 문제이며, 다른 이들도 작업하고 있을 것이라 가정합니다."

"우리는 엔터프라이즈(기업용) 비즈니스입니다. 따라서 우리는 매출에 더 의존할 수 있습니다. 소비자 시장보다 변덕이 덜하죠. 우리는 더 나은 마진을 가지고 있는데, 이건 너무 많이 사는 것과 너무 적게 사는 것 사이의 완충제 역할을 합니다. 저는 우리가 꽤 강력한 상승세(upside)의 세상들을 포착할 수 있는 양만큼 구매했다고 생각합니다. 연 10배 성장을 전부 포착하진 못하겠지만요. 우리가 재정적 어려움에 처하려면 상황이 꽤 나쁘게 돌아가야 할 겁니다. 그래서 우리는 신중하게 생각했고 그런 균형을 잡았습니다. 이것이 제가 우리가 책임감 있게 행동하고 있다고 말할 때 의미하는 바입니다."

"업계 전체에 대해 이야기하자면, 올해 업계가 구축하고 있는 컴퓨팅 양은 아마 10~15 기가와트 정도일 겁니다. 매년 대략 3배씩 증가합니다. 그러니 내년은 30~40 기가와트입니다. 2028년은 100 기가와트가 될 수 있습니다. 2029년은 300 기가와트 정도가 될 수 있습니다. 머릿속으로 계산 중인데, 1 기가와트당 비용은 아마 100억 달러, 연간 100억~150억 달러 수준일 겁니다. 이걸 다 합치면 당신이 설명한 것과 거의 비슷해집니다. 정확히 그걸 얻게 되는 거죠. 2028년이나 2029년이면 연간 수조 달러 규모가 됩니다. 당신이 예측한 것과 정확히 일치합니다."

"2030년 이전에 매출이 수조 달러가 되지 않는 상황은 저로서는 상상하기 힘듭니다. 그럴듯한 세상을 구성해 볼 수는 있습니다. 아마 3년이 걸리겠죠. 그게 제가 생각하기에 그럴듯한 범위의 끝일 겁니다. 예를 들어 2028년에 우리가 진짜 "데이터 센터 안의 천재들의 나라"를 얻습니다. 매출은 2028년까지 수천억 달러 초반대로 가고, 그러고 나서 천재들의 나라가 그것을 수조 달러로 가속화합니다. 우리는 기본적으로 확산의 느린 쪽 끝에 있는 겁니다. 수조 달러에 도달하는 데 2년이 걸립니다. 그게 2030년까지 걸리는 세상일 겁니다. 저는 기술적 지수 함수와 확산 지수 함수를 결합하더라도 2030년 이전에 도달할 것이라고 생각합니다."

"다시 말하지만, 지금 당장의 총마진은 매우 긍정적입니다. 무슨 일이 일어나고 있냐면 두 가지가 결합되어 있습니다. 하나는 우리가 여전히 컴퓨팅의 지수적 확장 단계에 있다는 것입니다. 모델 하나가 훈련됩니다. 작년에 10억 달러가 든 모델이 훈련되었다고 칩시다. 올해 그 모델은 40억 달러의 매출을 올렸고 추론 비용으로 10억 달러가 들었습니다. 다시 정형화된 숫자를 쓰지만, 이건 75%의 총마진과 25%의 비용이 되는 셈입니다. 그래서 그 모델 전체로는 20억 달러를 법니다. 하지만 동시에, 우리는 다음 모델을 훈련하는 데 100억 달러를 쓰고 있습니다. 지수적 확장이 있으니까요. 그래서 회사는 돈을 잃습니다. 각 모델은 돈을 벌지만, 회사는 돈을 잃습니다."

"클라우드는 매우 차별화되지 않았습니다(undifferentiated). 반대로 모델들은 클라우드보다 더 차별화되어 있습니다. 누구나 클로드는 GPT가 잘하는 것과는 다른 걸 잘하고, 제미나이가 잘하는 것과는 다른 걸 잘한다는 걸 압니다. 단순히 클로드는 코딩을 잘하고, GPT는 수학과 추론을 잘한다는 정도가 아닙니다. 그보다 더 미묘합니다. 모델들은 서로 다른 유형의 코딩을 잘합니다. 모델들은 서로 다른 스타일을 가지고 있습니다. 저는 이것들이 사실 서로 꽤 다르다고 생각하며, 그래서 클라우드에서 보는 것보다 더 많은 차별화를 기대합니다."

"저는 API 비즈니스 모델이 다른 모델들과 공존하겠지만, 항상 존재할 것이라고 예측합니다. 왜냐하면 항상 1,000명의 다른 사람들이 모델을 다른 방식으로 실험해 볼 필요가 있을 테니까요. 그중 100개가 스타트업이 되고 그중 10개가 크고 성공적인 스타트업이 됩니다. 2~3개는 특정 세대의 모델을 사람들이 사용하는 주된 방식이 되죠."

"모델이 출력하는 모든 토큰이 같은 가치를 지니지는 않습니다. 누군가 전화해서 "내 맥(Mac)이 안 돼요"라고 했을 때 모델이 "재부팅하세요"라고 출력하는 토큰의 가치를 생각해 보세요. 그 사람은 처음 들었겠지만 모델은 그 말을 1,000만 번 했습니다. 아마 그건 1달러나 몇 센트 정도의 가치겠죠. 반면 모델이 제약 회사 중 한 곳에 가서 "아, 당신들이 개발 중인 이 분자 말인데요, 분자 저쪽 끝에 있는 방향족 고리를 이쪽 끝으로 옮겨 보세요. 그렇게 하면 놀라운 일이 일어날 겁니다"라고 말한다면요. 그 토큰들은 수천만 달러의 가치가 있을 수 있습니다."

https://www.dwarkesh.com/p/dario-amodei-2

Dwarkesh

Dario Amodei — "We are near the end of the exponential"

"That's why I'm sending this message of urgency"

456 views13:24