• 우리는 지난 1년 동안 추론 토큰 가격이 거의 100배 넘게 싸졌는데도, 전체 컴퓨트 비용은 오히려 더 커지는 상황을 보고 있다.
• 이유는 토큰 가격이 싸졌어도 사람들이 에이전트·딥리서치·추론형 작업처럼 훨씬 무거운 작업을 더 많이 하기 시작했기 때문이다.
• 예전엔 한 번 질문하고 끝났다면, 이제는 모델이 길게 생각하고 여러 단계로 움직이면서 훨씬 많은 토큰과 요청을 써버린다.
• 그래서 토큰 하나 가격은 크게 떨어졌지만, 전체 사용량이 그보다 훨씬 더 빨리 늘어서 총비용은 오히려 커지고 있다.
• 이건 효율이 좋아질수록 총소비가 줄지 않고 더 커지는 제번스의 역설이 AI에서 그대로 벌어지는 모습이다.
• 지금 하이퍼스케일러들이 돈을 더 많이 쓰는 것도, 추론 수요가 단순한 가격 하락보다 훨씬 더 강하게 폭증하고 있기 때문이다.
• 학습은 한동안 몰아서 돌리고 끝나는 작업이었지만, 추론은 서비스처럼 계속 돌아가야 해서 전력·냉각·메모리 같은 운영비 부담이 훨씬 크다.
• 폐쇄형 API 위에 제품을 얹은 회사들은 사용자가 많아질수록 자기들도 컴퓨트 비용을 더 많이 내야 해서, 잘 팔릴수록 마진이 나빠질 수 있다.
• 그래서 앞으로 중요한 건 모델 자체만이 아니라, KV cache 관리나 라우팅, 양자화처럼 추론 비용을 줄여주는 아래쪽 스택이다.
• 특히 긴 대화나 에이전트 작업은 메모리를 계속 붙잡고 있어서, GPU 계산보다 메모리 쪽이 더 큰 병목이 될 수 있다.
• 그래서 앞으로는 GPU 숫자만이 아니라 메모리, 패키징, CPU/GPU 비율 같은 하드웨어 구조까지 같이 중요해진다.
• 결론적으로 지금 벌어지는 일은 AI가 식고 있는 게 아니라, 너무 유용해져서 추론 수요가 폭발했고 그 결과 비용 구조 전체가 바뀌고 있다는 것이다.
원문 링크
• 이유는 토큰 가격이 싸졌어도 사람들이 에이전트·딥리서치·추론형 작업처럼 훨씬 무거운 작업을 더 많이 하기 시작했기 때문이다.
• 예전엔 한 번 질문하고 끝났다면, 이제는 모델이 길게 생각하고 여러 단계로 움직이면서 훨씬 많은 토큰과 요청을 써버린다.
• 그래서 토큰 하나 가격은 크게 떨어졌지만, 전체 사용량이 그보다 훨씬 더 빨리 늘어서 총비용은 오히려 커지고 있다.
• 이건 효율이 좋아질수록 총소비가 줄지 않고 더 커지는 제번스의 역설이 AI에서 그대로 벌어지는 모습이다.
• 지금 하이퍼스케일러들이 돈을 더 많이 쓰는 것도, 추론 수요가 단순한 가격 하락보다 훨씬 더 강하게 폭증하고 있기 때문이다.
• 학습은 한동안 몰아서 돌리고 끝나는 작업이었지만, 추론은 서비스처럼 계속 돌아가야 해서 전력·냉각·메모리 같은 운영비 부담이 훨씬 크다.
• 폐쇄형 API 위에 제품을 얹은 회사들은 사용자가 많아질수록 자기들도 컴퓨트 비용을 더 많이 내야 해서, 잘 팔릴수록 마진이 나빠질 수 있다.
• 그래서 앞으로 중요한 건 모델 자체만이 아니라, KV cache 관리나 라우팅, 양자화처럼 추론 비용을 줄여주는 아래쪽 스택이다.
• 특히 긴 대화나 에이전트 작업은 메모리를 계속 붙잡고 있어서, GPU 계산보다 메모리 쪽이 더 큰 병목이 될 수 있다.
• 그래서 앞으로는 GPU 숫자만이 아니라 메모리, 패키징, CPU/GPU 비율 같은 하드웨어 구조까지 같이 중요해진다.
• 결론적으로 지금 벌어지는 일은 AI가 식고 있는 게 아니라, 너무 유용해져서 추론 수요가 폭발했고 그 결과 비용 구조 전체가 바뀌고 있다는 것이다.
원문 링크
• “메모리는 사이클 산업이고, 최근 메모리 관련 종목 급등은 뻔한 버블이다.”
• 이런 반사적인 시각이 제일 쉬운 해석이다. 하지만 나는 이런 생각을 하는 사람들이 AI가 메모리 수요에 어떤 규모의 변화를 만들고 있는지 놓치고 있다고 본다.
• 메모리 스토리에 뭔가 더 있을 수 있다는 첫 단서는 올해 1월에 나왔다. 엔비디아의 차세대 Rubin 플랫폼이 GPU당 16TB의 NAND, 랙당 1152TB를 필요로 하고, 시스템에 필요한 HBM 대역폭도 이전에 알려진 것보다 70% 더 높다는 얘기가 나왔을 때다.
• 그때 처음으로 외부 관찰자들도, 이미 알려진 GPU 수요를 따라가려면 메모리도 기하급수적으로 확장돼야 한다는 사실을 체감하게 됐다.
• 사람들이 과소평가하는 점 하나는, GPU 연산 성능은 대체로 무어의 법칙처럼 약 2년마다 두 배씩 늘어났지만 메모리의 밀도와 속도는 그렇지 않았다는 점이다. GPU 연산이 계속 커질수록 기존 메모리 업체들은 훨씬 더 많은 칩을 만들어야 한다.
• 게다가 그 칩들은 전보다 더 빨라야 한다. 문제는 메모리 업체들이 수십 년 동안 풀지 못했던 속도 개선을 이제 어떻게 만들어낼 것이냐는 것이다.
• 이렇게 기술 난이도는 올라가고 제품 수요는 기하급수적으로 늘어나면, 메모리는 사람들이 흔히 아는 “범용상품”이라기보다 고마진의 독자적 칩에 더 가까워 보이기 시작한다.
• 이것은 아직 추론용 컴퓨팅에서 메모리가 하는 역할, 롱컨텍스트 같은 요소는 제대로 반영하지도 않은 얘기다. 추론에 필요한 연산도 기하급수적으로 늘고 있고, 그것 역시 메모리 의존도가 높다.
• 에이전트형 AI는 에이전트가 엄청난 양의 데이터를 컨텍스트로 끌어와야 하므로, 한 번의 “턴”당 토큰 수가 늘어나고 이를 실행하는 데 필요한 메모리도 커진다. 진짜 에이전트 시스템은 훨씬 더 긴 컨텍스트와 훨씬 더 많은 반복 턴을 필요로 한다. 더 긴 컨텍스트는 워크로드당 메모리를 늘리고, 더 많은 턴은 결과물 하나를 만드는 데 필요한 총 워크로드를 늘린다.
• 구체적인 숫자를 하나 들면, Micron의 SVP Jeremy Werner는 최근 The Circuit에서 agentic AI 때문에 컨텍스트 길이가 연 30배씩 커지고 있다고 말했다.
• 마이클 델은 이 문제를 아주 단순하게 설명했다. H100은 HBM이 80GB였지만, 2028년엔 가속기 하나에 약 2TB가 들어갈 수 있다는 것이다. 가속기당 메모리가 25배 많아지는 셈이다. 같은 기간 그는 배치되는 가속기 수도 대략 25배 늘어날 것으로 본다.
• 그러면 2028년까지 가속기 메모리 수요는 25 x 25, 즉 625배가 된다.
• 모두가 메모리주는 사이클을 타고, 버블이 터지기 직전엔 늘 싸 보인다는 걸 안다. 하지만 메모리 시장에서 구조적 변화가 일어나고 있어서 이번엔 그 컨센서스가 틀릴 수도 있다면 어떨까?
• 원래 사이클 기업으로 여겨졌지만 AI 수요 덕분에 성장 스토리로 재평가된 다른 회사를 떠올릴 수 있을까? 힌트를 주자면, 지금 세계에서 가장 가치가 높은 회사다.
• 다시 말하지만, 이건 어떤 증권을 사거나 팔라는 추천이 아니다. AI 인프라 확장이 메모리 시장을 어떻게 바꾸고 있을지 생각해보는 하나의 프레임이다.
원문:
https://x.com/alexcorrino/status/2053610835793400216?s=46&t=sLJKTt3yoDoVniFjGgH6yA
• 이런 반사적인 시각이 제일 쉬운 해석이다. 하지만 나는 이런 생각을 하는 사람들이 AI가 메모리 수요에 어떤 규모의 변화를 만들고 있는지 놓치고 있다고 본다.
• 메모리 스토리에 뭔가 더 있을 수 있다는 첫 단서는 올해 1월에 나왔다. 엔비디아의 차세대 Rubin 플랫폼이 GPU당 16TB의 NAND, 랙당 1152TB를 필요로 하고, 시스템에 필요한 HBM 대역폭도 이전에 알려진 것보다 70% 더 높다는 얘기가 나왔을 때다.
• 그때 처음으로 외부 관찰자들도, 이미 알려진 GPU 수요를 따라가려면 메모리도 기하급수적으로 확장돼야 한다는 사실을 체감하게 됐다.
• 사람들이 과소평가하는 점 하나는, GPU 연산 성능은 대체로 무어의 법칙처럼 약 2년마다 두 배씩 늘어났지만 메모리의 밀도와 속도는 그렇지 않았다는 점이다. GPU 연산이 계속 커질수록 기존 메모리 업체들은 훨씬 더 많은 칩을 만들어야 한다.
• 게다가 그 칩들은 전보다 더 빨라야 한다. 문제는 메모리 업체들이 수십 년 동안 풀지 못했던 속도 개선을 이제 어떻게 만들어낼 것이냐는 것이다.
• 이렇게 기술 난이도는 올라가고 제품 수요는 기하급수적으로 늘어나면, 메모리는 사람들이 흔히 아는 “범용상품”이라기보다 고마진의 독자적 칩에 더 가까워 보이기 시작한다.
• 이것은 아직 추론용 컴퓨팅에서 메모리가 하는 역할, 롱컨텍스트 같은 요소는 제대로 반영하지도 않은 얘기다. 추론에 필요한 연산도 기하급수적으로 늘고 있고, 그것 역시 메모리 의존도가 높다.
• 에이전트형 AI는 에이전트가 엄청난 양의 데이터를 컨텍스트로 끌어와야 하므로, 한 번의 “턴”당 토큰 수가 늘어나고 이를 실행하는 데 필요한 메모리도 커진다. 진짜 에이전트 시스템은 훨씬 더 긴 컨텍스트와 훨씬 더 많은 반복 턴을 필요로 한다. 더 긴 컨텍스트는 워크로드당 메모리를 늘리고, 더 많은 턴은 결과물 하나를 만드는 데 필요한 총 워크로드를 늘린다.
• 구체적인 숫자를 하나 들면, Micron의 SVP Jeremy Werner는 최근 The Circuit에서 agentic AI 때문에 컨텍스트 길이가 연 30배씩 커지고 있다고 말했다.
• 마이클 델은 이 문제를 아주 단순하게 설명했다. H100은 HBM이 80GB였지만, 2028년엔 가속기 하나에 약 2TB가 들어갈 수 있다는 것이다. 가속기당 메모리가 25배 많아지는 셈이다. 같은 기간 그는 배치되는 가속기 수도 대략 25배 늘어날 것으로 본다.
• 그러면 2028년까지 가속기 메모리 수요는 25 x 25, 즉 625배가 된다.
• 모두가 메모리주는 사이클을 타고, 버블이 터지기 직전엔 늘 싸 보인다는 걸 안다. 하지만 메모리 시장에서 구조적 변화가 일어나고 있어서 이번엔 그 컨센서스가 틀릴 수도 있다면 어떨까?
• 원래 사이클 기업으로 여겨졌지만 AI 수요 덕분에 성장 스토리로 재평가된 다른 회사를 떠올릴 수 있을까? 힌트를 주자면, 지금 세계에서 가장 가치가 높은 회사다.
• 다시 말하지만, 이건 어떤 증권을 사거나 팔라는 추천이 아니다. AI 인프라 확장이 메모리 시장을 어떻게 바꾸고 있을지 생각해보는 하나의 프레임이다.
원문:
https://x.com/alexcorrino/status/2053610835793400216?s=46&t=sLJKTt3yoDoVniFjGgH6yA
X (formerly Twitter)
Alex Corrino (@AlexCorrino) on X
"Memory is cyclical, everyone knows that, and the recent run up in memory names is an obvious bubble."
That's the easy, reflexive view. But I think the people who hold it are missing the simple scale of what AI is doing to memory demand.
The first clue…
That's the easy, reflexive view. But I think the people who hold it are missing the simple scale of what AI is doing to memory demand.
The first clue…
트럼프가 최근에 $DELL 언급한 이유: 본인이 샀기 때문에
2월 10일에 5백만불치 사고 그뒤로도 매집을 꾸준히 했다네요
출처: https://x.com/pelositracker/status/2054930880615895518?s=20
2월 10일에 5백만불치 사고 그뒤로도 매집을 꾸준히 했다네요
출처: https://x.com/pelositracker/status/2054930880615895518?s=20
박주혁
트럼프가 최근에 $DELL 언급한 이유: 본인이 샀기 때문에 2월 10일에 5백만불치 사고 그뒤로도 매집을 꾸준히 했다네요 출처: https://x.com/pelositracker/status/2054930880615895518?s=20
트럼프가 올해 1분기에 산 주식들
MSFT — Microsoft Corp.
AMZN — Amazon.com Inc.
NOW — ServiceNow Inc.
NVDA — NVIDIA Corp.
AAPL — Apple Inc.
AVGO — Broadcom Inc.
ORCL — Oracle Corp.
ADBE — Adobe Inc.
WDAY — Workday Inc.
DELL — Dell Technologies Inc.
SNPS — Synopsys Inc.
CDNS — Cadence Design Systems Inc.
CRM — Salesforce Inc.
GOOGL — Alphabet Inc. (Google)
NFLX — Netflix Inc.
KLAC — KLA Corp.
TXN — Texas Instruments Inc.
MSI — Motorola Solutions Inc.
MSFT — Microsoft Corp.
AMZN — Amazon.com Inc.
NOW — ServiceNow Inc.
NVDA — NVIDIA Corp.
AAPL — Apple Inc.
AVGO — Broadcom Inc.
ORCL — Oracle Corp.
ADBE — Adobe Inc.
WDAY — Workday Inc.
DELL — Dell Technologies Inc.
SNPS — Synopsys Inc.
CDNS — Cadence Design Systems Inc.
CRM — Salesforce Inc.
GOOGL — Alphabet Inc. (Google)
NFLX — Netflix Inc.
KLAC — KLA Corp.
TXN — Texas Instruments Inc.
MSI — Motorola Solutions Inc.
그나저나 이번에 나온 소니 폰 카메라의 AI 어시스턴트가 대단하네요.
어케 사진을 더 구리게 만드냐 얘네는?
댓글 반응도 존나 웃김: https://x.com/sonyxperia/status/2054853108988047562?s=20
어케 사진을 더 구리게 만드냐 얘네는?
댓글 반응도 존나 웃김: https://x.com/sonyxperia/status/2054853108988047562?s=20