< 구글TPU, 엔비디아의 CUDA 생태계 뚫을수 있을까? >

충격적이게도
엄청난 퍼포먼스를 보이고있는 구글의제미니3 개발이 모두 TPU로 만들어졌다는게 밝혀졌다.
여기서 나의 강력한 의문이 있다.

'GPU의 CUDA 생태계를 안쓰고 어떻게 개발했지? '

그질문에대한 공부를 풀어보겠다.

----

1. CUDA의 대체자, 'JAX(잭스)'와 'XLA'

엔비디아에 PyTorch(파이토치) + CUDA 조합이 있다면, 구글은 JAX(잭스) + XLA라는 자기들만의 강력한 무기를 썼다.

JAX (잭스): 개발자들이 쓰는 코딩 도구. 파이썬이랑 문법이 거의 똑같은데, 이게 AI 연산에 엄청 최적화되어 있음. 요즘 구글 딥마인드는 텐서플로우(TensorFlow) 대신 이걸 메인으로 씀.

XLA (가속기 컴파일러): 이게 진짜 '핵심 기술'.
내가 궁금한 게 "CUDA 라이브러리 없이 하드웨어 제어를 어떻게 하냐"였는데 이 XLA가 그 역할을 한다.

개발자가 JAX로 코드를 짜면, XLA라는 녀석이 중간에서 "야, TPU야! 너 이 코드 알아듣지?" 하면서 TPU가 이해할 수 있는 기계어(명령어)로 직역을 해준다.

즉, CUDA를 거칠 필요 없이 소프트웨어(JAX) → 컴파일러(XLA) → 하드웨어(TPU)로 이어지는 고속도로를 뚫어버린 샘.

----

2. 라이브러리는 어떻게 해결했나? (생태계 구축)

CUDA에는 수년간 쌓인 라이브러리(도구 모음)가 엄청 많다.
구글은 이걸 빌려 쓰는 대신, JAX 기반으로 새로 다 만들었다.

Flax (플랙스): 신경망 만드는 도구
Optax (옵택스): 최적화 도구
Orbax: 거대 모델 저장/관리 도구

이걸 구글 내부에서 'JAX AI Stack'이라고 부르는데,
제미나이 3는 처음부터 끝까지 이 도구들로만 만들어졌음.
남의 집 도구(CUDA)를 빌려 쓴 게 아니라, 자기 집 대장간에서 맞춤형 도구를 직접 만든 격이라 성능 최적화는 오히려 더 잘 됐다는 평이있다.

----

3. 엔비디아가 막을 수 있을까? (우회 여부)

못 막음. 왜냐하면 엔비디아의 기술(CUDA)을 훔쳐 쓰거나 변환(Translation)해서 쓴 게 아니다.

만약 구글이 *"CUDA 코드를 가져와서 TPU에서 돌아가게 변환기를 썼다"*면 엔비디아가 약관 위반으로 소송 걸고 막았을 거다. (예전에 ZLUDA라는 프로젝트가 이런 식이었는데 결국 중단.)

하지만 구글은 아예 "우리는 CUDA 안 씀. 우리 언어(JAX) 쓸 거임" 하고 독자 노선을 탄 거라 법적으로나 기술적으로나 엔비디아가 개입할 여지가 없다.

전 세계 빅테크 중에 칩(TPU) + 언어(JAX) + 컴파일러(XLA) + 모델(Gemini) 까지 수직 계열화를 완벽하게 끝낸 건 구글이 유일.

----

4. 그래서 많은 개발자가 TPU로 넘어갈까?

구글 이외의 개발자들은 이미 쿠다(CUDA)에 익숙하고,
깃허브(GitHub)에 널린 오픈소스 코드들도 죄다 엔비디아 GPU 기준으로 짜여 있다.
그래서 당장 넘어갈거냐 물어보면 당연히 아니다.

하지만 구글도 대중화를 위해 파놓은 전략이 좀 있다.

1) "너네 쓰던 거 그냥 가져와" (PyTorch/XLA)

개발자들이 제일 많이 쓰는 언어(프레임워크)가 메타에서 만든 파이토치(PyTorch) 다. 예전에는 TPU 쓰려면 구글 언어인 텐서플로우나 JAX를 억지로 배워야 했는데, 이제는 PyTorch/XLA 라는 걸 지원한다.

이게 뭐냐면: 개발자가 평소처럼 파이토치로 코드를 짜면, 중간에서 XLA라는 번역기가 알아서 TPU용으로 바꿔주는 거.

한계: 물론 100% 완벽하진 않음. 아주 깊게 파고드는 최적화 코드(CUDA 커널)를 직접 짠 경우에는 수정이 필요하다.
이게 개발자들에겐 귀찮은 장벽인 건 사실이고 실제로 개발자와 대화 나눠보면 제대로 번역을 안해주는문제도 있다고 함.

2) 개미보다는 '고래'를 노린다 (B2B 전략)

이게 핵심이다.
구글은 집에서 코딩하는 대학생이나 개인 개발자(개미)가 TPU를 쓰길 기대하는 게 아님. 천문학적인 돈을 쓰는 기업(고래)들을 노리고 있다.

상황: 어떤 AI 스타트업이 엔비디아 H100을 빌려 쓰려면 시간당 비용이 너무 비싸고, 구하기도 하늘의 별 따기.

구글의 제안: "야, 너네 코드 조금만 수정해서 우리 클라우드 TPU 쓰면, 성능은 비슷한데 비용은 30% 싸게 해줄게. 물량도 바로 있어."

결과: 돈 아껴야 하는 기업들은 엔지니어를 갈아 넣어서라도 TPU로 넘어오게 된다는거.

[실제 사례] 이번에 애플이 '애플 인텔리전스' AI 모델 만들 때 엔비디아 GPU 안 쓰고 구글 TPU 썼다고 공식 발표. 이게 바로 구글이 노리는 시장이다.
"거대 기업들이 엔비디아 갑질 피해서 우리한테 오게 만든다."

3) 추론(Inference) 시장의 깡패

AI는 학습과 서비스(추론)두 단계가 있다.

학습: 아직은 엔비디아가 압도적. 온갖 라이브러리를 다 써야 하니까.

추론: 이미 다 만들어진 모델을 돌려서 대답만 해주는 건데, 이건 복잡한 라이브러리가 덜 필요하다. 여기서 TPU가 '가성비'로 밀고 들어오면 시장 점유율을 가져갈 가능성이 열림.

====

결론

내 결론은 이거다.
구글의 TPU가 추론시장에서 일부 마켓쉐어를 할 가능성은
충분히 열렸다.

하지만 아직까지 CUDA의 해자는 강력하고
AI개발자들은 강력하게 락인되어있는 상태이다.

하드웨어 성능면에서도 추론칩분야의 엔비디아 블랙웰칩은 미친듯이 강력하며,
TPU가 효율성과 가성비로 파고든다고 한다면

엔비디아는 그에따라 가격을 낮추면 충분히 대응가능하다.
가격 선택권은 언제나 엔비디아에게 있으니까 말이다.

그런데 어찌되었든 TPU 성공으로 한가지 확실해진건 있다.

'더이상 엔비디아 GPU가 유일무이한 존재는 아니라는거.'

출처

#구글 #엔비디아

구글의 TPU는 구글 자체 사용을 위해 2016년부터

브로드컴과 공동 개발해온 주문형 반도체 (ASIC)입니다.

AI칩 수요가 크게 '학습 (훈련)'과 '추론'으로 나뉩니다.

GPU는 대량의 데이터와 연산을 처리할 수 있어 AI모델 '학습'에 유용합니다. (범용성)

반면 TPU는 특정 대규모연산에서 압도적 속도를 가집니다. (특수성)

현재 학습에선 엔비디아의 CUDA가 거의 독점하고 있어 대체될 가능성이 낮지만,

추론에선 학습보다 리소스가 덜 들어가기 때문에 구글의 TPU가 경쟁력이 있다는 얘기입니다.

이 내러티브로 구글이 단기적으론 시총 1~2위까지 오를 수 있다고 보지만,

장기적으로 엔비디아를 위협할 수준까지 올지는 여전히 미지수입니다.

#구글

엎치락뒤치락하다가 2030년 시총 1위는 결국 테슬라가 먹을 거라 생각합니다

엔비디아도 가만히 있진 않을 거라 별 걱정 안 합니다

몇 년은 더 해먹을 예정

#엔비디아

테슬라 FSD 서울 시내 2시간 무개입

크 👍👍

#테슬라

https://youtu.be/QgzHTPheRO4?si=wpPIOsIsmf9nA7qW

서학개미도 나름 700만인데 무작정 밀어붙이진 않겠죠

당장은 간만 보겠지만 저런 말 나오는 순간 언젠간 하겠다는 얘기로 봐야합니다

환율 폭등 진짜 이유는 '유동성 증가 속도'..."美보다 2배 빨라"

환율 불안정의 가장 강력한 근거는 통화량 지표(M2)에서 확인된다. 현재 한국의 M2 증가율은 약 9.1%로 미국의 M2 증가율 약 4.8%와 비교했을 때 두 배에 달한다. 이는 미국이 양적 완화를 통해 유동성을 확대하고 있음에도 불구하고 한국의 통화량 증가 속도가 훨씬 더 빠르다는 것을 의미한다. 통화량 증가는 곧 원화 가치의 희석(절하) 속도가 빠르다는 핵심 증거다. 한국의 빠른 유동성 증가는 정부의 적극적인 확대 재정정책과 추가경정예산(추경) 편성, 각종 소비 쿠폰 지급 등에서 기인한다. 내년도 재정 편성 계획 역시 올해보다 9.1% 증액될 것으로 예상되는 등 막대한 규모의 재정 지출이 지속되면서 시장에 대량의 유동성이 공급되고 있다. 이러한 '돈 풀기' 정책이 현재 환율 급등의 일부분이자 주요 요인으로 작용하고 있다는 지적이다.

심플하게 돈 안 풀고 금리 올리면 됩니다.

출처

#환율

인베스팅프로 블랙 프라이데이 할인 안내

오늘부터 4일간 인베스팅프로 블랙 프라이데이 할인이 진행됩니다!

블랙 프라이데이: 11월 26일 – 11월 30일 (최대 60% 할인)

인베스팅프로와 공식 제휴를 맺고 있어 제 링크로 구독할 시

추가 15% 할인에 자체 페이백도 해드리고 있습니다.

관심 있는 분들은 아래 포스팅 참고하세요!

👉 인베스팅프로 사용 후기 및 할인 받기

#이벤트

자기자리에서 묵묵히 노력하며 살기~

온라인에서 냉소적인 사람보다
본인에게만 집중하는 단단한 사람들이 저는 멋지더군여.

'진짜 인사이트'는 매우 희귀하다

내가 생각하는 '진짜 인사이트'는 다음 세 가지 조건을 만족해야 한다.

첫째로 참이어야 하고, 둘째로 중요해야 하며, 셋째로 남들이 미처 인식하지 못하고 있어야 한다.

모든 초과수익(Alpha)은 이 진짜 인사이트에 뿌리를 두고 있다.

이 세 가지 교집합에 들어갈 수 있는 인사이트는 많지 않다.

한 시대의 진짜 인사이트는 다음 시대의 상식이 된다. (사실 그래서 인류 문명이 진보할 수 있다)

그렇기 때문에 진짜 인사이트는 유통기한이 있다.

물론 어떤 상식은 다시 진짜 인사이트로 하강하기도 한다.

버블에 관한 인간의 상식이 그러하다.

이전 시대의 버블에 대한 상식을 어느날 한 명씩 한 명씩 잊어버리게 되는데,

어떤 tipping point를 지나면 지난 시대의 상식은 다시 세번째 조건을 만족하면면서 '진짜 인사이트'가 된다.

어쨌거나 저쨌거나 이 진짜 인사이트는 세번째 조건으로 말미암아 매우 희귀할 수 밖에 없는데,

문제는 초과 수익의 달콤함이 너무나 강력하기 때문에 모두가 이 진짜 인사이트를 찾아 헤맨다는 점이다.

이런 정보에 대한 강력한 잠재수요를 충족시키려는 기업가 정신에 의해 금융가에는 정보가 홍수처럼 횡행한다.

IB는 모든 기업을 valuation할 수 있다는 태도로 모든 대형주의 목표주가를 발표한다.

유명 펀드매니저의 포트폴리오는 중요한 인사이트를 가리키는 것처럼 보도된다.

진짜 인사이트가 매우 희귀하다는 사실과, 금융가에 너무나 많은 정보가 홍수처럼 쏟아져다닌다는 사실을 종합하면 아주 재미있는 결론을 하나 도출할 수 있다.

그건 내가 접할 수 있는 대부분의 정보가 '진짜 인사이트'와는 거리가 멀다는 점이다.

대부분은 Noise이며 의도적으로 무시되어야 한다.

워런 버핏이 일반인들에게 평생 투자할 기회가 10번밖에 없다고 생각하고 투자하라고 했던 말과 연결 되는 것 같다.

종목 탐색에 들일 수 있는 시간이 아주 한정적인 비전업 투자자에게, 진정 훌륭한 투자 기회는 흔치 않다.

대부분 시간동안 index를 보유하고, 진짜 인사이트를 가진 순간에만 베팅하는 것이 더 나은 전략일 수 있다고 생각한다.

좋은 글이니 일독을 권합니다.

출처

#좋은글

진짜 인사이트는 희귀하다

요샌 인사이트가 그냥 생각 정도의 의미로 쓰이지만

사전적 의미는 '통찰'입니다.

통찰의 함의는 단순 정보, 지식을 넘어서서

그걸 종합하고 패턴화한 것입니다.

통찰은 그 사람 고유의 것이어야 합니다.

남들이 얘기하는 거 짜깁기하거나 어려운 내용을 쉽게 풀어쓰는 거, 그건 인사이트가 아닙니다.

그런 정보 속에서 새로운 결론이 있어야 합니다.

구글 TPU vs 엔비디아 GPU 싸움에서 구글이 이길 거다, 엔비디아 끄떡 없을 거다 하는 것도

넓은 범주에서 보면 깊은 지식 정도에 불과합니다.

인사이트는 그걸 넘어서서 수혜 받을 다른 종목 (브로드컴, TSMC?)의 내러티브를 제시하거나

아님 현재 대중이 잘 모르는 투자 아이디어를 제시할 정도는 돼야 합니다.

애널리스트나 현직자조차 그런 큰 시야를 갖긴 어렵습니다.

따라서 그런 진짜 인사이트는 매우 희귀합니다.

대신 대체로 큰 비전을 제시하는 사람들의 인터뷰로부터 간접적으로 접할 수 있는 거고요.

요샌 워낙 정보 흐름이 빨라서 대중이 아는 정보도 꽤 가치 있는 것들도 많지만

반대로 제대로 된 알파를 추구하려면 지금 남들이 관심 안 가지는 분야를 깊게 파야 합니다.

그게 굉장히 어렵기 때문에 인용한 글에서도 지수 추종을 메인으로 두고 진짜 기회라고 생각될 때 제대로 된 베팅을 하라는 거고요.

결론: 우리는 '인사이트'라는 말을 남용하고 있지만, 사실 제대로 된 인사이트는 매우 희귀하다. 역설적이게도 그걸 대중이 알게 될 정도라면 그건 더 이상 인사이트가 아니게 된다.

#단상

이러한 기준을 적용해봤을 때

저 역시 제대로 된 인사이트를 제공하는 경우는 거의 없다고 봐야 합니다.

그나마 제가 경험해보고 느낀 것들은 제 고유의 것들이니 해당할 순 있겠고요.

저 또한 인간지표 중 하나로서

남들이 얘기하는 것들 스피커 역할에 일조하는 거 같은데 사실 거기선 별로 얻을 게 없습니다.

환율이 매우 심각한 수준인데 여기서 1500원을 갈 거냐 하면 저는 그렇지 않을 거라 생각합니다.

비판적 사고, 2차적 사고, 군중과 반대되는 사고를 의식적으로 하려 노력합니다.

왜 슬라브 '인사이트'냐 했을 때 인사이트가 있어서보다는 그걸 갖추고 싶어서 그렇게 지었는데요,

지금 와서 보니 슬라브 '아카이브'가 더 맘에 들지만 고착화돼서 그냥 쓰고 있습니다 ㅎ

#단상

솔직히 '인사이트' 말고도 스스로 잘 안 쓰는 단어가 몇 개 있는데

'인플루언서'와 '선한 영향력'이 그 예시입니다.

남들이 그렇게 얘기하는 건 상관없는데

자기 자신을 그렇게 표현하는 게 좀 이상하달까요.

단어의 사전적 의미와 사회적 의미가 다른 걸 알기에

당연히 따지거나 문제 삼진 않고 그냥 혼자만의 생각입니다.

별 거 아닌 거 같지만 단어가 중요한 이유는 쓰는 단어가 인식을 만들기 때문입니다.

예를 들어 나 자신을 '인플루언서'라고 부르기 시작한다던가

내가 남들에게 '선한 영향력'을 줬다고 믿기 시작하면

말이나 행동에서도 자신도 모르기 자의식 과잉, 선민의식이 드러나기 시작할 수 있습니다.

남에게 실제로 좋은 영향을 줬더라도 쓰는 단어는 최대한 신중해야 한다는 입장입니다.

#단상