크립토메이지

삼천당제약은 주주들 천당을 3번 보내주는 중

281 views04:38

Forwarded from 루팡

NVIDIA CEO 젠슨 황 인터뷰 중 - Lex Fridman

“저는 여전히 스케일링 법칙을 믿습니다. 그리고 이제는 스케일링 법칙이 더 많아졌습니다.

우선, 사람들이 무엇이 병목이 될 것이라고 생각했는지 되돌아볼 수 있습니다.

처음에는 프리트레이닝 스케일링 법칙이 있었습니다. 사람들은, 그리고 그것도 충분히 그럴 만하게, 우리가 가진 고품질 데이터의 양이 우리가 도달할 수 있는 지능을 제한할 것이라고 생각했습니다. 그 스케일링 법칙은 매우 중요한 법칙이었습니다. 모델이 커질수록, 그리고 그에 상응해 더 많은 데이터를 사용할수록, 더 나은 AI, 더 똑똑한 AI가 만들어졌습니다.

그것이 프리트레이닝이었습니다. 일리야 수츠케버는 ‘우리는 데이터가 고갈됐다’거나, ‘프리트레이닝은 끝났다’는 식으로 말했습니다. 업계는 패닉에 빠졌죠. AI의 끝이라고 생각했습니다.

물론, 그건 분명 사실이 아닙니다. 우리는 앞으로도 계속 학습에 사용할 데이터의 양을 늘려갈 것입니다. 그 데이터의 많은 부분은 아마 합성 데이터가 될 텐데, 이것도 사람들을 혼란스럽게 했습니다. 하지만 사람들이 잘 이해하지 못하는 것은, 그리고 어쩌면 잊어버린 것은, 우리가 서로를 가르치고 서로에게 정보를 주기 위해 사용하는 데이터 대부분도 사실 합성 데이터라는 점입니다.

왜냐하면 그것은 자연에서 그냥 나온 것이 아니기 때문입니다. 누군가가 만들었고, 내가 그것을 소비합니다. 나는 그것을 수정하고, 증강하고, 다시 생성하고, 또 다른 누군가가 그것을 소비합니다.

그래서 이제 우리는 AI가 기초 사실(ground truth)을 받아서 그것을 증강하고, 향상시키고, 방대한 양의 데이터를 합성적으로 생성할 수 있는 수준에 도달했습니다. 그리고 포스트트레이닝의 그 부분은 계속 스케일링되고 있습니다. 따라서 인간이 직접 만든 데이터가 차지하는 비중은 점점 더 작아질 것이고, 모델을 훈련하는 데 사용하는 전체 데이터 양은 계속 늘어날 것입니다. 결국 우리는 더 이상 데이터에 의해 제한되지 않게 됩니다.

이제 훈련은 더 이상 데이터가 병목이 아닙니다. 컴퓨팅이 병목입니다. 왜냐하면 데이터의 대부분이 합성 데이터가 될 것이기 때문입니다.

그 다음 단계는 테스트타임입니다. 저는 여전히 사람들이 ‘추론? 아, 그건 쉽죠. 어려운 건 프리트레이닝이죠’라고 말하던 것을 기억합니다. 사람들은 프리트레이닝 시스템이 거대한 시스템이라고 말하면서, 추론은 쉬울 거라고 생각했습니다. 그래서 추론 칩은 작고 단순할 것이고, 엔비디아의 칩처럼 복잡하고 비싼 것이 아니라 누구나 자기만의 칩을 만들 수 있고, 미래의 가장 큰 시장은 추론이지만 그건 쉽게 상품화될 것이라고들 말했습니다.

하지만 그건 제게는 늘 비논리적으로 보였습니다. 왜냐하면 추론은 곧 생각하기이기 때문입니다. 그리고 저는 생각하기가 어렵다고 생각합니다. 생각하는 일은 읽는 일보다 훨씬 더 어렵습니다.

프리트레이닝은 그냥 기억하고 일반화하는 것에 가깝습니다. 읽고 또 읽고, 패턴과 관계를 찾는 것입니다. 반면 생각하기는, 추론하고, 문제를 풀고, 새로운 경험과 미탐색된 경험을 받아들여서 그것을 풀 수 있는 조각들로 분해하는 일입니다. 그리고 그렇게 나뉜 조각들을 1차 원리 추론으로 풀든, 이전 사례와 경험을 활용해서 풀든, 아니면 탐색과 검색, 여러 시도를 통해 풀든, 그 전체 과정이 바로 테스트타임 스케일링입니다.

즉 추론은 생각하기입니다. 추론은 reasoning이고, planning이고, search입니다. 그런데 그런 것이 어떻게 계산이 가벼울 수 있겠습니까? 그럴 수 없습니다. 그리고 우리는 이 부분에서 완전히 옳았습니다. 테스트타임 스케일링은 극도로 계산 집약적입니다.

그렇다면 이제 질문은 이것입니다. 훈련과 추론, 테스트타임 스케일링까지 왔다면, 그 다음은 무엇인가?

당연히 이제 우리는 하나의 에이전틱 인물을 만들었습니다. 하나의 에이전틱 시스템, 하나의 거대 언어 모델을 만들었습니다. 그런데 테스트타임 동안 그 에이전틱 시스템은 스스로 연구를 하고, 데이터베이스를 두드리고, 도구를 사용합니다. 그리고 무엇보다 중요한 것 중 하나는 수많은 하위 에이전트를 만들어낸다는 점입니다.

즉 우리는 이제 큰 팀을 만들고 있는 것입니다. 엔비디아를 확장하는 것이 저 자신을 확장하는 것보다 훨씬 쉬운 이유는 더 많은 직원을 채용할 수 있기 때문입니다. 마찬가지로 다음 스케일링 법칙은 에이전틱 스케일링 법칙입니다.

이건 AI를 곱하는 것과 비슷합니다. 에이전트는 원하는 만큼 빠르게 새 에이전트를 만들어낼 수 있습니다.

그리고 우리가 이런 에이전틱 시스템을 사용할수록, 그 시스템들은 더 많은 데이터와 더 많은 경험을 만들어낼 것입니다. 그중 일부는 우리가 ‘이건 정말 좋다. 이건 기억해 둘 만하다’고 말하게 될 것입니다. 그러면 그 데이터셋은 다시 프리트레이닝으로 돌아갑니다. 우리는 그것을 기억하고 일반화합니다. 그리고 다시 포스트트레이닝에서 정제하고 파인튜닝합니다. 그다음 테스트타임에서 더 강화하고, 에이전틱 시스템을 통해 산업 전반으로 퍼뜨립니다.

그래서 이 루프, 이 사이클은 계속 반복될 것입니다.

결국 핵심은 이것입니다. 지능은 단 하나의 것에 의해 계속 스케일링될 것이고, 그것은 바로 컴퓨팅입니다.”

https://x.com/DrNHJ/status/2036662480689340451?s=20

https://youtu.be/vif8NQcjVf0?si=tYy6kxlyJckxjF2E

X (formerly Twitter)

루팡 (@DrNHJ) on X

NVIDIA CEO 젠슨 황 인터뷰 중 - Lex Fridman $NVDA

“저는 여전히 스케일링 법칙을 믿습니다. 그리고 이제는 스케일링 법칙이 더 많아졌습니다.

우선, 사람들이 무엇이 병목이 될 것이라고 생각했는지 되돌아볼 수 있습니다.

처음에는 프리트레이닝 스케일링 법칙이 있었습니다. 사람들은, 그리고

259 views04:42