Frontier models keep getting more and more expensive to train, while commodity models drop in price each year as performance goes up (for example, it is probably ~5X cheaper to train GPT-3.5 equivalent now than 2 years ago)

As model scale has gotten larger, funding increasingly has been primarily coming from the cloud providers / big tech. For example, Microsoft invested $10B+ in OpenAI, while Anthropic raised $7B between Amazon and Google. NVIDIA is also a big investor in foundation model companies of many types. The venture funding for these companies in contrast is a tiny drop in the ocean in comparison

For example, Azure from Microsoft generates $25B in revenue a quarter. The ~$10B OpenAI investment by Microsoft is roughly 6 weeks of Azure revenue. AI is having a big impact on Azure revenue revently. Indeed Azure grew 6 percentage points in Q2 2024 from AI - which would put it at an annualized increase of $5-6B (or 50% of its investment in OpenAI! Per year!). Obviously revenue is not net income but this is striking nonetheless, and suggests the big clouds have an economic reason to fund more large scale models over time.

How does this impact the long term economics and market structure for LLMs? Does this mean we will see the end of new frontier LLM companies soon due to a lack of enough capital and talent for new entrants? Or do they keep funding large models hoping some will convert on their clouds to revenue?

Do governments back (or direct their purchasing to) regional AI champions? Will national governments differentially spend on local models a la Boeing vs Airbus in aerospace? Do governments want to support models that reflect their local values, languages, etc? Besides cloud providers and global big tech (think also e.g. Alibaba, Rakuten etc) the other big sources of potential capital are countries. There are now great model companies in Europe (e.g. Mistral), Japan, India, UAE, China and other countries. If so, there may be a few multi-billion AI foundation model regional companies created just off of government revenue.

A number of these have open but less existential questions (for example how much of RLHF turns into RLAIF).

to constrained GPU / GPU arb? In the absence of GPU on the main cloud providers companies are scrambling to find sufficient GPU for their needs, accelerating adoption of new startups with their own GPU clouds. One potential strategy NVIDIA could be doing is preferentially allocating GPU to these new providers to decrease bargaining power of hyperscalers and to fragment the market, as well as to accelerate the industry via startups. When does the GPU bottleneck end and how does that impact new AI cloud providers? It seems like an end to GPU shortages on the main clouds would be negative for companies whose only business is GPU cloud, while those with more tools and services should have an easier transition if this were to happen.

What else gets consolidated into AI clouds? Do they cross sell embeddings & RAG? Continuous updates? Fine tuning? Other services? How does that impact data labelers or others with overlapping offerings? What gets consolidated directly into model providers vs via the clouds?

Which companies in the AI cloud will pursue which business model?
◦ It is important to note there are really 2 market segments in the AI cloud world (a) startups (b) mid-market and enterprise. It seems likely that “GPU only” business model default works with the startup segment(who have fewer cloud needs), but for large enterprises adoption may be more driven by GPU cloud constraints on major platforms. Do companies providing developer tooling, API endpoints, and/or specialized hardware, or other aspects morph into two other analogous models - (a) “Snowflake/Databricks for AI” model or (b) “Cloudflare for AI”? If so, which ones adopt which model?

How big do the new AI clouds become? As large as Heroku, Digital Ocean, Snowflake, or AWS? What is the size of outcome and utilization scale for this class of company?

<대단한 사람을 대단하게 보지 않기>
예전에 부부/가족 상담을 장기간 훈련받은 적이 있다. 첫날 수업에 교수님이 좀 늦게 오셨다. 오셔서 왜 늦었는지 얘기를 했는데 남편이 양말 찾아달라고 해서 싸웠다고 했다. 사실 충격이었다. 부부 상담을 배우러 온 자리인데 강사가 첫날 부부 싸움했다고 이실직고를 한 셈이니까.
근데 교수님이 이렇게 해설을 했다. "여러분이 저를 이상적이고 대단한 어떤 사람으로 보는 거는 배움에 도움이 안돼요."
맞는 이야기라고 생각했다. 그리고 이게 내 학습의 핵심을 관통하고 있다고 생각이 들었다. 대학시절부터 알고 있는 후배 하나가 얼마전에 그러더라. "그 어떤 대단한 사람도 창준이 형이 옆에 오면 그 사람이 빛을 잃는 거 같아요." 나는 대단한 사람을 대단하게 보지 않으려고, 그러면서 그로부터 배우려고 노력해 왔던 거 같다. 그게 내 기본적인 학습 태도였다.
마찬가지로 내가 교육을 할 때에도 나는 나를 오히려 할인해서 보여주기도 한다. 잘 몰라요. 안 읽어 봤어요. 저는 유학 안갔어요. 학부 졸업이에요, 자격증 없어요 등등.
근데 반대로 자신을 있는 대로 한참 올려놓는 사람들이 있다. 그 사람 주변을 보면 제대로 못배운 사람들 투성이다. 본인이 그렇게 만들어 놓은 거다.

프론티어 모델은 트레이닝 비용이 점점 더 비싸지는 반면, 커머셜 모델은 성능이 향상됨에 따라 매년 가격이 하락합니다(예: 2년 전보다 현재 GPT-3.5 동급을 트레이닝하는 데 약 5배 저렴함).

모델 규모가 커짐에 따라 자금은 주로 클라우드 제공업체/대형 기술 업체에서 점점 더 많이 조달되고 있습니다. 예를 들어, Microsoft는 OpenAI에 100억 달러 이상을 투자했고, Anthropic은 Amazon과 Google 사이에서 70억 달러를 모금했습니다. NVIDIA는 또한 다양한 유형의 재단 모델 회사에 큰 투자를 하고 있습니다. 이에 비해 이러한 기업에 대한 벤처 자금은 매우 미미한 수준입니다.

예를 들어 Microsoft의 Azure는 분기당 250억 달러의 수익을 창출합니다. Microsoft가 OpenAI에 투자한 약 100억 달러는 Azure 매출의 약 6주에 해당하는 금액입니다. AI는 Azure 수익에 지속적으로 큰 영향을 미치고 있습니다. 실제로 Azure는 2024년 2분기에 AI로 인해 6% 포인트 성장했으며, 이는 연간 50~60억 달러(또는 연간 OpenAI 투자의 50%!)의 증가율에 해당합니다. 물론 수익이 순이익은 아니지만, 그럼에도 불구하고 이는 놀라운 수치이며 대형 클라우드가 시간이 지남에 따라 더 큰 규모의 모델에 투자할 경제적 이유가 있음을 시사합니다.

이것이 장기적으로 LLM의 경제성과 시장 구조에 어떤 영향을 미칠까요? 이는 신규 진입자를 위한 충분한 자본과 인재 부족으로 인해 곧 새로운 프런티어 LLM 기업의 종말을 보게 될 것임을 의미할까요? 아니면 일부가 클라우드에서 수익으로 전환되기를 바라며 대형 모델에 계속 자금을 지원할까요?

정부는 지역 AI 챔피언을 지원(또는 직접 구매)할까요? 각국 정부는 항공우주 분야의 보잉과 에어버스처럼 지역 모델에 차등적으로 지출할 것인가? 정부는 현지의 가치, 언어 등을 반영하는 모델을 지원하길 원하나요? 클라우드 제공업체와 글로벌 대기업(예: 알리바바, 라쿠텐 등) 외에 잠재적 자본의 또 다른 큰 원천은 국가입니다. 현재 유럽(예: 미스트랄), 일본, 인도, UAE, 중국 및 기타 국가에 훌륭한 모델 기업이 있습니다. 그렇다면 정부 수입만으로 수십억 달러 규모의 AI 기반 모델 지역 기업이 몇 개 탄생할 수도 있습니다.

이들 중 상당수는 실존적인 질문(예: RLHF가 얼마나 RLAIF로 전환되는지 등)을 가지고 있습니다.

제한된 GPU/GPU arb로 전환할 수 있을까요? 주요 클라우드 제공업체에 GPU가 없는 상황에서 기업들은 필요에 맞는 충분한 GPU를 찾기 위해 노력하고 있으며, 자체 GPU 클라우드를 갖춘 새로운 스타트업의 채택을 가속화하고 있습니다. NVIDIA가 취할 수 있는 한 가지 잠재적인 전략은 이러한 신규 공급업체에 GPU를 우선적으로 할당하여 하이퍼스케일러의 협상력을 낮추고 시장을 세분화하는 동시에 스타트업을 통해 업계를 가속화하는 것입니다. GPU 병목 현상은 언제 끝나며, 이는 새로운 AI 클라우드 제공업체에 어떤 영향을 미치나요? 메인 클라우드에서 GPU 부족 현상이 종료되면 GPU 클라우드가 유일한 사업인 기업에게는 부정적일 수 있지만, 더 많은 도구와 서비스를 보유한 기업에게는 전환이 더 쉬울 것으로 보입니다.

AI 클라우드로 통합되는 또 다른 항목은 무엇인가요? 임베딩과 RAG를 교차 판매하나요? 지속적인 업데이트? 미세 조정? 다른 서비스? 데이터 라벨러나 중복되는 서비스를 제공하는 다른 업체에는 어떤 영향이 있나요? 모델 제공업체에 직접 통합되는 것과 클라우드를 통해 통합되는 것은 무엇인가요?

AI 클라우드에서 어떤 기업이 어떤 비즈니스 모델을 추구할 것인가?
AI 클라우드 세계에는 (a) 스타트업 (b) 미드마켓 및 엔터프라이즈 두 가지 시장 세그먼트가 존재한다는 점에 주목할 필요가 있습니다. 클라우드에 대한 요구가 적은 스타트업 부문에서는 "GPU 전용" 비즈니스 모델이 기본으로 적용될 가능성이 높지만, 대기업의 경우 주요 플랫폼의 GPU 클라우드 제약으로 인해 도입이 더 많이 이루어질 수 있습니다. 개발자 도구, API 엔드포인트 및/또는 특수 하드웨어 등을 제공하는 회사는 (a) "Snowflake/Databricks for AI" 모델 또는 (b) "Cloudflare for AI"라는 두 가지 유사한 모델로 변모하나요? 그렇다면 어떤 모델이 어떤 모델을 채택하나요?

새로운 AI 클라우드는 얼마나 큰 규모인가요? Heroku, Digital Ocean, Snowflake 또는 AWS만큼 큰 규모인가요? 이 등급의 회사의 성과 및 활용 규모는 어느 정도인가요?

# automating software engineering

In my mind, automating software engineering will look similar to automating driving. E.g. in self-driving the progression of increasing autonomy and higher abstraction looks something like:

1. first the human performs all driving actions manually
2. then the AI helps keep the lane
3. then it slows for the car ahead
4. then it also does lane changes and takes forks
5. then it also stops at signs/lights and takes turns
6. eventually you take a feature complete solution and grind on the quality until you achieve full self-driving.

There is a progression of the AI doing more and the human doing less, but still providing oversight. In Software engineering, the progression is shaping up similar:

1. first the human writes the code manually
2. then GitHub Copilot autocompletes a few lines
3. then ChatGPT writes chunks of code
4. then you move to larger and larger code diffs (e.g. Cursor copilot++ style, nice demo here https://youtube.com/watch?v=Smklr44N8QU)
5....
Devin is an impressive demo of what perhaps follows next: coordinating a number of tools that a developer needs to string together to write code: a Terminal, a Browser, a Code editor, etc., and human oversight that moves to increasingly higher level of abstraction.

There is a lot of work not just on the AI part but also the UI/UX part. How does a human provide oversight? What are they looking at? How do they nudge the AI down a different path? How do they debug what went wrong? It is very likely that we will have to change up the code editor, substantially.

In any case, software engineering is on track to change substantially. And it will look a lot more like supervising the automation, while pitching in high-level commands, ideas or progression strategies, in English.

Good luck to the team!

최근에 SWE-bench에서 우수한 결과를 도출했다고 발표하고 & Founders Fund 등으로부터 $21m 투자를 유치해서 화제가 된 Devin 개발사 Cognition. 내가 개발자도 아니고 직접 서비스를 써본 것도 아니라서 정확한 평가를 내리기는 어려우나, 소프트웨어 개발이 AI로 대체되어가는건 분명하다는걸 다시 한번 일깨워준 프로덕트임에는 틀림 없다.

안드레 카파시는 Devin 데모를 보면서 자율주행의 발전과 비슷하다고 느꼈다고 한다. 두 영역의 발전으로부터 다른 영역 또한 어떻게 발전할지 큰 힌트를 얻을 수 있는듯.

https://www.cognition-labs.com/introducing-devin

https://twitter.com/karpathy/status/1767598414945292695?s=20&utm_source=substack&utm_medium=email

지난주 작년에 첫 회사를 엑싯하신 한 대표님과 이야기를 나눴는데 창업이 육아와 정말 비슷한 점이 많다고 하셨다. 첫 아이를 기를때는 아이가 성장하는 과정에서 어떤 것을 기대해야 되는지 몰라 실수를 하고 생각했던 것보다 육아하는 것이 너무 힘들어 그 고통이 큰데 두번째 아이 부터는 아이가 성장하면서 어떤 문제들이 생기는지 알기 때문에 좀 더 수월하다고 하셨다.

나는 이 말이 너무 공감되었다. 창업하면서 가장 힘든 부분은 사람과 관련된 문제들이라는 이야기를 듣기는 했지만 작년을 돌이켜보면 구체적으로 어떤 것을 기대해야 되는지 몰라 고통이 정말 컸던 것 같다. 작년에 팀이 한번 리빌딩 되면서 팀원들 간의 갈등을 겪게 되었는데 이때 매니저로써 나의 역량에 한계를 느끼면서 번아웃이 왔다.

최근 인간에게 발달단계가 있듯이 팀에도 발달단계가 있다는 것을 알게 되었다. 팀의 발달단계에서 어떤 현상이 발생하게 되는지 미리 알았더라면 내 스스로의 역량이 부족해서 문제가 발생했다는 생각보다는 원래 자연스럽게 발생하는 생리 현상임을 인지하고 이에 적절한 대응을 했을 것 같다.

모든 팀은 Forming → Storming → Norming → Performing의 4단계를 거치게 된다.

1) Forming
나타나는 현상
• 팀원들이 롤, 목표, 프로세스에 대한 이해가 부족한 상태. 매니저에게 의존도가 가장 높은 상태. 심리적으로 불안한 상태이며 이해하고 적응하는 것에 우선순위를 두고 리스크 지는 행동이나 사람들과 논쟁하는 것을 기피함.

이전 실수
• 팀원들에게 자율성 부여하고 자기 주도성을 요구해야 된다는 막연한 생각으로 디스콰이엇에서 어떤 것을 하고 싶은지와 같은 open-ended question을 물어보고 지표와 해결해야 되는 문제만 던져준 후 주체적으로 해결책을 가져올 것을 요구함.
• 1-on-1, 회의때 질문을 많이 하고 의견을 많이 낼 것을 요구함.

올바른 가이드
• 각 롤, 목표, 프로세스에 대해서 커뮤니케이션을 자주 하고 태스크 수행을 통해 이에 대한 이해가 생기는 것을 목표로 훨씬 세부적으로 태스크를 지정해줘야 됨.
• 심리적 안정감을 느끼기 전까지는 질문이나 의견내는 것이 없을 것이라는 것을 기대하고 롤, 목표, 프로세스에 대해서 설명하는 시간을 훨씬 많이 갖고 먼저 적극적으로 이해가 안되는 부분이 있는지, 설명이 필요한 부분이 있는지를 체킹. 심리적 안정감을 만들기 위한 활동들, 유대감을 쌓기 위한 활동들을 의도적으로 많이 해야 됨.

2) Storming
나타나는 현상
• 롤, 목표, 프로세스에 대한 경계가 아직 모호한 상태. 이때문에 서로 일하는 영역에 침범하는 것이 발생.
• 심리적 안정감이 생기면서 일하는 스타일이나 성격 차이로 인해 생기는 갈등을 표출하기 시작함. 조금씩 자신감을 얻으면서 매니저의 가이드를 거부하기 시작함.
개개인이 자기의 정체성에 대해서 고민을 많이 하고 팀보다는 이를 표현하는 것을 더 우선시함. 위계 질서에 대한 걱정을 하기 시작함

이전 실수
• 일하는 상황에서 기대치를 충족하지 못하는 결과물이나 생각의 부족함이 보였을때 이를 바로 잡기위해서 즉각적으로 행동함. 이로 인해 자신감이 떨어지는 상황이 발생하고 방어적인 태도를 보이는 경우가 잦아짐. 심리적 안정감이 없어짐.
• 갈등상황이 있을때 개인의 성향, 스타일에 대한 메타 인지로 넘어가는데 시간이 너무 오래 걸림.

올바른 가이드
• 각자 성향, 장단점, 일하는 스타일에 대해서 메타 인지를 할 수 있도록 가이드를 주고 롤, 목표, 프로세스를 명료하게 하는데 시간을 써야됨. 심리적 안정감을 느낄 수 있는 환경을 조성하는데 노력을 기울여야 됨.
• 마찰이 나는 것이 좋은 현상이라는 것을 인지 시키고 발전을 위해서 꼭 필요한 것이라는 것을 강조.

3) Norming
나타나는 현상
• 목표, 롤, 프로세스의 경계가 생기기 시작함. 서로의 성향 차이를 이해하기 시작하고 어떻게 하면 상호보완적으로 일할 수 있는지 이해를 하기 시작함.
• 개인의 정체성보다는 팀에 대해서 고민을 더 많이 하기 시작하고 일을 잘하기 위한 프로세스를 잡아나가기 시작함.

이전 실수
• 팀 내부에서 일부는 Norming 단계에 와있고 일부는 그렇지 않은 경우가 있었는데 그렇지 않은 팀원들에게 개인이 아닌 팀과 고객을 고민할 것을 더 명확히 요구하지 못했음. 요구했는데도 개선되지 않은 팀원들과 더 빨리 헤어졌어야 됐는데 그러지 못했음.
• 위임을 못하고 모든 일을 내가 해야된다는 생각을 했음.
• 심리적 안정감, 팀웍을 쌓기 위한 활동을 적극적으로 고민하고 장려하지 않았음.

올바른 가이드
• Storming 단계를 넘어선 것을 축하하고 심리적 안정감, 팀웍을 쌓을 수 있는 환경을 만드는데 더 적극적으로 관여
• 목표 설정하고 이를 소통하는 것에 더 집중하고 팀에게 높은 기준을 요구
• 지시자가 아닌 질문자로써 코칭

4) Performing
나타나는 현상
• 팀에 대한 고민이 줄고 일을 수행하는 것에 대한 고민만 하게 되는 몰입 상태에 이름. 소통 비용이 낮고 팀으로써 문제 해결 역량이 올라감.
• 결정의 속도가 빨라지고 갈등 상황을 건강하게 잘 해결함.

내가 했던 실수
• 여기까지 잘가보지 못함.

올바른 가이드
• 리더쉽 양성에 신경쓰고 리더에게 완벽한 위임.
• 비전에 신경쓰고 이를 달성하기 위한 챌린지들을 제시하고 적절한 보상과 구조를 통해 챌린지들이 해결되는 속도를 높임.
• Performing 단계가 영원하지 않다는 것을 인지하고 다시 회귀할 것을 대비.