🛑 The AI industry is moving beyond the "bigger is better" era, and the implications are fascinating

🧠 The traditional "scaling up" approach with more data and computing power is showing diminishing returns. Leading AI labs, including OpenAI, Anthropic, xAI, and Google DeepMind are pivoting towards "test-time compute" and inference optimization, shifting focus from raw model size to intelligent reasoning capabilities.

💭 Ilya Sutskever, co-founder of AI labs Safe Superintelligence (SSI) and OpenAI, told Reuters recently that results from scaling up pre-training - the phase of training an AI model that uses a vast amount of unlabeled data to understand language patterns and structures - have plateaued.
“The 2010s were the age of scaling, now we're back in the age of wonder and discovery once again. Everyone is looking for the next thing,” Sutskever said. “Scaling the right thing matters more now than ever.”

⌛ A striking example: giving an AI model 20 seconds to think achieved the same performance boost as scaling up training by 100,000x. This is transforming how we approach AI development.

⚙ This shift has major industry implications:

• Moving from massive training clusters to distributed inference
• Shift in hardware demands and infrastructure needs changing competitive dynamics in AI chips/infra market
• Growing importance of inference optimization and specialized training techniques
• Companies rethinking their AI development roadmaps

📈 Curious how that will change the pace of AI progress and impact financial markets. Or can NVIDIA stock only go up? We'll see.

👨‍💻 I have an optimistic view here. Regardless of the slowdown in LLM progress, even with the current state of technology fascinating products and companies are being built with tons of value created.

🏗 Свіжий request for startups від YC— список перспективних напрямів, над якими працюють занадто мало стартапів. Без AI та B2B SaaS — тут уже забагато і людей, і капіталу. Виробництво, інженерія, космос, фінтех.

• Government software
• Public safety technology
• Manufacture in the USA
• Stablecoins 2.0
• LLMs for chip design
• Fintech 2.0
• New space companies
• AI-aided engineering tools
• One million jobs 2.0

Останній пункт особливо цікавий:

We would like to fund startups that have a useful need to employ a million workers in a way that uniquely needs humans to do the job and there will be no structural need for the job to be done with AI

Зміни на ринку праці очевидні: багато професій частково автоматизуються, поріг входження зростає. Чим займати людей — цікаве і важливе питання. В першу чергу для урядів. Цікаво, що тут можуть зробити стартапи. На думку спадають хіба що якісь нові гіг-сервіси і діджиталізація офлайн-бізнесів. В крайньому випадку будемо всі збирати датасети для тренування наших хмарних богів AI.

🧠 Ось і The Information про це пишуть: OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows

• Нова модель Orion показує нижчий приріст перфомансу відносно GPT-4, ніж GPT-4 відносно GPT-3. Одна з головних причин - для тренування уже використали практично всі доступні дані. Відповідно, фокус зміщується на покращення моделі після тренування, зокрема, те що називають "дати моделі подумати", як в o1 - коли модель генерує кілька варіантів відповідей, а потім їх оцінює і обирає чи синтезує кращий.

• Якраз тут очікується наступний значний приріст якості моделей, а не в масштабуванні. Чим довше модель має можливість "думати", тим краще вона справляється з задачами на reasoning, в даному випадку (графік) з розв'язанням задач з математичних олімпіад.

• Загалом прогрес в розвитку LLM не зупиняється, але розробники моделей змінюють підхід - від "зазубрювання" знань до розвитку "мислення" моделей. Це може дати дуже непоганий приріст продуктивності. Власне, уже зараз ви можете задати складне питання моделям GPT-4 і o1 і оцінити різницю в якості відповідей.

🚧 Окремо пишуть про те, що і Google зіткнувся з цією проблемою в своєму великому AI-проекті Gemini. Гіганту не допомогла перевага в доступі до великих обсягів даних та обчислювальних потужностей, на яку сподівались в компанії. Тренування на синтетичних даних теж не дало очікуваних покращень (з цим зіткнулись і OpenAI та інші розробники).

Раніше повідомлялось, що Google Gemini значно відстає у використанні від конкурентів з OpenAI та Anthropic.

He said it took 30 seconds to use OpenAI’s application programming interface the first time he tried it, compared to 4 hours with Gemini because Google required him to set up a cloud account and make a bunch of configurations

Чудова ілюстрація до дискусії про те, як стартапам конкурувати з великими корпораціями.

📉 Ще один цікавий тренд в економіці AI - швидке зниження вартості інференсу, про що пише партнер a16z Guido Appenzeller. Ключове:

• За три роки середня вартість обробки мільйону токенів знизилась в 1000 разів.

• Наскільки LLM продовжать дешевшати, залежить від багатьох факторів, зокрема автор виділяє

Better cost/performance of the GPUs,
Model quantization
Software optimizations
Smaller models
Better instruction tuning
Open source

і приходить до висновку, що здешевшання продовжиться, хоча і не такими високими темпами.

• Інше цікаве питання - наскільки це проблема для бізнесу розробників LLM, адже їм треба якось заробляти. Зараз виглядає так, що вони фокусуються на монетизації своїх топових моделей. Але навіть так вартість інференсу топової моделі OpenAI (o1) така ж, як була при запуску GPT-3 ($60 за мільйон токенів).

• Для розробників AI-сервісів та користувачів це звісно позитивний тренд. Нинішні ціни на LLM API уможливлюють такі бізнес-моделі, які ще кілька років тому були нежиттєздатними. Якщо ви буде говорити 10 годин на день, все що ви наговорите за рік можна обробити за $2. Код ядра Linux - за $1. Додайте до цього так само низькі ціни на API text-to-speech сервісів, і виходить що простого голосового асистента можна розгорнути практично безкоштовно.

✍️ Повний гайд по метриках tech компаній для інвестора

📝 Дуже змістовний репорт по стану AI індустрії та інвестицій в неї від інвестора з профільного фонду. Гарний саммарі за 2024 рік, можна прочитати один документ замість потоку новин. Підписатись на автора також рекомендую.

🏗 Наскільки Європа відстає від США в створенні і масштабуванні успішних інноваційних бізнесів? Ну от приблизно настільки.

via Andrew McAfee

📌 У вівторок буду на крутому івенті для стартапів від Diia.City United. Навіть не згадаю, де ще збирали стількох інвесторів в одному місці.

Там і програма солідна, з інсайтами по фандрейзингу від pre-seed до Series A. Але найбільша цінність в можливості неформально поспілкуватись з провідними підприємцями та інвесторами. А ще буде прожарка стартапів (я модерую), люблю цей формат.

Фаундерам стартапів до відвідування обов'язково! Реєструйтесь і скидайте знайомим, кількість місць в офлайні обмежена.

📊 Гарна ілюстрація power law у VC індустрії

🫧 І ще одна, з більш ясною візуалізацією

VenCap data on 11,350 companies backed by 259 funds from 1986 to 2018 shows, yet again, the power law nature of VC: Over half of investments return less than 1x. 1.1% are fund returners.

⚙ Фонд Menlo Ventures стабільно видає гарну аналітику по AI. Нещодавно вийшов їх новий репорт The State of Generative AI in the Enterprise, для якого вони опитали керівників 600 американський великих компаній. Раніше ділився їх звітом за попередній рік, за 2024 сталось багато цікавого. Кілька хайлайтів:

• Витрати на AI зросли в 6 разів порівняно з попереднім роком: компанії переходять від експериментів до виконання
• Найпоширеніші юзкейси - ті, які надають суттєвий ROI, покращующи продуктивність та операційну ефективність: code copilots, support chatbots, enterprise search+retrieval, data extraction+transformation, meeting summarization
• Головні критерії при виборі нових AI-інструментів - ROI та кастомізація під конкретну індустрію
• В питанні "будувати чи купувати" компанії наразі розділились практично порівну, 47% на 53%
• Більшість компаній використовують кілька моделей, при цьому частка OpenAI за рік знизилась з 50% до 34%, а частка Anthropic - зросла з 12% до 24%.

Рекомендую проглянути репорт повністю.

Також по темі:

• 7 Golden Rules for Generative AI Apps: A Playbook from Early Winners (Menlo Ventures)
• 16 Changes to the Way Enterprises Are Building and Buying Generative AI (a16z)
• The state of AI in early 2024: Gen AI adoption spikes and starts to generate value (McKinsey)
• The Enterprise AI Roadmap: How the AI development platform
landscape has transformed, changing how buyers assess ROI, use cases, and more (CB Insights)
• The Enterprise Generative AI Strategy Handbook: A step-by-step guide to get from the idea to an impact (Dynamiq)

І невеликий ролик вам подивитись на вечір: погляд директора Insight Partners (величезний американський PE/VC фонд) на те, як AI впливає на технологічні бізнеси, в тому числі на прикладі компаній з портфоліо Insight.

🥸 Читаю зараз багато нішевих блогів, наприклад Pari Passu. Веде анонімний інвестор з великого PE фонда з Нью-Йорка. Багато езотерики про реструктуризацію та іншу фінансову інженерію, що в принципі теж корисно почитати для загального розвитку. Але бувають і більш доступні діпдайви для ширшої аудиторії. Наприклад про software industry. Це такий primer, базові речі, але гарно структуровано. Рекомендую до ознайомлення, щоб краще розуміти, як це все працює з точки зору інвестора.

🔮 Також нещодавно вийшла регулярна щорічна презентація про макро тренди від Бена Еванса. Там знову про AI. Особисто я багато нового не знайшов. Але чим мені подобається його сторітелінг, це доступністю. Мінімалістично, зрозуміло, без зайвих технічних деталей. Хороший такий погляд на велику картину.

📈 The best growth advice of 2024

24 tactics you can apply right now from Canva, Calendly, Clay & more:

https://www.growthunhinged.com/p/the-best-growth-advice-of-2024