С одной стороны хочется написать детальный хороший разбор S-1 — с разными мнениями я уже ознакомился, с GPT пробелы обсудил, своё понимание углубил.

С другой стороны нового не так много, потому что главное откровение S-1 — это что Anthropic оказывается не врали инвесторам, а инвесторы не врали журналистам, когда пересказывали основные цифры, поэтому самое-самое главное из S-1 мы и так знали.

С третьей стороны по обсуждениям в интернете я вижу, что те, у кого было адекватное информированное мнение, особо ничего не меняют в своих суждениях, а те, кто думал, что AI пузырь и везде обман и всё накроется тазом — ещё больше утверждаются в этом.

Поэтому пока можно почитать зоопарк комментариев последних в реплаях у Паши в твиттере: https://x.com/Rational_Answer/with_replies (там очень смешно).

• Sent via TeleFeed

Интересный результат. Зацикленные модели и модели с постепенным наращиванием через копирование слоёв во время обучения бьют dense модели в неожиданном месте — они лучше выучивают in-context learning.

How Depth Growth and Looping Shape In-Context Learning in Language Models
Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald
Paper: https://arxiv.org/abs/2610.31421
Review: https://arxiviq.substack.com/p/how-depth-growth-and-looping-shape
Code: N/A (built on https://github.com/huggingface/nanotron)
Model: N/A

ЧТО сделали: Исследователи изучили, как повторное использование вычислений по глубине сети влияет на обучение в контексте (ICL) в моделях до 3B параметров. Сравнивали постепенное дублирование средних слоёв во время обучения (оператор LIDAS) и зацикливание (многократный прогон общих слоёв за один прямой проход).

ЧТО получили: Модели с наращиванием и зацикливанием сильнее опираются на контекст, чем плотные бейзлайны. На масштабе 3B метод LIDAS обходит плотную модель на 8-shot GSM8K (~19% против 12% точного совпадения) и тратит на 26% меньше FLOPs в обучении. На новых формальных языках из RegBench наращивание и зацикливание снижают тестовое расстояние полной вариации до ~0.119 и ~0.125 против ~0.137. В 3B LIDAS 10 из 12 сильнейших индукционных голов происходят от двух предков из ранней 4-слойной сети. Отключение топ-20% таких голов роняет few-shot F1 на 19 задачах примерно на 0.18 (LIDAS) и 0.28 (Loop) против 0.08 у бейзлайна.

ПОЧЕМУ это важно: Наращивание глубины экономит вычисления при предобучении и клонирует ранние индукционные схемы по всей сети, защищая ICL от вытеснения запоминанием в весах. При этом зацикливание сокращает число уникальных параметров и ухудшает извлечение знаний из весов, а все прогоны от 360M до 3B провели только с одним сидом предобучения.

Выучивать ICL здесь: https://t.me/gonzo_ML_podcasts/4841

• Sent via TeleFeed

• Sent via TeleFeed

• Sent via TeleFeed

• Sent via TeleFeed

• Sent via TeleFeed

Clone animations from any project with one click — the reanimate skill has been released, which copies animations from GIFs, videos, or websites.

• The AI records part of the screen and breaks it down frame by frame, then recreates the animation using CSS, Framer Motion, GSAP, and Three.js.
• It even handles complex 3D animations.
• The developers verified: the difference from the original less than 1%.
• Free.

Use it — here.
#usefull
Brain Storm

• Sent via TeleFeed

Mistral AI releases weights for its 1-trillion-parameter model

On October 29, Mistral AI released the open weights for Mistral Large 4, a 1 trillion parameter model with 52 billion active parameters. The update follows three weeks of reinforcement learning focused on coding performance and defensive cybersecurity. 🚀

Le Chonk now shows high token efficiency, completing complex coding tasks with 47% fewer tokens than the preview version. While it trails leaders like Claude Opus 5.5 in aggregate benchmarks, the model provides a strong price-performance option for setups with significant hardware, such as eight Nvidia B300 GPUs. Mistral AI also nearly halved its API pricing for the model.

#ArtificialIntelligence ⚡ #MistralAI ⚡ #LLM

Subscribe

• Sent via TeleFeed

Anthropic S-1, часть 2: Ужасающие забалансовые обязательства [начало здесь]

Самый частый комментарий ко вчерашнему посту – это «а что же ты умалчиваешь о гигантских скрытых обязательствах Антропика на аренду датацентров??»

Объем этих обязательств действительно впечатляет: к текущему моменту компания уже заключила долгосрочных договоров на покупку компьюта на общую сумму до $850 млрд (я на всякий случай сложил всё, что упоминалось в разных местах S-1 – есть риск, что получилось завышено на эдак сотню ярдов), и контракты еще на $150 млрд находятся в стадии переговоров – итого выходит до триллиона баксов! Выглядит и правда жутковато.

Зачем вообще ведущие ИИ-лабы (такая ситуация не только у Антропика, конечно) ввязываются в такую кабалу – они что, глупеньковые, что ли? Всё просто, их заставляет это делать текущая ситуация на рынке оборудования для AI-вычислений: предложения там сильно меньше, чем спроса – на чипы стоит длинная очередь (даже по немилостивым ценам, которые превратили Nvidia в почти самую дорогую компанию планеты).

Соответственно, если ты не встанешь в эту очередь на будущий компьют сегодня – то чуть позже тебе его просто не достанется. Это создает очень некомфортную проблему для ИИ-компаний: подписывать неотменяемые контракты на закуп мощностей датацентров в следующие 3–5+ лет им приходится прямо сейчас, а вот какой у них по факту будет объем выручки к этому моменту – тут они хз, приходится угадывать. Что весьма непросто в условиях, когда размер этой самой выручки за год меняется в десять (!) раз.

Но есть и хорошая новость: Дарио Амодей про это прекрасно в курсе. Послушайте вот тут, как он в интервью Дваркешу Пателю в начале этого года объясняет «консервативность» своей стратегии по наращиванию мощностей: дескать, «я не хочу ошибиться в своем прогнозе темпа роста выручки всего на год и из-за этого обанкротить всю компанию с концами».

Какое он выбрал решение этой проблемы? Довольно очевидное: накопить «финансовую подушку безопасности» из котлеты кэша под матрасом. Смотрите, Anthropic за всю свою историю привлек финансирования от инвесторов на общую сумму около $141 млрд. Из них он потратил жалкие $7 млрд, а оставшиеся $134 млрд прямо сейчас лежат на балансе компании как подушка (которая еще и неплохие проценты приносит). То есть, львиная доля затрат Антропика на бешеный рост покрывалась зарабатываемой выручкой, а не деньгами инвесторов!

Получается, если компания привлечет на IPO порядка $80–100 млрд, общий размер ее подушки наличности составит аж ~$230 млрд. Много это или мало в сравнении с триллионом баксов ожидаемых затрат? Давайте прикинем на коленке.

Если ориентироваться на раскрытые договора аренды, то неотменяемая часть закупок там составляет порядка 80% – итого, можем ориентироваться на ~$800 млрд обязательств. Сроки долгосрочных договоров разные, но основные с крупняком (Microsoft-Amazon-Google) заканчиваются в 2033–2036. Если агрессивно посчитать, будто все $800 млрд компьюта должны быть выбраны к самой ранней дате в 2033 (это точно не так, там есть более длинные хвосты – ну да ладно), то это семь лет платежей – выходит примерно $115 млрд в год.

Чистая квартальная выручка Anthropic за 2-й кв. 2026 за вычетом всех денежных расходов (кроме интересующего нас компьюта) достигла примерно $8 млрд, это $32 млрд в год. Выходит, если выручка компании просто застынет на текущем уровне (совершенно нереалистичная консервативная предпосылка) – то Антропику придется прожигать из запасов по $83 млрд в год, а подушки хватит не более чем на три года. Not great, not terrible!

То есть, в итоге мы пришли к и так очевидному выводу – будущая успешность Антропика будет целиком зависеть от темпов роста его выручки. По моей «наколеночной» прикидке выходит, что для отбития законтрактованных затрат за ближайшие семь лет выручка компании должна расти в среднем примерно на 32% каждый год. Для любой крупной компании это очень дофига оптимистично! Но тут еще надо учесть, что до этого выручка Антропика увеличивалась темпами а-ля 1300% в год…

• Sent via TeleFeed

Кроме этого вчера с Пашей обсуждал, какой же рост выручки скорее всего на данный момент закладывает Anthropic.

Первый и второй кварталы этого года были по примерно +140% квартал к кварталу, а третий, по слухам, «всего» 46% (это безумно много по меркам обычного бизнеса).

Одно из основных переживаний — это что темпы роста выручки будут сокращаться дальше, и по итогу компания не сможет оплатить свои обязательства.

В тех же слухах от августа 2026-го была информация о том, что текущий внутренний прогноз Anthropic по выручке за весь 2028й - 190-200 миллиардов — то есть примерно в 2.5 раза больше текущего annualized run rate.

(почему я на это смотрю? потому что делаю предположение, что Anthropic считает, что если они попадут в план или немного промахнутся, то всё равно смогут оплатить все обязательства)

Я попросил GPT взять текущие показатели и подогнать рост по кварталам так, чтобы точно попасть в этот прогноз.

И... посмотрите, никакого неверотного роста и не нужно. Следующий квартал они могут вырасти на 30 процентов, за ним на 25, 20.. и так вплоть «всего лишь» +5% в последний квартал 2028-го.

То есть чтобы Anthropic могли оплатить свои контракты — им и не нужно продолжать расти по 100 процентов в квартал, это была аномалия, неожиданность для компании, и дальше они скорее всего действительно закладывают падение темпов роста (просто потому что база, от которой надо расти, уже исчисляется чуть ли не сотней миллиардов долларов).

• Sent via TeleFeed

Nvidia reshuffles flagship graphics card lineup

Nvidia is discontinuing the RTX 5090 D v2 and 16GB RTX 5080 in China, accelerating the launch of a 24GB RTX 5080 as the region's sole flagship.

This move coincides with the RTX 5080's quiet removal from the official US marketplace, as retail prices for the card have soared above $2,199.

#Nvidia ⚡ #Hardware ⚡ #ArtificialIntelligence

Subscribe

• Sent via TeleFeed

Propeller-Free Robot Begins 73,000 km Autonomous Journey Across the World's Oceans

• Sent via TeleFeed