🤔 Together AI запустила preemptible compute: те же GPU за половину цены

Together AI добавила в Together GPU Clusters поддержку preemptible compute — та же GPU-мощность по фиксированной ставке 50% от on-demand цены. Режим рассчитан на команды, которым важна стоимость, а не гарантированное время жизни узла.

Ключевая деталь — пятиминутное окно drain: при вытеснении задачи получают 5 минут на корректное завершение и сохранение состояния. Это делает режим пригодным для отказоустойчивых нагрузок: батчевого инференса, обучения с регулярными чекпоинтами, экспериментов и pipeline-задач, где потеря отдельного узла не критична.

Практически это способ вдвое снизить расходы на масштабных прогонах, если архитектура умеет перезапускаться. Для интерактивных и latency-критичных сервисов preemptible-узлы, напротив, рискованны — там лучше оставаться на on-demand.

#Tech #TogetherAI #GPU #ML #Development #Infrastructure

🧠 Huawei представила 3D-архитектуру дата-центров для ИИ-кластеров

Huawei опубликовала первую в отрасли эталонную 3D-архитектуру дата-центра для ИИ - с вертикальной компоновкой охлаждения, IT-оборудования, распределения питания и резервных батарей на крыше. Презентация прошла на конференции AIDC в Уху (провинция Аньхой).

Ключевая идея - «этажи» вместо длинных горизонтальных залов: охлаждающий слой, IT-этаж, этаж распределения питания и зона резервных батарей stacked вертикально. Это сокращает путь от силовых модулей до стоек с ~17 до ~5 метров и поднимает IT-мощность одного здания с ~76 МВт до ~168 МВт. Дизайн рассчитан на кластеры от 100 000 ускорителей и стойки мощностью 100-200 кВт.

Второй акцент - сроки поставки. Пилот в облаке Huawei Cloud (Уху) после валидации в Гуйане: ~5 месяцев гражданских работ, ~3 месяца электромеханического монтажа, ~2 недели тестов и сдачи - итого около 9 месяцев против традиционных 18-24. Уровень предфабрикации электромеханики - выше 90%. Сейчас на IT-этажах стоит Ascend 950, но слоистое развязывание позволяет менять поколения чипов без перестройки каркаса.

Huawei также выпустила монографию по 3D-дата-центрам и открыла библиотеку концептуальных чертежей (архитектура, конструкции, HVAC, питание). Паттерн масштабируется на хабы в Гуйане, Хух-Хото и Уху. Независимым операторам ещё предстоит валидировать PUE, надёжность жидкостного охлаждения и совместимость стоек разных вендоров.

#Tech #Huawei #DataCenters #AIDC #Infrastructure

💵Nscale не назвала ByteDance в заявке на IPO, хотя тот дал 73% выручки

Облачный AI-провайдер Nscale, поддерживаемый Nvidia, готовится к IPO в США и в 192-страничной форме S-1 ни разу не упоминает своего крупнейшего клиента - китайскую ByteDance. Об этом пишет Financial Times.

По данным FT, на ByteDance пришлось 73% выручки Nscale в 2025 году при общей выручке $33 млн. Названия компании нет в основном документе - лишь в приложении упоминается её сингапурская «дочка» Spring.

В мае 2025 года Spring договорилась задействовать 2 304 чипа Nvidia B200 в норвежском Гломфьорде. Контракт обеспечил кредит Macquarie на $105 млн, плюс $35 млн акционерного капитала - на эти деньги закупили железо. Площадку, ранее служившую дата-центром для майнинга крипты, переоборудуют под AI-ЦОД.

Схема дала ByteDance доступ к чипам Nvidia, которые она не может купить в Китае: это законно, но несёт юридические и репутационные риски. Nscale ожидает, что доля крупнейшего заказчика упадёт ниже 20% уже в этом году на фоне роста контрактов с Microsoft и Anthropic.

#Business #Nvidia #ByteDance #Nscale #Infrastructure #DataCenters

👁️ Huawei представила OceanStor M900: общий KV-кэш петабайтного масштаба для инференса

На конференции HUAWEI CONNECT 2026 в Шанхае Huawei анонсировала OceanStor M900 Context Memory Storage - систему хранения, созданную специально под инференс-кластеры SuperPoD, а не под очередное ускорение вычислений. Речь о многоуровневом пуле KV-кэша на базе UnifiedBus: память расширяется с SRAM и DRAM на SSD, и один кластер может вмещать до 64 ПБ. Это поднимает доступный KV-кэш на каждый NPU с гигабайтных объёмов до терабайтных и повышает долю попаданий в кэш при работе с длинным контекстом - свыше миллиона токенов и многоходовых агентных сценариев.

Ключевое в архитектуре - интеграция CPU, сетевого и NAND-контроллеров: NPU обращается к SSD за один переход, без конвертации протоколов и проброса через CPU. Заявленная задержка падает с миллисекунд до ~60 мкс (сокращение на 90%), суммарная пропускная способность кластера - около 40 ТБ/с, что в 1,5 раза выше «решений конкурентов». В типовых сценариях AI-программирования Huawei обещает удвоение пропускной способности кластера по токенам и двукратное снижение времени до первого токена (TTFT); цифры пока вендорские.

Отдельно заявлена экономика: адаптивное размещение данных по уровням носителей предсказывает жизненный цикл кэша, выдерживает до 24 перезаписей диска в сутки и даёт 16-кратный прирост ресурса SSD. OceanStor M900 - это продуктовый ответ Huawei на вычислительно-сетевом и сторедж-направлении для общего контекстного кэша, а не анонс чипа.

#Tech #Huawei #OceanStor #AI #Inference #KVcache #Infrastructure

💵Modal Labs привлекает $750 млн при оценке $15,75 млрд

Провайдер инференса Modal Labs близок к закрытию раунда на $750 млн во главе с Accel. Оценка с учётом инвестиции - $15,75 млрд, что более чем втрое превышает $4,65 млрд, достигнутые всего четыре месяца назад при прошлом раунде на $355 млн. Официальных комментариев компания не даёт.

Modal (Нью-Йорк, около 150 сотрудников, основана в 2021 году Эриком Бернхардссоном и Акшатом Бубной) позволяет разработчикам обучать модели и запускать ресурсоёмкие вычисления без управления собственными серверами. Среди клиентов - Cognition, Suno, Ramp и Substack. В мае компания сообщала о годовой выручке свыше $300 млн.

Раунд отражает резкий рост спроса на инференс - запуск уже обученных моделей, особенно открытых. По данным Bloomberg и The Information, Baseten обсуждает раунд при оценке $26 млрд, а Fireworks и Fal также ведут переговоры о новых инвестициях. Маржинальность у сектора остаётся низкой из-за дорогого доступа к вычислениям. Отдельный контекст: в июле Modal фигурировала в инциденте с утечкой данных клиента - по словам CTO, причиной стал незащищённый эндпоинт в коде самого заказчика, а не платформа.

🎨 qvabo.studio/tg · картинки и видео

#Business #ModalLabs #Inference #Infrastructure #Startups #Accel

💵NVIDIA объяснила экономику AI-фабрик: производительность, долговечность и универсальность

NVIDIA опубликовала разбор того, как её AI-фабрики окупаются. Мегаватт мощности стоит около $60 млн, поэтому операторы оценивают отдачу по трём параметрам: выручке на токен, сроку службы железа и объёму спроса на вычисления.

По данным SemiAnalysis AgentX, системы Vera Rubin NVL72 дают более чем 30-кратную пропускную способность на мегаватт по сравнению с GB300 NVL72 и до 45 раз меньшую стоимость за миллион токенов на модели DeepSeek V4 Pro. Прирост обеспечивает сквозной кодзайн всего стека - от моделей и софта до вычислений, сети и памяти.

Долговечность: GPU A100 вышла в 2020 году и до сих пор работает в коммерческой эксплуатации, а CoreWeave продлила бронирования таких систем до 2029 года. Универсальность даёт платформа CUDA: свыше 1000 библиотек CUDA-X и более 10 млн разработчиков, одни и те же чипы считают LLM, симуляции, графику и научные задачи. В качестве примеров NVIDIA приводит Lilly с кластером на 1016 GPU, Pinterest с 14 000 GPU разных поколений и Texas A&M с загрузкой 95-98%.

🎨 qvabo.studio/tg · картинки и видео

#Business #AI #NVIDIA #Factory #CUDA #GPU #Infrastructure

⚡️ Дешевеющие AI-токены повышают спрос - это лучший сценарий Дженсена Хуанга

Данные Ornn, Silicon Data и Bloomberg (август 2026) показывают классический парадокс Джевонса на рынке AI: цена токенов продолжает падать, а стоимость аренды H100 держится на месте или растёт. Удешевление токенов открывает новые сценарии - автономные агенты, автоматизацию, целые классы приложений, которых раньше не было, - поэтому объём потребления растёт быстрее, чем снижается цена за единицу.

Ключевая неопределённость: какую долю спроса создают люди, а какую - сами системы. Агентные модели расходуют токены с огромной скоростью, и часть спроса на вычисления может быть искусственно раздутой. Но даже скромный рост человеческого использования способен вызвать непропорционально большой дефицит железа.

Вся цепочка - от производителей чипов и памяти до энергетиков и облачных провайдеров - держится на одном допущении: использование AI должно расти достаточно быстро, чтобы компенсировать падение цен. Пока это так, железо остаётся дефицитным и дорогим. Если спрос выйдет на плато, ударит по всей цепочке поставок. Насколько рынки чувствительны, стало видно после сообщений о том, что годовая выручка OpenAI может оказаться ниже ожидаемой.

🎨 qvabo.studio/tg · картинки и видео

#Business #AI #GPU #NVIDIA #JevonsParadox #Infrastructure

❗️Cerebras CEO: домашний ИИ-ассистент у каждого - уже не за горами

Генеральный директор и сооснователь Cerebras Systems Эндрю Фельдман считает, что персональный ИИ-ассистент в каждом доме - вопрос ближайшего будущего. Выступая на сцене TechCrunch Disrupt 2026, он ответил на вопрос, что нужно, чтобы ИИ стал бытовым прибором: «На самом деле, я не думаю, что это так уж далеко».

По его прогнозу, ассистенты будут работать локально и гибридно: часть вычислений - на устройстве, часть - в облаке, как в смартфоне. Такие агенты «узнают вас очень хорошо», получат собственный периметр безопасности и доступ к банковским картам, чтобы совершать покупки за пользователя. Фельдман указывает на рост потребительских ИИ-агентов - например, Meta* Muse и стартап Instinct с оценкой $10 млрд - как на признак того, что технология находит применение у обычных пользователей.

Сам CEO уже использует «набор агентов»: они просматривают его календарь и собирают информацию о людях перед созвонами. При этом он подчёркивает: потребительскую идею пусть придумывают другие - Cerebras строит инфраструктуру, платформу, на которой взлетают чужие замыслы.

*компания Meta признана экстремистской и запрещена на территории Российской Федерации

🎨 qvabo.studio/tg · картинки и видео

#AI #Cerebras #Agents #Tech #Infrastructure

💵Modal привлекла $750 млн Series D при оценке $15,75 млрд

Платформа serverless-инфраструктуры для AI Modal объявила о выходе на $1 млрд annualized run rate и закрытии раунда Series D на $750 млн. Post-money оценка - $15,75 млрд, лид-инвестор Accel, к нему присоединились Kleiner Perkins и все прежние инвесторы, включая Menlo Ventures, General Catalyst и Redpoint.

Выручка выросла более чем в 15 раз год к году, а потребление - втрое всего за пять месяцев после Series C. Компания отказалась от стандартного стека и построила собственные файловую систему, container runtime, планировщик и сеть поверх пула мощностей из 20+ облаков - ради работы с дефицитными GPU и большими моделями.

Отдельно растет продукт Sandboxes: это уже $300M run rate, около 3 млрд запущенных песочниц и масштабирование до миллиона одновременных. На Modal работают Jev от TypeSafe AI (1 трлн токенов за первые три дня), фоновые агенты Cognition, Ramp, Linear и Hebbia, генерация видео Runway, обучение роботов Physical Intelligence и 1X, drug discovery Chai Discovery. Недавно запущены multi-node training, serverless-серверы, Endpoint Candidates и VM-песочницы.

🎨 qvabo.studio/tg · картинки и видео

#AI #Infrastructure #serverless #Development

🖥 SenseCore раскрыла архитектуру Prefill/Decode-кластеров для агентного инференса

На саммите CSDI в Шэньчжэне вице-президент и CTO SenseTime SenseCore Сюань Шаньмин рассказал, как компания перестраивает инференс-инфраструктуру под эпоху агентов: мультиагентные сценарии и длительные автономные задачи резко увеличивают спрос на токены по сравнению с обычными чат-ботами.

Ключевая идея - разделение стадий Prefill и Decode (PD) внутри гетерогенных кластеров масштаба 10 000 GPU в Lingang AIDC. Prefill, требующий вычислений, отдаётся отечественным ускорителям, а Decode, которому нужна высокая пропускная способность памяти, - мощным GPU; стадии обмениваются состоянием через KV Cache по смешанной фабрике 800G/400G/200G. Риск такой схемы - до 30-50 Prefill-нод могут кормить одну Decode-ноду, поэтому SenseCore держит резерв-карт для быстрого failover и динамически меняет роли нод под нагрузкой.

В тесте с тем же числом флагманских GPU, что и в базовой конфигурации, гетерогенное PD-планирование дало примерно пятикратный рост общего throughput токенов. Платформа уже обслуживает около 6 трлн токенов в день, цель - 10 трлн к IV кварталу 2026 года.

🎨 qvabo.studio/tg · картинки и видео

#Tech #SenseTime #SenseCore #Inference #Infrastructure #AI #GPU