Исследователи обнаружили простой, но эффективный метод сокращения энергозатрат на тренировку больших языковых моделей — корректировка тактовой частоты GPU. Эксперименты показали, что оптимизация момента переключения частот позволяет экономить до 14% энергии без потери производительности.
Суть метода заключается в тонкой настройке clock frequency графических процессоров во время различных фаз обучения. Вместо постоянной работы на максимальной частоте система динамически подстраивает её под текущую вычислительную нагрузку, избегая избыточного энергопотребления в менее интенсивные моменты. Техника не требует дополнительного оборудования и может быть внедрена программно.
Для индустрии, где обучение одной крупной модели может стоить миллионы долларов и потреблять мегаватты электроэнергии, даже 10-процентная экономия означает существенное снижение как операционных расходов, так и углеродного следа. Метод особенно актуален для дата-центров, работающих на пределе энергетических мощностей.
#Lifehack #Tech #LLM #GPU #Energy #AI #Optimisation
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
SpaceX заключила третий контракт на аренду GPU — на этот раз с Reflection AI на $6,3 млрд. Компания получит доступ к ускорителям GB300 за $150 млн в месяц с 1 июля 2026 по 2029 год. Ранее аналогичные сделки были подписаны с Anthropic ($1,25 млрд/мес) и Google ($920 млн/мес). Аналитик Jamin Ball подсчитал, что совокупная выручка SpaceX от GPU-облака достигает $2,32 млрд в месяц, или $28 млрд в годовом исчислении.
Для сравнения: это вдвое превышает текущую выручку CoreWeave, которая после IPO оценивается в $60 млрд. SpaceX фактически стала крупнейшим «neocloud»-провайдером, сдавая вычислительные мощности по ставке свыше $10/час за Blackwell — значительно выше рыночной. Пока неясно, почему в списке клиентов нет OpenAI, но тренд очевиден: космическая компания Илона Маска всё активнее конкурирует с традиционными облачными гигантами в сегменте AI-инфраструктуры.
#Business #SpaceX #Neocloud #Infrastructure #GPU #CloudComputing
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
NVIDIA объявила о запуске программы, направленной на привлечение капитальных партнёров для строительства крупномасштабной инфраструктуры искусственного интеллекта. Компания намерена расширить доступ к вычислительным мощностям для разработки и развёртывания AI-моделей, включая кластеры на базе ускорителей NVIDIA.
В рамках инициативы партнёры смогут инвестировать в создание дата-центров и AI-фабрик, использующих полный стек NVIDIA — от GPU Hopper и Blackwell до сетевых решений Quantum и Spectrum-X. Цель — ускорить развёртывание инфраструктуры для обучения и инференса больших языковых моделей, а также для агентного AI и физического AI (робототехника, цифровые двойники).
NVIDIA подчёркивает, что спрос на AI-вычисления продолжает расти экспоненциально, и только совместные усилия с инвесторами и операторами ЦОД позволят удовлетворить потребности рынка. Программа уже привлекла первых участников, включая крупных операторов облачной инфраструктуры.
#AI #NVIDIA #Infrastructure #GPU #DataCenters
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Инженер Fireworks AI рассказал, как с помощью модели GLM 5.2 Fast через FireConnect в Claude Code реализовал сложную фичу для GPU-планировщика за четыре дня вместо обычного месяца. Результат: четыре PR, ~3000 строк кода, 16 unit-тестов и 18 интеграционных тестов — всё с зелёным CI. Стоимость инференса составила всего $218.
Работа шла в три этапа. На дизайн (обычно две недели) ушёл один день: модель выступала ассистентом на «живой доске», обсуждая архитектуру reclaim-логики для GPU-планировщика. Планирование заняло полдня — GLM 5.2 Fast сгенерировал 34 теста до написания кода. Имплементация — ещё полтора дня: модель и Claude Code итерировали, пока все тесты не проходили.
Ключевой фактор — скорость: ~400 токенов/сек. Когда ответ приходит за секунды, работа превращается в реальный диалог, а не в асинхронный код-ревью с потерей контекста. Быстрая модель не требует переключения внимания, что критично для сложных задач с конкурентностью и длинным хвостом кейсов.
#AI #GLM #Tech #Engineering #FireworksAI #GPU #ClaudeCode
Please open Telegram to view this post
VIEW IN TELEGRAM
Neocloud-провайдеры CoreWeave и Nebius стали главными бенефициарами AI-гонки, заключив контракты с Microsoft и Meta* на сумму более $122 млрд. Однако их стремительный рост сопровождается огромными долгами и убытками — компании используют сложные схемы финансирования, включая инвестиции самой Nvidia.
Главное преимущество neoclouds — скорость развертывания GPU-инфраструктуры. Если гиперскейлеры строят дата-центры годами, то CoreWeave и Nebius могут запустить мощности за месяцы. Это позволяет Big Tech быстро наращивать compute без капитальных затрат на балансе. CoreWeave планирует довести активную мощность до 1,7 ГВт к концу 2026 года, Nebius — до 1 ГВт.
Проблема в том, что конвертация законтрактованных мощностей в работающие требует огромных вложений, а свободного денежного потока у neoclouds нет. Они вынуждены привлекать GPU-обеспеченные кредиты и полагаться на круговое финансирование через Nvidia. При текущей выручке CoreWeave в ~$12,6 млрд и Nebius в ~$3,4 млрд сумма обязательств по контрактам превышает $145 млрд — это ~90% годовой выручки AWS.
*Компания Meta - запрещена на территории России.
#Business #Nvidia #CoreWeave #Nebius #GPU #AIinfrastructure
Please open Telegram to view this post
VIEW IN TELEGRAM
NVIDIA объявила о применении собственного процессора Vera в рабочем процессе проектирования следующего поколения чипов. Это позволяет сократить время на этапы электронной автоматизации проектирования (EDA) — симуляцию, трассировку и верификацию сложных логических схем.
По данным компании, Vera даёт значительный прирост производительности в задачах EDA по сравнению с традиционными x86-решениями, что особенно важно при разработке самих же CPU и GPU NVIDIA. Использование собственного CPU в дизайн-цикле ускоряет итерации, снижает затраты и помогает быстрее выводить на рынок новые поколения графических и вычислительных процессоров.
Решение уже внедрено в рабочие процессы внутренней инженерной группы, и первые результаты подтверждают эффективность подхода. Для индустрии это демонстрация того, как чипмейкер может использовать собственную архитектуру для разгона R&D, а для разработчиков — пример интеграции специализированного железа в инструменты EDA.
#Tech #AI #NVIDIA #Vera #CPU #GPU #EDA #CPU
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1💯1
В новом выпуске Latent.Space инженеры Baseten Филип Кили и Али Таха рассказывают, что происходит после релиза открытой модели и как превратить «мы сгенерировали токен» в быстрый и дешёвый продакшен-API. Baseten недавно закрыла раунд на $13 млрд и вошла в когорту AI-инфраструктурных декакорнов — главных бенефициаров «инференс-перелома».
Три года назад дисциплины «инференс-инженерия» почти не существовало. Теперь это отдельная область с собственными исследовательскими задачами: cache-aware routing, раздельные prefill и decode, квантование, speculative decoding, перемещение KV-cache, параллелизм моделей и GPU-ядра. В эксперименте с GLM-5.2 квантование большей части модели сохранило качество бенчмарков и подняло throughput на 20% — ошибки разных слоёв скомпенсировали друг друга.
Гости объясняют, почему одинаковые веса ведут себя по-разному на разных кластерах, как Baseten привила Kimi vision-энкодер к GLM-5.2 без изменения языковой модели, и как оптимизации дают выигрыш в 20–200%. Дальше разговор выходит за пределы LLM: NVIDIA Dynamo, мегаядра, чипы Rubin, локальный инференс, генерация видео и схождение тренировки и инференса через постоянный KV-cache.
#AI #Inference #Baseten #LLM #GPU
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👏1
Nvidia объявила, что Apollo, BlackRock, Blackstone, Brookfield, Goldman Sachs и KKR готовы вложить до $500 млрд в строительство AI-дата-центров. Но главная новость не в сумме, а в механизме: Nvidia гарантирует собственными деньгами, что её чипы, используемые как залог по сделкам, сохранят стоимость. Если GPU при ликвидации залога подешевеют сильнее ожиданий, компания покроет до 25% разницы.
Так Nvidia создаёт вторичный рынок для стареющих GPU и пытается снять опасения насчёт «кругового финансирования», когда клиенты покупают чипы на деньги самой Nvidia. Генеральный директор Дженсен Хуанг заявил, что схема привлекает независимый долгосрочный институциональный капитал в AI-инфраструктуру. В отличие от истории с Lucent, основной объём капитала и рисков берут на себя партнёры, а Nvidia лишь защищает часть будущей стоимости своих чипов.
Для стартапов и предприятий это может означать появление более доступного парка подержанных ускорителей. Хуанг сравнивает AI-серверы с «AI-фабриками» — долгосрочной инфраструктурой вроде железных дорог, которая при смене владельца продолжает работать. Риск в том, что при охлаждении спроса на AI обязательства Nvidia будут расти одновременно с падением выручки. Но если план сработает, компания получит новый источник финансирования дата-центров, а рынок — больше разнообразия.
#Business #Tech #Nvidia #GPU #AI #DataCenters #Investments
Please open Telegram to view this post
VIEW IN TELEGRAM
Mojo🔥 теперь с открытым исходным кодом
Modular выполнила обещание, данное в мае 2023 года: компилятор и инструментарий языка Mojo опубликованы под лицензией Apache 2.0 с исключениями LLVM. Четыре года язык развивался с открытым сообществом, но закрытым компилятором — 11 августа вышла версия 1.0 со стабильностью исходного кода, а на этой неделе на конференции Modcon открыли и всё остальное.
За языком стоит Крис Лэттнер — автор LLVM, Clang, Swift и MLIR. Замысел шире, чем «удобное GPU-программирование»: Mojo вместе с фреймворком MAX должен развязать AI-стек от проприетарных платформ вроде CUDA от NVIDIA и ROCm от AMD, дав единый способ целиться в GPU, CPU и ускорители разных производителей. Синтаксис вдохновлён Python, но добавлены безопасная работа с памятью в духе Rust и возможности системного программирования.
Изначально Mojo задумывался как надмножество Python, чтобы переиспользовать существующую экосистему. К августу 2025 планы изменились: команда признала, что полным надмножеством язык может и не стать, и это нормально — миграцию Python-кода, по их мнению, вытянут AI-ассистенты.
Отдельный контекст: в июне Modular купила Qualcomm, и разработчики забеспокоились, сохранит ли платформа нейтральность к вендорам. Открытие компилятора — ответ на эти опасения.
Важная оговорка: изучать код и собирать его из исходников можно уже сейчас, а вот контрибуции в компилятор пока не принимают — Modular обещает открыть их к концу года. Стандартная библиотека принимает правки с 2024 года.
#Tech #Mojo #GPU #Programming #OpenSource #AI
Modular выполнила обещание, данное в мае 2023 года: компилятор и инструментарий языка Mojo опубликованы под лицензией Apache 2.0 с исключениями LLVM. Четыре года язык развивался с открытым сообществом, но закрытым компилятором — 11 августа вышла версия 1.0 со стабильностью исходного кода, а на этой неделе на конференции Modcon открыли и всё остальное.
За языком стоит Крис Лэттнер — автор LLVM, Clang, Swift и MLIR. Замысел шире, чем «удобное GPU-программирование»: Mojo вместе с фреймворком MAX должен развязать AI-стек от проприетарных платформ вроде CUDA от NVIDIA и ROCm от AMD, дав единый способ целиться в GPU, CPU и ускорители разных производителей. Синтаксис вдохновлён Python, но добавлены безопасная работа с памятью в духе Rust и возможности системного программирования.
Изначально Mojo задумывался как надмножество Python, чтобы переиспользовать существующую экосистему. К августу 2025 планы изменились: команда признала, что полным надмножеством язык может и не стать, и это нормально — миграцию Python-кода, по их мнению, вытянут AI-ассистенты.
Отдельный контекст: в июне Modular купила Qualcomm, и разработчики забеспокоились, сохранит ли платформа нейтральность к вендорам. Открытие компилятора — ответ на эти опасения.
Важная оговорка: изучать код и собирать его из исходников можно уже сейчас, а вот контрибуции в компилятор пока не принимают — Modular обещает открыть их к концу года. Стандартная библиотека принимает правки с 2024 года.
#Tech #Mojo #GPU #Programming #OpenSource #AI
🔥1👏1
Together AI добавила в Together GPU Clusters поддержку preemptible compute — та же GPU-мощность по фиксированной ставке 50% от on-demand цены. Режим рассчитан на команды, которым важна стоимость, а не гарантированное время жизни узла.
Ключевая деталь — пятиминутное окно drain: при вытеснении задачи получают 5 минут на корректное завершение и сохранение состояния. Это делает режим пригодным для отказоустойчивых нагрузок: батчевого инференса, обучения с регулярными чекпоинтами, экспериментов и pipeline-задач, где потеря отдельного узла не критична.
Практически это способ вдвое снизить расходы на масштабных прогонах, если архитектура умеет перезапускаться. Для интерактивных и latency-критичных сервисов preemptible-узлы, напротив, рискованны — там лучше оставаться на on-demand.
#Tech #TogetherAI #GPU #ML #Development #Infrastructure
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1🤝1
NVIDIA опубликовала разбор того, как её AI-фабрики окупаются. Мегаватт мощности стоит около $60 млн, поэтому операторы оценивают отдачу по трём параметрам: выручке на токен, сроку службы железа и объёму спроса на вычисления.
По данным SemiAnalysis AgentX, системы Vera Rubin NVL72 дают более чем 30-кратную пропускную способность на мегаватт по сравнению с GB300 NVL72 и до 45 раз меньшую стоимость за миллион токенов на модели DeepSeek V4 Pro. Прирост обеспечивает сквозной кодзайн всего стека - от моделей и софта до вычислений, сети и памяти.
Долговечность: GPU A100 вышла в 2020 году и до сих пор работает в коммерческой эксплуатации, а CoreWeave продлила бронирования таких систем до 2029 года. Универсальность даёт платформа CUDA: свыше 1000 библиотек CUDA-X и более 10 млн разработчиков, одни и те же чипы считают LLM, симуляции, графику и научные задачи. В качестве примеров NVIDIA приводит Lilly с кластером на 1016 GPU, Pinterest с 14 000 GPU разных поколений и Texas A&M с загрузкой 95-98%.
🎨 qvabo.studio/tg · картинки и видео
#Business #AI #NVIDIA #Factory #CUDA #GPU #Infrastructure
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1🤯1
Данные Ornn, Silicon Data и Bloomberg (август 2026) показывают классический парадокс Джевонса на рынке AI: цена токенов продолжает падать, а стоимость аренды H100 держится на месте или растёт. Удешевление токенов открывает новые сценарии - автономные агенты, автоматизацию, целые классы приложений, которых раньше не было, - поэтому объём потребления растёт быстрее, чем снижается цена за единицу.
Ключевая неопределённость: какую долю спроса создают люди, а какую - сами системы. Агентные модели расходуют токены с огромной скоростью, и часть спроса на вычисления может быть искусственно раздутой. Но даже скромный рост человеческого использования способен вызвать непропорционально большой дефицит железа.
Вся цепочка - от производителей чипов и памяти до энергетиков и облачных провайдеров - держится на одном допущении: использование AI должно расти достаточно быстро, чтобы компенсировать падение цен. Пока это так, железо остаётся дефицитным и дорогим. Если спрос выйдет на плато, ударит по всей цепочке поставок. Насколько рынки чувствительны, стало видно после сообщений о том, что годовая выручка OpenAI может оказаться ниже ожидаемой.
🎨 qvabo.studio/tg · картинки и видео
#Business #AI #GPU #NVIDIA #JevonsParadox #Infrastructure
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👏1
На саммите CSDI в Шэньчжэне вице-президент и CTO SenseTime SenseCore Сюань Шаньмин рассказал, как компания перестраивает инференс-инфраструктуру под эпоху агентов: мультиагентные сценарии и длительные автономные задачи резко увеличивают спрос на токены по сравнению с обычными чат-ботами.
Ключевая идея - разделение стадий Prefill и Decode (PD) внутри гетерогенных кластеров масштаба 10 000 GPU в Lingang AIDC. Prefill, требующий вычислений, отдаётся отечественным ускорителям, а Decode, которому нужна высокая пропускная способность памяти, - мощным GPU; стадии обмениваются состоянием через KV Cache по смешанной фабрике 800G/400G/200G. Риск такой схемы - до 30-50 Prefill-нод могут кормить одну Decode-ноду, поэтому SenseCore держит резерв-карт для быстрого failover и динамически меняет роли нод под нагрузкой.
В тесте с тем же числом флагманских GPU, что и в базовой конфигурации, гетерогенное PD-планирование дало примерно пятикратный рост общего throughput токенов. Платформа уже обслуживает около 6 трлн токенов в день, цель - 10 трлн к IV кварталу 2026 года.
🎨 qvabo.studio/tg · картинки и видео
#Tech #SenseTime #SenseCore #Inference #Infrastructure #AI #GPU
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1🤯1