Microsoft нацелена на 1,8 млн GPU к концу 2024 года

Согласно внутреннему документу, Microsoft планирует накопить 1,8 миллиона чипов ИИ (GPU) к концу 2024 года для ускорения развития генеративного ИИ. 🚀
Компания стремится сделать ИИ более быстрым, качественным и доступным, но сильно зависит от закупок GPU, в основном от Nvidia.
Ожидается, что с текущего финансового года до 2027 года Microsoft потратит около $100 млрд на GPU и дата-центры. 💰
Другие технологические гиганты также наращивают запасы GPU, что привело к росту капитализации Nvidia до $2 трлн.
Microsoft разрабатывает собственные чипы ИИ, чтобы снизить зависимость от Nvidia, но пока отстает на несколько лет.

Гонка вооружений в области ИИ набирает обороты.
Победит тот, у кого больше GPU и электричества.

#Microsoft #Nvidia #GPU
-------
@tsingular

NVIDIA приобретает Run:ai для оркестрации GPU-ресурсов

NVIDIA покупает компанию Run:ai, разработчика ПО для управления рабочими нагрузками на GPU через Kubernetes.
Run:ai позволяет предприятиям оптимизировать GPU-инфраструктуру локально, в облаке или гибридно.
Платформа интегрируется с фреймворками ИИ и используется для управления кластерами GPU в ЦОД.
NVIDIA продолжит развивать продукты Run:ai и интегрирует их в свои решения, такие как DGX Cloud.

Помнится Сбер переписывал окестратор пайплайна для обучения. Очень похоже.

#NVIDIA #Runai #GPU
-------
@tsingular

TensorDock: развертывание GPU-серверов для ИИ в пару кликов

TensorDock предлагает облачные GPU-сервера для требовательных задач машинного обучения, рендеринга и распределенных вычислений.
Широкий выбор GPU (GeForce 3060, A100 и др.), десятки локаций по миру, гибкая почасовая оплата.
Можно выбрать ОС и предустановленные тулзы (Jupyter, TensorFlow, PyTorch, CUDA).
Есть опции для совместного доступа и даже монетизации своих серверов.
Техподдержка и помощь в настройке.

H100 за 3 бакса в час с посекундной тарификацией !!!
Аттракцион невиданной щедрости.
Такого вообще нигде больше нет.

#TensorDock #GPU #cloud
-------
@tsingular

Наглядное сравнение производительности CPU vs GPU от NVidia.

В принципе, все тоже самое и с LLM моделями.
Представьте что первый робот, - это то, что у нас доступно сейчас.
А вторая пушка - то, что будет через год.
GPT5+, Claude 4+, Llama4+ и т.д..

#NVidia #GPU
———
@tsingular

Этот мир сошёл с ума.

GPU 🤝 женские сумочки

http://gpupurse.com/

Ловля ИТшников на приманку. :)

#GPU #мода
------
@tsingular

Оптимизация обучения LLM на устаревшем железе

Ученые из Университета Сучжоу разработали MemLong - метод, расширяющий контекст LLM с 2000 до 80000 токенов на карте двухлетней давности - NVIDIA 3090.
Технология использует внешний ретривер для извлечения данных и сохраняет нижние слои модели неизменными, обучая только верхние.
MemLong превосходит современные аналоги в задачах с длинным контекстом на 10.2%.
Для примера, - для обучения 3-миллиардной модели хватило 8 GPU NVIDIA 3090 в течение 8 часов.

Ну т.е. потенциально любой "в гараже" может обучать модели средней мощности. У всех ведь есть гараж с 8х3090 ? :)

#MemLong #NVIDIA #GPU
-------
@tsingular

OpenAI и Google строят мультидатацентровые ИИ

Ведущие AI-компании масштабируют обучение крупных моделей с одного сайта на несколько дата-центров.

Google уже обучал Gemini 1 Ultra, на нескольких локациях, планирует достичь гигаваттного масштаба к 2025.

OpenAI и Microsoft объединяют кампусы для распределенного обучения, решая проблемы синхронизации и отказоустойчивости.

Ключевые проблемы, которые приходится решать на данном этапе: задержка между регионами, незаметное повреждение данных и масштабирование до 100 000+ GPU (в ближайших планах 300тыс+ GPU).

Очень детальная статья про масштабы строительства, - рекомендую.
Планета постепенно превращается в один большой GPU 🌍🚀

#OpenAI #Microsoft #GPU #датацентры
-------
@tsingular

Genv: GPU-кластеризация для ИИ-разработки

Наткнулся на интересное решение от Run.ai,- Genv - открытую систему управления GPU-средами и кластерами.
Позволяет контролировать, настраивать и отслеживать ресурсы GPU на отдельных машинах или в кластерах.

Сделан по образцу pyenv и Conda и упрощает разворачивание multi-GPU систем.

Интересна тем, что позволяет на каждой железке в кластере поднять однотипный докер и дальше этот докер пробросить в свой оркестратор.
И, по-сути, вообще все-равно что у вас за зоопарк, - они все будет в этой системе вместе работать

Есть интеграция с Ollama, планируется интеграция с PyCharm.

Пробуем, штош.

#Genv #GPU #clustering
-------
@tsingular

Гонка гигантов: миллионы GPU для суперкомпьютеров к 2027

Broadcom раскрывает амбициозные планы: три клиента готовятся развернуть суперкластеры с миллионом XPU каждый.
Среди заказчиков - xAI Илона Маска, планирующая расширить Colossus со 100 тысяч до миллиона графических процессоров.
По слухам, ByteDance и OpenAI также сотрудничают с производителем для создания специализированных чипов.
Прогнозируемый объём рынка AI XPU и сетевого оборудования к 2027 достигнет $60-90 млрд.
Разработка включает проектирование архитектуры и производство на мощностях TSMC.

Миллион.. миллион.. миллион... GPU
xAI, OpenAI и ТикТок
еще Google миллион своих и Китай пару полей покройт GPU фермами, допустим.
10 миллионов GPU глобально к 2027.
Должно хватить, что бы посчитать сколько r в strawberry наконец-то.

#Broadcom #xAI #ByteDance #million #GPU
-------
@tsingular

Китайско-российский алгоритм ускоряет GPU Nvidia в 800 раз

Учёные из Шенженьского технологического института (основан Пекинским совместно с МГУ) создали революционный метод оптимизации вычислений на GPU NVIDIA.

Решение оптимизирует перидинамические расчёты, сокращая время моделирования с нескольких суток до считанных минут.

Прорыв позволяет выполнять сложные инженерные симуляции на обычных потребительских видеокартах вместо специализированных суперкомпьютеров.

Технология найдёт применение в проектировании аэрокосмических аппаратов и мостостроении.

Реверс-инжиниринг творит чудеса. 🔍

Это не значит, что ты сможешь запустить сверхумную модель на калькуляторе, но маленькая, предположительно, будет летать очень быстро.

Опять же если это правда окажется, но, вроде, ещё не 1 апреля.

#Nvidia #GPU #Китай #МГУ #реверс
------
@tsingular

🚀 Google запустили услугу аренды GPU мощностей с посекундной тарификацией

Google Cloud официально запустил GPU-поддержку для Cloud Run.

Технические детали:
- Scale-to-zero для GPU — платите только за использованные секунды, никаких расходов при простое
- Холодный старт за 5 секунд — от нуля до готового GPU-инстанса с драйверами
- Time-to-First-Token ~19 секунд для gemma3:4b (включая загрузку модели)
- Потоковая передача через HTTP/WebSocket из коробки
- Без квот на NVIDIA L4 — просто добавляете --gpu 1 в команду

Доступно в 5 регионах (США, Европа, Азия) с возможностью деплоя одной командой:

gcloud run deploy my-global-service \
  --image ollama/ollama --port 11434 \
  --gpu 1 \
  --regions us-central1,europe-west1,asia-southeast1

Практические кейсы:
Стартапам: AI-инференс без DevOps-команды и управления инфраструктурой
Enterprise: batch-обработка (fine-tuning, медиа-транскодирование) через Cloud Run Jobs
Продактам: глобальное масштабирование LLM-сервисов с автоматической балансировкой нагрузки

Best Practices для оптимизации:
- Используйте 4-bit квантизованные модели
- Храните модели в контейнерах (оптимизация streaming) или Cloud Storage с Direct VPC
- Настраивайте конкурентный запуск по формуле: (модели × параллельные запросы) + (модели × batch size)
- Генерируйте LLM-кеши на этапе сборки образа

Демо масштабирования 0→100 GPU за 4 минуты показывает, что serverless GPU — вполне рабочая технология.

Cloud Run GPU превращает AI-инференс из "инфраструктурного ада" в "запустил и забыл".

Ждем на Cloud.ru и immers.cloud :)

#CloudRun #GPU #Serverless #Google
———
@tsingular

Клуб GPU-миллионеров

Гонка за создание генеративного ИИ перешла в новую фазу — инфраструктурную, и ее фундаментом стала энергетика.
Существует как минимум 8 мега-проектов, нацеленных на преодоление порога в 1 миллион GPU.
Ключевой фактор их реализации — доступ к гигаваттам стабильной мощности, которую может обеспечить только атомная энергетика.

Расчетная база: 1 ИИ-ускоритель (H100/B200) ≈ 1 кВт. PUE (эффективность энергопотребления) ≈ 1.2. Резервирование по стандарту Tier IV требует удвоения мощности.

1. Объединенные Арабские Эмираты: Ядерный оазис
ОАЭ анонсировали самый масштабный проект, потенциально обеспеченный атомной энергией.

Игрок: G42
Мощность: ~2.5 млн GPU
Энергопотребление (оценка): ~3.0 ГВт
Источник энергии: АЭС "Барака" (мощность 5.6 ГВт). Уже работающая станция полностью покрывает потребности проекта, однако вопрос хватит ли запаса с учетом текущего потребления открыт.

2. Meta* (США): В поисках атома
Meta активно ищет площадки с доступом к атомной энергии для своих ЦОД.

Мощность: ~1.3+ млн GPU
Энергопотребление (оценка): ~1.6 ГВт
Источник энергии: Активное строительство ЦОД в Техасе (рядом АЭС Comanche Peak и South Texas Project) и партнерства с операторами АЭС в других штатах.

3. Китай: Синергия атома и ИИ
Китай уверенно наращивает вычислительные и ядерные мощности.

Мощность: >1 млн GPU (национальный пул)
Энергопотребление (оценка): >1.2 ГВт
Источник энергии: Самая масштабная в мире программа строительства десятков новых АЭС вдоль побережья, где сосредоточены основные технологические кластеры.

4. xAI/Tesla (США): Питание от TVA
Проект "Colossus" стратегически расположен в зоне с мощной атомной генерацией.

Название: "Colossus"
Мощность: 1 млн GPU
Энергопотребление (оценка): ~1.2 ГВт
Источник энергии: Энергосистема оператора TVA (Tennessee Valley Authority), включающая АЭС Sequoyah (2.3 ГВт) и Watts Bar (2.6 ГВт).

5, 6, 7. Гиперскейлеры (Broadcom)
Три отдельных мега-проекта, чье энергообеспечение под вопросом.

Мощность (ИТ): 1 млн "XPU" каждый
Энергопотребление (оценка): ~1.2 ГВт на каждый кластер (3.6 ГВт суммарно)
Источник энергии: Вероятно, размещение вблизи существующих АЭС в США (Техас, Вирджиния) или заказ малых модульных реакторов (SMR), как это уже делает Google.

8. Саудовская Аравия: Двойная ставка на атом
ИИ-амбиции Королевства напрямую связаны с планами по развитию собственной ядерной программы.

Игрок: HUMAIN (PIF)
Мощность (ИТ): "Сотни тысяч" GPU
Энергопотребление (оценка): ~0.6-0.8 ГВт
Источник энергии: Планы по строительству нескольких крупных АЭС, в том числе в рамках проекта NEOM.

Итого 8 проектов с 1+ млн GPU каждый. а с учетом амбиций СА - это 10 млн GPU всего в мире.

А еще есть TPU Гугла и LPU типа Groq.

А сколько у нас? Информации о проектах 1+ млн GPU не найдено.

И на конференции ПМЭФ в онлайне вопросов про это не услышал. А жаль.

*Мета - запрещённая в РФ организация

#1mlnGPU #GPU #миллион
———
@tsingular

может у него просто в детстве видеокарты не было?

К концу года OpenAI планирует пересечь отметку в 1млн видеокарт, но Альтман пишет чтобы команда готовилась управлять инфраструктурой х100 раз большей.

Как вам 100млн видеокарт?
Это на 200 гигаватт получается?

На фоне того, что они только что подписали контракт с минобороны не ХХ ярдов и с учетом того, кто сидит в совете директоров, похоже на интересный инсайд.

#openai #gpu
———
@tsingular

Анатомия vLLM: как работает высокопроизводительная система для запуска больших языковых моделей

Команда vLLM выкатила детальный гайд по архитектуре своей системы инференса.

Разобраны:
- фундаментальная база, - ядро ЛЛМ и движка, управление очередью, постраничная обработка и батчи
- предзаполнение чанков, кэширование префиксов, управляемое и спекулятивное декодирование, разделенный P/D
- масштабирование GPU
- сервисный уровень, - распределенный и оптимизированный под веб-скаффолдинг
- бенчмарки

vLLM поддерживает распределённый запуск на нескольких GPU и снижает задержки, в том числе за счёт грамотного управления KV кэшэм, что особенно важно для корпоративного прода.

В целом очень годный мануал.
Переводим, сохраняем.

#vLLM #Inference #GPU
———
@tsingular

Маск сотоварищи достроили к своему GPU кластеру 100К видеокарт (Nvidia H200 Blackwell) за 19 дней.

Раньше на это уходили годы.
Ждем новый Grok5 ASAP.

#Musk #Grok #GPU
———
@tsingular

Чисто я после покупки видеокарт :)

Упрекали, что нет рекламы на канале.
Вот,- реклама из 90х. :)

#юмор #GPU #АМАТА
------
@tsingular

Schwarz Group вкладывает €11 млрд в дата-центр на 100 тысяч GPU

Владелец Lidl и Kaufland строит в Бранденбурге гигантский дата-центр для ИИ.
Первая очередь на 200 мегаватт будет готова к концу 2027.

Для сравнения: Deutsche Telekom с Nvidia строят центр всего на 10 тысяч GPU.
Шварц планирует установить до 100 тысяч GPU.

Внутри группа уже обрабатывает 35 миллионов комбинаций товаров и магазинов ежедневно через SAP Unified Demand Forecast.
Это крупнейшая инвестиция в истории компании.

Не миллион карт, конечно, но тоже солидно для ритейлера.

#Schwarz #Lidl #GPU #Germany
------
@tsingular

Еще одна иллюстрация по ситуации

"причина, по которой оперативная память подорожала в четыре раза, заключается в том, что огромное количество ещё не произведённой оперативной памяти было куплено на несуществующие деньги для установки в GPU, которые тоже ещё не произведены, чтобы разместить их в дата-центрах, которые ещё не построены, питаемых инфраструктурой, которая, возможно, никогда не появится, чтобы удовлетворить спрос, которого вообще не существует, и получить прибыль, которая математически невозможна"

source

#GPU #цены
———
@tsingular

Внутри GPU NVidia: анатомия высокопроизоводительных математических умножений

Нашёл отличный материал по внутреннему устройству ядер матричного умножения на GPU — от железа до кода, бьющего производительность стандартных библиотек.

Автор проходит полный путь: архитектура памяти H100 → ассемблер GPU (PTX/SASS) → наивное ядро → оптимизированное ядро с тензорными блоками. Всё с картинками и кодом.

Ключевые полезные идеи:

Почему порядок обращения к памяти решает
Перестановка двух операторов (деление и остаток) в вычислении координат потока даёт падение производительности в 13 раз — с 3171 до 243 миллиардов операций в секунду. Без понимания иерархии памяти это выглядит как магия.

Перемешивание данных в общей памяти (swizzling)
Простая операция «исключающее ИЛИ» над адресами при загрузке данных устраняет конфликты банков памяти. Без этого — 8-кратное замедление при чтении столбцов. Автор разложил механизм до уровня отдельных битов.

Конвейер «производитель-потребитель» на уровне групп потоков
Одна группа из 128 потоков занимается только загрузкой данных через аппаратный ускоритель передачи (TMA), другая — только вычислениями на тензорных блоках. Координация через кольцевой буфер с барьерами в общей памяти. Это даёт перекрытие загрузки и вычислений.

Путь от 32 до 764 триллионов операций в секунду
Каждый шаг оптимизации с цифрами: тензорные блоки (+10×), увеличение размера плитки (+1.4×), конвейеризация (+1.2×), устойчивые ядра, кривая Гильберта для обхода плиток, кластеры блоков для обмена данными между процессорами. Итог — 107% от производительности стандартной библиотеки NVIDIA.

Кривая Гильберта для планирования вычислений
Вместо построчного обхода плиток выходной матрицы — обход по пространственно-заполняющей кривой. Соседние по времени плитки оказываются соседними в памяти → лучшее попадание в кэш второго уровня.

Материал закрывает разрыв между «знаю что такое GPU» и «понимаю как устроены ядра уровня продакшена». Автор обещает продолжение по архитектуре Blackwell и многочиповым ядрам.

#GPU #CUDA #обучение #H100 #NVidia
———
@tsingular

Colab CLI: A100 из терминала по цене двух кофе

Google тихо сделал то, чего все ждали: подписка Google AI Pro теперь включает Colab. 200 compute units в месяц, и через новый CLI их можно тратить прямо из терминала, без браузера и вкладки с ноутбуком.
Или, что интереснее нам,- напрямую отдать в распоряжение ИИ агенту.

⚙️ Что умеет:
- поднимает CPU, GPU (T4, L4, H100, A100) и TPU за секунды
- colab exec -f script.py выполняет локальный файл на облачном GPU, код шлётся прямо в кернел
- colab download забирает веса модели или логи обратно на машину
- colab run запускает эфемерную джобу: поднял VM, выполнил скрипт, погасил, одной командой
- есть агентский режим: shebang со встроенным colab run, скрипт сам просит себе GPU

💡 Математика халявы:
Например A100 40GB ест 5.30 CU/час, версия 80GB с High-RAM, 6.77 CU/час. Делим 200 CU на ставку и получаем 30-37 часов A100 в месяц. При региональной цене Pro в 2 евро час A100 выходит примерно в 7 центов. Облачные цены Google на эту же железку: от $3.52/час.

💼 Почему это важно:
Раньше Colab был вкладкой браузера для студентов. Теперь это CLI-инфраструктура для агентов: Antigravity, Claude Code и Codex могут сами поднимать GPU, гонять файнтюн и забирать веса. Личный облачный ускоритель по цене подписки, для маленьких моделей и экспериментов этого хватит с головой.

📺 Проверил вживую перед постом: сессия A100 поднялась за 4 секунды, matmul 4096³×50 прогнался за полсекунды, 12.2 TFLOPS. Единственное правило: не забудь colab stop, ставка капает даже в простое.

#Colab #GoogleAI #GPU #CLI #агенты
———
@tsingular