🏭 NVIDIA предлагает телеком-операторам строить «токен-фабрики» на базе AI Factory

NVIDIA опубликовала руководство по созданию токен-метрированных AI-сервисов для телеком-операторов, строящих суверенные AI-фабрики на архитектуре NVIDIA Cloud Partner (NCP). Вместо продажи GPU-часов операторам предлагается перейти к модели Token-as-a-Service (TaaS), где оплата привязана к реальному потреблению AI — токенам, запросам или рабочим процессам.

По данным NVIDIA, рост размеров моделей и сложности рассуждений увеличивает количество токенов на запрос, но каждое новое поколение ускоренных вычислений снижает стоимость токена. Это делает экономически выгодным подниматься по стеку — от инфраструктуры к сервисам, измеряемым в токенах.

Архитектура включает три уровня: Compute-as-a-Service (CaaS) — аренда GPU/инфраструктуры по часам; платформенный слой на Kubernetes с мультиарендностью и планированием GPU; и собственно TaaS — токен-метрированные сервисы на базе открытых моделей NVIDIA Nemotron, NIM и blueprints. Среди примеров — вертикальные AI-приложения (copilot для поддержки клиентов), API для текста, зрения, речи и агентов, а также Inference-as-a-Service для дообученных моделей.

Ключевое преимущество для enterprise-клиентов — предсказуемая производительность с SLA по токенам в секунду, времени до первого токена (TTFT) и сквозной задержке, без необходимости управлять кластерами и рантаймами.

#Business #NVIDIA #AI #Factory #NCP

💵NVIDIA объяснила экономику AI-фабрик: производительность, долговечность и универсальность

NVIDIA опубликовала разбор того, как её AI-фабрики окупаются. Мегаватт мощности стоит около $60 млн, поэтому операторы оценивают отдачу по трём параметрам: выручке на токен, сроку службы железа и объёму спроса на вычисления.

По данным SemiAnalysis AgentX, системы Vera Rubin NVL72 дают более чем 30-кратную пропускную способность на мегаватт по сравнению с GB300 NVL72 и до 45 раз меньшую стоимость за миллион токенов на модели DeepSeek V4 Pro. Прирост обеспечивает сквозной кодзайн всего стека - от моделей и софта до вычислений, сети и памяти.

Долговечность: GPU A100 вышла в 2020 году и до сих пор работает в коммерческой эксплуатации, а CoreWeave продлила бронирования таких систем до 2029 года. Универсальность даёт платформа CUDA: свыше 1000 библиотек CUDA-X и более 10 млн разработчиков, одни и те же чипы считают LLM, симуляции, графику и научные задачи. В качестве примеров NVIDIA приводит Lilly с кластером на 1016 GPU, Pinterest с 14 000 GPU разных поколений и Texas A&M с загрузкой 95-98%.

🎨 qvabo.studio/tg · картинки и видео

#Business #AI #NVIDIA #Factory #CUDA #GPU #Infrastructure