🏭 NVIDIA предлагает телеком-операторам строить «токен-фабрики» на базе AI Factory

NVIDIA опубликовала руководство по созданию токен-метрированных AI-сервисов для телеком-операторов, строящих суверенные AI-фабрики на архитектуре NVIDIA Cloud Partner (NCP). Вместо продажи GPU-часов операторам предлагается перейти к модели Token-as-a-Service (TaaS), где оплата привязана к реальному потреблению AI — токенам, запросам или рабочим процессам.

По данным NVIDIA, рост размеров моделей и сложности рассуждений увеличивает количество токенов на запрос, но каждое новое поколение ускоренных вычислений снижает стоимость токена. Это делает экономически выгодным подниматься по стеку — от инфраструктуры к сервисам, измеряемым в токенах.

Архитектура включает три уровня: Compute-as-a-Service (CaaS) — аренда GPU/инфраструктуры по часам; платформенный слой на Kubernetes с мультиарендностью и планированием GPU; и собственно TaaS — токен-метрированные сервисы на базе открытых моделей NVIDIA Nemotron, NIM и blueprints. Среди примеров — вертикальные AI-приложения (copilot для поддержки клиентов), API для текста, зрения, речи и агентов, а также Inference-as-a-Service для дообученных моделей.

Ключевое преимущество для enterprise-клиентов — предсказуемая производительность с SLA по токенам в секунду, времени до первого токена (TTFT) и сквозной задержке, без необходимости управлять кластерами и рантаймами.

#Business #NVIDIA #AI #Factory #NCP