▶ Together AI запускает Provisioned Throughput — предсказуемый инференс с гарантированной пропускной способностью

Together AI объявила о запуске Provisioned Throughput — нового продукта для инференса LLM, который предоставляет выделенные токеновые квоты с фиксированной пропускной способностью и соглашениями об уровне обслуживания (SLA). Решение ориентировано на production-нагрузки, где критичны стабильность задержек и отсутствие конкуренции за ресурсы.

В отличие от стандартного serverless-инференса, Provisioned Throughput резервирует вычислительные мощности под конкретную модель, обеспечивая предсказуемое время ответа даже при пиковых нагрузках. Пользователи приобретают гарантированный объём токенов в минуту (TPS), что позволяет точно планировать затраты и избегать throttling. Продукт поддерживает все популярные open-source модели, доступные на платформе Together AI, включая DeepSeek V4 Pro, Gemma 4, MiniMax M3 и kimi K2.7 Code.

Для разработчиков AI-агентов и coding-инструментов это означает возможность разворачивать критически важные инференс-пайплайны без риска деградации производительности из-за соседних задач. Provisioned Throughput особенно актуален для команд, работающих с Claude Code, Codex и Cursor, где стабильная задержка напрямую влияет на UX агента.

#Tech #Inference #TogetherAI #Agent #LLM #AI #SLA