DeepSeek раскрыл экономику API: $38 выручки с ускорителя в час при мажинальности более 80%

DeepSeek опубликовал экономические показатели сервиса V4.1 Flash вместе с открытием кода DeepInfer.
По данным компании, средняя выручка составляет $38 на ускоритель в час при расчёте по непиковым тарифам (в пиковые,- выше).
Один кластер обслуживает 155 трлн токенов в день.

💰 Валовая маржа API-бизнеса DeepSeek за январь–июль 2026 года составила 82,9%, сообщал PYMNTS со ссылкой на The Information. Выручка компании за тот же период достигла $70,7 млн, общая валовая маржа составила 44,6%.

💳 В действующем непиковом тарифе V4.1 Flash миллион входных токенов из кэша стоит $0,003, новый вход $0,15, миллион выходных токенов $0,60. Повторное использование входа обходится клиенту в 50 раз дешевле его первичной обработки.
В пиковые часы эти тарифы удваиваются.

🧮 В производственной статистике DeepSeek 96% входных токенов попадают в кэш. При таком соотношении средняя цена миллиона входных токенов по непиковому тарифу получается $0,00888. Это примерно в 17 раз дешевле обработки полностью нового входа.
Расчёт использует опубликованную долю попаданий и официальные тарифы.

⚙️ На стороне сервера сохранённый контекст сокращает повторные вычисления.
DeepSeek указывает 60 тыс. входных токенов/с на карту при обработке нового контекста и 1,5 млн с учётом кэша.
Повторно используемые данные хранятся примерно три дня для агентов и семь дней для чат-ботов, в распределённом SSD-хранилище объёмом около 100 PiB.

Получается догнали западные фронтиры по качеству, обошли по скорости и теперь ещё и по экономической эффективности.

📎 Официальные тарифы · Код и описание DeepInfer

#DeepSeek #DeepInfer #Китай
———
@tsingular

vLLM разогнался в 8 раз и догнал по скорости DeepInfer от DeepSeek

23 октября команда vLLM и Inferact показали замеры DeepSeek-V4.1-Flash на одной стойке NVIDIA GB300 NVL72: 954 тыс. токенов в секунду на видеокарту при P90 196 токенов в секунду на пользователя.
Это в 7,9 раза больше их же результата на одном узле.

🔧 Ускорение собрано из трёх вещей. Контекстное кэширование сжато до 890 байт на токен, поэтому 128 тыс. токенов контекста превращаются в 855 тыс. с ростом задержки всего на 0,6 мс.
Предзаполнение вынесено в отдельные экземпляры на двух GPU: при четырёх GPU потери от рассинхронизации достигают 13,6 %, поэтому меньший размер оказался выгоднее. Декодирование растянуто на 32 GPU, а эксперты каждые 3 000 шагов переставляются по нагрузке: равномерность маршрутизации выросла с 0,35 до 0,94 и закрыла 97 % разрыва.

Сравнение с DeepInfer, собственным движком DeepSeek, вышло почти в ничью: на GB200 с контекстом 131 тыс. токенов vLLM отстаёт на 6 % при размере батча от 8 до 256, а кривая предзаполнения идёт по опубликованной DeepSeek.
Разница в том, что DeepInfer обслуживает одну модель в офлайн-режиме, а этот же vLLM держит её онлайн через разделение предзаполнения и декодирования.

⚡️ Отдельная ветка для малой нагрузки даёт 826 токенов в секунду одному пользователю на четырёх B300, это на 44 % больше обычного пути.

💼 Если вы держите V4.1-Flash на vLLM, обновление стоит того: узкое место сместилось с видеокарты на процессор, и без правок 32 GPU работали медленнее 16 из-за синхронизации рангов.

Обзор от vLLM

Интересно проверить на меньшем количестве карт, конечно.

#vLLM #DeepSeek #DeepInfer #инференс
———
@tsingular