🐳 DeepSeek выложила в open source движок инференса DeepInfer
DeepSeek открыла исходники DeepInfer - производственного стека инференса, на котором работает модель DeepSeek-V4.1-Flash. Код под лицензией Apache 2.0, за основу взят vLLM.
Заявленные цифры с одного кластера: 155 трлн токенов в сутки, 96% попаданий в input-кэш, 400 мс до первого токена и 230 токенов/с генерации (300 для кода). Кэширование промптов - до 72 часов против 12 у OpenAI. При off-peak ценах это около $38 выручки на ускоритель-час, маржа выше 80% и окупаемость кластера за 81 день.
Архитектура разделяет vision-энкодинг, prefill и decode: prefill идёт на обычных 8-GPU машинах, decode - на supernode из 64-128 ускорителей с широким expert parallelism. Важная оговорка: менеджмент KV-кэша и балансировка нагрузки не опубликованы - они завязаны на внутреннюю инфраструктуру. vLLM уже сообщил, что на GB200 в сопоставимой конфигурации отстаёт от DeepInfer всего на 6%.
🎨 qvabo.studio/tg · картинки и видео
#AI #DeepSeek #Inference #vLLM #openSource
DeepSeek открыла исходники DeepInfer - производственного стека инференса, на котором работает модель DeepSeek-V4.1-Flash. Код под лицензией Apache 2.0, за основу взят vLLM.
Заявленные цифры с одного кластера: 155 трлн токенов в сутки, 96% попаданий в input-кэш, 400 мс до первого токена и 230 токенов/с генерации (300 для кода). Кэширование промптов - до 72 часов против 12 у OpenAI. При off-peak ценах это около $38 выручки на ускоритель-час, маржа выше 80% и окупаемость кластера за 81 день.
Архитектура разделяет vision-энкодинг, prefill и decode: prefill идёт на обычных 8-GPU машинах, decode - на supernode из 64-128 ускорителей с широким expert parallelism. Важная оговорка: менеджмент KV-кэша и балансировка нагрузки не опубликованы - они завязаны на внутреннюю инфраструктуру. vLLM уже сообщил, что на GB200 в сопоставимой конфигурации отстаёт от DeepInfer всего на 6%.
🎨 qvabo.studio/tg · картинки и видео
#AI #DeepSeek #Inference #vLLM #openSource
⚡1🔥1