📱SGLang.

SGLang - это высокопроизводительный движок и фреймворк для инференса и развертывания больших языковых (LLM) и мультимодальных моделей (VLM), разработанный сообществом LMSYS.

Проект оптимизирован как для запуска моделей на одиночных потребительских видеокартах, так и для масштабирования на гигантские серверные кластеры. SGLang стал де-факто индустриальным стандартом для инференса MoE-архитектур (включая модели линейки DeepSeek) и генерации роллаутов (rollout engine) на этапе обучения с подкреплением (RL).

🔹Ключевые возможности и архитектурные решения:

🔘RadixAttention: Умное автоматическое кэширование KV-кэша по дереву префиксов (Radix tree). Ускоряет инференс в разы в сценариях с общими системными промптами, few-shot примерами, агентскими циклами и multi-turn диалогами.

🔘Архитектура PD Disaggregation: Разделение стадий prefill (обработка входного контекста) и decode (потоковая генерация токенов) по разным GPU-нодам для максимальной утилизации вычислительной мощности.

🔘Параллелизм масштаба дата-центров: Полная поддержка Tensor, Pipeline, Data и масштабируемого Expert Parallelism (EP) для MoE-моделей на десятках и сотнях GPU (включая стойки NVIDIA GB200/GB300 NVL72).

🔘Быстрый структурированный вывод: Генерация строгого JSON и следование схемам до 3 раз быстрее аналогов благодаря оптимизированным конечным автоматам (Compressed FSM).

🔘Day-0 поддержка новейших моделей: Мгновенная адаптация топовых открытых моделей (DeepSeek-V3/R1/V4, Kimi K3, Nemotron 3, GLM, LLaVA, диффузионных генераторов видео и изображений WAN и Qwen-Image).

🔘Аппаратная всеядность: Оптимизирован под архитектуры NVIDIA (от RTX 4090/5090 до H100/B200/GB300), AMD Instinct (MI300X, MI355), Google TPU (через бэкенд на JAX) и Intel Xeon.

🔘Основа для RL и Post-Training: Служит высокоскоростным бэкендом генерации ответов во фреймворках обучения с подкреплением (verl, Miles, AReaL, slime).

💻Быстрый старт:

Установка:

pip install "sglang[all]"

Запуск OpenAI-совместимого сервера инференса:

python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V3 \
  --port 30000 \
  --tp 8

Отправка запроса через Python:

import openai

client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="None")

response = client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "Объясни квантовые вычисления простыми словами."}],
    temperature=0.7,
)
print(response.choices[0].message.content)

#SGLang #LLM #AI #Inference #MachineLearning #DeepSeek #NVIDIA #AMD #OpenSource #DevTools #Python #DataScience

📱Ссылка на репозиторий:
https://github.com/sgl-project/sglang