🚀 Трансформеры + vLLM: вместе вкуснее

vLLM выкатили обновление, которое теперь поддерживает Transformers от Hugging Face.

Суть в том, что теперь можно взять любую новую модель из Transformers и сразу запустить на ней оптимизированный инференс через vLLM не ожидая пока её кто-то сконвертирует в совместимый формат.

Достаточно просто указать:

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Llama-3.2-1B")
result = pipe("The future of AI is")

print(result[0]["generated_text"])

И вуаля – получаем все плюшки vLLM с его PagedAttention и динамическим батчингом.

Бизнес-кейсы:

1. Снижение серверных затрат: vLLM эффективнее использует GPU-память.

2. OpenAI-совместимый API:

запускаем

vllm serve meta-llama/Llama-3.2-1B

вызываем по url

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "meta-llama/Llama-3.2-1B", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0}'

или в коде

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
completion = client.completions.create(
    model="meta-llama/Llama-3.2-1B",
    prompt="San Francisco is a",
    max_tokens=7,
    temperature=0
)
print("Completion result:", completion.choices[0].text)

3. Быстрое внедрение новых моделей: как только модель появляется в Transformers, её можно сразу оптимизированно применять в проде.

Пример с моделью Helium от Kyutai особенно показателен: несмотря на то, что эта модель ещё не поддерживается нативно в vLLM, её уже можно запустить через трансформерный бэкенд и получить значительный прирост в скорости.

#Transformers #vLLM #инференс #HuggingFace
———
@tsingular

Анатомия vLLM: как работает высокопроизводительная система для запуска больших языковых моделей

Команда vLLM выкатила детальный гайд по архитектуре своей системы инференса.

Разобраны:
- фундаментальная база, - ядро ЛЛМ и движка, управление очередью, постраничная обработка и батчи
- предзаполнение чанков, кэширование префиксов, управляемое и спекулятивное декодирование, разделенный P/D
- масштабирование GPU
- сервисный уровень, - распределенный и оптимизированный под веб-скаффолдинг
- бенчмарки

vLLM поддерживает распределённый запуск на нескольких GPU и снижает задержки, в том числе за счёт грамотного управления KV кэшэм, что особенно важно для корпоративного прода.

В целом очень годный мануал.
Переводим, сохраняем.

#vLLM #Inference #GPU
———
@tsingular

Docker Model Runner добавляет поддержку vLLM на macOS

Наконец-то на улице Apple Silicon праздник, - docker выпустил контейнер с vLLM для чипов M1-M4.
Теперь не только владельцы NVidia смогут запускать модели быстро, like а Pro :). 🍏

🦾 Главный инженерный плюс: Движок vllm-metal объединяет MLX и PyTorch в единую цепь вычислений.
Эффект от Zero-copy тензоров позволяет экономить на задержках особенно при росте контекста. 🛠

📈 По цифрам: На Llama 3.2 1B (4-bit) этот стек выдает около 280 токенов в секунду. Совместимость с OpenAI API полная — значит, кодовые-агенты вроде opencode или Крабов подключаются одной командой.

💡 Зачем это нам: Повышение скорости инференса на обычном макбуке с профессиональным управлением KV-кэшем и paged attention.
Удобно дебажить рои агентов прямо в самолете. 🦾

Изучаем документацию и поднимаем.

#vLLM #AppleSilicon #Docker #MLX #AI #Inference
———
@tsingular

Классный разбор - сравнение M3 Ultra vs DGX Spark на ollama, llama.cpp и vllm.

очень наглядно показывает почему vllm на Nvidia бьёт любые другие сочетания.

И следом, - тензорный параллелизм на 4хDGX Spark

#benchmark #vllm #llamacpp #DGX #spark #hardware
———
@tsingular

Трансформеры Hugging Face теперь летают в vLLM на родной скорости — без ручного портирования

⚡️ Авторы моделей годами жили в раздвоенном мире: пишешь эталонную реализацию для библиотеки transformers — понятную, самодостаточную, удобную для изучения, а потом вручную портируешь её под vLLM со всеми оптимизациями ядер и параллелизацией. Теперь этот второй шаг исчезает: transformers-бэкенд vLLM догнал и местами обогнал нативные реализации по пропускной способности.

🖥️ Достигается это через динамический анализ графа модели с помощью torch.fx и перезапись операций через AST прямо во время исполнения. Бэкенд ищет известные паттерны (MergedColumnParallelLinear, QKVParallelLinear) и применяет fused-ядра на лету, плюс torch.compile для компиляции всего, что можно скомпилировать. Модель при этом не меняется: достаточно флага --model-impl transformers при запуске vLLM. Тензорный параллелизм, data-parallel, expert-parallel — всё работает из коробки.

📊 Сравнивали на трёх моделях Qwen3 разного масштаба: 4B (dense, 1 GPU), 32B (tensor-parallel на 2 GPU) и 235B MoE (data-parallel + expert-parallel на 8 GPU). После оптимизации transformers-бэкенд сравнялся с нативными реализациями vLLM, а на MoE-модели — обогнал. Поддерживается 450+ архитектур из экосистемы Hugging Face, не работает пока только с linear attention — но это временно.

Путь от «зарелизил модель на Hugging Face» до «пользователи гоняют её в vLLM на максимальной скорости» сократился до одного шага.
Код выложен, установка — uv pip install --upgrade vllm.

#HuggingFace #vLLM #инференс
------
@tsingular

Модель может захватить сервер, на котором живут её веса

В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.

⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.

🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.

🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.

Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.

📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw

#безопасность #LLM #vLLM
———
@tsingular

Decision 2.0 от vLLM - еще один сверхбыстрый классификатор

Команда vLLM Semantic Router выпустила вторую версию Decision Foundation Models: шесть открытых весов от 0.6B до 27B, которые по скорости уделывают Jev в 20 раз.

⚙️ Что это: модели-решения. Обычная LLM генерирует текст, Decision возвращает типизированные вероятности, причём разная модель делает это по-разному: Choice выбирает опцию из кандидатов, Noul отвечает «да/нет» с вероятностью, Score расставляет оценки по шкале.
Один формат для маршрутизации запроса, проверки политики и оценки срочности.

🤖 Семейство Decision 2.0:
- Kai 0.6B, стартовая точка для маршрутизации,
- Eos 0.8B и Sol 2B, компактные гибриды с контекстом 16k,
- Nox 4B, правила и комбинации условий,
- Lux 9B, сильнейшая открытая в линейке,
- Vega 27B, вошла в мировой топ-3 Jev Decision Index из 71 модели.

📊 Цифры: каждая модель лидирует в своём размере на Jev Decision Index.
До 2,5× выше балл Decision 1.0 при том же размере.
64 вопроса об одном запросе за один проход за 63 мс на одиночном GPU.
И 20× быстрее Jev API на одиночном решении.

🛠 Интеграция: Apache-2.0, загрузка через Transformers, нативная сборка под vLLM Semantic Router.
Формат System One: state, model, questions. До 512 решений в одном батче.

💼 Зачем бизнесу: это слой между интеллектом и действием. Вопрос «пустить тяжёлую модель или лёгкую, эскалировать тикет или нет, срочно или терпит» больше не требует промпта на 500 токенов в GPT-классе.
Решение стоит миллисекунды и копейки, а веса лежат у тебя на диске.

GitHub | HuggingFace

Похоже что такие модели становятся стандартным слоем в каждом агентном стеке, как сегодня эмбеддинги и реранкеры.

Для модераторов, кстати, шикарно - 27млрд модель вполне примет осознанное решение.
Получить ответ по 64-м признакам за 60мс - это прям максимально полезно может быть

#Decision #vllm #llm #ai
———
@tsingular

vLLM 0.32.0 добавляет API решений и сокращает расход памяти при обслуживании моделей

Вышел vLLM 0.32.0, движок для инференса моделей.
Добавлены структурированные решения, более простое подключение моделей к инструментам и экономия памяти на длинном контексте.

🧭 Новый /v1/systemone принимает состояние задачи и вопросы к нему: выбрать вариант, ответить «да/нет» или выставить оценку.

🔧 Универсальный разборщик hf читает response_template из файлов модели и по нему выделяет рассуждения и вызовы инструментов.
Если автор модели приложил такой шаблон, отдельный разборщик под её формат больше не нужен.
Поддержка зависит от корректных метаданных; произвольную модель это автоматически совместимой не делает.

🧠 Для GLM-5.x на NVIDIA Blackwell (SM100) FP8 стал форматом KV-кэша по умолчанию.
В тесте разработчиков с GLM-5.3 память под кэш сократилась примерно вдвое, а пропускная способность выросла на 2,3–5,5%.
При этом первый токен появляется на 7–11% позже. Экономия памяти здесь сопровождается компромиссом по скорости начала ответа

💼 Исправили и работу с длинными запросами: max_tokens больше не резервирует часть контекста заранее.
Запрос, который помещается в окно модели, принимается, а длина ответа ограничивается оставшимся местом.
Это полезно для клиентов, которые передают большой предел ответа «с запасом».

⚠️ При обновлении нужны Python 3.11+ и явная настройка разрешённых сайтов для браузерных клиентов.
Также закрыты уязвимости, позволявшие исчерпать ресурсы через шаблоны чата и межсерверные соединения.

#vLLM #OpenSource #обновления
———
@tsingular

vLLM разогнался в 8 раз и догнал по скорости DeepInfer от DeepSeek

23 октября команда vLLM и Inferact показали замеры DeepSeek-V4.1-Flash на одной стойке NVIDIA GB300 NVL72: 954 тыс. токенов в секунду на видеокарту при P90 196 токенов в секунду на пользователя.
Это в 7,9 раза больше их же результата на одном узле.

🔧 Ускорение собрано из трёх вещей. Контекстное кэширование сжато до 890 байт на токен, поэтому 128 тыс. токенов контекста превращаются в 855 тыс. с ростом задержки всего на 0,6 мс.
Предзаполнение вынесено в отдельные экземпляры на двух GPU: при четырёх GPU потери от рассинхронизации достигают 13,6 %, поэтому меньший размер оказался выгоднее. Декодирование растянуто на 32 GPU, а эксперты каждые 3 000 шагов переставляются по нагрузке: равномерность маршрутизации выросла с 0,35 до 0,94 и закрыла 97 % разрыва.

Сравнение с DeepInfer, собственным движком DeepSeek, вышло почти в ничью: на GB200 с контекстом 131 тыс. токенов vLLM отстаёт на 6 % при размере батча от 8 до 256, а кривая предзаполнения идёт по опубликованной DeepSeek.
Разница в том, что DeepInfer обслуживает одну модель в офлайн-режиме, а этот же vLLM держит её онлайн через разделение предзаполнения и декодирования.

⚡️ Отдельная ветка для малой нагрузки даёт 826 токенов в секунду одному пользователю на четырёх B300, это на 44 % больше обычного пути.

💼 Если вы держите V4.1-Flash на vLLM, обновление стоит того: узкое место сместилось с видеокарты на процессор, и без правок 32 GPU работали медленнее 16 из-за синхронизации рангов.

Обзор от vLLM

Интересно проверить на меньшем количестве карт, конечно.

#vLLM #DeepSeek #DeepInfer #инференс
———
@tsingular

vLLM Semantic Router выпустил d3-ultra: 27b модель решений

Новая модель семейства Decision 3.0 содержит 26,09 млрд параметров, из них 0,46 млрд приходится на визуальный кодировщик. На вход она принимает текст или JSON, при необходимости с изображениями и видео, а на выходе даёт вероятность для каждого варианта ответа, не порождая ни одного токена текста. Веса открыты под Apache-2.0, контекст составляет 131 072 токена 🧾

Модель получила глазки и умеет обрабатывать как изображения так и видео за один проход, т.е. можно задать сразу серию из десятка вопросов по ролику и получить полный расклад с вероятностями по каждому варианту ответа.

На собственном тесте SR-Text, где 10 411 запросов и 73 495 вопросов пересоздают задания 34 публичных бенчмарков, модель набрала 87,2 балла.
Для сравнения: GLiDE V1.2 получила 85,1, d1-ultra 83,4, d3 81,4, Jev 1.14 73,1.
В тесте SR-Box на поиск объектов по десяти предметным областям результат 58,2% против 60,0% у d3-turbo, при этом GLiDE V1.2, d1-ultra и d3 такие вопросы не поддерживают.

Скорость на одной плате AMD Instinct MI325X: 304 мс на один вопрос об изображении, 2,16 с на 255 вопросов об одном и том же изображении.

💼 Модель можно бесплатно попробовать через API и в Space на Hugging Face, веса опубликованы там же.
Такой интерфейс удобен для маршрутизации обращений, модерации и разметки: вместо генерации и последующего разбора текста система получает калиброванное распределение и сразу решает, куда отнести запрос.

📎
Бесплатный API,
Space для проверки

#vLLM #LLM #OpenSource
———
@tsingular