⚙️ Инференс как инженерия: Baseten о том, как ускорить LLM в 10 раз

В новом выпуске Latent.Space инженеры Baseten Филип Кили и Али Таха рассказывают, что происходит после релиза открытой модели и как превратить «мы сгенерировали токен» в быстрый и дешёвый продакшен-API. Baseten недавно закрыла раунд на $13 млрд и вошла в когорту AI-инфраструктурных декакорнов — главных бенефициаров «инференс-перелома».

Три года назад дисциплины «инференс-инженерия» почти не существовало. Теперь это отдельная область с собственными исследовательскими задачами: cache-aware routing, раздельные prefill и decode, квантование, speculative decoding, перемещение KV-cache, параллелизм моделей и GPU-ядра. В эксперименте с GLM-5.2 квантование большей части модели сохранило качество бенчмарков и подняло throughput на 20% — ошибки разных слоёв скомпенсировали друг друга.

Гости объясняют, почему одинаковые веса ведут себя по-разному на разных кластерах, как Baseten привила Kimi vision-энкодер к GLM-5.2 без изменения языковой модели, и как оптимизации дают выигрыш в 20–200%. Дальше разговор выходит за пределы LLM: NVIDIA Dynamo, мегаядра, чипы Rubin, локальный инференс, генерация видео и схождение тренировки и инференса через постоянный KV-cache.

#AI #Inference #Baseten #LLM #GPU