💻️ DynoSim: симуляция Парето-фронтира для LLM-инференса

NVIDIA представила DynoSim — дискретно-событийный симулятор стека инференса Dynamo, работающий на уровне forward-pass. Инструмент позволяет моделировать тысячи конфигураций развертывания LLM без затрат GPU-времени.

Современный LLM-сервинг сложен в настройке: выбор бэкенда, tensor-parallel, split prefill/decode, количество воркеров, планировщик, политика роутинга, KV-кэш, автоскейлинг — все эти параметры взаимосвязаны. DynoSim решает проблему комбинаторного взрыва, заменяя дорогие эксперименты на реальном железе быстрой симуляцией.

Архитектура DynoSim композиционна: replay-драйвер подает нагрузку из трейсов, симуляция одного engine учитывает поведение планировщика (vLLM с waiting/running scheduler или SGLang с radix-cache), а multi-engine симуляция добавляет роутинг, распределенное кэширование и решения Planner. Все компоненты работают на единой виртуальной временной шкале.

Производительность впечатляет: на Apple M4 MacBook Air однопоточная Rust-реализация воспроизвела полный трейс Mooncake (23 608 запросов) с 8 round-robin воркерами за 2.41 секунды wall time при симулированном окне в 60.1 минуты — ускорение в ~1500x.

DynoSim позволяет строить Парето-фронтир для заданной нагрузки на существующем оборудовании, а также тестировать алгоритмические изменения: новые cost-функции для Router, эвристики Planner или политики кэширования. Результат — simulate-then-verify цикл вместо exhaustive поиска на GPU.

#Tech #AI #NVIDIA #DynoSim #LLM #Optimization