⚙️Peking University и DeepSeek открыли исходный код DSpark — скачок в эффективности инференса LLM

Peking University и DeepSeek совместно выпустили и открыли DSpark — фреймворк спекулятивного декодирования, ускоряющий генерацию текста на 60–85% при реальных серверных нагрузках и повышающий пропускную способность до 661% при строгих ограничениях по задержке.

Современные LLM страдают от латентности из-за авторегрессивной генерации. DSpark решает эту проблему двойным механизмом оптимизации: полуавторегрессионная архитектура с улучшенной параллельной магистралью и легковесными последовательными модулями, а также confidence-scheduled верификация с аппаратно-ориентированным планировщиком префиксов. Всего два слоя Transformer в DSpark превосходят пятислойные параллельные архитектуры.

Тесты на задачах математического рассуждения, генерации кода и диалогов с моделями Qwen3 и Gemma4 показали: DSpark обеспечивает на 30.9% более длительную эффективную генерацию, чем Eagle3, и на 16.3% больше, чем DFlash, решая проблему снижения acceptance rate для длинных последовательностей. Фреймворк уже развернут в DeepSeek-V4-Flash и DeepSeek-V4-Pro: при 80 токен/с на пользователя пропускная способность V4-Flash выросла на 51%, а при 120 токен/с — на 661%.

#AI #LLM #DeepSeek #OpenSource #Inference #PekingUniversity