This media is not supported in your browser
VIEW IN TELEGRAM
DFlash 2
Способ ускорить работу больших языковых моделей - спекулятивное декодирование. Продолжение DFlash, первое поколение уже стало отраслевым стандартом, 3.5 млн загрузок на Hugging Face
Маленькая модель быстро предсказывает кусок текста, а большая проверяет его одним проходом вместо того, чтобы писать по слову
- Большая модель Qwen3.8-27B на ноутбуке выдаёт 70 токенов/с вместо привычных ~15–20
- Ускорение до 4.6 раз на некоторых моделях, обычно 2.7–3.4 раза
- Результат полностью идентичен оригиналу: ни одного отличающегося слова, просто быстрее
HF
#optimization #inference
VK | MAX
Способ ускорить работу больших языковых моделей - спекулятивное декодирование. Продолжение DFlash, первое поколение уже стало отраслевым стандартом, 3.5 млн загрузок на Hugging Face
Маленькая модель быстро предсказывает кусок текста, а большая проверяет его одним проходом вместо того, чтобы писать по слову
- Большая модель Qwen3.8-27B на ноутбуке выдаёт 70 токенов/с вместо привычных ~15–20
- Ускорение до 4.6 раз на некоторых моделях, обычно 2.7–3.4 раза
- Результат полностью идентичен оригиналу: ни одного отличающегося слова, просто быстрее
HF
#optimization #inference
VK | MAX
1👍13🔥5❤3
Wally от RunAnywhere
Облачный стек для быстрого инференса открытых моделей. Подключается напрямую к OpenCode, Claude Code, Claude Desktop, Hermes и OpenClaw
• прямой коннект к кодинг-агентам и ассистентам
• $5 бесплатного баланса на старте без привязки карты
• быстрые токены на открытых моделях
• GLM-5.3 Flash - 380 ток/с
• Qwen3.8-27B - 485 ток/с
• DeepSeek V4.1 Flash - 615 ток/с
• GLM-5.3 Max - 790 ток/с
• в OpenCode GLM-5.3 Flash дала 213 ток/с на реальной агентной задаче
Для сравнения в том же тесте Nebius - 149, Fireworks - 68, Z.ai - 47. Сервис в предварительном режиме, опубликованные цифры сняла сама RunAnywhere, независимого теста Artificial Analysis пока нет
Спасибо @Endorpheen
#platform #cloud #inference
MAX
Облачный стек для быстрого инференса открытых моделей. Подключается напрямую к OpenCode, Claude Code, Claude Desktop, Hermes и OpenClaw
• прямой коннект к кодинг-агентам и ассистентам
• $5 бесплатного баланса на старте без привязки карты
• быстрые токены на открытых моделях
• GLM-5.3 Flash - 380 ток/с
• Qwen3.8-27B - 485 ток/с
• DeepSeek V4.1 Flash - 615 ток/с
• GLM-5.3 Max - 790 ток/с
• в OpenCode GLM-5.3 Flash дала 213 ток/с на реальной агентной задаче
Для сравнения в том же тесте Nebius - 149, Fireworks - 68, Z.ai - 47. Сервис в предварительном режиме, опубликованные цифры сняла сама RunAnywhere, независимого теста Artificial Analysis пока нет
Спасибо @Endorpheen
#platform #cloud #inference
MAX
👍4