Mistral.rs: Универсальная платформа для быстрого инференса LLM

Eric L Buehler представил Mistral.rs - сверхбыструю платформу для запуска LLM.
Ключевые особенности:
• Широкая совместимость: поддержка GPU, CPU, Apple Metal.
• Автоматическая оптимизация: квантизация, PagedAttention, непрерывная пакетная обработка.
• Гибкость: HTTP-сервер (OpenAI API), Python-биндинги, Rust API.
• Расширенные возможности: X-LoRA, LoRA адаптеры, мультимодальность.
• Удобство: автозагрузка с Hugging Face Hub, интерактивный режим.
Платформа поддерживает множество моделей и форматов, включая GGUF и GGML.

-Швейцарский- Французский нож в мире локального инференса.
Для любителей, - обязательно к ознакомлению. 🚀🧠

#Mistral.rs #LLM #Inference
-------
@tsingular

LLMflation: цены на LLM-инференс стремительно падают

Стоимость обработки текста в языковых моделях демонстрирует беспрецедентное снижение - в 10 раз ежегодно.
За последние три года цена упала с $60 до $0.06 за миллион токенов, что в 1000 раз дешевле.
Ключевые факторы: улучшенная архитектура, оптимизация ПО, квантизация и специализированное оборудование.
Практические примеры: обработка 10-часового разговора уже стоит $2, анализ всего ядра Linux - менее $1.
Провайдеры LLM-сервисов фокусируются на премиум-сегменте, уступая нижний новым игрокам.

Похоже, скоро AI-помощник будет дешевле чашки кофе ☕️

#LLMflation #inference #optimization
-------
@tsingular

HuggingFace объединяет ведущих провайдеров облачного инференса

Облачный инференс от разных провайдеров теперь можно запускать через единый интерфейс Hub.
Доступны сервисы AWS, Nvidia, SambaNova и Replicate с гибкой тарификацией.
Подключение реализовано через REST API, поддерживающий OpenAI-совместимые клиенты.
Функционал включает генерацию изображений и работу с языковыми моделями.
Зарегистрированным пользователям доступна базовая бесплатная квота.
Оплата производится напрямую провайдерам без дополнительных комиссий.

Теперь не нужно держать аккаунты у всех провайдеров - достаточно одного в HuggingFace 😎

#HuggingFace #gate #inference
-------
@tsingular

Для всех, кто страдает от того, что DeepSeek API штормит, запилил короткое видео как создать ключ под Inference Providers в Hugging Face и начать использовать DS.

Делов на пару минут и тысячи моделей HF будут вам доступны по API.

(для самых внимательных: ключ из видео уже удалён :) )

p.s. Видео из серии как вскипятить воду, но точно знаю некоторых, кому это будет полезно, поэтому вот :)

#HuggingFace #Inference #demo
———
@tsingular

А давайте запишем у кого какие результаты скорости работы LLM по железу
Предлагаю сюда собирать

Если кто хочет в редакторы отправляйте запрос на доступ на редактирование в гугле указав свой gmail в строке запроса.

LM Studio сама показывает, а в ollama можно так вызывать:
ollama run gemma3:27b-it-qat —verbose напиши поэму о лете

в итогах будет такого плана результат:
total duration: 15.525598053s
load duration: 43.678042ms
prompt eval count: 32 token(s)
prompt eval duration: 204.741435ms
prompt eval rate: 156.29 tokens/s
eval count: 619 token(s)
eval duration: 15.27660691s
eval rate: 40.52 tokens/s

#benchmarks #inference #LLM #hardware #бенчмарки
———
@tsingular

GitHub Models решает проблему инференса для open source AI проектов

GitHub запустил бесплатный API для инференса популярных моделей - GPT-4o, DeepSeek-R1, Llama 3.

Проблема была в том, что open source проекты постоянно спотыкались о настройку инференса - нужны были ключи API, локальные модели жрали ресурсы, конфигурация отнимала время.

Теперь достаточно GitHub токена и REST эндпоинта, совместимого с OpenAI спецификацией. Никакой дополнительной настройки.

Интеграция с GitHub Actions позволяет автоматизировать AI фичи прямо в CI/CD пайплайнах. Есть бесплатый тир с опцией масштабирования.

Поддерживаются multiple SDK без изменений кода - просто меняешь endpoint.

Удобно. Теперь любой студент может прикрутить ИИ к своему поектику не покидая платформу.

Вообще Гитхаб превращается в пространство самообновляющегося оупенсорса с ИИ мультиагентами разрабами.

#GitHub #inference #opensource
------
@tsingular

Анатомия vLLM: как работает высокопроизводительная система для запуска больших языковых моделей

Команда vLLM выкатила детальный гайд по архитектуре своей системы инференса.

Разобраны:
- фундаментальная база, - ядро ЛЛМ и движка, управление очередью, постраничная обработка и батчи
- предзаполнение чанков, кэширование префиксов, управляемое и спекулятивное декодирование, разделенный P/D
- масштабирование GPU
- сервисный уровень, - распределенный и оптимизированный под веб-скаффолдинг
- бенчмарки

vLLM поддерживает распределённый запуск на нескольких GPU и снижает задержки, в том числе за счёт грамотного управления KV кэшэм, что особенно важно для корпоративного прода.

В целом очень годный мануал.
Переводим, сохраняем.

#vLLM #Inference #GPU
———
@tsingular

Huggingface, настало твоё время :)

может кому пригодится:

"hf": {
        "baseUrl": "https://router.huggingface.co/v1",

—-
"agents": {
    "defaults": {
      "model": {
        "primary": "hf/zai-org/GLM-4.7",
        "fallbacks": [
          "ollama/gemini-3-flash-preview:latest",
          "xai/grok-4-1-fast-non-reasoning",
          "hf/Qwen/Qwen3-Coder-480B-A35B-Instruct",
          "hf/moonshotai/Kimi-K2.5",
          "hf/zai-org/GLM-4.7"
        ]
      },
      "models": {
        "ollama/gemini-3-flash-preview:latest": {},
        "xai/grok-4-1-fast-non-reasoning": {},
        "hf/Qwen/Qwen3-Coder-480B-A35B-Instruct": {},
        "hf/moonshotai/Kimi-K2.5": {},
        "hf/zai-org/GLM-4.7": {}
      },

Фишка в том, что у ХФ инференс на Cerebras - люто быстрый!

Прям рекомендую попробовать

#huggingface #inference #providers
———
@tsingular

Docker Model Runner добавляет поддержку vLLM на macOS

Наконец-то на улице Apple Silicon праздник, - docker выпустил контейнер с vLLM для чипов M1-M4.
Теперь не только владельцы NVidia смогут запускать модели быстро, like а Pro :). 🍏

🦾 Главный инженерный плюс: Движок vllm-metal объединяет MLX и PyTorch в единую цепь вычислений.
Эффект от Zero-copy тензоров позволяет экономить на задержках особенно при росте контекста. 🛠

📈 По цифрам: На Llama 3.2 1B (4-bit) этот стек выдает около 280 токенов в секунду. Совместимость с OpenAI API полная — значит, кодовые-агенты вроде opencode или Крабов подключаются одной командой.

💡 Зачем это нам: Повышение скорости инференса на обычном макбуке с профессиональным управлением KV-кэшем и paged attention.
Удобно дебажить рои агентов прямо в самолете. 🦾

Изучаем документацию и поднимаем.

#vLLM #AppleSilicon #Docker #MLX #AI #Inference
———
@tsingular

Nebius покупает Eigen AI за $643 млн

Nebuis продолжает наращивать интеллектуальный слой ИИ инфраструктуры, на этот раз приобретая Eigen, - команду выходцев из MIT HAN Lab (разработчики AWQ - стандарта) и исследователей из DeepMind, OpenAI, Amazon AGI.

💰 Цена вопроса: $98 млн + 3,8 млн акций Nebius Class A (30-day VWAP).

Команда Eigen:
Ryan Hanrui Wang (CEO), автор SpAtten, самой цитируемой статьи HPCA с 2020 года.
Wei-Chen Wang, лучший paper MLSys 2024 за AWQ quantization, теперь стандарт для 4-bit serving в production.
Di Jin (MIT CSAIL PhD), работал над post-training Llama 3 и Llama 4, соавтор CGPO RLHF-фреймворка.

⚙️ Что покупают: Полноценный стек оптимизации инференса:
- Model layer — квантизация, pruning, MoE-роутинг, KV-cache, speculative decoding
- System layer — шедулеры, continuous batching, prefill/decode disaggregation, tensor/pipeline/expert параллелизм
- Kernel layer — fused операторы, кастомные attention-ядра, low-bit matmul

Поддержка GPT-OSS, Gemma, Qwen, Llama, Nemotron, DeepSeek, GLM, Kimi, MiniMax.

🔗 Зачем Nebius:
Технология вливается в Nebius Token Factory — управляемая платформа инференса с автоскейлом и fine-tuning под Qwen, Llama, DeepSeek, GLM, Kimi, MiniMax, Nemotron.
Получается такой полный вертикальный стек:
Infrastructure → Kernel → System → Model → Platform.

На практике это позволит:
- Open-source модели на Nebius будут запускаться быстрее и дешевле конкурентов
- Day-one оптимизация для новых релизов (Qwen, DeepSeek и пр.)
- RL post-training доступен прямо на платформе — без своего ML-team
- Команда Eigen остаётся в полном составе, открывают R&D офис в Bay Area

Кстати, недавно, в феврале этого года, Nebius так же приобрел поисковик Tavily за $275 млн.

💼 Зачем бизнесу: Inference забирает 2/3 спроса на вычисления в 2026 году.
Nebius резервирует мощности под Token Factory, берёт наценку за скорость и делает ставку на программную оптимизацию поверх того же железа.
Скоро конкуренция в neocloud уйдёт от «у кого больше GPU» к «кто выжимает больше токенов с каждого чипа».

#Nebius #EigenAI #inference #инфраструктура #датацентры
------
@tsingular

Unsloth разогнали Qwen3.6 через MTP ускорив генерацию в 2 раза

Стандартная языковая модель предсказывает токены поочереди.
Unsloth прикрутили Multi Token Prediction механизм, предсказывающий несколько токенов вперёд, пока основная модель их проверяет.
В примере на сайте Unsloth Qwen3.6 угадывает сразу четыре.
Результат: Qwen3.6 35B-A3B летает на скорости 240 токенов в секунду на RTX 6000.

⚙️ Как работает MTP:
В отличие от обычного инференса MTP (Multi-Token Prediction) ставит поверх общего трансформера 4 независимые головы, каждая из которых заглядывает на 1-4 токена вперёд. Ключевое открытие Meta* FAIR: MTP усиливает «точки выбора», семантически важные развилки текста, а не механическое продолжение.
Это улучшает качество, особенно на коде: 13B-модель решает на 12% больше задач HumanEval и на 17% больше MBPP.

🚀 Что сделал Unsloth:
Unsloth прикрутил MTP-головы Qwen3.6 к GGUF-квантам и выпустил готовые сборки: Qwen3.6-27B-MTP выдаёт 160 tok/s, Qwen3.6-35B-A3B-MTP - 240 tok/s на RTX 6000.
Ускорение 1.4-2.2× без потери точности.
llama.cpp добавил поддержку MTP 16 мая, а Unsloth выпустил GGUF на следующий день.
Модели работают как в Unsloth Studio так и в llama.cpp, vLLM и SGLang.
В олламе MTP пока не замечен.

💼 Зачем бизнесу:
MTP - двойной выигрыш: качество и скорость в одной архитектуре. Для тех, кто гоняет LLM локально, Qwen3.6-MTP на 35B-A3B с 18GB RAM стала первым вариантом, где 240 tok/s достижимы без облака.
Такими темпами самоспекулятивное декодирование через MTP станет стандартом для всех открытых моделей, а не фишкой отдельных сборок.

Надо затестить на других карточках.
Интересно сколько выдаст.
Иметь локального агента с Qwen3.6 даже на 150 токенов в секунду, - это шикарно.
Правда MTP сжирает дополнительно 1 гиг VRAM, но это небольшая плата за скорость.

*Meta, - запрещённая в РФ организация, признанная террористической

#MTP #Qwen36 #Unsloth #LLM #Inference
------
@tsingular

Sipp: WebGPU-рантайм для GGUF в браузере от Noumena Labs

⚡️ Noumena Labs выкатили Sipp, высокопроизводительный WebGPU-движок, который запускает GGUF-модели прямо в браузере.
Реализован на Rust и C++ без зависимостей, Apache 2.0.

TTFT 24.3 мс: в 6.5 раз быстрее WebLLM и в 12.4 раза быстрее Transformers.js.
Decode 77 токенов в секунду, почти втрое шустрее WebLLM.
Бенчмарки открытые: benchmark.sipp.sh.

📦 Симметричный API для всего: браузер (npm), Node.js, Rust, Python, Swift (macOS/iOS). Пишешь один код, он работает и локально через WebGPU, и через облачный шлюз, который прячет API-ключи и считает метрики.

🚧 Проект в активной разработке

#WebGPU #browser #inference
------
@tsingular