⚙️ Modal запускает серверы с ультранизкой задержкой для LLM-инференса

Modal Labs представила Servers — новый тип HTTP-развертывания для приложений, где критична каждая миллисекунда: LLM-инференс, WebSocket и gRPC-трафик. В отличие от Modal Web Functions с очередями и ретраями, Servers работают через легковесный reverse proxy без control-plane запросов на горячем пути.

Архитектура включает streaming edge proxy, stateless proxy на базе Pingora и Envoy, а также compute load balancer, управляемый через Spanner. Ключевое решение — zero network calls на пути запроса: никаких обращений к KV-хранилищу или metadata-сервисам. Если реплика недоступна, клиент получает 503 — всю логику reliability приложение берет на себя.

Для разработчиков интерактивных агентов и inference-сервисов это означает снижение задержки на десятки миллисекунд по сравнению с Web Functions. Регионализованный автскейлинг и tenant isolation сохраняются, но без оверхэда платформенной очереди.

#AI #Modal #Serverless #LLM #Inference #Agents #CloudComputing

⚡️ Бывший глава AI в Databricks обещает снизить энергопотребление ИИ в 1000 раз

Стартап Unconventional AI, основанный экс-руководителем AI-направления Databricks Навином Рао, представил свою первую модель — генератор изображений Un-0. Главная инновация кроется не в алгоритмах, а в архитектуре: компания использует принципиально новый тип вычислительных чипов на основе осцилляторов, а не традиционных транзисторов.

Согласно заявлению Рао, осцилляторная архитектура позволяет выполнять инференс (вывод) моделей с энергопотреблением, сниженным в 1000 раз по сравнению с текущими решениями. Пока Un-0 работает на программной симуляции будущих чипов, но компания уже анонсировала выпуск схем для физического чипа и планирует построить полный стек для инференса «с нуля». В тестах модель показывает качество, сопоставимое со Stable Diffusion и GPT Image 1.

«Это «hello world» нового типа компьютера, — заявил Рао. — Энергия станет фундаментальным ограничением для масштабирования AI в ближайшие годы. Мы предлагаем единственный способ обойти это ограничение». В штате стартапа — менее 50 человек, но амбиции сопоставимы с масштабом проблемы: по оценкам Рао, доступная мощность электросетей станет главным узким местом для всей индустрии.

#AI #Tech #EnergyEffective #Business #UnconventionalAI #Startup #Inference

⚙️Peking University и DeepSeek открыли исходный код DSpark — скачок в эффективности инференса LLM

Peking University и DeepSeek совместно выпустили и открыли DSpark — фреймворк спекулятивного декодирования, ускоряющий генерацию текста на 60–85% при реальных серверных нагрузках и повышающий пропускную способность до 661% при строгих ограничениях по задержке.

Современные LLM страдают от латентности из-за авторегрессивной генерации. DSpark решает эту проблему двойным механизмом оптимизации: полуавторегрессионная архитектура с улучшенной параллельной магистралью и легковесными последовательными модулями, а также confidence-scheduled верификация с аппаратно-ориентированным планировщиком префиксов. Всего два слоя Transformer в DSpark превосходят пятислойные параллельные архитектуры.

Тесты на задачах математического рассуждения, генерации кода и диалогов с моделями Qwen3 и Gemma4 показали: DSpark обеспечивает на 30.9% более длительную эффективную генерацию, чем Eagle3, и на 16.3% больше, чем DFlash, решая проблему снижения acceptance rate для длинных последовательностей. Фреймворк уже развернут в DeepSeek-V4-Flash и DeepSeek-V4-Pro: при 80 токен/с на пользователя пропускная способность V4-Flash выросла на 51%, а при 120 токен/с — на 661%.

#AI #LLM #DeepSeek #OpenSource #Inference #PekingUniversity

▶ Together AI запускает Provisioned Throughput — предсказуемый инференс с гарантированной пропускной способностью

Together AI объявила о запуске Provisioned Throughput — нового продукта для инференса LLM, который предоставляет выделенные токеновые квоты с фиксированной пропускной способностью и соглашениями об уровне обслуживания (SLA). Решение ориентировано на production-нагрузки, где критичны стабильность задержек и отсутствие конкуренции за ресурсы.

В отличие от стандартного serverless-инференса, Provisioned Throughput резервирует вычислительные мощности под конкретную модель, обеспечивая предсказуемое время ответа даже при пиковых нагрузках. Пользователи приобретают гарантированный объём токенов в минуту (TPS), что позволяет точно планировать затраты и избегать throttling. Продукт поддерживает все популярные open-source модели, доступные на платформе Together AI, включая DeepSeek V4 Pro, Gemma 4, MiniMax M3 и kimi K2.7 Code.

Для разработчиков AI-агентов и coding-инструментов это означает возможность разворачивать критически важные инференс-пайплайны без риска деградации производительности из-за соседних задач. Provisioned Throughput особенно актуален для команд, работающих с Claude Code, Codex и Cursor, где стабильная задержка напрямую влияет на UX агента.

#Tech #Inference #TogetherAI #Agent #LLM #AI #SLA

⚙️ Инференс как инженерия: Baseten о том, как ускорить LLM в 10 раз

В новом выпуске Latent.Space инженеры Baseten Филип Кили и Али Таха рассказывают, что происходит после релиза открытой модели и как превратить «мы сгенерировали токен» в быстрый и дешёвый продакшен-API. Baseten недавно закрыла раунд на $13 млрд и вошла в когорту AI-инфраструктурных декакорнов — главных бенефициаров «инференс-перелома».

Три года назад дисциплины «инференс-инженерия» почти не существовало. Теперь это отдельная область с собственными исследовательскими задачами: cache-aware routing, раздельные prefill и decode, квантование, speculative decoding, перемещение KV-cache, параллелизм моделей и GPU-ядра. В эксперименте с GLM-5.2 квантование большей части модели сохранило качество бенчмарков и подняло throughput на 20% — ошибки разных слоёв скомпенсировали друг друга.

Гости объясняют, почему одинаковые веса ведут себя по-разному на разных кластерах, как Baseten привила Kimi vision-энкодер к GLM-5.2 без изменения языковой модели, и как оптимизации дают выигрыш в 20–200%. Дальше разговор выходит за пределы LLM: NVIDIA Dynamo, мегаядра, чипы Rubin, локальный инференс, генерация видео и схождение тренировки и инференса через постоянный KV-cache.

#AI #Inference #Baseten #LLM #GPU

❓ Почему локальная LLM «тупит» сильнее, чем должна

Разбор на Level1Techs объясняет, почему одна и та же модель у вас дома ощущается заметно глупее, чем в бенчмарках лаборатории. Дело не в «плохой» модели, а в расхождениях реализации инференса: у каждого своё железо, свои GPU разных поколений, свой набор библиотек и свой путь исполнения кода.

Автор призывает не оценивать модель тремя zero-shot промптами при температуре 0. Для агентных задач нужны длинноконтекстные тесты с вызовом инструментов и предметные бенчмарки. Отдельно отмечает типичную ошибку: слишком низкая температура ломает выход Qwen — модель зацикливается в THINK-режиме.

Ключевое понятие — KL-дивергенция: мера того, насколько распределение вероятностей следующих токенов ушло от эталонного. Маленький KLD не значит «умнее», а цифры на карточках HF-квантов стоит игнорировать без полного описания методики: контрольные чекпоинты, окружение, контекст, направление расчёта.

Отдельно — про vLLM: в ночном контейнере 734 пакета, каждый со своими багами. Итог: ваш локальный стек — это уникальная комбинация кода, поэтому абсолютная воспроизводимость токенов почти недостижима, а лёгкое ощущение «что-то не так» — норма.

#AI #LLM #Inference #KLD #Models

🤩 Чип Jalapeño от OpenAI показал рекордную производительность инференса в первых бенчмарках

На конференции Hot Chips OpenAI впервые раскрыла детали и результаты тестов своего специализированного чипа Jalapeño. В бенчмарке InferenceX от Semianalysis чип показал больше токенов на пользователя и выше пропускную способность на киловатт, чем текущие топовые процессоры для инференса.

Как отметил глава hardware-направления OpenAI Ричард Хо, сравнение проводилось с системой на базе Nvidia Blackwell — и Jalapeño обеспечивает значительно более высокую эффективность на единицу мощности при меньшей задержке. Первые поставки ожидаются в конце 2026 года в очень малых объёмах, а полноценное развёртывание — в 2027-м.

Jalapeño разработан совместно с Broadcom, причём модели OpenAI помогали в проектировании. Платформа рассчитана на несколько поколений: чипы, модели и память будут развиваться согласованно. Архитектура минимизирует задержки на этапах prefill и коммуникации, а состояние модели, включая KV cache, размещается локально — это снижает перемещение данных и ускоряет генерацию ответа.

#Tech #OpenAI #Jalapeño #CPU #Inference #HotChips

💻 Nvidia заявила о четырёхкратном превосходстве Groq 3 LPX над Cerebras — но цифры не так просты

Nvidia переводит инференс-чип Groq 3 LPX в полное производство и сообщает о производительности 3400 токенов в секунду на модели Gemma 4 31B — вчетверо быстрее, чем у Cerebras. Однако сравнительная таблица не раскрывает всей картины.

Как отмечает The Register, для такого результата Nvidia требуется не менее 64 ускорителей, тогда как Cerebras обходится одним или двумя. Вопрос о том, насколько хорошо архитектура Nvidia масштабируется на крупные MoE-модели, остаётся открытым. Для разработчиков это означает, что пиковые показатели в бенчмарках не всегда отражают реальную эффективность и стоимость инференса.

#AI #Nvidia #Groq #Cerebras #Inference