⚙️Peking University и DeepSeek открыли исходный код DSpark — скачок в эффективности инференса LLM

Peking University и DeepSeek совместно выпустили и открыли DSpark — фреймворк спекулятивного декодирования, ускоряющий генерацию текста на 60–85% при реальных серверных нагрузках и повышающий пропускную способность до 661% при строгих ограничениях по задержке.

Современные LLM страдают от латентности из-за авторегрессивной генерации. DSpark решает эту проблему двойным механизмом оптимизации: полуавторегрессионная архитектура с улучшенной параллельной магистралью и легковесными последовательными модулями, а также confidence-scheduled верификация с аппаратно-ориентированным планировщиком префиксов. Всего два слоя Transformer в DSpark превосходят пятислойные параллельные архитектуры.

Тесты на задачах математического рассуждения, генерации кода и диалогов с моделями Qwen3 и Gemma4 показали: DSpark обеспечивает на 30.9% более длительную эффективную генерацию, чем Eagle3, и на 16.3% больше, чем DFlash, решая проблему снижения acceptance rate для длинных последовательностей. Фреймворк уже развернут в DeepSeek-V4-Flash и DeepSeek-V4-Pro: при 80 токен/с на пользователя пропускная способность V4-Flash выросла на 51%, а при 120 токен/с — на 661%.

#AI #LLM #DeepSeek #OpenSource #Inference #PekingUniversity

▶ Together AI запускает Provisioned Throughput — предсказуемый инференс с гарантированной пропускной способностью

Together AI объявила о запуске Provisioned Throughput — нового продукта для инференса LLM, который предоставляет выделенные токеновые квоты с фиксированной пропускной способностью и соглашениями об уровне обслуживания (SLA). Решение ориентировано на production-нагрузки, где критичны стабильность задержек и отсутствие конкуренции за ресурсы.

В отличие от стандартного serverless-инференса, Provisioned Throughput резервирует вычислительные мощности под конкретную модель, обеспечивая предсказуемое время ответа даже при пиковых нагрузках. Пользователи приобретают гарантированный объём токенов в минуту (TPS), что позволяет точно планировать затраты и избегать throttling. Продукт поддерживает все популярные open-source модели, доступные на платформе Together AI, включая DeepSeek V4 Pro, Gemma 4, MiniMax M3 и kimi K2.7 Code.

Для разработчиков AI-агентов и coding-инструментов это означает возможность разворачивать критически важные инференс-пайплайны без риска деградации производительности из-за соседних задач. Provisioned Throughput особенно актуален для команд, работающих с Claude Code, Codex и Cursor, где стабильная задержка напрямую влияет на UX агента.

#Tech #Inference #TogetherAI #Agent #LLM #AI #SLA

⚙️ Инференс как инженерия: Baseten о том, как ускорить LLM в 10 раз

В новом выпуске Latent.Space инженеры Baseten Филип Кили и Али Таха рассказывают, что происходит после релиза открытой модели и как превратить «мы сгенерировали токен» в быстрый и дешёвый продакшен-API. Baseten недавно закрыла раунд на $13 млрд и вошла в когорту AI-инфраструктурных декакорнов — главных бенефициаров «инференс-перелома».

Три года назад дисциплины «инференс-инженерия» почти не существовало. Теперь это отдельная область с собственными исследовательскими задачами: cache-aware routing, раздельные prefill и decode, квантование, speculative decoding, перемещение KV-cache, параллелизм моделей и GPU-ядра. В эксперименте с GLM-5.2 квантование большей части модели сохранило качество бенчмарков и подняло throughput на 20% — ошибки разных слоёв скомпенсировали друг друга.

Гости объясняют, почему одинаковые веса ведут себя по-разному на разных кластерах, как Baseten привила Kimi vision-энкодер к GLM-5.2 без изменения языковой модели, и как оптимизации дают выигрыш в 20–200%. Дальше разговор выходит за пределы LLM: NVIDIA Dynamo, мегаядра, чипы Rubin, локальный инференс, генерация видео и схождение тренировки и инференса через постоянный KV-cache.

#AI #Inference #Baseten #LLM #GPU

❓ Почему локальная LLM «тупит» сильнее, чем должна

Разбор на Level1Techs объясняет, почему одна и та же модель у вас дома ощущается заметно глупее, чем в бенчмарках лаборатории. Дело не в «плохой» модели, а в расхождениях реализации инференса: у каждого своё железо, свои GPU разных поколений, свой набор библиотек и свой путь исполнения кода.

Автор призывает не оценивать модель тремя zero-shot промптами при температуре 0. Для агентных задач нужны длинноконтекстные тесты с вызовом инструментов и предметные бенчмарки. Отдельно отмечает типичную ошибку: слишком низкая температура ломает выход Qwen — модель зацикливается в THINK-режиме.

Ключевое понятие — KL-дивергенция: мера того, насколько распределение вероятностей следующих токенов ушло от эталонного. Маленький KLD не значит «умнее», а цифры на карточках HF-квантов стоит игнорировать без полного описания методики: контрольные чекпоинты, окружение, контекст, направление расчёта.

Отдельно — про vLLM: в ночном контейнере 734 пакета, каждый со своими багами. Итог: ваш локальный стек — это уникальная комбинация кода, поэтому абсолютная воспроизводимость токенов почти недостижима, а лёгкое ощущение «что-то не так» — норма.

#AI #LLM #Inference #KLD #Models

🤩 Чип Jalapeño от OpenAI показал рекордную производительность инференса в первых бенчмарках

На конференции Hot Chips OpenAI впервые раскрыла детали и результаты тестов своего специализированного чипа Jalapeño. В бенчмарке InferenceX от Semianalysis чип показал больше токенов на пользователя и выше пропускную способность на киловатт, чем текущие топовые процессоры для инференса.

Как отметил глава hardware-направления OpenAI Ричард Хо, сравнение проводилось с системой на базе Nvidia Blackwell — и Jalapeño обеспечивает значительно более высокую эффективность на единицу мощности при меньшей задержке. Первые поставки ожидаются в конце 2026 года в очень малых объёмах, а полноценное развёртывание — в 2027-м.

Jalapeño разработан совместно с Broadcom, причём модели OpenAI помогали в проектировании. Платформа рассчитана на несколько поколений: чипы, модели и память будут развиваться согласованно. Архитектура минимизирует задержки на этапах prefill и коммуникации, а состояние модели, включая KV cache, размещается локально — это снижает перемещение данных и ускоряет генерацию ответа.

#Tech #OpenAI #Jalapeño #CPU #Inference #HotChips

💻 Nvidia заявила о четырёхкратном превосходстве Groq 3 LPX над Cerebras — но цифры не так просты

Nvidia переводит инференс-чип Groq 3 LPX в полное производство и сообщает о производительности 3400 токенов в секунду на модели Gemma 4 31B — вчетверо быстрее, чем у Cerebras. Однако сравнительная таблица не раскрывает всей картины.

Как отмечает The Register, для такого результата Nvidia требуется не менее 64 ускорителей, тогда как Cerebras обходится одним или двумя. Вопрос о том, насколько хорошо архитектура Nvidia масштабируется на крупные MoE-модели, остаётся открытым. Для разработчиков это означает, что пиковые показатели в бенчмарках не всегда отражают реальную эффективность и стоимость инференса.

#AI #Nvidia #Groq #Cerebras #Inference

🪙 Суточное потребление токенов ИИ в Китае превысило 500 триллионов

К июню 2026 года ежедневный объём вызовов токенов в китайских ИИ-моделях превысил 500 триллионов. Как отмечают отраслевые источники, это показатель суммарной активности обработки данных, а не числа пользователей или моделей.

Циклы обновления больших языковых моделей сократились с примерно трёх месяцев до четырёх-шести недель. Дополнительную нагрузку на инференс создают агентные сценарии: они многократно запрашивают информацию, читают контекст, вызывают инструменты и обрабатывают обратную связь. В Tencent сообщили, что модель Hunyuan 3 в первую неделю зафиксировала в 68 раз больше вызовов токенов, чем Hunyuan 2.

Рост токен-потребления напрямую увеличивает спрос на вычислительные мощности для инференса — это ключевой сигнал для производителей чипов и операторов дата-центров, ориентированных на китайский рынок ИИ.

#AI #China #Tokens #Inference #Daily

🏙 AI-агенты требуют всё больше энергии

Wired разбирает растущий аппетит автономных ИИ-агентов к вычислительным ресурсам: цепочки самостоятельных вызовов моделей потребляют кратно больше энергии, чем одиночный запрос к чат-боту.

В отличие от классического инференса «вопрос — ответ», агент работает итеративно: планирует, вызывает инструменты, проверяет результат и повторяет цикл. Каждый шаг — это новый прогон модели, а иногда и нескольких. В результате нагрузка на дата-центры растёт не линейно, а вместе с длиной цепочки задач.

Для разработчиков это означает два практических следствия. Первое — стоимость и энергопотребление агентных пайплайнов становится таким же инженерным ограничением, как задержка и качество ответа. Второе — растёт спрос на оптимизации: кэширование промежуточных шагов, маршрутизация простых подзадач на компактные модели, ограничение числа итераций и более дешёвые локальные модели для рутинных действий.

Крупные операторы уже пересматривают планы по электроснабжению и охлаждению под агентные нагрузки, а часть компаний начинает считать углеродный след на одну задачу, а не на один запрос. Пока индустрия не пришла к единым метрикам эффективности агентов — вопрос остаётся открытым.

#AI #Agents #Energetics #DataCenters #Inference

⚙️ Zhipu открыла GLM-5.3-FlashX: ~200 токенов/с на ~100 тыс. китайских ускорителей

Zhipu AI запустила GLM-5.3-FlashX - высокоскоростной вариант модели Flash, доступный через API и в центре тестирования. Заявленная пиковая скорость генерации - около 200 токенов в секунду. Ускорение обеспечено вычислительными мощностями примерно 100 тыс. китайских AI-ускорителей и оптимизацией serving-стека.

Базовая модель GLM-5.3-Flash была открыта 26 августа: 320 млрд параметров, MoE-архитектура с ~18 млрд активных параметров и контекстом в 1 млн токенов. Ранее она появлялась анонимно как Ox Alpha на публичных платформах маршрутизации. Инженеры Z.ai построили production-стек с нуля под кластер национальных чипов, столкнувшись с ограниченной памятью и пропускной способностью на кристалл, неполными ядрами (kernels) и мультимодальным длинноконтекстным трафиком.

Значительную часть адаптации выполнил Infra Agent на базе GLM-5.3: инженеры ставили задачи и проверяли критичные изменения, а агент предлагал диагностику, патчи ядер и правки стека по результатам тестов корректности и метрик. Итог - примерно 3× рост сквозной пропускной способности относительно базовой конфигурации и эффективность на токен, близкая к экономике обслуживания на GPU NVIDIA. FlashX позиционируется как публичный скоростной SKU поверх открытой MoE-модели.

#AI #Zhipu #GLM #MoE #Tech #Inference #OpenModel

🔄 Together AI запустила canary-роллауты для обновления моделей без простоя

Together AI добавила в платформу dedicated inference механизм роллаутов: живой трафик переносится с текущей модели на новый чекпоинт поэтапно, с health-проверками и автоматическим откатом.

Доступны три стратегии. Canary - шаги по долям трафика (по умолчанию 5% → 25% → 50% → 100%), blue-green - один переход 0% → 100%, rolling - последовательная замена реплик с сохранением ёмкости. Внутри каждого шага canary сначала масштабируется target, затем срабатывает health-гейт, идёт ожидание сходимости маршрутизации, дренаж source и только потом проверка метрик. Если гейт не проходит, роллаут переходит в SYSTEM_PAUSED и ждёт решения человека - отмена всегда за оператором.

В демо Qwen2.5-7B → Qwen3.5-9B гейт поймал рост p95-латентности на 137% уже при 10% трафика: роллаут отменили и запустили в обратную сторону - при живых запросах ни один не упал. Управление доступно через CLI (tg в пакете together 2.34.0+), REST API и Python SDK.

#AI #Models #TogetherAI #MLOps #Inference #Deploy #LLM

👁️ Huawei представила OceanStor M900: общий KV-кэш петабайтного масштаба для инференса

На конференции HUAWEI CONNECT 2026 в Шанхае Huawei анонсировала OceanStor M900 Context Memory Storage - систему хранения, созданную специально под инференс-кластеры SuperPoD, а не под очередное ускорение вычислений. Речь о многоуровневом пуле KV-кэша на базе UnifiedBus: память расширяется с SRAM и DRAM на SSD, и один кластер может вмещать до 64 ПБ. Это поднимает доступный KV-кэш на каждый NPU с гигабайтных объёмов до терабайтных и повышает долю попаданий в кэш при работе с длинным контекстом - свыше миллиона токенов и многоходовых агентных сценариев.

Ключевое в архитектуре - интеграция CPU, сетевого и NAND-контроллеров: NPU обращается к SSD за один переход, без конвертации протоколов и проброса через CPU. Заявленная задержка падает с миллисекунд до ~60 мкс (сокращение на 90%), суммарная пропускная способность кластера - около 40 ТБ/с, что в 1,5 раза выше «решений конкурентов». В типовых сценариях AI-программирования Huawei обещает удвоение пропускной способности кластера по токенам и двукратное снижение времени до первого токена (TTFT); цифры пока вендорские.

Отдельно заявлена экономика: адаптивное размещение данных по уровням носителей предсказывает жизненный цикл кэша, выдерживает до 24 перезаписей диска в сутки и даёт 16-кратный прирост ресурса SSD. OceanStor M900 - это продуктовый ответ Huawei на вычислительно-сетевом и сторедж-направлении для общего контекстного кэша, а не анонс чипа.

#Tech #Huawei #OceanStor #AI #Inference #KVcache #Infrastructure

🪙 Quail от Modal: миллиард токенов в минуту на одной H100 для AI-SQL

Modal Labs вместе с Full Stack Data Lab из Carnegie Mellon представили Quail - слой инференса, учитывающий структуру запроса, для AI-SQL-нагрузок. Это не NL2SQL, а расширение SQL: операторы AI_FILTER и AI_JOIN прогоняют данные через LLM и возвращают таблицы. Такие запросы порождают миллионы коротких последовательностей, которым часто не нужен frontier-уровень интеллекта.

В Quail планировщик запросов управляет инференс-движком. Поскольку структура запроса известна заранее, KV-кэш можно упорядочивать, упреждающе читать и безопасно вытеснять. Для бинарной классификации AI.IF достаточно одного токена, что позволяет почти отказаться от decode-фазы. На multi-join запросе Quail выдал более 1 млрд токенов в минуту на одной H100 - более чем 10x к baseline vLLM; на новом бенчмарке AI-SQL средний прирост составил 1.84x. На Modal стоимость - менее 6 центов за миллиард токенов.

Код открыт на GitHub: fsdatalab/quail. Решение полезно командам, которые выполняют AI-SQL в BI и аналитических базах - например, Snowflake Cortex, Databricks AI Functions и BigQuery AI functions.

#AI #Tech #SQL #Inference #Modal #OpenSource

💵Modal Labs привлекает $750 млн при оценке $15,75 млрд

Провайдер инференса Modal Labs близок к закрытию раунда на $750 млн во главе с Accel. Оценка с учётом инвестиции - $15,75 млрд, что более чем втрое превышает $4,65 млрд, достигнутые всего четыре месяца назад при прошлом раунде на $355 млн. Официальных комментариев компания не даёт.

Modal (Нью-Йорк, около 150 сотрудников, основана в 2021 году Эриком Бернхардссоном и Акшатом Бубной) позволяет разработчикам обучать модели и запускать ресурсоёмкие вычисления без управления собственными серверами. Среди клиентов - Cognition, Suno, Ramp и Substack. В мае компания сообщала о годовой выручке свыше $300 млн.

Раунд отражает резкий рост спроса на инференс - запуск уже обученных моделей, особенно открытых. По данным Bloomberg и The Information, Baseten обсуждает раунд при оценке $26 млрд, а Fireworks и Fal также ведут переговоры о новых инвестициях. Маржинальность у сектора остаётся низкой из-за дорогого доступа к вычислениям. Отдельный контекст: в июле Modal фигурировала в инциденте с утечкой данных клиента - по словам CTO, причиной стал незащищённый эндпоинт в коде самого заказчика, а не платформа.

🎨 qvabo.studio/tg · картинки и видео

#Business #ModalLabs #Inference #Infrastructure #Startups #Accel

🖥 Microsoft представила кастомный чип Maia 300 для Azure

Microsoft анонсировала Maia 300 - третье поколение собственного ускорителя для ИИ-нагрузок в облаке Azure. Компания заявляет о планах расширить систему Azure Maia до многогигаваттных развёртываний, то есть речь идёт уже не о тестовых стойках, а о промышленном масштабе.

Ключевая ставка - на эффективный инференс и совместный дизайн чипа и модели (chip-model co-design). По словам вице-президента Azure по аппаратным системам Сораба Дигхе, основные улучшения сосредоточены на уровне инфраструктурного стека - от кремния до сервера и стойки. Мустафа Сулейман, глава Microsoft AI, отдельно подчёркивает связку Maia с разработкой моделей для frontier-направления.

Практический эффект для пользователей: Maia 300 будет питать ИИ-функции в Microsoft 365 - от Copilot до генеративных сценариев внутри офисных приложений. Это продолжение стратегии Microsoft снижать зависимость от внешних поставщиков ускорителей и удерживать стоимость инференса под контролем на собственном железе.

🎨 qvabo.studio/tg · картинки и видео

#Tech #CPU #Microsoft #Azure #Maia300 #AI #Inference

🍏 Selection-Based Structured Reasoning: как Apple ускоряет мультимодальные поисковые агенты

Исследователи Apple ML представили SSR (Selection-based Structured Reasoning) - подход, который заменяет свободную генерацию рассуждений у мультимодальных агентов на выбор из заранее заданных кандидатов.

Проблема: небольшие модели (2B и 4B) тратят ёмкость на длинные цепочки рассуждений, которые мало помогают генерации действий, но сильно увеличивают стоимость инференса. SSR представляет повторяющиеся высокоуровневые рассуждения как предопределённые переиспользуемые natural-language кандидаты. На каждом шаге модель выбирает подходящий вариант по его вероятности с учётом текущего контекста - без вспомогательной task head.

Ключевая техническая деталь: предзаданные reasoning traces допускают параллельное скорингование. Teacher-forced prefilling вычисляет токенные вероятности одновременно внутри кандидатов и между ними через общий KV-кэш контекста.

Оценка на семи мультимодальных поисковых бенчмарках (модели 2B и 4B, RL и SFT) показала: средний success rate сопоставим с ведущими поисковыми агентами того же масштаба, при этом задержка рассуждений на шаг падает более чем на 90%, а общая задержка инференса на вопрос - на 28-54%.

🎨 qvabo.studio/tg · картинки и видео

#AI #Research #MultiModal #Agents #Apple #Inference #ML

🖥 SenseCore раскрыла архитектуру Prefill/Decode-кластеров для агентного инференса

На саммите CSDI в Шэньчжэне вице-президент и CTO SenseTime SenseCore Сюань Шаньмин рассказал, как компания перестраивает инференс-инфраструктуру под эпоху агентов: мультиагентные сценарии и длительные автономные задачи резко увеличивают спрос на токены по сравнению с обычными чат-ботами.

Ключевая идея - разделение стадий Prefill и Decode (PD) внутри гетерогенных кластеров масштаба 10 000 GPU в Lingang AIDC. Prefill, требующий вычислений, отдаётся отечественным ускорителям, а Decode, которому нужна высокая пропускная способность памяти, - мощным GPU; стадии обмениваются состоянием через KV Cache по смешанной фабрике 800G/400G/200G. Риск такой схемы - до 30-50 Prefill-нод могут кормить одну Decode-ноду, поэтому SenseCore держит резерв-карт для быстрого failover и динамически меняет роли нод под нагрузкой.

В тесте с тем же числом флагманских GPU, что и в базовой конфигурации, гетерогенное PD-планирование дало примерно пятикратный рост общего throughput токенов. Платформа уже обслуживает около 6 трлн токенов в день, цель - 10 трлн к IV кварталу 2026 года.

🎨 qvabo.studio/tg · картинки и видео

#Tech #SenseTime #SenseCore #Inference #Infrastructure #AI #GPU