🪙 Суточное потребление токенов ИИ в Китае превысило 500 триллионов

К июню 2026 года ежедневный объём вызовов токенов в китайских ИИ-моделях превысил 500 триллионов. Как отмечают отраслевые источники, это показатель суммарной активности обработки данных, а не числа пользователей или моделей.

Циклы обновления больших языковых моделей сократились с примерно трёх месяцев до четырёх-шести недель. Дополнительную нагрузку на инференс создают агентные сценарии: они многократно запрашивают информацию, читают контекст, вызывают инструменты и обрабатывают обратную связь. В Tencent сообщили, что модель Hunyuan 3 в первую неделю зафиксировала в 68 раз больше вызовов токенов, чем Hunyuan 2.

Рост токен-потребления напрямую увеличивает спрос на вычислительные мощности для инференса — это ключевой сигнал для производителей чипов и операторов дата-центров, ориентированных на китайский рынок ИИ.

#AI #China #Tokens #Inference #Daily

🏙 AI-агенты требуют всё больше энергии

Wired разбирает растущий аппетит автономных ИИ-агентов к вычислительным ресурсам: цепочки самостоятельных вызовов моделей потребляют кратно больше энергии, чем одиночный запрос к чат-боту.

В отличие от классического инференса «вопрос — ответ», агент работает итеративно: планирует, вызывает инструменты, проверяет результат и повторяет цикл. Каждый шаг — это новый прогон модели, а иногда и нескольких. В результате нагрузка на дата-центры растёт не линейно, а вместе с длиной цепочки задач.

Для разработчиков это означает два практических следствия. Первое — стоимость и энергопотребление агентных пайплайнов становится таким же инженерным ограничением, как задержка и качество ответа. Второе — растёт спрос на оптимизации: кэширование промежуточных шагов, маршрутизация простых подзадач на компактные модели, ограничение числа итераций и более дешёвые локальные модели для рутинных действий.

Крупные операторы уже пересматривают планы по электроснабжению и охлаждению под агентные нагрузки, а часть компаний начинает считать углеродный след на одну задачу, а не на один запрос. Пока индустрия не пришла к единым метрикам эффективности агентов — вопрос остаётся открытым.

#AI #Agents #Energetics #DataCenters #Inference

⚙️ Zhipu открыла GLM-5.3-FlashX: ~200 токенов/с на ~100 тыс. китайских ускорителей

Zhipu AI запустила GLM-5.3-FlashX - высокоскоростной вариант модели Flash, доступный через API и в центре тестирования. Заявленная пиковая скорость генерации - около 200 токенов в секунду. Ускорение обеспечено вычислительными мощностями примерно 100 тыс. китайских AI-ускорителей и оптимизацией serving-стека.

Базовая модель GLM-5.3-Flash была открыта 26 августа: 320 млрд параметров, MoE-архитектура с ~18 млрд активных параметров и контекстом в 1 млн токенов. Ранее она появлялась анонимно как Ox Alpha на публичных платформах маршрутизации. Инженеры Z.ai построили production-стек с нуля под кластер национальных чипов, столкнувшись с ограниченной памятью и пропускной способностью на кристалл, неполными ядрами (kernels) и мультимодальным длинноконтекстным трафиком.

Значительную часть адаптации выполнил Infra Agent на базе GLM-5.3: инженеры ставили задачи и проверяли критичные изменения, а агент предлагал диагностику, патчи ядер и правки стека по результатам тестов корректности и метрик. Итог - примерно 3× рост сквозной пропускной способности относительно базовой конфигурации и эффективность на токен, близкая к экономике обслуживания на GPU NVIDIA. FlashX позиционируется как публичный скоростной SKU поверх открытой MoE-модели.

#AI #Zhipu #GLM #MoE #Tech #Inference #OpenModel

🔄 Together AI запустила canary-роллауты для обновления моделей без простоя

Together AI добавила в платформу dedicated inference механизм роллаутов: живой трафик переносится с текущей модели на новый чекпоинт поэтапно, с health-проверками и автоматическим откатом.

Доступны три стратегии. Canary - шаги по долям трафика (по умолчанию 5% → 25% → 50% → 100%), blue-green - один переход 0% → 100%, rolling - последовательная замена реплик с сохранением ёмкости. Внутри каждого шага canary сначала масштабируется target, затем срабатывает health-гейт, идёт ожидание сходимости маршрутизации, дренаж source и только потом проверка метрик. Если гейт не проходит, роллаут переходит в SYSTEM_PAUSED и ждёт решения человека - отмена всегда за оператором.

В демо Qwen2.5-7B → Qwen3.5-9B гейт поймал рост p95-латентности на 137% уже при 10% трафика: роллаут отменили и запустили в обратную сторону - при живых запросах ни один не упал. Управление доступно через CLI (tg в пакете together 2.34.0+), REST API и Python SDK.

#AI #Models #TogetherAI #MLOps #Inference #Deploy #LLM

👁️ Huawei представила OceanStor M900: общий KV-кэш петабайтного масштаба для инференса

На конференции HUAWEI CONNECT 2026 в Шанхае Huawei анонсировала OceanStor M900 Context Memory Storage - систему хранения, созданную специально под инференс-кластеры SuperPoD, а не под очередное ускорение вычислений. Речь о многоуровневом пуле KV-кэша на базе UnifiedBus: память расширяется с SRAM и DRAM на SSD, и один кластер может вмещать до 64 ПБ. Это поднимает доступный KV-кэш на каждый NPU с гигабайтных объёмов до терабайтных и повышает долю попаданий в кэш при работе с длинным контекстом - свыше миллиона токенов и многоходовых агентных сценариев.

Ключевое в архитектуре - интеграция CPU, сетевого и NAND-контроллеров: NPU обращается к SSD за один переход, без конвертации протоколов и проброса через CPU. Заявленная задержка падает с миллисекунд до ~60 мкс (сокращение на 90%), суммарная пропускная способность кластера - около 40 ТБ/с, что в 1,5 раза выше «решений конкурентов». В типовых сценариях AI-программирования Huawei обещает удвоение пропускной способности кластера по токенам и двукратное снижение времени до первого токена (TTFT); цифры пока вендорские.

Отдельно заявлена экономика: адаптивное размещение данных по уровням носителей предсказывает жизненный цикл кэша, выдерживает до 24 перезаписей диска в сутки и даёт 16-кратный прирост ресурса SSD. OceanStor M900 - это продуктовый ответ Huawei на вычислительно-сетевом и сторедж-направлении для общего контекстного кэша, а не анонс чипа.

#Tech #Huawei #OceanStor #AI #Inference #KVcache #Infrastructure

🪙 Quail от Modal: миллиард токенов в минуту на одной H100 для AI-SQL

Modal Labs вместе с Full Stack Data Lab из Carnegie Mellon представили Quail - слой инференса, учитывающий структуру запроса, для AI-SQL-нагрузок. Это не NL2SQL, а расширение SQL: операторы AI_FILTER и AI_JOIN прогоняют данные через LLM и возвращают таблицы. Такие запросы порождают миллионы коротких последовательностей, которым часто не нужен frontier-уровень интеллекта.

В Quail планировщик запросов управляет инференс-движком. Поскольку структура запроса известна заранее, KV-кэш можно упорядочивать, упреждающе читать и безопасно вытеснять. Для бинарной классификации AI.IF достаточно одного токена, что позволяет почти отказаться от decode-фазы. На multi-join запросе Quail выдал более 1 млрд токенов в минуту на одной H100 - более чем 10x к baseline vLLM; на новом бенчмарке AI-SQL средний прирост составил 1.84x. На Modal стоимость - менее 6 центов за миллиард токенов.

Код открыт на GitHub: fsdatalab/quail. Решение полезно командам, которые выполняют AI-SQL в BI и аналитических базах - например, Snowflake Cortex, Databricks AI Functions и BigQuery AI functions.

#AI #Tech #SQL #Inference #Modal #OpenSource

💵Modal Labs привлекает $750 млн при оценке $15,75 млрд

Провайдер инференса Modal Labs близок к закрытию раунда на $750 млн во главе с Accel. Оценка с учётом инвестиции - $15,75 млрд, что более чем втрое превышает $4,65 млрд, достигнутые всего четыре месяца назад при прошлом раунде на $355 млн. Официальных комментариев компания не даёт.

Modal (Нью-Йорк, около 150 сотрудников, основана в 2021 году Эриком Бернхардссоном и Акшатом Бубной) позволяет разработчикам обучать модели и запускать ресурсоёмкие вычисления без управления собственными серверами. Среди клиентов - Cognition, Suno, Ramp и Substack. В мае компания сообщала о годовой выручке свыше $300 млн.

Раунд отражает резкий рост спроса на инференс - запуск уже обученных моделей, особенно открытых. По данным Bloomberg и The Information, Baseten обсуждает раунд при оценке $26 млрд, а Fireworks и Fal также ведут переговоры о новых инвестициях. Маржинальность у сектора остаётся низкой из-за дорогого доступа к вычислениям. Отдельный контекст: в июле Modal фигурировала в инциденте с утечкой данных клиента - по словам CTO, причиной стал незащищённый эндпоинт в коде самого заказчика, а не платформа.

🎨 qvabo.studio/tg · картинки и видео

#Business #ModalLabs #Inference #Infrastructure #Startups #Accel

🖥 Microsoft представила кастомный чип Maia 300 для Azure

Microsoft анонсировала Maia 300 - третье поколение собственного ускорителя для ИИ-нагрузок в облаке Azure. Компания заявляет о планах расширить систему Azure Maia до многогигаваттных развёртываний, то есть речь идёт уже не о тестовых стойках, а о промышленном масштабе.

Ключевая ставка - на эффективный инференс и совместный дизайн чипа и модели (chip-model co-design). По словам вице-президента Azure по аппаратным системам Сораба Дигхе, основные улучшения сосредоточены на уровне инфраструктурного стека - от кремния до сервера и стойки. Мустафа Сулейман, глава Microsoft AI, отдельно подчёркивает связку Maia с разработкой моделей для frontier-направления.

Практический эффект для пользователей: Maia 300 будет питать ИИ-функции в Microsoft 365 - от Copilot до генеративных сценариев внутри офисных приложений. Это продолжение стратегии Microsoft снижать зависимость от внешних поставщиков ускорителей и удерживать стоимость инференса под контролем на собственном железе.

🎨 qvabo.studio/tg · картинки и видео

#Tech #CPU #Microsoft #Azure #Maia300 #AI #Inference

🍏 Selection-Based Structured Reasoning: как Apple ускоряет мультимодальные поисковые агенты

Исследователи Apple ML представили SSR (Selection-based Structured Reasoning) - подход, который заменяет свободную генерацию рассуждений у мультимодальных агентов на выбор из заранее заданных кандидатов.

Проблема: небольшие модели (2B и 4B) тратят ёмкость на длинные цепочки рассуждений, которые мало помогают генерации действий, но сильно увеличивают стоимость инференса. SSR представляет повторяющиеся высокоуровневые рассуждения как предопределённые переиспользуемые natural-language кандидаты. На каждом шаге модель выбирает подходящий вариант по его вероятности с учётом текущего контекста - без вспомогательной task head.

Ключевая техническая деталь: предзаданные reasoning traces допускают параллельное скорингование. Teacher-forced prefilling вычисляет токенные вероятности одновременно внутри кандидатов и между ними через общий KV-кэш контекста.

Оценка на семи мультимодальных поисковых бенчмарках (модели 2B и 4B, RL и SFT) показала: средний success rate сопоставим с ведущими поисковыми агентами того же масштаба, при этом задержка рассуждений на шаг падает более чем на 90%, а общая задержка инференса на вопрос - на 28-54%.

🎨 qvabo.studio/tg · картинки и видео

#AI #Research #MultiModal #Agents #Apple #Inference #ML

🖥 SenseCore раскрыла архитектуру Prefill/Decode-кластеров для агентного инференса

На саммите CSDI в Шэньчжэне вице-президент и CTO SenseTime SenseCore Сюань Шаньмин рассказал, как компания перестраивает инференс-инфраструктуру под эпоху агентов: мультиагентные сценарии и длительные автономные задачи резко увеличивают спрос на токены по сравнению с обычными чат-ботами.

Ключевая идея - разделение стадий Prefill и Decode (PD) внутри гетерогенных кластеров масштаба 10 000 GPU в Lingang AIDC. Prefill, требующий вычислений, отдаётся отечественным ускорителям, а Decode, которому нужна высокая пропускная способность памяти, - мощным GPU; стадии обмениваются состоянием через KV Cache по смешанной фабрике 800G/400G/200G. Риск такой схемы - до 30-50 Prefill-нод могут кормить одну Decode-ноду, поэтому SenseCore держит резерв-карт для быстрого failover и динамически меняет роли нод под нагрузкой.

В тесте с тем же числом флагманских GPU, что и в базовой конфигурации, гетерогенное PD-планирование дало примерно пятикратный рост общего throughput токенов. Платформа уже обслуживает около 6 трлн токенов в день, цель - 10 трлн к IV кварталу 2026 года.

🎨 qvabo.studio/tg · картинки и видео

#Tech #SenseTime #SenseCore #Inference #Infrastructure #AI #GPU