💻 NVIDIA Nemotron 3 Ultra: открытая MoE-модель 550B с 1M контекстом и 400+ токен/с

NVIDIA выпустила Nemotron 3 Ultra — полностью открытую модель архитектуры MoE с 550B параметров (55B активных), 1M контекстным окном и фокусом на длительных агентных задачах. Модель до 5x быстрее и на 30% дешевле для агентных сценариев. Веса, синтетические данные, чекпоинты и рецепты обучения опубликованы под лицензией OpenMDW 1.1.

Архитектура сочетает гибрид Mamba/attention, LatentMoE и native MTP. Предобучение выполнено в NVFP4 на 20T токенах — это новый масштаб низкоточной тренировки. На бенчмарках модель показала 47.7 баллов в Intelligence Index (NVFP4) и 48.2 в BF16, став сильнейшей открытой моделью США, хотя уступает Kimi K2.6. Пропускная способность через BlackBox — 400+ выходных токен/с.

Nemotron 3 Ultra доступен day zero на vLLM, Modal, Together, Fireworks, Ollama cloud, Baseten, CoreWeave/W&B, Cline, Prime Intellect и Nous Portal.

Попутно NVIDIA выпустила Nemotron 3.5 ASR — открытую streaming-модель распознавания речи на 0.6B параметров с поддержкой 40 языко-локалевых комбинаций и latency менее 100 мс. Оптимизирована для голосовых агентов на базе cache-aware FastConformer/RNN-T.

#AI #NVIDIA #Nemotron #MoE #OpenSource #Tech

💻 Ускорение тонкой настройки MoE-моделей с NVIDIA NeMo AutoModel

Библиотека NVIDIA NeMo AutoModel, построенная поверх Transformers v5, обеспечивает ускорение обучения в 3,4–3,7 раза и снижение потребления GPU-памяти на 29–32% при тонкой настройке Mixture-of-Experts (MoE) моделей. Всё это — без изменения кода: достаточно заменить одну строку импорта.

NeMo AutoModel наследует AutoModelForCausalLM от HuggingFace и добавляет Expert Parallelism, DeepEP fused all-to-all dispatch и ядра TransformerEngine. DeepEP решает ключевую проблему v5 — перекрытие коммуникации с вычислениями экспертов. Библиотека использует обратимую конвертацию весов v5, поэтому save_pretrained() сохраняет стандартные HF-чекпоинты, совместимые с vLLM и SGLang.

Для популярных архитектур (Qwen3, Nemotron, DeepSeek V3) NeMo AutoModel включает hand-tuned реализации с TransformerEngine attention и fused-линейными слоями. Для остальных моделей применяются оптимизации Liger kernel. Результат — масштабирование от одного GPU до 16 узлов без переписывания кода.

#AI #Library #NVIDIA #NeMo #Transformers #MoE #HuggingFace

⚙️ Alibaba представила Qwen3.8-Flash-Next — MoE-модель с «предельной экономией»

Команда Qwen анонсировала Qwen3.8-Flash-Next: мультимодальная модель на архитектуре mixture-of-experts, которая позиционируется как предвестник Qwen4. При 125 млрд параметров суммарно она активирует лишь 6 млрд на токен — и при этом обходит более крупных конкурентов по ключевым бенчмаркам.

Главная архитектурная инновация — N-gram embedding слой на 51 млрд параметров, который хранит «фразовый словарь» в обычной оперативной памяти, а не на GPU. Это позволяет добавлять большие объёмы знаний при относительно низкой стоимости инференса. Модель поддерживает контекст 262 144 токенов нативно и до 1 млн через YaRN. Веса открыты на Hugging Face и ModelScope, технический отчёт опубликован на GitHub.

По заявлению команды, Flash-Next обучали примерно в девять раз дешевле, чем Qwen3.7-Plus (397B/17B активных), при этом результаты выше — особенно в кодинге и офисных задачах. На SWE-bench Pro модель набрала 62.5, обойдя DeepSeek-V4-Flash и Claude Opus 4.6, а на CoWorkBench — 73.9 против 45.1 у DeepSeek. Продакшен-версия Qwen3.8-Flash доступна через QwenCloud по цене $0.16 за миллион входных и $0.47 за миллион выходных токенов — примерно в 12 раз дешевле флагмана Qwen3.8-Max.

#AI #Qwen #Alibaba #OpenWeights #ML #MoE

⚙️ Ant Group открыла мультимодальную модель Ling-3.0-flash-VL с циклом визуальной обратной связи

Ant Group совместно с проектом inclusionAI выложили в open source Ling-3.0-flash-VL — мультимодальную модель на архитектуре MoE объёмом 124 млрд параметров, из которых активны лишь 5,5 млрд. Веса в форматах BF16 и FP8 опубликованы 9 сентября.

Ключевая особенность — цикл визуальной обратной связи (vision feedback loop): модель не просто описывает изображение, а итеративно проверяет результат собственного действия по скриншоту. Это делает её пригодной для агентных сценариев — управления графическим интерфейсом (GUI-агенты), генерации и правки фронтенд-кода по макетам, а также задач в медицине, где важна верификация визуальных данных.

Экономичная схема MoE с 5,5 млрд активных параметров означает, что модель можно разворачивать дешевле сопоставимых плотных решений при близком качестве. Для разработчиков это готовый кандидат в пайплайны компьютерного зрения и автономных агентов: открытые веса позволяют дообучать модель под свой домен без обращения к закрытому API.

#AI #OpenSource #Models #MultiModal #MoE #Development

⚙️ Шанхайская AI-лаборатория выпустила Atria Dawn Preview - агентную MoE-модель на 744B параметров

Shanghai Artificial Intelligence Laboratory открыла исходный код Atria Dawn Preview под лицензией MIT. Это агентная языковая модель на базе 744-миллиардной mixture-of-experts архитектуры GLM-5.2 с контекстом 256K и FP8-квантованными весами. Модель ориентирована на длительные исследовательские и инженерные задачи, а не на чат-демо.

Стек обучен через Verifiable Experience Pipeline: рассуждения с вызовом инструментов привязаны к исполняемым средам и внешне проверяемым результатам. Заявлен полный цикл - анализ задачи, проектирование решения, вызов инструментов, запуск кода и экспериментов, проверка результатов и восстановление после сбоев. В отчёте по 16 бенчмаркам модель лидирует в пяти, включая AutomationBench (53.8), BrowseComp (92.5), DeepSearchQA (96.0), BFCL v4 (77.0) и CyberGym (86.5).

Веса доступны на Hugging Face и ModelScope в вариантах instruct и FP8-instruct, есть API для международного и китайского регионов. Разработчики могут запускать локально через SGLang и vLLM, а Codex-совместимые клиенты - подключаться к Responses API в текстовом режиме. Лаборатория подчёркивает, что это preview: надёжность агентов за пределами опубликованных тестов требует проверки на собственных харнессах.

#AI #MoE #OpenSource #Agents #LLM

⚙️ Zhipu открыла GLM-5.3-FlashX: ~200 токенов/с на ~100 тыс. китайских ускорителей

Zhipu AI запустила GLM-5.3-FlashX - высокоскоростной вариант модели Flash, доступный через API и в центре тестирования. Заявленная пиковая скорость генерации - около 200 токенов в секунду. Ускорение обеспечено вычислительными мощностями примерно 100 тыс. китайских AI-ускорителей и оптимизацией serving-стека.

Базовая модель GLM-5.3-Flash была открыта 26 августа: 320 млрд параметров, MoE-архитектура с ~18 млрд активных параметров и контекстом в 1 млн токенов. Ранее она появлялась анонимно как Ox Alpha на публичных платформах маршрутизации. Инженеры Z.ai построили production-стек с нуля под кластер национальных чипов, столкнувшись с ограниченной памятью и пропускной способностью на кристалл, неполными ядрами (kernels) и мультимодальным длинноконтекстным трафиком.

Значительную часть адаптации выполнил Infra Agent на базе GLM-5.3: инженеры ставили задачи и проверяли критичные изменения, а агент предлагал диагностику, патчи ядер и правки стека по результатам тестов корректности и метрик. Итог - примерно 3× рост сквозной пропускной способности относительно базовой конфигурации и эффективность на токен, близкая к экономике обслуживания на GPU NVIDIA. FlashX позиционируется как публичный скоростной SKU поверх открытой MoE-модели.

#AI #Zhipu #GLM #MoE #Tech #Inference #OpenModel

⚙️ China Telecom открыла веса агентной MoE-модели Xing4.0-29B-A4B, обученной на Ascend

China Telecom AI выложила в открытый доступ Xing4.0-29B-A4B - Mixture-of-Experts модель на 29 млрд параметров (около 4 млрд активных на токен) с нативным контекстом 256K, расширяемым до 512K. Веса и конфиги опубликованы на Hugging Face и ModelScope под организацией XingChen-AGI. Компания называет релиз первой моделью такого масштаба, полностью обученной на NPU Ascend с фреймворком MindSpore.

Архитектура: 40 слоёв, MLA-внимание, 64 routed-эксперта (4 активных на токен) плюс один общий эксперт, стек mHC + MLA + MTP, заточенный под многошаговое планирование, вызов инструментов и длинный контекст. Co-оптимизация на кластерах Ascend 910C через MindSpore/MindFormers, включая fused mHC-операторы и настройку MoE-коммуникаций, по заявлению вендора дала прирост пропускной способности обучения примерно на 96% относительно базовых настроек.

Для инференса поддерживаются Transformers, vLLM, SGLang и KTransformers; дообучение - через LLaMA-Factory и MindFormers, с выравниванием форматов под агентные харнессы OpenCode, Claude Code, OpenClaw и Hermes. 4-битное квантование, по непроверенным сторонним данным, снижает потребление памяти до ~15 ГБ для локального длинноконтекстного запуска. Практическая ценность - скачиваемые веса с явной обученностью на MindSpore и открытыми хуками инференса, а не закрытый API.

#AI #OpenSource #China #MoE #Ascend #MindSpore

⚙️ Liquid AI выпустила LFM2.5-24B-A2B - reasoning-модель для локальных агентов

Liquid AI представила LFM2.5-24B-A2B: 24 млрд параметров при всего 2 млрд активных на токен (MoE с 64 экспертами и top-4 роутингом). Модель создана для быстрых и приватных агентов, работающих на собственном железе: она всегда выдаёт цепочку рассуждений перед ответом, вызывает инструменты и проходит многошаговые задачи внутри популярных агентных фреймворков.

Контекстное окно выросло с 32K до 131K токенов, словарь - с 65K до 128K (лучше для нелатинских языков). Предобучение расширено с ~17T до ~33T токенов, посттренировка включает пять этапов, включая agentic RL прямо внутри харнессов OpenClaw, Hermes Agent, Pi и OpenCode. На LiveClaw модель набирает 48.09 против 38.19 у Qwen3.6-35B-A3B, лидирует в AutomationBench, BFCLv4, ToolSandbox, τ³-Bench Banking и во всех трёх бенчмарках следования инструкциям. Слабее - на знаниевых и кодинг-задачах, где авторы советуют подключать retrieval или веб-поиск.

Инференс: 184 ток/с на Apple M5 Max и 114 ток/с на Ryzen AI Max+ 395, свыше 21K выходных токенов в секунду на одной NVIDIA B300. Поддержка из коробки - llama.cpp, MLX, vLLM, SGLang и ONNX. Веса открыты на Hugging Face, есть базовая версия и туториалы по файнтюнингу.

🎨 qvabo.studio/tg · картинки и видео

#AI #LiquidAI #Models #Agents #MoE #OpenSource #HuggingFace