⚙️ China Telecom открыла веса агентной MoE-модели Xing4.0-29B-A4B, обученной на Ascend

China Telecom AI выложила в открытый доступ Xing4.0-29B-A4B - Mixture-of-Experts модель на 29 млрд параметров (около 4 млрд активных на токен) с нативным контекстом 256K, расширяемым до 512K. Веса и конфиги опубликованы на Hugging Face и ModelScope под организацией XingChen-AGI. Компания называет релиз первой моделью такого масштаба, полностью обученной на NPU Ascend с фреймворком MindSpore.

Архитектура: 40 слоёв, MLA-внимание, 64 routed-эксперта (4 активных на токен) плюс один общий эксперт, стек mHC + MLA + MTP, заточенный под многошаговое планирование, вызов инструментов и длинный контекст. Co-оптимизация на кластерах Ascend 910C через MindSpore/MindFormers, включая fused mHC-операторы и настройку MoE-коммуникаций, по заявлению вендора дала прирост пропускной способности обучения примерно на 96% относительно базовых настроек.

Для инференса поддерживаются Transformers, vLLM, SGLang и KTransformers; дообучение - через LLaMA-Factory и MindFormers, с выравниванием форматов под агентные харнессы OpenCode, Claude Code, OpenClaw и Hermes. 4-битное квантование, по непроверенным сторонним данным, снижает потребление памяти до ~15 ГБ для локального длинноконтекстного запуска. Практическая ценность - скачиваемые веса с явной обученностью на MindSpore и открытыми хуками инференса, а не закрытый API.

#AI #OpenSource #China #MoE #Ascend #MindSpore