💻 Ускорение тонкой настройки MoE-моделей с NVIDIA NeMo AutoModel

Библиотека NVIDIA NeMo AutoModel, построенная поверх Transformers v5, обеспечивает ускорение обучения в 3,4–3,7 раза и снижение потребления GPU-памяти на 29–32% при тонкой настройке Mixture-of-Experts (MoE) моделей. Всё это — без изменения кода: достаточно заменить одну строку импорта.

NeMo AutoModel наследует AutoModelForCausalLM от HuggingFace и добавляет Expert Parallelism, DeepEP fused all-to-all dispatch и ядра TransformerEngine. DeepEP решает ключевую проблему v5 — перекрытие коммуникации с вычислениями экспертов. Библиотека использует обратимую конвертацию весов v5, поэтому save_pretrained() сохраняет стандартные HF-чекпоинты, совместимые с vLLM и SGLang.

Для популярных архитектур (Qwen3, Nemotron, DeepSeek V3) NeMo AutoModel включает hand-tuned реализации с TransformerEngine attention и fused-линейными слоями. Для остальных моделей применяются оптимизации Liger kernel. Результат — масштабирование от одного GPU до 16 узлов без переписывания кода.

#AI #Library #NVIDIA #NeMo #Transformers #MoE #HuggingFace