❓ Какие токены гибридная модель предсказывает лучше?

Исследователи из Allen Institute (AI2) сравнили две модели — чистый трансформер Olmo 3 и гибридную Olmo Hybrid — чтобы выяснить, на каких типах токенов гибридная архитектура даёт преимущество. Обе модели имеют 7B параметров, одинаковый токенизатор и обучались на одних данных, поэтому разница в предсказаниях объясняется именно архитектурой.

Гибридная модель оказалась сильнее на содержательных токенах: существительных, глаголах, прилагательных, а также на местоимениях, требующих понимания контекста. Разрыв в loss достигает 0.04 в пользу гибрида. Однако на токенах, которые просто повторяют уже встреченный фрагмент текста (копирование из предыдущего контекста), преимущество гибрида практически исчезает — здесь трансформер не уступает благодаря механизму внимания, способному точно «достать» любой токен из прошлого.

Также гибрид проигрывает на закрывающих скобках — как в коде, так и в разметке. Это объясняется тем, что внимание идеально справляется с задачей сопоставления парных скобок, и рекуррентные слои здесь не дают выигрыша. В остальном гибрид показывает более низкий loss на большинстве токенов, особенно в прозе и структурированных текстах.

#AI #Research #LLM #Olmo #Transformers #Agents #Hybrids

💻 Ускорение тонкой настройки MoE-моделей с NVIDIA NeMo AutoModel

Библиотека NVIDIA NeMo AutoModel, построенная поверх Transformers v5, обеспечивает ускорение обучения в 3,4–3,7 раза и снижение потребления GPU-памяти на 29–32% при тонкой настройке Mixture-of-Experts (MoE) моделей. Всё это — без изменения кода: достаточно заменить одну строку импорта.

NeMo AutoModel наследует AutoModelForCausalLM от HuggingFace и добавляет Expert Parallelism, DeepEP fused all-to-all dispatch и ядра TransformerEngine. DeepEP решает ключевую проблему v5 — перекрытие коммуникации с вычислениями экспертов. Библиотека использует обратимую конвертацию весов v5, поэтому save_pretrained() сохраняет стандартные HF-чекпоинты, совместимые с vLLM и SGLang.

Для популярных архитектур (Qwen3, Nemotron, DeepSeek V3) NeMo AutoModel включает hand-tuned реализации с TransformerEngine attention и fused-линейными слоями. Для остальных моделей применяются оптимизации Liger kernel. Результат — масштабирование от одного GPU до 16 узлов без переписывания кода.

#AI #Library #NVIDIA #NeMo #Transformers #MoE #HuggingFace

🌎 Dream-Cubed: ИИ научился генерировать играбельные миры Minecraft, используя кубы как токены

Sakana AI совместно с Нью-Йоркским университетом представили Dream-Cubed — генеративную модель для создания интерактивных 3D-окружений в Minecraft. Исследователи обучили большие трансформеры на десятках миллиардов кубов, чтобы модель понимала структуру мира так же, как языковые модели понимают текст.

Проект состоит из двух частей. Во-первых, открыт масштабный датасет Dream-Cubed, включающий тщательно сбалансированные кубы из процедурно сгенерированного ландшафта и авторских карт (с согласия авторов). Во-вторых, на этих данных обучено семейство трансформеров для эффективной генерации миров с разрешением на уровне отдельных блоков. Модель поддерживает разные подходы (непрерывная и дискретная диффузия) и позволяет делать точный инпейнтинг, масштабный аутпейнтинг и управляемую генерацию бесконечных территорий с контролем каждого блока.

Практическое значение: сгенерированные миры сразу редактируемы и играбельны — игрок может изменять структуры, рельеф и карты, не покидая игру. Это первый шаг к полноценной генеративной разработке игровых уровней на основе ИИ.

#Games #AI #Minecraft #Generation #Transformers #SakanaAI