❓ Какие токены гибридная модель предсказывает лучше?

Исследователи из Allen Institute (AI2) сравнили две модели — чистый трансформер Olmo 3 и гибридную Olmo Hybrid — чтобы выяснить, на каких типах токенов гибридная архитектура даёт преимущество. Обе модели имеют 7B параметров, одинаковый токенизатор и обучались на одних данных, поэтому разница в предсказаниях объясняется именно архитектурой.

Гибридная модель оказалась сильнее на содержательных токенах: существительных, глаголах, прилагательных, а также на местоимениях, требующих понимания контекста. Разрыв в loss достигает 0.04 в пользу гибрида. Однако на токенах, которые просто повторяют уже встреченный фрагмент текста (копирование из предыдущего контекста), преимущество гибрида практически исчезает — здесь трансформер не уступает благодаря механизму внимания, способному точно «достать» любой токен из прошлого.

Также гибрид проигрывает на закрывающих скобках — как в коде, так и в разметке. Это объясняется тем, что внимание идеально справляется с задачей сопоставления парных скобок, и рекуррентные слои здесь не дают выигрыша. В остальном гибрид показывает более низкий loss на большинстве токенов, особенно в прозе и структурированных текстах.

#AI #Research #LLM #Olmo #Transformers #Agents #Hybrids