❓ Какие токены гибридная модель предсказывает лучше?

Исследователи из Allen Institute (AI2) сравнили две модели — чистый трансформер Olmo 3 и гибридную Olmo Hybrid — чтобы выяснить, на каких типах токенов гибридная архитектура даёт преимущество. Обе модели имеют 7B параметров, одинаковый токенизатор и обучались на одних данных, поэтому разница в предсказаниях объясняется именно архитектурой.

Гибридная модель оказалась сильнее на содержательных токенах: существительных, глаголах, прилагательных, а также на местоимениях, требующих понимания контекста. Разрыв в loss достигает 0.04 в пользу гибрида. Однако на токенах, которые просто повторяют уже встреченный фрагмент текста (копирование из предыдущего контекста), преимущество гибрида практически исчезает — здесь трансформер не уступает благодаря механизму внимания, способному точно «достать» любой токен из прошлого.

Также гибрид проигрывает на закрывающих скобках — как в коде, так и в разметке. Это объясняется тем, что внимание идеально справляется с задачей сопоставления парных скобок, и рекуррентные слои здесь не дают выигрыша. В остальном гибрид показывает более низкий loss на большинстве токенов, особенно в прозе и структурированных текстах.

#AI #Research #LLM #Olmo #Transformers #Agents #Hybrids

❓Кому доступно понимание ИИ?

Allen Institute (AI2) опубликовал манифест открытой науки в ИИ: доступ к весам, данным, коду и методам обучения моделей — не опция, а необходимость для независимых исследований и доверия. Без открытости большая часть научной работы остаётся запертой в нескольких корпорациях.

На примере своей модели Olmo AI2 показывает, как открытые артефакты позволяют изучать демографические предубеждения в клинических приложениях, проверять, соответствуют ли декларируемые даты отсечки данных реальным знаниям модели, и выявлять завышение результатов бенчмарков из-за парафразированных вопросов. Во всех этих случаях исследователи из Northeastern, Johns Hopkins, Arb Research и других институтов смогли воспроизвести и расширить выводы только потому, что модель была полностью открыта.

Сейчас, когда американские учёные всё чаще полагаются на зарубежные открытые модели, AI2 подчёркивает: без собственной открытой инфраструктуры США рискуют потерять лидерство в ИИ-науке. Следующая волна политики в области ИИ определит, смогут ли университеты и некоммерческие лаборатории продолжать участвовать в разработке передовых систем.

#AI #OpenModel #Research #Olmo #Science #AlienInstitute2