🧠 Агенты нашли архитектуры нейросетей лучше человеческих: AIRA-Compose и AIRA-Design
Исследователи представили двойную систему на базе LLM-агентов для автономного поиска архитектур нейронных сетей. Фреймворк AIRA-Compose отвечает за высокоуровневый поиск архитектуры, а AIRA-Design — за низкоуровневую реализацию механизмов внимания.
AIRA-Compose использует 11 агентов, которые за 24 часа исследуют вычислительные примитивы и масштабируют лучшие кандидаты до 3B параметров. В результате получено 14 архитектур двух семейств: AIRAformer (на базе Transformer) и AIRAhybrid (Transformer-Mamba). При претрейнинге на 1B параметров модели стабильно превосходят Llama 3.2: AIRAformer-D и AIRAhybrid-D показывают прирост точности на 2.4% и 3.8% соответственно. AIRAformer-C масштабируется на 54% и 71% быстрее Llama 3.2 и лучшего Transformer от Composer, а AIRAhybrid-C обгоняет Nemotron-2 на 23%.
AIRA-Design задействует 20 агентов для написания новых механизмов внимания и тренировочных скриптов. На бенчмарке Long Range Arena созданные агентами архитектуры достигают точности в пределах 2.3% и 2.6% от человеческого SOTA на задачах сопоставления документов и классификации текста. На бенчмарке Autoresearch Greedy Opus 4.5 достигает 0.968 validation bits-per-byte, превзойдя опубликованный минимум.
#AI #LLM #AIRA #Architecture
Исследователи представили двойную систему на базе LLM-агентов для автономного поиска архитектур нейронных сетей. Фреймворк AIRA-Compose отвечает за высокоуровневый поиск архитектуры, а AIRA-Design — за низкоуровневую реализацию механизмов внимания.
AIRA-Compose использует 11 агентов, которые за 24 часа исследуют вычислительные примитивы и масштабируют лучшие кандидаты до 3B параметров. В результате получено 14 архитектур двух семейств: AIRAformer (на базе Transformer) и AIRAhybrid (Transformer-Mamba). При претрейнинге на 1B параметров модели стабильно превосходят Llama 3.2: AIRAformer-D и AIRAhybrid-D показывают прирост точности на 2.4% и 3.8% соответственно. AIRAformer-C масштабируется на 54% и 71% быстрее Llama 3.2 и лучшего Transformer от Composer, а AIRAhybrid-C обгоняет Nemotron-2 на 23%.
AIRA-Design задействует 20 агентов для написания новых механизмов внимания и тренировочных скриптов. На бенчмарке Long Range Arena созданные агентами архитектуры достигают точности в пределах 2.3% и 2.6% от человеческого SOTA на задачах сопоставления документов и классификации текста. На бенчмарке Autoresearch Greedy Opus 4.5 достигает 0.968 validation bits-per-byte, превзойдя опубликованный минимум.
#AI #LLM #AIRA #Architecture
👏1