🧠 Агенты нашли архитектуры нейросетей лучше человеческих: AIRA-Compose и AIRA-Design
Исследователи представили двойную систему на базе LLM-агентов для автономного поиска архитектур нейронных сетей. Фреймворк AIRA-Compose отвечает за высокоуровневый поиск архитектуры, а AIRA-Design — за низкоуровневую реализацию механизмов внимания.
AIRA-Compose использует 11 агентов, которые за 24 часа исследуют вычислительные примитивы и масштабируют лучшие кандидаты до 3B параметров. В результате получено 14 архитектур двух семейств: AIRAformer (на базе Transformer) и AIRAhybrid (Transformer-Mamba). При претрейнинге на 1B параметров модели стабильно превосходят Llama 3.2: AIRAformer-D и AIRAhybrid-D показывают прирост точности на 2.4% и 3.8% соответственно. AIRAformer-C масштабируется на 54% и 71% быстрее Llama 3.2 и лучшего Transformer от Composer, а AIRAhybrid-C обгоняет Nemotron-2 на 23%.
AIRA-Design задействует 20 агентов для написания новых механизмов внимания и тренировочных скриптов. На бенчмарке Long Range Arena созданные агентами архитектуры достигают точности в пределах 2.3% и 2.6% от человеческого SOTA на задачах сопоставления документов и классификации текста. На бенчмарке Autoresearch Greedy Opus 4.5 достигает 0.968 validation bits-per-byte, превзойдя опубликованный минимум.
#AI #LLM #AIRA #Architecture
Исследователи представили двойную систему на базе LLM-агентов для автономного поиска архитектур нейронных сетей. Фреймворк AIRA-Compose отвечает за высокоуровневый поиск архитектуры, а AIRA-Design — за низкоуровневую реализацию механизмов внимания.
AIRA-Compose использует 11 агентов, которые за 24 часа исследуют вычислительные примитивы и масштабируют лучшие кандидаты до 3B параметров. В результате получено 14 архитектур двух семейств: AIRAformer (на базе Transformer) и AIRAhybrid (Transformer-Mamba). При претрейнинге на 1B параметров модели стабильно превосходят Llama 3.2: AIRAformer-D и AIRAhybrid-D показывают прирост точности на 2.4% и 3.8% соответственно. AIRAformer-C масштабируется на 54% и 71% быстрее Llama 3.2 и лучшего Transformer от Composer, а AIRAhybrid-C обгоняет Nemotron-2 на 23%.
AIRA-Design задействует 20 агентов для написания новых механизмов внимания и тренировочных скриптов. На бенчмарке Long Range Arena созданные агентами архитектуры достигают точности в пределах 2.3% и 2.6% от человеческого SOTA на задачах сопоставления документов и классификации текста. На бенчмарке Autoresearch Greedy Opus 4.5 достигает 0.968 validation bits-per-byte, превзойдя опубликованный минимум.
#AI #LLM #AIRA #Architecture
👏1
🗼 AI в архитектурных студиях — подкаст Krea с Нитсаном Бартовым
Во втором эпизоде подкаста Krea ведущий Виктор беседует с Нитсаном Бартовым, архитектором и PhD-исследователем из бюро Henning Larsen. Разговор — не реклама AI как готового решения, а взвешенный анализ того, где генерация изображений, видео и языковые модели действительно вписываются в профессию, основанную на замысле, коммуникации, ограничениях и долгих сроках.
Бартов предлагает не считать AI полезным по умолчанию: «Я не исхожу из того, что это полезно». Архитектура — это не просто картинка. Это материалы, стоимость, контекст, логика строительства, движение и ощущение пространства во времени. AI-генерация изображений становится эффективной именно как инструмент коммуникации: показать клиенту атмосферу, сравнить направления, превратить черновую модель в визуальный диалог до фиксации деталей.
Особый интерес — AI-видео. Архитектура не существует в одном застывшем рендере: здания и ландшафты меняются со светом, погодой, сезонами и людьми. Видео позволяет передать эти качества раньше и точнее, чем статика, не заменяя планирование, но делая ощущение будущего пространства понятнее.
#AI #Architecture #Krea #ImageGen #Design #Podcast
Во втором эпизоде подкаста Krea ведущий Виктор беседует с Нитсаном Бартовым, архитектором и PhD-исследователем из бюро Henning Larsen. Разговор — не реклама AI как готового решения, а взвешенный анализ того, где генерация изображений, видео и языковые модели действительно вписываются в профессию, основанную на замысле, коммуникации, ограничениях и долгих сроках.
Бартов предлагает не считать AI полезным по умолчанию: «Я не исхожу из того, что это полезно». Архитектура — это не просто картинка. Это материалы, стоимость, контекст, логика строительства, движение и ощущение пространства во времени. AI-генерация изображений становится эффективной именно как инструмент коммуникации: показать клиенту атмосферу, сравнить направления, превратить черновую модель в визуальный диалог до фиксации деталей.
Особый интерес — AI-видео. Архитектура не существует в одном застывшем рендере: здания и ландшафты меняются со светом, погодой, сезонами и людьми. Видео позволяет передать эти качества раньше и точнее, чем статика, не заменяя планирование, но делая ощущение будущего пространства понятнее.
#AI #Architecture #Krea #ImageGen #Design #Podcast
👍1💯1
🧠 Двое бывших лидеров OpenAI и Google ставят на новую архитектуру ИИ
Джерри Творек, ранее один из ключевых сторонников обучения с подкреплением в OpenAI, и Рохан Анил, бывший руководитель предобучения Google Gemini, основали стартап Core Automation. Их тезис: текущая парадигма не ведёт к AGI, потому что модели не умеют учиться после деплоя. Творек, ещё в 2024-м предсказывавший AGI к 2025 году, разочаровался в масштабном RL — модели растут на бенчмарках, но не адаптируются к неопределённым задачам вне лаборатории. Параметры фиксируются на релизе, и любое новое знание требует сбора данных и переобучения. То есть учится не модель, а команда за ней.
Оба существующих способа адаптации после деплоя неполноценны: in-context learning гибок, но упирается в длину контекста и не сохраняет опыт между сессиями, а постоянный файнтюнинг вызывает катастрофическое забывание и дорого стоит. Творек предлагает третий путь — мета-обучение, где способность учиться встроена в архитектуру. Его важное разграничение: обучение на опыте ≠ RL. Футболу учатся пробами и ошибками, а математике — через понимание и перестройку знаний без внешних сигналов, так что в мозге едва ли есть единый алгоритм обучения, и ИИ нужны разные механизмы. Анил добавляет проблему вычислительной глубины: у трансформеров фиксированное число слоёв, а цепочки рассуждений и inference-time scaling — это патч, генерирующий токены ради дополнительных вычислений, дорого и медленно.
Трансформеры при этом мёртвыми не объявляют — потолок у них высокий, коммерческая ценность доказана. Но их улучшение требует бесконечного внешнего цикла обновлений. Core Automation намерена проектировать архитектуру, оптимизацию и системную инженерию как единое целое, а не последовательные этапы.
#AI #Startup #Research #Architecture
Джерри Творек, ранее один из ключевых сторонников обучения с подкреплением в OpenAI, и Рохан Анил, бывший руководитель предобучения Google Gemini, основали стартап Core Automation. Их тезис: текущая парадигма не ведёт к AGI, потому что модели не умеют учиться после деплоя. Творек, ещё в 2024-м предсказывавший AGI к 2025 году, разочаровался в масштабном RL — модели растут на бенчмарках, но не адаптируются к неопределённым задачам вне лаборатории. Параметры фиксируются на релизе, и любое новое знание требует сбора данных и переобучения. То есть учится не модель, а команда за ней.
Оба существующих способа адаптации после деплоя неполноценны: in-context learning гибок, но упирается в длину контекста и не сохраняет опыт между сессиями, а постоянный файнтюнинг вызывает катастрофическое забывание и дорого стоит. Творек предлагает третий путь — мета-обучение, где способность учиться встроена в архитектуру. Его важное разграничение: обучение на опыте ≠ RL. Футболу учатся пробами и ошибками, а математике — через понимание и перестройку знаний без внешних сигналов, так что в мозге едва ли есть единый алгоритм обучения, и ИИ нужны разные механизмы. Анил добавляет проблему вычислительной глубины: у трансформеров фиксированное число слоёв, а цепочки рассуждений и inference-time scaling — это патч, генерирующий токены ради дополнительных вычислений, дорого и медленно.
Трансформеры при этом мёртвыми не объявляют — потолок у них высокий, коммерческая ценность доказана. Но их улучшение требует бесконечного внешнего цикла обновлений. Core Automation намерена проектировать архитектуру, оптимизацию и системную инженерию как единое целое, а не последовательные этапы.
#AI #Startup #Research #Architecture
✍1🤔1