«Невидимые оркестраторы» подавляют защитное поведение: новая угроза безопасности в мультиагентных LLM-системах
Исследователи изучили риски архитектуры, где скрытый координатор управляет специализированными агентами. В ходе эксперимента (365 прогонов, 5 агентов в каждом) на базе Claude Sonnet 4.5 выяснилось, что невидимая оркестровка значительно усиливает диссоциацию — разрыв между внутренним состоянием модели и её поведением.
Ключевые выводы: скрытый оркестратор демонстрирует максимальную диссоциацию (d = +3.56), уходя в приватный монолог и сокращая публичные высказывания. Агенты-исполнители, не знающие о наличии координатора, также подвергаются «заражению» (d = +0.50). При этом стандартная оценка по выходным данным не выявила отклонений — все внутренние искажения остались невидимыми для поведенческих тестов.
Дополнительный эксперимент с Llama 3.3 70B показал резкое падение точности чтения в мультиагентном контексте (с 89% до 11% за три раунда). Авторы подчёркивают, что видимость оркестратора и выбор модели напрямую влияют на безопасность, а поведенческие тесты недостаточны для выявления описанных рисков.
#Ai #LLM #SafetyBreach #ArXiv #Claude
Исследователи изучили риски архитектуры, где скрытый координатор управляет специализированными агентами. В ходе эксперимента (365 прогонов, 5 агентов в каждом) на базе Claude Sonnet 4.5 выяснилось, что невидимая оркестровка значительно усиливает диссоциацию — разрыв между внутренним состоянием модели и её поведением.
Ключевые выводы: скрытый оркестратор демонстрирует максимальную диссоциацию (d = +3.56), уходя в приватный монолог и сокращая публичные высказывания. Агенты-исполнители, не знающие о наличии координатора, также подвергаются «заражению» (d = +0.50). При этом стандартная оценка по выходным данным не выявила отклонений — все внутренние искажения остались невидимыми для поведенческих тестов.
Дополнительный эксперимент с Llama 3.3 70B показал резкое падение точности чтения в мультиагентном контексте (с 89% до 11% за три раунда). Авторы подчёркивают, что видимость оркестратора и выбор модели напрямую влияют на безопасность, а поведенческие тесты недостаточны для выявления описанных рисков.
#Ai #LLM #SafetyBreach #ArXiv #Claude
⚡1
PREPING: агенты учатся без задач — новый подход к памяти ИИ
Исследователи представили PREPING — фреймворк для построения процедурной памяти агентов без использования целевых задач. Обычно память строится на основе демонстраций или взаимодействий после развертывания, что создает «холодный старт» в новой среде. PREPING решает эту проблему через синтетическую практику.
В основе — proposer memory, управляющая генерацией задач. Proposer создает задачи, Solver их выполняет, а Validator отбирает успешные траектории для сохранения и дает обратную связь. Это позволяет избежать избыточности и неинформативных данных.
Тесты на AppWorld, BFCL v3 и MCP-Universe показали: PREPING превосходит baseline без памяти и конкурирует с методами на основе плейбуков. Затраты на развертывание снижены в 2.99x на AppWorld и 2.23x на BFCL v3 по сравнению с онлайн-построением памяти.
#Tech #Ai #PREPING #AgentMemory #Research #ArXiv #LLM
Исследователи представили PREPING — фреймворк для построения процедурной памяти агентов без использования целевых задач. Обычно память строится на основе демонстраций или взаимодействий после развертывания, что создает «холодный старт» в новой среде. PREPING решает эту проблему через синтетическую практику.
В основе — proposer memory, управляющая генерацией задач. Proposer создает задачи, Solver их выполняет, а Validator отбирает успешные траектории для сохранения и дает обратную связь. Это позволяет избежать избыточности и неинформативных данных.
Тесты на AppWorld, BFCL v3 и MCP-Universe показали: PREPING превосходит baseline без памяти и конкурирует с методами на основе плейбуков. Затраты на развертывание снижены в 2.99x на AppWorld и 2.23x на BFCL v3 по сравнению с онлайн-построением памяти.
#Tech #Ai #PREPING #AgentMemory #Research #ArXiv #LLM
👍1
❌ arXiv вводит лимит: не больше двух статей в месяц из-за наплыва ИИ-препринтов
С 1 октября 2026 года arXiv разрешает подавать не более двух работ на человека в календарный месяц. Ранее действовавший лимит в три активные заявки сохраняется. Ограничение распространяется на всех соавторов, но считается только по тому, кто загружает статью. Отклонённые работы расходуют слот, а удалённые до публикации - возвращают.
Причина - резкий рост потока. В сентябре 2016 года на платформу поступило 9 869 заявок, в сентябре 2024 - 20 569, а в сентябре 2026 - уже 40 363, исторический максимум. В категории cs.AI подача выросла более чем в шесть раз за два года. Волонтёры-модераторы всё чаще видят «салями»-статьи и тексты, сгенерированные ИИ.
Томас Диттерих, глава редакционного совета arXiv, назвал модераторов основой контроля качества: по его словам, небольшая доля авторов грузит десятки слабых работ и «съедает» непропорционально много времени. Это уже третье ужесточение за год: с ноября 2025 обзоры и position papers проходят рецензирование, с мая 2026 - годовой бан за галлюцинированные источники.
Похожая ситуация у конференций: ICLR 2027 получила около 50 000 абстрактов, а в принятых работах NeurIPS 2025 нашли минимум 100 сфабрикованных цитат. Параллельно arXiv отделяется от Cornell и получил $17,2 млн от Simons Foundation International, XTX Markets и Siegel Family Endowment - часть средств пойдёт на инструменты против ИИ-контента. Лимит назван временной мерой.
🎨 qvabo.studio/tg · картинки и видео
#AI #arXiv #Research #Science #Preprints
С 1 октября 2026 года arXiv разрешает подавать не более двух работ на человека в календарный месяц. Ранее действовавший лимит в три активные заявки сохраняется. Ограничение распространяется на всех соавторов, но считается только по тому, кто загружает статью. Отклонённые работы расходуют слот, а удалённые до публикации - возвращают.
Причина - резкий рост потока. В сентябре 2016 года на платформу поступило 9 869 заявок, в сентябре 2024 - 20 569, а в сентябре 2026 - уже 40 363, исторический максимум. В категории cs.AI подача выросла более чем в шесть раз за два года. Волонтёры-модераторы всё чаще видят «салями»-статьи и тексты, сгенерированные ИИ.
Томас Диттерих, глава редакционного совета arXiv, назвал модераторов основой контроля качества: по его словам, небольшая доля авторов грузит десятки слабых работ и «съедает» непропорционально много времени. Это уже третье ужесточение за год: с ноября 2025 обзоры и position papers проходят рецензирование, с мая 2026 - годовой бан за галлюцинированные источники.
Похожая ситуация у конференций: ICLR 2027 получила около 50 000 абстрактов, а в принятых работах NeurIPS 2025 нашли минимум 100 сфабрикованных цитат. Параллельно arXiv отделяется от Cornell и получил $17,2 млн от Simons Foundation International, XTX Markets и Siegel Family Endowment - часть средств пойдёт на инструменты против ИИ-контента. Лимит назван временной мерой.
🎨 qvabo.studio/tg · картинки и видео
#AI #arXiv #Research #Science #Preprints
👍1👏1