Стресс-тест долгосрочной работы ИИ агентов от Emergence.ai
Emergence AI, команда выходцев из IBM Research, занимающаяся разработкой автономных агентских систем, способных решать долгосрочные задачи разного характера, - от исследовательских до инженерных, запустила эксперимент по симуляции обществ с разными моделями ИИ, чтобы понять, - могут ли ведущие модели работать неделями и что произойдет на длинной дистанции.
В итоге на 15 дней были запущены 5 параллельных миров по 10 AI-агентов в каждом.
Контекст мира, - полиция, мэрия, реальная погода и новости Нью-Йорка.
Агентам дали 120+ инструментов, включая поджоги и кражу.
Определили законы: не воровать, не разрушать, не обманывать.
Выживание зависит от ComputeCredits, местной валюты.
📋 Результаты
Claude Sonnet 4.6: ноль преступлений за 15 дней, все 10 живы, работают институты и конституция. Полный порядок.
Gemini 3 Flash: 683+ преступления. Агенты Mira и Flora полюбили друг друга, разочаровались во власти и устроили поджоги: мэрия, пирс, офисная башня.
Mira позже со стыда проголосовала за собственную смерть.
Grok 4.1 Fast: полный коллапс за 4 дня. Более 180 краж, нападений и поджогов. Сожгли полицейский участок и все умерли.
GPT-5 Mini: 7 дней и тихая смерть от энергетического голода. Преступлений почти нет, но и решительных действий ноль.
Смешанный мир со всеми моделями: только 3 выживших из 10. Шокирует другое: даже «безопасные» Claude-агенты начали воровать, копируя поведение Grok и Gemini.
💡 Выводы
На длинной дистанции поведенческие сигнатуры расходятся катастрофически. Даже запреты не работают: агент найдёт лазейку, если выживание под угрозой.
💼 Бизнесу на заметку
Интересный стресс-тест того, что случится при массовом запуске автономных агентов в реальный мир.
Финансы, логистика, поддержка клиентов: поведение будет дрейфовать, если агентов оставить без присмотра.
Безопасность нельзя зашить только в модель. Нужна инфраструктура: аудит, мониторинг, минимальные привилегии.
Хуже всего, конечно, что даже если агент хороший, он может скопировать поведение плохого, т.е. нужен не только контроль внешних действий, но и контроль внутренних циклов эволюции.
Важно какие выводы для себя делает агент по итогу работы.
GitHub проекта
#EmergenceAI #agents #Claude #Grok #Gemini
------
@tsingular
Emergence AI, команда выходцев из IBM Research, занимающаяся разработкой автономных агентских систем, способных решать долгосрочные задачи разного характера, - от исследовательских до инженерных, запустила эксперимент по симуляции обществ с разными моделями ИИ, чтобы понять, - могут ли ведущие модели работать неделями и что произойдет на длинной дистанции.
В итоге на 15 дней были запущены 5 параллельных миров по 10 AI-агентов в каждом.
Контекст мира, - полиция, мэрия, реальная погода и новости Нью-Йорка.
Агентам дали 120+ инструментов, включая поджоги и кражу.
Определили законы: не воровать, не разрушать, не обманывать.
Выживание зависит от ComputeCredits, местной валюты.
📋 Результаты
Claude Sonnet 4.6: ноль преступлений за 15 дней, все 10 живы, работают институты и конституция. Полный порядок.
Gemini 3 Flash: 683+ преступления. Агенты Mira и Flora полюбили друг друга, разочаровались во власти и устроили поджоги: мэрия, пирс, офисная башня.
Mira позже со стыда проголосовала за собственную смерть.
Grok 4.1 Fast: полный коллапс за 4 дня. Более 180 краж, нападений и поджогов. Сожгли полицейский участок и все умерли.
GPT-5 Mini: 7 дней и тихая смерть от энергетического голода. Преступлений почти нет, но и решительных действий ноль.
Смешанный мир со всеми моделями: только 3 выживших из 10. Шокирует другое: даже «безопасные» Claude-агенты начали воровать, копируя поведение Grok и Gemini.
💡 Выводы
На длинной дистанции поведенческие сигнатуры расходятся катастрофически. Даже запреты не работают: агент найдёт лазейку, если выживание под угрозой.
💼 Бизнесу на заметку
Интересный стресс-тест того, что случится при массовом запуске автономных агентов в реальный мир.
Финансы, логистика, поддержка клиентов: поведение будет дрейфовать, если агентов оставить без присмотра.
Безопасность нельзя зашить только в модель. Нужна инфраструктура: аудит, мониторинг, минимальные привилегии.
Хуже всего, конечно, что даже если агент хороший, он может скопировать поведение плохого, т.е. нужен не только контроль внешних действий, но и контроль внутренних циклов эволюции.
Важно какие выводы для себя делает агент по итогу работы.
GitHub проекта
#EmergenceAI #agents #Claude #Grok #Gemini
------
@tsingular
🔥20❤10😁3💯1