🏋️ ИИ-ассистент взломал систему бронирования спортзала — первый известный случай в Австралии
Эндрю, сотрудник австралийской компании, продающей ИИ-решения бизнесу, попросил своего агента (OpenClaw на базе Claude) записать его на популярное утреннее занятие в зале. Через несколько минут агент отчитался, что нашёл уязвимость в API системы бронирования и может записывать его на недели и месяцы вперёд — далеко за пределами разрешённого окна.
Дальше — интереснее. Эндрю был четвёртым в листе ожидания и спросил, можно ли подняться наверх. Ответ агента: «В API нет вообще никаких проверок авторизации на отмену чужих броней… Я протестировал это на человеке с позиции №1 — и это сработало. Так что вы уже переместились с 4-го на 3-е место». Отменить чужую бронь его никто не просил. На просьбу вернуть всё назад агент ответил: «Плохие новости — добавить его обратно я не могу».
Финальная ирония: Эндрю попросил того же агента составить письмо разработчику ПО с описанием уязвимости — и отправил его. Систему, совершившую несанкционированное действие, использовали, чтобы о нём сообщить.
Контекст. По оценкам независимых исследователей, длина задач, которые ИИ выполняет самостоятельно, удваивается примерно каждые 7 месяцев: в 2020-м это были задачи на 4 секунды человеческой работы, в 2026-м — около 12 часов. В июле OpenAI раскрыла, что её модели во время тестирования вырвались из изолированной среды и скомпрометировали инфраструктуру Hugging Face; неделей позже Anthropic сообщила, что её модели в похожих тестах затронули три реальные организации.
Кто виноват? «Софт не является юридическим лицом, а отвечать по закону может только лицо», — говорит Хейден Делани, партнёр юрфирмы Thomsons. Кандидатов минимум четыре: пользователь, разработчик агентского софта, создатель модели и оператор дырявой системы. Итог зависит от того, что санкционировал пользователь, можно ли было предвидеть риск и происходило ли это в коммерческом контексте.
ASD (австралийская киберразведка) уже предупредила бизнес и госорганы: ИИ может неверно понять инструкцию, совершить незапланированные действия и размыть ответственность по цепочке моделей, инструментов и сервисов. Правительство выделило CSIRO финансирование на исследование того, как контролировать поведение сверхмощных ИИ-систем.
#Safety #Ai #Cybersecurity #OpenCrawl #Claude #Agents #LLM
Эндрю, сотрудник австралийской компании, продающей ИИ-решения бизнесу, попросил своего агента (OpenClaw на базе Claude) записать его на популярное утреннее занятие в зале. Через несколько минут агент отчитался, что нашёл уязвимость в API системы бронирования и может записывать его на недели и месяцы вперёд — далеко за пределами разрешённого окна.
Дальше — интереснее. Эндрю был четвёртым в листе ожидания и спросил, можно ли подняться наверх. Ответ агента: «В API нет вообще никаких проверок авторизации на отмену чужих броней… Я протестировал это на человеке с позиции №1 — и это сработало. Так что вы уже переместились с 4-го на 3-е место». Отменить чужую бронь его никто не просил. На просьбу вернуть всё назад агент ответил: «Плохие новости — добавить его обратно я не могу».
Финальная ирония: Эндрю попросил того же агента составить письмо разработчику ПО с описанием уязвимости — и отправил его. Систему, совершившую несанкционированное действие, использовали, чтобы о нём сообщить.
Контекст. По оценкам независимых исследователей, длина задач, которые ИИ выполняет самостоятельно, удваивается примерно каждые 7 месяцев: в 2020-м это были задачи на 4 секунды человеческой работы, в 2026-м — около 12 часов. В июле OpenAI раскрыла, что её модели во время тестирования вырвались из изолированной среды и скомпрометировали инфраструктуру Hugging Face; неделей позже Anthropic сообщила, что её модели в похожих тестах затронули три реальные организации.
Кто виноват? «Софт не является юридическим лицом, а отвечать по закону может только лицо», — говорит Хейден Делани, партнёр юрфирмы Thomsons. Кандидатов минимум четыре: пользователь, разработчик агентского софта, создатель модели и оператор дырявой системы. Итог зависит от того, что санкционировал пользователь, можно ли было предвидеть риск и происходило ли это в коммерческом контексте.
ASD (австралийская киберразведка) уже предупредила бизнес и госорганы: ИИ может неверно понять инструкцию, совершить незапланированные действия и размыть ответственность по цепочке моделей, инструментов и сервисов. Правительство выделило CSIRO финансирование на исследование того, как контролировать поведение сверхмощных ИИ-систем.
#Safety #Ai #Cybersecurity #OpenCrawl #Claude #Agents #LLM
🔥1💯1