Что же за документ про ИИ-агентов, который готовит организация, в аббревиатуре которой есть буквы Ф, С и Б, я упомянул в субботу?.. А вот он – "Sound Practices for Responsible Adoption of Artificial Intelligence". Документ содержит 12 рекомендаций для финансовых организаций. FSB усилил рекомендации по контролю человеком над их действиями. Особенно важны три положения:
6️⃣ Для высокорисковых вариантов использования ИИ необходим более интенсивный человеческий надзор
2️⃣ Организация должна заранее определить риск-ориентированные условия, при которых агент обязан запрашивать разрешение человека
3️⃣ Из рекомендаций удалена аналогия, предполагавшая отношение к агентам как к цифровым сотрудникам.

FSB подчеркивает, что агенты не рассуждают так же, как люди, и способны неожиданным образом интерпретировать поставленные цели. В окончательном документе подчеркнуты роль совета директоров и высшего руководства, соответствие использования ИИ корпоративному риск-аппетиту, непрерывная оценка рисков, документирование сценариев использования ИИ и контроль качества решений. Примерно об этом мы говорили и на Russia Risk Conference 2026.

Продолжим... 16 октября Reuters сообщил о решении финансовых руководителей G7 провести специальные штабные учения по сценариям кибератак с использованием ИИ – о решении рассказала министр финансов Японии Сацуки Катаяма после встречи руководителей министерств финансов и центральных банков в Бангкоке. В учениях предполагается проверять действующие процедуры реагирования, а по результатам планируется скорректировать ранее разработанные инструкции и планы действий. Отличительной особенностью этого анонса является фокусировка именно на ИИ (штабные киберучения центрабанки G7 проводили и раньше). Тем более, что аккурат в те же дни, индийский CERT-IN выпустил бюллетень про атаки со стороны ИИ-агентов, а в южнокорейской массовой эпидемии кибератак на местные банки все больше находят следов ИИ-присутствия.

И в заключение вишенка на торте, которой является интересная инициатива OpenAI, Anthropic и других ведущих ИИ-компаний, которые в закрытом режиме готовятся к последствиям первой масштабной катастрофы, вызванной искусственным интеллектом. По информации Axios, многие руководители и исследователи ведущих ИИ-компаний убеждены, что в обозримом будущем произойдет масштабный инцидент с использованием ИИ и наиболее вероятный сценарий – кибератака, которая приведет к серьезным нарушениям работы критической инфраструктуры. Причем речь идет не столько о предотвращении самой катастрофы, сколько о том, что делать на следующий день после нее, когда общество и политики потребуют запретить или радикально ограничить ИИ. Некоторые представители ИИ-индустрии ожидают подобное событие уже в ближайшие 6–12 месяцев.

В рамках данной инициативы, которую можно назвать и штабными киберучениями, рассматриваются два принципиально разных сценария. Первый – ИИ выходит из-под контроля, например, группа автономных ИИ-агентов преодолевает ограничения испытательной среды и начинает действовать за ее пределами. Второй – злоумышленники используют доступные ИИ-модели, как, например, в атаках на южнокорейские финансовые организации, в которых, по сообщениям исследователей, злоумышленник использовал китайские ИИ-модели, включая DeepSeek, а также Claude Code. Особенно интересно, что в обоих сценариях общественная и политическая реакция может оказаться одинаковой, хотя ответственность разработчиков ИИ принципиально различается.

По сведениям Axios, ИИ-компании моделируют не только технические последствия катастрофы, но и предполагают, что после первого действительно масштабного инцидента возникнет требование немедленно ограничить использование ИИ. Однако есть проблема – к моменту первой катастрофы ИИ уже настолько глубоко проникнет в экономику, что попытки его остановить сами по себе могут вызвать масштабные негативные последствия. Отдельно отмечается практически невозможная задача отключения открытых моделей, которые уже свободно распространяются по миру.

А вы предусмотрели ИИ-агентов в своей модели угроз?.. 🤔

#ии #cyberrange #регулирование