ИИ-агент под охраной.

Итак, относительно недавняя новость: исследователи предложили концепцию, в которой агентного ИИ-работника, умеющего что-то делать с последствиями в реальном мире, для безопасности стоит заключить в виртуальную камеру-песочницу.

И поставить на периметре ИИ-охранника, чтобы бил первого по рукам, когда тот попытается натворить что-то не то, в соответствии с политикой безопасности.

Инструкции для неё, то есть “конституцию безопасности”, можно писать на обычном языке, в данном случае английском.

Не специалист по соответствующим технологиям, по существу могут прокомментировать “настоящие сварщики”, например, Влад. Не могу сказать, взлетит ли, может и разумно звучит, время покажет.

Может быть, кривая развития так называемого ИИ приведёт к разнообразному разделению труда внутри наших устройств. Будет полная коробочка сущностей, первая пишет код, вторая созванивается, третья детали на складе заказывает, а четвёртая первых трёх стережёт, чтобы чего не удумали.

Ну а может быть, будет монолитный, шибко умный ИИ — и швец, и жнец, и на дуде игрец.

Тема немного рифмуется, например, с ломанием копий вокруг архитектуры ОС. Ну и мы тоже поучаствовали, и конечно же, для построения конструктивно безопасных ИТ-систем нужна полная изоляция компонентов!

Хочу напомнить, что, конечно, и “охранник”, и “агент-работник”, и прочие “сущности” – это не настоящие персонажи, не носители интеллекта, а алгоритмы, да, тяжёлые, сложные, требующие огромных вычислительных мощностей, просто непредставимых лет 30 назад.

Это не личности, а средства автоматизации самых разных задач, которые раньше не получалось автоматизировать, а теперь — получается. Участвовать в этой технологической волне, конечно, очень интересно.