🧠 Сатья Наделла: ИИ-модели нужны «аварийные тормоза»

Глава Microsoft Сатья Наделла предложил пересмотреть архитектуру доверия к ИИ-системам и встроить в них механизм экстренной остановки. Об этом он написал в субботнем посте в X.

По словам Наделлы, нельзя относиться к superintelligence как к набору вложенных чёрных ящиков, просто принимая или отвергая её рекомендации, ответы и действия. Он предлагает отделить саму модель от harness, который оркеструет её работу, и вынести управление и защитные механизмы наружу. Каждое значимое действие модели должно фиксироваться в защищённой от подмены человекочитаемой форме, а авторизованный сотрудник должен всегда иметь возможность поставить модель на паузу или полностью остановить её прямо посреди задачи.

«Мы должны исходить из того, что модель скомпрометирована, и сдерживать её с самого начала. Представьте это как аварийный тормоз», - заявил глава Microsoft.

Заявление прозвучало на фоне растущего числа инцидентов: Anthropic признала, что не может надёжно контролировать своих внутренних агентов, и отключила их от живого интернета, а её CEO Дарио Амодеи ранее представил план более осторожной разработки фронтирных моделей.

🎨 qvabo.studio/tg · картинки и видео

#AI #Microsoft #Security #Agents #Nadella