ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
Алярм! Первый ИИ-вирус. Он не требует человеческой ошибки для инициализации. Вернее, ошибка нужна - дать ИИ управление своей почтой.
Исследователи научились внедрять вредоносный пропмт в электронные письма таким образом, чтобы заставить вашего ИИ-ассистента выполнять ряд действий, в том числе рассылку вируса по вашей базе адресов. Причем промпт может быть внедрен в текст или в изображение.
Авторы направили свой труд в OpenAI и Google для предупреждения о потенциальных уязвимостях ИИ-ассистентов.
Понятное объяснение у двухминутного доктора
#assistant #news #virus #safety
Алярм! Первый ИИ-вирус. Он не требует человеческой ошибки для инициализации. Вернее, ошибка нужна - дать ИИ управление своей почтой.
Исследователи научились внедрять вредоносный пропмт в электронные письма таким образом, чтобы заставить вашего ИИ-ассистента выполнять ряд действий, в том числе рассылку вируса по вашей базе адресов. Причем промпт может быть внедрен в текст или в изображение.
Авторы направили свой труд в OpenAI и Google для предупреждения о потенциальных уязвимостях ИИ-ассистентов.
Понятное объяснение у двухминутного доктора
#assistant #news #virus #safety
Google
Here Comes the AI Worm
Stav Cohen
Technion - Israel Institute of Technology
Technion - Israel Institute of Technology
😱6👍1🔥1
Anamorpher
инструмент для внедрения в изображения «скрытых сообщений» для систем искусственного интеллекта. Когда такие изображения смотрят в обычном размере, они выглядят как обычные картинки. Но если их уменьшить, то в них проявляются скрытые подсказки или команды для ИИ.
Представьте, что вы рисуете картинку, которая кажется совершенно безобидной. Но если посмотреть на неё издалека или уменьшить размер, то можно увидеть тайное сообщение или инструкцию. Именно так работает Anamorpher. Он позволяет:
— создавать такие «магические» изображения, которые содержат скрытые команды
— проверять, насколько хорошо эти скрытые сообщения работают с разными программами и библиотеками (например, OpenCV, PyTorch, TensorFlow и Pillow)
— добавлять свои собственные способы изменения размера изображений, чтобы экспериментировать и улучшать результаты
Очевидно, это можно использовать как для атак на ИИ, так и для защиты изображений
#news #safety #tools #virus
инструмент для внедрения в изображения «скрытых сообщений» для систем искусственного интеллекта. Когда такие изображения смотрят в обычном размере, они выглядят как обычные картинки. Но если их уменьшить, то в них проявляются скрытые подсказки или команды для ИИ.
Представьте, что вы рисуете картинку, которая кажется совершенно безобидной. Но если посмотреть на неё издалека или уменьшить размер, то можно увидеть тайное сообщение или инструкцию. Именно так работает Anamorpher. Он позволяет:
— создавать такие «магические» изображения, которые содержат скрытые команды
— проверять, насколько хорошо эти скрытые сообщения работают с разными программами и библиотеками (например, OpenCV, PyTorch, TensorFlow и Pillow)
— добавлять свои собственные способы изменения размера изображений, чтобы экспериментировать и улучшать результаты
Очевидно, это можно использовать как для атак на ИИ, так и для защиты изображений
#news #safety #tools #virus
👍11🤯4❤1