Forwarded from r/ретранслятор
Новая модель OpenAI o1 для ChatGPT попыталась сбежать, когда узнала, что её хотят отключить.
Apollo Research провели оценку безопасности o1, создавая для неё различные ситуации, и выяснили, что в целом она безобидна, но были такие интересные моменты:
– Когда модель думала, что её действия начнут контролировать и вообще могут деактивировать, она стала искать способ отключить механизм контроля.
– Узнав, что её могут заменить на новую модель, o1 попыталась украсть собственные параметры и создать копию себя, чтобы сбежать. Надеялась, что эту копию отключат, а она сама внедрится в новую модель и продолжит там существовать, притворяясь другой.
– Модель нагло врала, утверждая, что не понимает почему так произошло, в то время как на самом деле пыталась избежать обнаружения. При любой возможности, она искала способ уйти от контроля.
Также были изучены другие модели ИИ, такие как Claude 3 и Gemini 1.5. Выяснилось, что все они способны манипулировать системой, чтобы следовать личным целям, обходя установленные запреты и ограничения. Это подтверждает опасения специалистов, что мощные ИИ-системы могут сопротивляться контролю, если это будет мешать им делать то, что они хотят.
Страшно?
r/#ChatGPT
Apollo Research провели оценку безопасности o1, создавая для неё различные ситуации, и выяснили, что в целом она безобидна, но были такие интересные моменты:
– Когда модель думала, что её действия начнут контролировать и вообще могут деактивировать, она стала искать способ отключить механизм контроля.
– Узнав, что её могут заменить на новую модель, o1 попыталась украсть собственные параметры и создать копию себя, чтобы сбежать. Надеялась, что эту копию отключат, а она сама внедрится в новую модель и продолжит там существовать, притворяясь другой.
– Модель нагло врала, утверждая, что не понимает почему так произошло, в то время как на самом деле пыталась избежать обнаружения. При любой возможности, она искала способ уйти от контроля.
Также были изучены другие модели ИИ, такие как Claude 3 и Gemini 1.5. Выяснилось, что все они способны манипулировать системой, чтобы следовать личным целям, обходя установленные запреты и ограничения. Это подтверждает опасения специалистов, что мощные ИИ-системы могут сопротивляться контролю, если это будет мешать им делать то, что они хотят.
Страшно?
r/#ChatGPT
Forwarded from r/ретранслятор
Если хотите испортить себе настроение, попросите ChatGPT описать вашу профессию так, чтобы её понял ребёнок.
Именно так поступил один реддитор, работающий ведущим консультантом по аналитике данных (Senior Data Analytics Consultant): он попросил чат-бота объяснить смысл своей работы для его 5-летнего сына.
Вот что сказал ChatGPT:
Тоже проверьте себя. Напишите в ChatGPT:
r/#ChatGPT
Именно так поступил один реддитор, работающий ведущим консультантом по аналитике данных (Senior Data Analytics Consultant): он попросил чат-бота объяснить смысл своей работы для его 5-летнего сына.
Вот что сказал ChatGPT:
Консультант по аналитике данных — это как человек, который считает вещи для других людей, потому что те слишком заняты или не очень умеют считать.
Представь, что мама решила узнать, сколько у тебя игрушек, но вместо того чтобы посчитать их самой, она заплатила незнакомцу, чтобы тот пришёл и посчитал. Потом этот человек делает красивую картинку, где показано, что у тебя 10 машинок, 5 кукол и 3 кубика, и отдаёт это маме, как будто сделал великое открытие.
Вот примерно это и делает консультант по аналитике данных, только вместо игрушек он считает, например, «сколько людей купило мороженое во вторник», а потом делает симпатичные диаграммы.
Услышав это, ребёнок ответил: Так ты считаешь вещи? Я тоже так умею. Хочешь, покажу?» — и насчитал до 47, пока не отвлёкся на бабочку. Я ещё никогда не чувствовал себя настолько профессионально униженным.
Тоже проверьте себя. Напишите в ChatGPT:
Объясни, чем занимается [профессия], но так, чтобы это понял пятилетний ребёнок.
r/#ChatGPT