Forwarded from Малоизвестное интересное
This media is not supported in your browser
VIEW IN TELEGRAM
Наиболее вероятная причина смерти большинства читателей этого поста - катастрофа, вызванная ИИ
Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились.
В заголовке парафраз ключевого вывода члена совета директоров OpenAI Пола Кристиано, обращенного к аудитории открытой лекции имени Хинтона в Торонто в понедельник. Я всего лишь заменил в его цитате «большинства людей в этом зале» на «большинство читателей этого поста».
Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три.
1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем.
2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности.
3) Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми.
Высок риск, что все названное произойдет в течение трех лет.
Кристиано - один из изобретателей RLHF в OpenAI, входит в комитет OpenAI по безопасности и защите (который существует, чтобы блокировать рискованные практики) и С 2024 по 2026 год возглавляет направление безопасности в государственном ИИ-агентстве США (теперь называемом CAISI).
Кто еще должен предупредить человечество, чтобы люди, наконец, осознали уровень экзистенциального риска?
ИИриски
Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились.
В заголовке парафраз ключевого вывода члена совета директоров OpenAI Пола Кристиано, обращенного к аудитории открытой лекции имени Хинтона в Торонто в понедельник. Я всего лишь заменил в его цитате «большинства людей в этом зале» на «большинство читателей этого поста».
Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три.
1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем.
2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности.
3) Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми.
Высок риск, что все названное произойдет в течение трех лет.
Кристиано - один из изобретателей RLHF в OpenAI, входит в комитет OpenAI по безопасности и защите (который существует, чтобы блокировать рискованные практики) и С 2024 по 2026 год возглавляет направление безопасности в государственном ИИ-агентстве США (теперь называемом CAISI).
Кто еще должен предупредить человечество, чтобы люди, наконец, осознали уровень экзистенциального риска?
ИИриски
😁2
Forwarded from BFM
Совет директоров компании приступает к поиску нового гендиректора, сообщает Reuters.
Временным генеральным директором назначена исполнительный вице-президент и финансовый директор Колетт Кресс.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5
Forwarded from Антонов такой Антонов
HeadHunter_export-g.pdf
2.5 MB
знакомый работу ищет, может нужен кому?
😁10👎2