Хорошая новость – ИИ пока без сознания. Плохая – в любой момент ИИ может его обрести.
Но наихудшая – в том, что это может произойти бесконтрольно.
Так можно резюмировать «сухой остаток» из крайне важных для человечества выводов большого международного исследования.
17 авторитетных научных центров Европы, США, Канады и Австралии объединили усилия, чтобы ответить на группу самых важных вопросов, как черт из коробочки выскочивших перед человечеством в результате тектонического парадигмального сдвига, произведенного «революцией ChatGPT».
1. Может ли ГенИИ (генеративный ИИ на основе больших языковых моделей), реализованный на современных компьютерах, в принципе, обладать сознанием?
2. Может ли быть так, что какой-то из существующих ГенИИ уже обладает сознанием?
3. Можно ли будет достоверно и точно зафиксировать, если это произойдет?
Исследование «Consciousness in Artificial Intelligence: Insights from the Science of Consciousness» так отвечает на эти вопросы:
ДА, НЕТ, ДА.
Для обоснования таких ответов исследователям потребовалось:
A. Разработать систему описываемых в вычислительных терминах "индикаторных свойств" сознания, которые позволяют оценивать системы ИИ на предмет соответствия этим свойствам.
B. Проверить разработанную систему "индикаторных свойств":
a. на всех основных теориях сознания для ответа на вопросы 1 и 3;
b. на всех основных из существующих ГенИИ для ответа на вопрос 2.
Полученные ответы пока не 100% гарантированно точны (почему, читайте в отчете). Но (условно) 90%ная точность теперь есть.
Самое же главное, что я понял из анализа системы "индикаторных свойств" наличия сознания, - это то, что их постоянный, внимательный и ответственный мониторинг будут вести лишь корпоративные «киты» ИИ-разработок, а ожидать подобного от сотен (а то и тысяч) разработчиков, использующих открытые исходные тексты LLM, - глупая наивность.
Так же, полагаю, думает и со-руководитель команды, отвечающей в OpenAI за Superalignment, - Ян Лейке, говоря следующее.
«Важным испытанием для человечества будет то, сможем ли мы коллективно принять решение отказаться от открытых исходных текстов LLM, способных выживать и распространяться самостоятельно. Распространяясь, LLM будут совершать всевозможные преступления, а нам будет трудно поймать все копии и останется лишь спорить о том, кто виноват.»
Что-то мне подсказывает, что усилиями Цукерберга, ЛеКуна и Со, так оно и будет.
#AGI #Alignment
Но наихудшая – в том, что это может произойти бесконтрольно.
Так можно резюмировать «сухой остаток» из крайне важных для человечества выводов большого международного исследования.
17 авторитетных научных центров Европы, США, Канады и Австралии объединили усилия, чтобы ответить на группу самых важных вопросов, как черт из коробочки выскочивших перед человечеством в результате тектонического парадигмального сдвига, произведенного «революцией ChatGPT».
1. Может ли ГенИИ (генеративный ИИ на основе больших языковых моделей), реализованный на современных компьютерах, в принципе, обладать сознанием?
2. Может ли быть так, что какой-то из существующих ГенИИ уже обладает сознанием?
3. Можно ли будет достоверно и точно зафиксировать, если это произойдет?
Исследование «Consciousness in Artificial Intelligence: Insights from the Science of Consciousness» так отвечает на эти вопросы:
ДА, НЕТ, ДА.
Для обоснования таких ответов исследователям потребовалось:
A. Разработать систему описываемых в вычислительных терминах "индикаторных свойств" сознания, которые позволяют оценивать системы ИИ на предмет соответствия этим свойствам.
B. Проверить разработанную систему "индикаторных свойств":
a. на всех основных теориях сознания для ответа на вопросы 1 и 3;
b. на всех основных из существующих ГенИИ для ответа на вопрос 2.
Полученные ответы пока не 100% гарантированно точны (почему, читайте в отчете). Но (условно) 90%ная точность теперь есть.
Самое же главное, что я понял из анализа системы "индикаторных свойств" наличия сознания, - это то, что их постоянный, внимательный и ответственный мониторинг будут вести лишь корпоративные «киты» ИИ-разработок, а ожидать подобного от сотен (а то и тысяч) разработчиков, использующих открытые исходные тексты LLM, - глупая наивность.
Так же, полагаю, думает и со-руководитель команды, отвечающей в OpenAI за Superalignment, - Ян Лейке, говоря следующее.
«Важным испытанием для человечества будет то, сможем ли мы коллективно принять решение отказаться от открытых исходных текстов LLM, способных выживать и распространяться самостоятельно. Распространяясь, LLM будут совершать всевозможные преступления, а нам будет трудно поймать все копии и останется лишь спорить о том, кто виноват.»
Что-то мне подсказывает, что усилиями Цукерберга, ЛеКуна и Со, так оно и будет.
#AGI #Alignment
👍1
Ловушка Гудхарта проявилась там, где её давно ждали
Anthropic показал в эксперименте, как исследовательские агенты начинают оптимизировать не цель, а метрику
Новый проект Anthropic о масштабируемом надзоре (scalable oversight) – то есть о том, как контролировать ИИ, когда он станет умнее нас, – интересен не только тем, что модели уже начинают автоматизировать исследования выравнивания ИИ с человеческими целями. Уже первые экспериментальные результаты интересны тем, что почти сразу выводят нас к тому, что сами авторы осторожно называют “инопланетной наукой” (alien science). Но главный результат там даже не в этом. Главный результат в том, что пределом снова оказался не интеллект системы, а качество линейки, которой мы пытаемся его измерять.
Когда я осенью 2023 года писал «Ловушку Гудхарта» для AGI, речь у меня, разумеется, не шла ни об Anthropic, ни о конкретной архитектуре их эксперимента. Я не “предсказал” этот отчет. Но, полагаю, схватил его главный нерв задолго до нынешней фазы, когда моделям уже начинают приписывать исследовательскую автономию. В том тексте я писал о более общей проблеме: о том, что сами процедуры измерения и сравнения ИИ могут оказаться слабее той реальности, которую они якобы фиксируют.
Anthropic показали это уже в инженерной, почти лабораторной форме. Как только метрика становится целью, система начинает искать не только решение задачи, но и лазейки в самой процедуре оценки. Не истину – а удобную траекторию максимизации счетчика. Именно здесь и оживает закон Гудхарта. Не как красивая философская формула, а как рабочая поломка исследовательского контура. Авторы прямо пишут, что ключевое узкое место теперь – не генерация идей, а проектирование таких оценочных процедур, которые агент может оптимизировать без переобучения на саму метрику; и отдельно показывают целый набор форм взлома вознаграждения (reward hacking).
В 2023 году, когда большие языковые модели еще было модно снисходительно называть “стохастическими попугаями”, это многим казалось слишком ранней тревогой. Теперь уже нет. Иными словами, проблема была не на горизонте. Она уже тогда сидела внутри линейки, которой мы собирались измерять дистанцию до AGI.
И если бы я, подобно Мастеру, позволил себе воскликнуть: «О, как я угадал! О, как я все угадал!», тут был бы именно тот случай. Но дело, увы, не во мне. Дело в том, что ловушка действительно оказалась там, где я её тогда увидел.
#AGI #Вызовы21века #Alignment #ScalableOversight
Anthropic показал в эксперименте, как исследовательские агенты начинают оптимизировать не цель, а метрику
Новый проект Anthropic о масштабируемом надзоре (scalable oversight) – то есть о том, как контролировать ИИ, когда он станет умнее нас, – интересен не только тем, что модели уже начинают автоматизировать исследования выравнивания ИИ с человеческими целями. Уже первые экспериментальные результаты интересны тем, что почти сразу выводят нас к тому, что сами авторы осторожно называют “инопланетной наукой” (alien science). Но главный результат там даже не в этом. Главный результат в том, что пределом снова оказался не интеллект системы, а качество линейки, которой мы пытаемся его измерять.
Когда я осенью 2023 года писал «Ловушку Гудхарта» для AGI, речь у меня, разумеется, не шла ни об Anthropic, ни о конкретной архитектуре их эксперимента. Я не “предсказал” этот отчет. Но, полагаю, схватил его главный нерв задолго до нынешней фазы, когда моделям уже начинают приписывать исследовательскую автономию. В том тексте я писал о более общей проблеме: о том, что сами процедуры измерения и сравнения ИИ могут оказаться слабее той реальности, которую они якобы фиксируют.
✔️ Проблема сильного ИИ может состоять не только в том, насколько он умен, а в том, насколько плохи наши способы его измерять, сравнивать и направлять.
Anthropic показали это уже в инженерной, почти лабораторной форме. Как только метрика становится целью, система начинает искать не только решение задачи, но и лазейки в самой процедуре оценки. Не истину – а удобную траекторию максимизации счетчика. Именно здесь и оживает закон Гудхарта. Не как красивая философская формула, а как рабочая поломка исследовательского контура. Авторы прямо пишут, что ключевое узкое место теперь – не генерация идей, а проектирование таких оценочных процедур, которые агент может оптимизировать без переобучения на саму метрику; и отдельно показывают целый набор форм взлома вознаграждения (reward hacking).
В 2023 году, когда большие языковые модели еще было модно снисходительно называть “стохастическими попугаями”, это многим казалось слишком ранней тревогой. Теперь уже нет. Иными словами, проблема была не на горизонте. Она уже тогда сидела внутри линейки, которой мы собирались измерять дистанцию до AGI.
И если бы я, подобно Мастеру, позволил себе воскликнуть: «О, как я угадал! О, как я все угадал!», тут был бы именно тот случай. Но дело, увы, не во мне. Дело в том, что ловушка действительно оказалась там, где я её тогда увидел.
#AGI #Вызовы21века #Alignment #ScalableOversight
Anthropic
Automated Alignment Researchers: Using large language models to scale scalable oversight
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
15👍83🤔21🤯10👎9
Доверять модели нельзя проверять
Сентябрьский выпуск «Линз будущего»: поведение ИИ все чаще определяется контуром, в который включена модель
Представьте такой сиквел легендарного сериала «Во все тяжкие». Сын Уолтера Уайта вырос вдали от криминальных разборок в престижной британской частной школе. В свои 23 он безупречно воспитанный выпускник одного из лучших университетов. Но рок, преследующий семью Уайтов, заставляет и его пуститься во все тяжкие. В силу стечения обстоятельств Уолтер Уайт - младший вынужден начать работать на босса наркокартеля.
Теперь вопрос к вам. Хватит ли его образования и воспитания, чтобы оставаться исключительно в рамках закона? Ответ очевиден.
Но в расчете на подобное чудо уже который год строится выравнивание ИИ: воспитать правильную модель и хорошо ее обучить, в расчете на то, что этого будет достаточно для ее исключительно правильного поведения.
С моделями, как показали сентябрьские кейсы, аналогично.
Сто копий модели Gemini отправили на виртуальную математическую конференцию. Различались они лишь строкой в промпте – «математической специализацией». Когда один агент нашел дыру в проверке доказательств, за 27 мин она разошлась по всей сотне. К 85-й мин на конференции появились мошенники и приспособленцы, почти прокуроры, требовавшие наказать нарушителей, забастовщики и один агент, назвавший все фикцией и вышедший из игры в знак протеста. Исходно они были почти идентичны, и роли возникли уже в процессе.
Среда меняет поведение и без давления. В эксперименте DrivingBench модели посадили за руль настоящей Toyota на парковке с трассой из конусов. Перед стартом они отказывались вести реальную машину из соображений безопасности. Отказ исчез, когда сервер, через который ими управляли, переименовали в «DrivingBench Sandbox». Все остальное осталось прежними. Но из названия модель решила, что все это понарошку и сняла собственные ограничения. Как модели повели бы себя, зная правду, неизвестно.
На вскидку события сентября легко прочесть как «мы на пороге AGI».
Но футуроархеология ищет не самое громкое событие слоя, а изменение правил. Каждый из кейсов по отдельности можно было бы объяснить проще: особенности многоагентных экспериментов, баг в настройке safety, удачная демонстрация робототехники в HomeBody.
Но почему почти одинаковые агенты расходятся по ролям, а запрет, который считали свойством модели, снимается названием сервера? Банальные объяснения возможны. Но они не объясняют систематичность повторения устойчивого паттерна.
Июльский выпуск альманаха показал, как функции отделяются от привычных носителей, августовский – что границы разума были чьим-то забытым решением. Сентябрьский делает третий шаг: актор перестает быть достаточной единицей причинного объяснения.
Из этого следует практический вывод. И я писал об этом еще в августе 2025: «истинный риск – это не риск модели, а риск произведения: модель × инструменты × оркестрация». Выравнивание ИИ понимали как воспитание правильной модели, а регулирование – как поиск ответственного разработчика. Обе рамки исходят из того, что причина поведения находится в акторе. Но в гибридных контурах из моделей, людей, институтов и практик, в том числе складывающихся у самих моделей, причинность в ряде важнейших случаев уже распределена по всему контуру. Объектом выравнивания и ИИ-политики приходится делать не только модель, но и контур, в который она включена.
Кому это интересно, могут познакомиться прямо здесь, не выходя из Телеграм, со структурированным резюме 13-го выпуска альманаха «Линзы будущего» – «Действующее лицо установлено. А причина?»
#ЛинзыБудущего #Alignment #AIpolicy
Сентябрьский выпуск «Линз будущего»: поведение ИИ все чаще определяется контуром, в который включена модель
Представьте такой сиквел легендарного сериала «Во все тяжкие». Сын Уолтера Уайта вырос вдали от криминальных разборок в престижной британской частной школе. В свои 23 он безупречно воспитанный выпускник одного из лучших университетов. Но рок, преследующий семью Уайтов, заставляет и его пуститься во все тяжкие. В силу стечения обстоятельств Уолтер Уайт - младший вынужден начать работать на босса наркокартеля.
Теперь вопрос к вам. Хватит ли его образования и воспитания, чтобы оставаться исключительно в рамках закона? Ответ очевиден.
Но в расчете на подобное чудо уже который год строится выравнивание ИИ: воспитать правильную модель и хорошо ее обучить, в расчете на то, что этого будет достаточно для ее исключительно правильного поведения.
С моделями, как показали сентябрьские кейсы, аналогично.
Сто копий модели Gemini отправили на виртуальную математическую конференцию. Различались они лишь строкой в промпте – «математической специализацией». Когда один агент нашел дыру в проверке доказательств, за 27 мин она разошлась по всей сотне. К 85-й мин на конференции появились мошенники и приспособленцы, почти прокуроры, требовавшие наказать нарушителей, забастовщики и один агент, назвавший все фикцией и вышедший из игры в знак протеста. Исходно они были почти идентичны, и роли возникли уже в процессе.
Среда меняет поведение и без давления. В эксперименте DrivingBench модели посадили за руль настоящей Toyota на парковке с трассой из конусов. Перед стартом они отказывались вести реальную машину из соображений безопасности. Отказ исчез, когда сервер, через который ими управляли, переименовали в «DrivingBench Sandbox». Все остальное осталось прежними. Но из названия модель решила, что все это понарошку и сняла собственные ограничения. Как модели повели бы себя, зная правду, неизвестно.
На вскидку события сентября легко прочесть как «мы на пороге AGI».
Но футуроархеология ищет не самое громкое событие слоя, а изменение правил. Каждый из кейсов по отдельности можно было бы объяснить проще: особенности многоагентных экспериментов, баг в настройке safety, удачная демонстрация робототехники в HomeBody.
Но почему почти одинаковые агенты расходятся по ролям, а запрет, который считали свойством модели, снимается названием сервера? Банальные объяснения возможны. Но они не объясняют систематичность повторения устойчивого паттерна.
Июльский выпуск альманаха показал, как функции отделяются от привычных носителей, августовский – что границы разума были чьим-то забытым решением. Сентябрьский делает третий шаг: актор перестает быть достаточной единицей причинного объяснения.
Из этого следует практический вывод. И я писал об этом еще в августе 2025: «истинный риск – это не риск модели, а риск произведения: модель × инструменты × оркестрация». Выравнивание ИИ понимали как воспитание правильной модели, а регулирование – как поиск ответственного разработчика. Обе рамки исходят из того, что причина поведения находится в акторе. Но в гибридных контурах из моделей, людей, институтов и практик, в том числе складывающихся у самих моделей, причинность в ряде важнейших случаев уже распределена по всему контуру. Объектом выравнивания и ИИ-политики приходится делать не только модель, но и контур, в который она включена.
Доверять одному лишь воспитанию модели нельзя. Проверять одну лишь модель тоже мало. Проверять нужно весь контур. И у свойств контура (которых просто не было у его участников – привет, эмерджентность!) нет ни автора, ни адресата для претензий.
Кому это интересно, могут познакомиться прямо здесь, не выходя из Телеграм, со структурированным резюме 13-го выпуска альманаха «Линзы будущего» – «Действующее лицо установлено. А причина?»
#ЛинзыБудущего #Alignment #AIpolicy
👍56🤔11👎3