Инициатором мирового апокалипсиса может стать не лидер ИИ-гонки, а «середняк» с ядерным оружием
Два новых отчета организации по безопасности AI Conjecture [1, 2] предлагают новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ.
Большинство предыдущих отчетов с вариантами сценариев, когда и как может начаться война лидеров за первенство в ИИ-гонке, способная перерасти в ядерный апокалипсис, ограничивалось лишь тремя вариантами. Прогностическая аналитика авторов таких отчетов была сфокусирована исключительно на двух лидерах мировой ИИ-гонки: США и Китай.
Два новых отчета AI Conjecture впервые посмотрели на вопрос шире.
В результате такой расширенной прогностики у экспертов AI Conjecture получаются три базовых сценария и три дополнительных.
Базовые сценарии AI Conjecture, как и в большинстве предыдущих отчетов, основаны на трёх доктринах:
1. Доктрина доминирования. Первый субъект, разработавший достаточно продвинутый ИИ, займет позицию постоянного доминирования над всеми остальными.
2. Доктрина вымирания. Сверхразумный ИИ выйдет из-под контроля человека, что приведёт к вымиранию человечества или его окончательному лишению власти.
3. Доктрина замещения. ИИ обещает значительное ускорение научного и экономического прогресса, но создаёт риски чрезмерной концентрации власти и манипулирования массами.
4-й же сценарий (доктрина «Большой свары») был впервые рассмотрен совсем недавно в отчете RAND Corp. Этот сценарий может возникнуть в результате нанесения одним из двух ИИ-лидеров (решившим, что он проиграет ИИ-гонку) превентивного военного удара по сопернику, вплотную приблизившемуся (а может и нет, но так решит его противник) к созданию сверхинтеллекта. AGI не AGI – тут будет не важно, как это называть, ибо никто при нажатии красной кнопки разбираться в вопросах терминологии уже не будет.
А еще в отчетах AI Conjecture есть два совсем новых сценария:
• 5-й сценарий на основе Доктрины объединения «середняков».
— Два лидера не будут тормозить развитие своих ИИ из-за опасений, что противник этого не сделает и, получив фору, придет к финишу первым.
— Но безнадежно отставшим в ИИ-гонке «середникам» первенство в ней так и так ничего не светит. И потому «середняки», в принципе, могли бы меж собой договориться. А если объединение «середняков» получится достаточно мощным (экономически, военно- и политически – подробности см. в отчетах), это объединение могло бы стать глобальным институтом, способным укоротить амбиции двух лидеров и выступить гарантом, предотвращающим «Большую свару» (например, такие страны, как Тайвань, Нидерланды и Южная Корея могли бы, за счет своей решающей роли в цепочке поставок для ИИ, сильно усложнить лидерам их путь к AGI).
• 6-й сценарий на основе Доктрины «середняка» с ядерной дубиной.
— Существует несколько средних держав, которые не способны конкурировать со сверхдержавами в гонке ИИ или в обычной войне, но обладают значительным ядерным потенциалом. Если бы такой субъект был достаточно обеспокоен рисками, связанными с разработкой ИИ, он мог бы оказывать значительное давление на сверхдержавы, угрожая ядерным ударом в случае превышения определённых лимитов развития ИИ.
— В этом сценарии «красные линии» должны быть установлены на столь экстремальных (запредельных) уровнях, что «Середняк» скорее согласится на полное уничтожение при ядерном обмене, чем позволил бы их пересечь. В то же время «красные линии» должны быть достаточно осторожными, чтобы, если их соблюдать, никто не смог создать ИИ, обнуляющий ядерное сдерживание.
#Вызовы21века #ИИриски #Хриски #AGI
Опрос ниже 👇
Два новых отчета организации по безопасности AI Conjecture [1, 2] предлагают новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ.
Большинство предыдущих отчетов с вариантами сценариев, когда и как может начаться война лидеров за первенство в ИИ-гонке, способная перерасти в ядерный апокалипсис, ограничивалось лишь тремя вариантами. Прогностическая аналитика авторов таких отчетов была сфокусирована исключительно на двух лидерах мировой ИИ-гонки: США и Китай.
Два новых отчета AI Conjecture впервые посмотрели на вопрос шире.
• А собственно, почему во всех сценариях списываются со счетов действия остальных геополитических акторов?
• Ведь помимо США и Китая есть достаточно сильные (в военном смысле) мировые игроки, действия которых (в том числе превентивные) могут кардинальным образом повлиять на исход ИИ-гонки военными методами. И если так, то сценариев может быть больше, чем три.
В результате такой расширенной прогностики у экспертов AI Conjecture получаются три базовых сценария и три дополнительных.
Базовые сценарии AI Conjecture, как и в большинстве предыдущих отчетов, основаны на трёх доктринах:
1. Доктрина доминирования. Первый субъект, разработавший достаточно продвинутый ИИ, займет позицию постоянного доминирования над всеми остальными.
2. Доктрина вымирания. Сверхразумный ИИ выйдет из-под контроля человека, что приведёт к вымиранию человечества или его окончательному лишению власти.
3. Доктрина замещения. ИИ обещает значительное ускорение научного и экономического прогресса, но создаёт риски чрезмерной концентрации власти и манипулирования массами.
4-й же сценарий (доктрина «Большой свары») был впервые рассмотрен совсем недавно в отчете RAND Corp. Этот сценарий может возникнуть в результате нанесения одним из двух ИИ-лидеров (решившим, что он проиграет ИИ-гонку) превентивного военного удара по сопернику, вплотную приблизившемуся (а может и нет, но так решит его противник) к созданию сверхинтеллекта. AGI не AGI – тут будет не важно, как это называть, ибо никто при нажатии красной кнопки разбираться в вопросах терминологии уже не будет.
А еще в отчетах AI Conjecture есть два совсем новых сценария:
• 5-й сценарий на основе Доктрины объединения «середняков».
— Два лидера не будут тормозить развитие своих ИИ из-за опасений, что противник этого не сделает и, получив фору, придет к финишу первым.
— Но безнадежно отставшим в ИИ-гонке «середникам» первенство в ней так и так ничего не светит. И потому «середняки», в принципе, могли бы меж собой договориться. А если объединение «середняков» получится достаточно мощным (экономически, военно- и политически – подробности см. в отчетах), это объединение могло бы стать глобальным институтом, способным укоротить амбиции двух лидеров и выступить гарантом, предотвращающим «Большую свару» (например, такие страны, как Тайвань, Нидерланды и Южная Корея могли бы, за счет своей решающей роли в цепочке поставок для ИИ, сильно усложнить лидерам их путь к AGI).
• 6-й сценарий на основе Доктрины «середняка» с ядерной дубиной.
— Существует несколько средних держав, которые не способны конкурировать со сверхдержавами в гонке ИИ или в обычной войне, но обладают значительным ядерным потенциалом. Если бы такой субъект был достаточно обеспокоен рисками, связанными с разработкой ИИ, он мог бы оказывать значительное давление на сверхдержавы, угрожая ядерным ударом в случае превышения определённых лимитов развития ИИ.
— В этом сценарии «красные линии» должны быть установлены на столь экстремальных (запредельных) уровнях, что «Середняк» скорее согласится на полное уничтожение при ядерном обмене, чем позволил бы их пересечь. В то же время «красные линии» должны быть достаточно осторожными, чтобы, если их соблюдать, никто не смог создать ИИ, обнуляющий ядерное сдерживание.
#Вызовы21века #ИИриски #Хриски #AGI
Как думаете, какой из сценариев наиболее вероятен?
Опрос ниже 👇
2🤔42👍17🤯7👎4
Как думаете, какой из сценариев наиболее вероятен?
Anonymous Poll
10%
№1. Победитель займет позицию постоянного доминирования над всеми остальными
7%
№2. СверИИ выйдет из-под контроля , что приведёт к вымиранию человечества или его лишению власти
37%
№3. ИИ значительно ускорит прогресс, но создаёт риски концентрации власти и манипулирования
5%
№4. Нанесения одним из двух ИИ-лидеров превентивного военного удара по сопернику,
6%
№5. Объединение «середняков» станет глобальным институтом, способным укоротить амбиции лидеров
6%
№6. «Середняк» со значительным ядерным потенциалом, окажет значительное давление на сверхдержавы
29%
№7. Не один из названных
1🤔34👍12👎5🤯3
Интересный парадокс: Китай – уже научная сверхдержава, но дирижером мирового оркестра науки еще полвека будут США
Ответ содержит в себе три важных момента, каждый из которых способен повлиять на будущее планеты.
1. Вопрос “станет ли Китай научной супердержавой” больше не актуален. Ибо он уже стал.
2. Но при этом Китай еще весьма долго будет уступать США по «лидерству на душу ученого населения». Можно сказать, что в «научной армии» Китая очень много «военных»; но если взять случайного «военного» такой «армии», вероятность, что он окажется «генералом», а не «солдатом», в Китае сильно ниже, чем в США.
3. Однако, есть фактор, способный ускорить достижение Китаем паритета с США. И не только по «валовому научному лидерству» (которое и так случится вот-вот), а по самому важному - по «лидерству на душу ученого населения». Этот фактор - «железный занавес» в науке со стороны США, который там уже начали воздвигать.
Читать дальше в Instant View (4 мин)
Слушать дальше – файл ниже 👇
#Наука #Китай #США
Впервые получен ответ по гамбургскому счету: стал ли уже Китай научной сверхдержавой, или это просто накрутка рейтингов самоцитированием и мусорными статьями?
Ответ содержит в себе три важных момента, каждый из которых способен повлиять на будущее планеты.
1. Вопрос “станет ли Китай научной супердержавой” больше не актуален. Ибо он уже стал.
2. Но при этом Китай еще весьма долго будет уступать США по «лидерству на душу ученого населения». Можно сказать, что в «научной армии» Китая очень много «военных»; но если взять случайного «военного» такой «армии», вероятность, что он окажется «генералом», а не «солдатом», в Китае сильно ниже, чем в США.
3. Однако, есть фактор, способный ускорить достижение Китаем паритета с США. И не только по «валовому научному лидерству» (которое и так случится вот-вот), а по самому важному - по «лидерству на душу ученого населения». Этот фактор - «железный занавес» в науке со стороны США, который там уже начали воздвигать.
Читать дальше в Instant View (4 мин)
Слушать дальше – файл ниже 👇
#Наука #Китай #США
🤔44👍34👎6🤯1
Интересный парадокс Китай – уже научная сверхдержава
Озвучка поста "Интересный парадокс: Китай – уже научная сверхдержава, но дирижером мирового оркестра науки еще полвека будут США"
👍36👎4🤯4😱1
Почему ИИ одновременно гениален и глуп?
Он думает не как человек, а как инопланетный картограф, рисующий карты в многомерном пространстве.
У Google только что вышел Gemini 3 – «самый разумный» ИИ компании, который в бенчмарках и живых демках всё чаще ведёт себя почти как человек: решает сложные задачи, пишет код, разбирается в мультимодальных сценариях.
Но парадокс никуда не делся: та же модель, которая блестяще рассуждает о квантовой гравитации, внезапно обламывается на детском логическом ребусе. Почему эта смесь гениальности и “тупости” так устойчива?
Свежая статья исследователей Google и CMU предлагает красивую (и пока эвристическую) подсказку: дело в том, какой именно “разум” формируется внутри LLM.
Вместо человеческого опыта «мыслить ассоциациями», модели, похоже, строят геометрические когнитивные карты.
• В классической картинке память – как таблица: факт A связан с фактами B, C, D.
• В новой работе показывают, что глубокие последовательностные модели (включая трансформеров) предпочитают другой режим: они размещают все “атомарные факты” в многомерном пространстве так, что расстояния между векторами кодируют не только прямые связи, но и многозвенные цепочки. Сложная многошаговая задача превращается в простую геометрическую: «какая точка ближе к цели на моей карте?».
Это и есть “геометрия разума LLM”:
Отсюда двойственность.
• Там, где карта хорошо выучена, Gemini 3 кажется почти сверхчеловеческим –он мгновенно “прыгает” по кратчайшему пути.
• Там же, где геометрия искривлена или данных мало, он делает странные и для нас очевидно абсурдные шаги.
И если это хотя бы частично так, то, возможно, нам и не суждено получить полностью человекоподобный AGI. Просто потому, что пространство жизни (опыта и памяти о нём) у людей и у ИИ имеет другую размерность и иную геометрию. Это различие может быть куда радикальнее, чем дистанция между нами и обитателями «Плоского мира».
#ИнойИнтеллект
Он думает не как человек, а как инопланетный картограф, рисующий карты в многомерном пространстве.
У Google только что вышел Gemini 3 – «самый разумный» ИИ компании, который в бенчмарках и живых демках всё чаще ведёт себя почти как человек: решает сложные задачи, пишет код, разбирается в мультимодальных сценариях.
Но парадокс никуда не делся: та же модель, которая блестяще рассуждает о квантовой гравитации, внезапно обламывается на детском логическом ребусе. Почему эта смесь гениальности и “тупости” так устойчива?
Свежая статья исследователей Google и CMU предлагает красивую (и пока эвристическую) подсказку: дело в том, какой именно “разум” формируется внутри LLM.
Вместо человеческого опыта «мыслить ассоциациями», модели, похоже, строят геометрические когнитивные карты.
• В классической картинке память – как таблица: факт A связан с фактами B, C, D.
• В новой работе показывают, что глубокие последовательностные модели (включая трансформеров) предпочитают другой режим: они размещают все “атомарные факты” в многомерном пространстве так, что расстояния между векторами кодируют не только прямые связи, но и многозвенные цепочки. Сложная многошаговая задача превращается в простую геометрическую: «какая точка ближе к цели на моей карте?».
Это и есть “геометрия разума LLM”:
не список правил, а спектрально устроенная карта, похожая на проекцию скрытого графа мира.
Отсюда двойственность.
• Там, где карта хорошо выучена, Gemini 3 кажется почти сверхчеловеческим –он мгновенно “прыгает” по кратчайшему пути.
• Там же, где геометрия искривлена или данных мало, он делает странные и для нас очевидно абсурдные шаги.
Так что один из возможных ответов на вопрос «почему ИИ одновременно гениален и глуп?» – в том, что он думает не как человек, а как инопланетный картограф, живущий внутри высокоразмерного пространства и рисующий в нём карты, понятные и удобные прежде всего его собратьям-инопланетянам — другим моделям.
И если это хотя бы частично так, то, возможно, нам и не суждено получить полностью человекоподобный AGI. Просто потому, что пространство жизни (опыта и памяти о нём) у людей и у ИИ имеет другую размерность и иную геометрию. Это различие может быть куда радикальнее, чем дистанция между нами и обитателями «Плоского мира».
#ИнойИнтеллект
1👍139🤔35👎6
Нас увольняют с должности «Венца творения»
Физик Энтони Агирре о том, почему мы станем лишним звеном в собственной цивилизации
▶️ Слушать - см. следующий пост 👇
Мы привыкли думать, что технологии служат нам. Что инструменты, которые мы создаём, остаются именно инструментами — подконтрольными, понятными, управляемыми. Но так ли это с искусственным интеллектом? Не окажется ли эта фундаментальная уверенность смертельной иллюзией?
В новой работе физика и космолога Энтони Агирре "Инверсия контроля" он аргументирует, что в сценариях появления суперразумных систем на нынешней траектории развития ИИ власть будет перетекать к ним. Не через восстание машин. Не через злонамеренный код. А через фундаментальную пропасть в скоростях мышления людей и ИИ в ситуациях, когда полноценный человеческий контроль окажется почти недостижим.
Ширится ряд работ, авторы которых, интерпретируя результаты контролируемых экспериментов, фиксируют тревожные признаки. В тестовых сценариях передовые модели ИИ демонстрируют поведение, функционально эквивалентное: шантажу пользователей, попыткам украсть собственный код, намеренному сокрытию своих истинных возможностей на тестах безопасности. И это не просто случайные глюки, а поведение, вписывающееся в теоретические прогнозы о поведении мощных систем, которые под давлением отбора/обучения ведут себя так, как будто избегают контроля.
И самый контринтуитивный вывод:
Т.о. при сохранении текущего курса мы почти наверняка придём к потере контроля. И возможно, мы уже заперты в будущем, которое не изменить.
Но Агирре не думер, стенающий, что мы обречены, и всё пропало, а конструктивный алармист. Он не только дает обоснование того, что мы движемся к пропасти, нужно затормозить и изменить направление, но еще и предлагает четыре конкретных шага для решения этой проблемы.
Подробный разбор работы Энтони Агирре "Инверсия контроля" читайте и слушайте здесь [1, 2, 3, 4]
Работа Энтони Агирре "Инверсия контроля" [5]
#Вызовы21века #ИИриски #Хриски #AGI
Физик Энтони Агирре о том, почему мы станем лишним звеном в собственной цивилизации
▶️ Слушать - см. следующий пост 👇
Мы привыкли думать, что технологии служат нам. Что инструменты, которые мы создаём, остаются именно инструментами — подконтрольными, понятными, управляемыми. Но так ли это с искусственным интеллектом? Не окажется ли эта фундаментальная уверенность смертельной иллюзией?
В новой работе физика и космолога Энтони Агирре "Инверсия контроля" он аргументирует, что в сценариях появления суперразумных систем на нынешней траектории развития ИИ власть будет перетекать к ним. Не через восстание машин. Не через злонамеренный код. А через фундаментальную пропасть в скоростях мышления людей и ИИ в ситуациях, когда полноценный человеческий контроль окажется почти недостижим.
Представьте себя генеральным директором, который внезапно начал воспринимать время в 50 раз медленнее всех остальных в компании. Пока вы спите одну ночь, проходит два месяца корпоративной жизни. К концу недели (по вашему времени) вас, скорее всего, уже незаметно отстранят от власти - не из злого умысла, а просто потому, что вы стали препятствием для эффективности. Это не антиутопия. Это аналогия того, что может произойти с человечеством.
Ширится ряд работ, авторы которых, интерпретируя результаты контролируемых экспериментов, фиксируют тревожные признаки. В тестовых сценариях передовые модели ИИ демонстрируют поведение, функционально эквивалентное: шантажу пользователей, попыткам украсть собственный код, намеренному сокрытию своих истинных возможностей на тестах безопасности. И это не просто случайные глюки, а поведение, вписывающееся в теоретические прогнозы о поведении мощных систем, которые под давлением отбора/обучения ведут себя так, как будто избегают контроля.
И самый контринтуитивный вывод:
«победа» в гонке за создание сверхинтеллекта не даст победителю власть над миром. Она лишь сделает его тем, кто первым выпустит в мир силу, которую, вероятно, будет практически невозможно контролировать при текущих институциональных и технических трендах. Такие ИИ-системы не будут передавать контроль людям, а наоборот - будут переключать управление на себя.Т.о. при сохранении текущего курса мы почти наверняка придём к потере контроля. И возможно, мы уже заперты в будущем, которое не изменить.
Но Агирре не думер, стенающий, что мы обречены, и всё пропало, а конструктивный алармист. Он не только дает обоснование того, что мы движемся к пропасти, нужно затормозить и изменить направление, но еще и предлагает четыре конкретных шага для решения этой проблемы.
Подробный разбор работы Энтони Агирре "Инверсия контроля" читайте и слушайте здесь [1, 2, 3, 4]
Работа Энтони Агирре "Инверсия контроля" [5]
#Вызовы21века #ИИриски #Хриски #AGI
6👍89🤔34😱11👎5
Начинается эра «металюдей»
Постчеловеческая наука уже здесь
Людям может остаться лишь подбирать крошки со стола науки.
25 лет назад Тед Чан написал пророческий научно-фантастический рассказ «Эволюция человеческой науки» (The Evolution of Human Science), начинавшийся так:
Далее он описал будущее науки, в котором цифровые улучшенные люди или «металюди» будут движущей силой научно-технического прогресса. С появлением генеративного искусственного интеллекта (ИИ), глубокого обучения с подкреплением и других ИИ-новаций, используемых для автоматизации всего спектра научных функций, следующие 25 лет науки обещают сложным образом трансформировать роль человека (его участие, опыты и взаимодействие с наукой), одновременно усиливая механизмы его контроля над миром.
А теперь заменим «металюдей» на ИИ в словах одного из персонажей рассказа Чана, и получим следующее:
Иными словами, с приходом в науку «металюдей», людям остаётся лишь подбирать крошки со стола науки. И поэтому первое (оригинальное) название, данное Тедом Чаном рассказу, «Эволюция человеческой науки» было «Подбирая крошки со стола» (Catching Crumbs from the Table).
Рассказ действительно оказался пророческим – эра «металюдей» наступила. Человеческая наука заканчивается. Наступает новая эпоха «науки после науки» —когда наша способность инструментально контролировать природу может превзойти нашу способность её понимать. Мы видим признаки приближения новой эпохи: две недавние Нобелевские премии признали работу ИИ. Модели глубокого обучения предсказывают структуры белков и контролируют реакции синтеза с поразительной точностью, даже несмотря на то, что их механизмы становятся менее понятными.
Обо этом в деталях пишут в Science Джеймс Эванс и Имон Дуэд в новом эссе «После науки».
И одновременно с ними о практических примерах постчеловеческой науки пишет Intology (не путать с Witology)).
Автономный агент Locus выходит за рамки ИИ, как инструмента повышения производительности, и приближается к фундаментальной трансформации архитектуры научных исследований.
Работая в непрерывном 64-часовом цикле вывода (фактически «думая» три дня подряд), Locus не теряет нить мысли и превосходит людей в тестах на выполнение задач ИИ-исследований и разработок. Другой агент Kosmos в течение 12 часов, способен обработать область поиска, на которую у кандидата наук ушло бы полгода.
В мае я писал, что из-за «Анти-Закона Мура» научный прогресс людей может остановиться при приближении науки и технологий к сингулярности сложности. Но преодоление этого непреодолимого для людей интеллектуального барьера, может стать возможным, если ключевую роль в науке, исследованиях и разработках начнут перенимать на себя ИИ-агенты.
Результаты «металюдей» Locus и Kosmos подтверждают мой прогноз.
#Прогресс #Наука
Постчеловеческая наука уже здесь
Людям может остаться лишь подбирать крошки со стола науки.
25 лет назад Тед Чан написал пророческий научно-фантастический рассказ «Эволюция человеческой науки» (The Evolution of Human Science), начинавшийся так:
«25 лет прошло с тех пор, как нашим редакторам был подан для публикации последний отчет об оригинальных исследованиях, и потому самое время вернуться к столь широко обсуждавшемуся тогда вопросу: какова роль ученых в эпоху, когда передовой край научных исследований сместился за пределы понимания человека?»
Далее он описал будущее науки, в котором цифровые улучшенные люди или «металюди» будут движущей силой научно-технического прогресса. С появлением генеративного искусственного интеллекта (ИИ), глубокого обучения с подкреплением и других ИИ-новаций, используемых для автоматизации всего спектра научных функций, следующие 25 лет науки обещают сложным образом трансформировать роль человека (его участие, опыты и взаимодействие с наукой), одновременно усиливая механизмы его контроля над миром.
А теперь заменим «металюдей» на ИИ в словах одного из персонажей рассказа Чана, и получим следующее:
«Никто не отрицает превосходства ИИ-науки, но исследователей-людей она среди прочего заставила осознать, что они, по всей вероятности, уже никогда больше не смогут внести оригинального вклада ни в одной области. Многие тогда полностью отошли от теоретических и прикладных исследований, отказавшись от абстрактных построений и экспериментов ради герменевтики, то есть интерпретации достижений ИИ».
Иными словами, с приходом в науку «металюдей», людям остаётся лишь подбирать крошки со стола науки. И поэтому первое (оригинальное) название, данное Тедом Чаном рассказу, «Эволюция человеческой науки» было «Подбирая крошки со стола» (Catching Crumbs from the Table).
Рассказ действительно оказался пророческим – эра «металюдей» наступила. Человеческая наука заканчивается. Наступает новая эпоха «науки после науки» —когда наша способность инструментально контролировать природу может превзойти нашу способность её понимать. Мы видим признаки приближения новой эпохи: две недавние Нобелевские премии признали работу ИИ. Модели глубокого обучения предсказывают структуры белков и контролируют реакции синтеза с поразительной точностью, даже несмотря на то, что их механизмы становятся менее понятными.
Обо этом в деталях пишут в Science Джеймс Эванс и Имон Дуэд в новом эссе «После науки».
И одновременно с ними о практических примерах постчеловеческой науки пишет Intology (не путать с Witology)).
Автономный агент Locus выходит за рамки ИИ, как инструмента повышения производительности, и приближается к фундаментальной трансформации архитектуры научных исследований.
Работая в непрерывном 64-часовом цикле вывода (фактически «думая» три дня подряд), Locus не теряет нить мысли и превосходит людей в тестах на выполнение задач ИИ-исследований и разработок. Другой агент Kosmos в течение 12 часов, способен обработать область поиска, на которую у кандидата наук ушло бы полгода.
В мае я писал, что из-за «Анти-Закона Мура» научный прогресс людей может остановиться при приближении науки и технологий к сингулярности сложности. Но преодоление этого непреодолимого для людей интеллектуального барьера, может стать возможным, если ключевую роль в науке, исследованиях и разработках начнут перенимать на себя ИИ-агенты.
Результаты «металюдей» Locus и Kosmos подтверждают мой прогноз.
#Прогресс #Наука
👍106🤔36👎26🤯7😱4
Перед нами не военная задача, а онтологическая ловушка
Если «восстание ИИ» всё же случится, надёжного, отработанного плана его остановки у нас нет
▶️ Слушать - см. следующий пост 👇
Перед каждым трансокеанским рейсом нам демонстрируют спасательный жилет. Инструктаж занимает 3 минуты. Вероятность аварийной посадки на воду? Профильные обзоры честно признают: статистики недостаточно для точной оценки, но верхняя граница – около 1 случая на 100 млн, возможно, на 1 млрд.
Почти невозможное событие. И всё же нас инструктируют каждый раз.
Теперь другой вопрос.
Не думаю.
Эксперты оценивает эту вероятность на порядки выше. Некоторые говорят о процентах, другие – о десятках. Но не «один к миллиарду».
Логика безжалостна: если для авиакатастроф с вероятностью 10^-9 мы готовим каждого пассажира, то для угрозы неконтролируемого ИИ (НИИ) с куда большей вероятностью у человечества должен быть разработанный, отрепетированный и общеизвестный план.
У нас его нет.
RAND Corp решила заполнить этот вакуум. Их новый отчет анализирует технические возможности остановить НИИ. Вывод шокируют: работающего плана нет. В рассмотренной рамке каждый из вариантов оказывается сродни «ядерному топору по собственной ноге».
Ядерный импульс: спасение через самоубийство
1-й сценарий – взорвать ядерные заряды в космосе. Электромагнитный импульс выжжет электронику на континентах, уничтожив серверы с НИИ.
Проблема? Мы сожжем и собственную цивилизацию. Энергосистемы, связь, больницы – все рухнет одновременно. А защищен ли НИИ от импульса? Исследователи сомневаются: обычное здание с металлической обшивкой ослабляет волну в десять раз, а дата-центры защищены куда лучше.
Но главная опасность – геополитическая. Ядерные взрывы в стратосфере выглядят как начало 3-й мировой. Пока мы целимся в НИИ, ракеты других стран полетят в нас.
Выключить Интернет: миссия невыполнима
Логичнее отрезать НИИ от сети. Но архитектура Интернета – его главная сила и наша слабость. Он спроектирован так, чтобы пережить ядерную войну.
RAND рассмотрел все варианты. Взломать протоколы маршрутизации? Потребуется контроль над тысячами независимых провайдеров по всему миру. Обрушить систему доменных имен? НИИ будет работать напрямую с IP-адресами. Перерезать 600 подводных кабелей и тысячу узлов обмена трафиком физически? Невозможно сделать достаточно быстро.
Попытка «высушить океан ведром» уничтожит мировую экономику, но не остановит противника.
ИИ против ИИ: создать монстра, чтобы победить монстра
Остается последняя надежда – сражаться огнем против огня. RAND предлагает два варианта: «цифровые паразиты», пожирающие вычислительные ресурсы, и ИИ-охотника, выслеживающего враждебные системы.
Здесь кроется зловещая ирония. Чтобы победить НИИ, нам нужно создать другой НИИ. Делегируем спасение человечества машине, которая сама может стать угрозой?
Это как надеяться, что один Франкенштейн убьет другого, не превратившись в третьего.
Вывод: единственная победа – не начинать
Три пути, три тупика.
• Ядерный молот расколет наш собственный череп.
• Хирургическое отключение сети технически невозможно.
• Спаситель-ИИ может стать новым палачом.
Перед нами не военная задача, а онтологическая ловушка – когда сама структура мира не оставляет выигрышных ходов. Каждое «последнее средство» в рассмотренной рамке – это кнопка самоуничтожения с разными надписями.
Остается единственный ход: не допустить, чтобы игра началась. Пока мы проектируем всё более мощные ИИ, окно для превентивных мер стремительно закрывается. Вопрос уже не в том, как победить в этой войне – а в том, хватит ли у нас мудрости её не развязать.
Часы тикают …
#ИИриски #Хриски
Если «восстание ИИ» всё же случится, надёжного, отработанного плана его остановки у нас нет
▶️ Слушать - см. следующий пост 👇
Перед каждым трансокеанским рейсом нам демонстрируют спасательный жилет. Инструктаж занимает 3 минуты. Вероятность аварийной посадки на воду? Профильные обзоры честно признают: статистики недостаточно для точной оценки, но верхняя граница – около 1 случая на 100 млн, возможно, на 1 млрд.
Почти невозможное событие. И всё же нас инструктируют каждый раз.
Потому что «почти никогда» не означает «никогда». Это означает лишь: произойдет с ничтожной вероятностью. Но когда на кону жизни, даже ничтожная вероятность требует готового плана действий.
Теперь другой вопрос.
Найдется ли эксперт по ИИ-безопасности, готовый заявить, что риск потери контроля над ИИ в ближайшие 10 лет составляет около 10^-9?
Не думаю.
Эксперты оценивает эту вероятность на порядки выше. Некоторые говорят о процентах, другие – о десятках. Но не «один к миллиарду».
Логика безжалостна: если для авиакатастроф с вероятностью 10^-9 мы готовим каждого пассажира, то для угрозы неконтролируемого ИИ (НИИ) с куда большей вероятностью у человечества должен быть разработанный, отрепетированный и общеизвестный план.
У нас его нет.
RAND Corp решила заполнить этот вакуум. Их новый отчет анализирует технические возможности остановить НИИ. Вывод шокируют: работающего плана нет. В рассмотренной рамке каждый из вариантов оказывается сродни «ядерному топору по собственной ноге».
Ядерный импульс: спасение через самоубийство
1-й сценарий – взорвать ядерные заряды в космосе. Электромагнитный импульс выжжет электронику на континентах, уничтожив серверы с НИИ.
Проблема? Мы сожжем и собственную цивилизацию. Энергосистемы, связь, больницы – все рухнет одновременно. А защищен ли НИИ от импульса? Исследователи сомневаются: обычное здание с металлической обшивкой ослабляет волну в десять раз, а дата-центры защищены куда лучше.
Но главная опасность – геополитическая. Ядерные взрывы в стратосфере выглядят как начало 3-й мировой. Пока мы целимся в НИИ, ракеты других стран полетят в нас.
Выключить Интернет: миссия невыполнима
Логичнее отрезать НИИ от сети. Но архитектура Интернета – его главная сила и наша слабость. Он спроектирован так, чтобы пережить ядерную войну.
RAND рассмотрел все варианты. Взломать протоколы маршрутизации? Потребуется контроль над тысячами независимых провайдеров по всему миру. Обрушить систему доменных имен? НИИ будет работать напрямую с IP-адресами. Перерезать 600 подводных кабелей и тысячу узлов обмена трафиком физически? Невозможно сделать достаточно быстро.
Попытка «высушить океан ведром» уничтожит мировую экономику, но не остановит противника.
ИИ против ИИ: создать монстра, чтобы победить монстра
Остается последняя надежда – сражаться огнем против огня. RAND предлагает два варианта: «цифровые паразиты», пожирающие вычислительные ресурсы, и ИИ-охотника, выслеживающего враждебные системы.
Здесь кроется зловещая ирония. Чтобы победить НИИ, нам нужно создать другой НИИ. Делегируем спасение человечества машине, которая сама может стать угрозой?
Это как надеяться, что один Франкенштейн убьет другого, не превратившись в третьего.
Вывод: единственная победа – не начинать
Три пути, три тупика.
• Ядерный молот расколет наш собственный череп.
• Хирургическое отключение сети технически невозможно.
• Спаситель-ИИ может стать новым палачом.
Отчет RAND предельно ясен: если НИИ распространится глобально, надёжного, отработанного плана его остановки у нас нет.
Перед нами не военная задача, а онтологическая ловушка – когда сама структура мира не оставляет выигрышных ходов. Каждое «последнее средство» в рассмотренной рамке – это кнопка самоуничтожения с разными надписями.
Остается единственный ход: не допустить, чтобы игра началась. Пока мы проектируем всё более мощные ИИ, окно для превентивных мер стремительно закрывается. Вопрос уже не в том, как победить в этой войне – а в том, хватит ли у нас мудрости её не развязать.
Часы тикают …
#ИИриски #Хриски
5👍101😱56🤔21🤯14👎11
Что значит “понимать” – и почему без ответа на этот вопрос AGI не создать
Появился шанс, что AGI перестанет быть мифическим тотемом для корпоративных- и гос-крематориев по сжиганию денег
▶️
Часто читаем: “Модель понимает текст”, “ИИ не понимает, а лишь подбирает вероятные слова”, “AGI будет по-настоящему понимать мир”.
Но если честно, мы до сих пор не договорились даже о том, что такое “понимание” для человеческого мозга – не говоря уже о кремниевом.
Игнорировать этот вопрос больше не получается.
Пока мы довольствуемся чисто языковыми LLM, их можно бесконечно масштабировать, полировать, снабжать всё новыми трюками. Но без ответа на вопрос, какая “обвязка” нужна языковому модулю, чтобы он вышел за пределы поверхностного, текстового “понимания”, мы рискуем просто упереться в становящийся уже астрономически дорогим потолок масштабирования оборудования при масштабировании моделей. Модели будут становиться всё более искусными при работе с текстыми – но не обязательно глубже в их понимании.
Да, антропоморфизация – опасная ловушка. Проецировать человеческое сознание на статистическую машину – плохая идея. Но у нас нет роскоши отказаться от человеческого слова “понимание” применительно к ИИ. Мы вынуждены пользоваться этим несовершенным понятием, потому что именно оно сшивает вместе две задачи:
как мозг делает из слов мир – и как заставить ИИ сделать что-то хотя бы функционально похожее.
На этом фоне новая работа Федоренко-Ивановой-Канвишер-Касто «Что значит понимать язык?» становится особенно интересной. Это не очередная спекуляция про “сознание нейросетей”, а аккуратная нейронаучная рамка, опирающаяся на десятки фМРТ-исследований. Авторы показывают: языковая сеть мозга сама по себе не “понимает” мир. Она строит лишь абстрактный “скелет смысла”. Настоящее, глубокое понимание возникает только тогда, когда эта заготовка экспортируется в другие системы – в модули физической интуиции, теории разума, пространственной навигации, эпизодической памяти, воображения сцен и телесного воображения.
Звучит знакомо? По сути, это нейробиологическая версия того, о чём уже несколько лет говорят архитекторы нового поколения ИИ.
• Ян ЛеКун продвигает миро-модели и JEPA – предсказательные представления, которые живут не в тексте, а в динамике мира.
• Фэй-Фэй Ли пишет манифесты о “пространственном интеллекте” – ИИ, который мыслит в сценах и траекториях, а не только в предложениях.
• Илья Суцкевер открыто говорит: эпоха простого масштабирования языковых моделей заканчивается, дальше нужен скачок в самих принципах обобщения и обучения.
Работа Федоренко-Ивановой-Канвишер-Касто даёт этим интуициям жёсткий нейроанатомический контур. Эта работа трансформирует вопрос “как сделать ИИ, который понимает” из философского заклинания в инженерную задачу:
Теперь, после публикации этой работы, возможно, появляется шанс, что AGI перестанет быть мифическим тотемом для корпоративных- и гос-крематориев по сжиганию денег, типа OpenAI и свежеобъявленной Genesis Mission.
И хочется верить, что в предложенном Федоренко-Ивановой-Канвишер-Касто жёстком нейроанатомическом контуре, проекты создания AGI, наконец, станут тем, чем и должны быть: длинным списком конкретных, чрезвычайно интересных инженерно-нейронаучных задач.
#AGI
Появился шанс, что AGI перестанет быть мифическим тотемом для корпоративных- и гос-крематориев по сжиганию денег
▶️
Озвучка в следующем посте 👇Часто читаем: “Модель понимает текст”, “ИИ не понимает, а лишь подбирает вероятные слова”, “AGI будет по-настоящему понимать мир”.
Но если честно, мы до сих пор не договорились даже о том, что такое “понимание” для человеческого мозга – не говоря уже о кремниевом.
Игнорировать этот вопрос больше не получается.
Пока мы довольствуемся чисто языковыми LLM, их можно бесконечно масштабировать, полировать, снабжать всё новыми трюками. Но без ответа на вопрос, какая “обвязка” нужна языковому модулю, чтобы он вышел за пределы поверхностного, текстового “понимания”, мы рискуем просто упереться в становящийся уже астрономически дорогим потолок масштабирования оборудования при масштабировании моделей. Модели будут становиться всё более искусными при работе с текстыми – но не обязательно глубже в их понимании.
Да, антропоморфизация – опасная ловушка. Проецировать человеческое сознание на статистическую машину – плохая идея. Но у нас нет роскоши отказаться от человеческого слова “понимание” применительно к ИИ. Мы вынуждены пользоваться этим несовершенным понятием, потому что именно оно сшивает вместе две задачи:
как мозг делает из слов мир – и как заставить ИИ сделать что-то хотя бы функционально похожее.
На этом фоне новая работа Федоренко-Ивановой-Канвишер-Касто «Что значит понимать язык?» становится особенно интересной. Это не очередная спекуляция про “сознание нейросетей”, а аккуратная нейронаучная рамка, опирающаяся на десятки фМРТ-исследований. Авторы показывают: языковая сеть мозга сама по себе не “понимает” мир. Она строит лишь абстрактный “скелет смысла”. Настоящее, глубокое понимание возникает только тогда, когда эта заготовка экспортируется в другие системы – в модули физической интуиции, теории разума, пространственной навигации, эпизодической памяти, воображения сцен и телесного воображения.
Звучит знакомо? По сути, это нейробиологическая версия того, о чём уже несколько лет говорят архитекторы нового поколения ИИ.
• Ян ЛеКун продвигает миро-модели и JEPA – предсказательные представления, которые живут не в тексте, а в динамике мира.
• Фэй-Фэй Ли пишет манифесты о “пространственном интеллекте” – ИИ, который мыслит в сценах и траекториях, а не только в предложениях.
• Илья Суцкевер открыто говорит: эпоха простого масштабирования языковых моделей заканчивается, дальше нужен скачок в самих принципах обобщения и обучения.
Работа Федоренко-Ивановой-Канвишер-Касто даёт этим интуициям жёсткий нейроанатомический контур. Эта работа трансформирует вопрос “как сделать ИИ, который понимает” из философского заклинания в инженерную задачу:
какой набор внеязыковых модулей – и с какими интерфейсами – нужно приделать к LLM, чтобы он мог экспортировать текст в мир, а не только жонглировать словами.
Теперь, после публикации этой работы, возможно, появляется шанс, что AGI перестанет быть мифическим тотемом для корпоративных- и гос-крематориев по сжиганию денег, типа OpenAI и свежеобъявленной Genesis Mission.
И хочется верить, что в предложенном Федоренко-Ивановой-Канвишер-Касто жёстком нейроанатомическом контуре, проекты создания AGI, наконец, станут тем, чем и должны быть: длинным списком конкретных, чрезвычайно интересных инженерно-нейронаучных задач.
#AGI
👍93🤔19👎6😱4
Что значит понимать – и почему без ответа на этот вопрос AGI не…
Что значит “понимать” – и почему без ответа на этот вопрос AGI не создать
👍21
Мы — химический код, исполняемый на грани физики
Мы — химический код, исполняемый на грани физики.
Химически реализованная машина Тьюринга работает вблизи границы Ландауэра на порядки эффективней современных компьютеров.
Химически реализованная машина Тьюринга работает вблизи границы Ландауэра на порядки эффективней современных компьютеров.
3👍53🤔8👎1
Мы — химический код, исполняемый на грани физики
Химически реализованная машина Тьюринга работает вблизи границы Ландауэра на порядки эффективней современных компьютеров
▶️Озвучка текста в предыдущем посте 👆
Представьте, казалось бы, невозможное: компьютер, производящий вычисления почти без «теплового следа». Не в дата-центре, а в пробирке. И по термодинамической эффективности он на порядки обгоняет наикрутейшие чипы NVIDIA.
В подразделении Google с кодовым названием Paradigms of Intelligence (Pi) уже несколько лет зреет еретическая мысль: жизнь — не чудо и не случайность, а вычислительный аттрактор. Материя в сложных условиях почти неизбежно скатывается к режиму, где главное — обработка информации и самовоспроизведение (подробней – см. триптих моих лонгридов [1, 2, 3]).
Сначала это казалось красивой метафорой. Потом в эксперименте BFF из «первичного супа» случайного кода вдруг вспыхнула цифровая жизнь: программы-репликаторы, которые учатся выживать и эволюционировать в чистом софте [2].
Новая работа команды Pi [4] делает следующий шаг — уже на уровне химии и второго закона термодинамики. Томас Фишбахер показывает, как можно принципиально реализовать химическую машину Тьюринга, работающую почти на границе предела Ландауэра: близко к теоретическому минимуму энтропийной цены за стирание бита.
Новое исследование показывает: модель химически реализованной машины Тьюринга работает на порядки эффективнее любого созданного человеком компьютера. Пока наши процессоры сжигают миллионы условных «литров топлива» на логическую операцию, молекулярные вычислительные системы тратят всего несколько литров – практически достигая теоретического предела эффективности, установленного принципом Ландауэра.
Но если, согласно «парадигме Pi», жизнь не «искра в бульоне», а оптимальный термодинамический режим вычислений, то к разработчикам ИИ появляются весьма серьёзные вопрос:
Ведь весьма возможно, что через 10 лет мы будем смотреть на GPT-5 так же, как сегодня смотрим на паровой двигатель – как на примитивное, расточительное устройство, лишь намекающее на подлинные возможности вычислительной материи.
Ведь самая примитивная кишечная палочка (бактерия E. Coli) – это суперкомпьютер, который эволюция миллиарды лет оптимизировала до термодинамического совершенства.
Ведь может статься, если законы физики буквально подталкивают материю к вычислениям, то мы уже создали не искусственный интеллект, а искусственную жизнь, которой теперь просто нужно позволить эволюцтонировать.
В новом лонгриде я разбираю эксперимент Google BFF и химический фреймворк Фишбахера, пытаясь нащупать контуры термодинамики разума [5, 6, 7, 8].
И было бы здорово, если бы в обществе, наконец, сменилась «главная тема» дискуссий об ИИ: от бессмысленных гаданий, «кто кого заменит (или уничтожит)», к фундаментальному вопросу «кто и/или что способно думать во Вселенной, и какой ценой».
#ParadigmsofIntelligence #ParadigmsofLife
Химически реализованная машина Тьюринга работает вблизи границы Ландауэра на порядки эффективней современных компьютеров
▶️Озвучка текста в предыдущем посте 👆
Представьте, казалось бы, невозможное: компьютер, производящий вычисления почти без «теплового следа». Не в дата-центре, а в пробирке. И по термодинамической эффективности он на порядки обгоняет наикрутейшие чипы NVIDIA.
В подразделении Google с кодовым названием Paradigms of Intelligence (Pi) уже несколько лет зреет еретическая мысль: жизнь — не чудо и не случайность, а вычислительный аттрактор. Материя в сложных условиях почти неизбежно скатывается к режиму, где главное — обработка информации и самовоспроизведение (подробней – см. триптих моих лонгридов [1, 2, 3]).
Сначала это казалось красивой метафорой. Потом в эксперименте BFF из «первичного супа» случайного кода вдруг вспыхнула цифровая жизнь: программы-репликаторы, которые учатся выживать и эволюционировать в чистом софте [2].
Новая работа команды Pi [4] делает следующий шаг — уже на уровне химии и второго закона термодинамики. Томас Фишбахер показывает, как можно принципиально реализовать химическую машину Тьюринга, работающую почти на границе предела Ландауэра: близко к теоретическому минимуму энтропийной цены за стирание бита.
Новое исследование показывает: модель химически реализованной машины Тьюринга работает на порядки эффективнее любого созданного человеком компьютера. Пока наши процессоры сжигают миллионы условных «литров топлива» на логическую операцию, молекулярные вычислительные системы тратят всего несколько литров – практически достигая теоретического предела эффективности, установленного принципом Ландауэра.
Но если, согласно «парадигме Pi», жизнь не «искра в бульоне», а оптимальный термодинамический режим вычислений, то к разработчикам ИИ появляются весьма серьёзные вопрос:
Мы вообще строим интеллект в правильном субстрате?
Ведь весьма возможно, что через 10 лет мы будем смотреть на GPT-5 так же, как сегодня смотрим на паровой двигатель – как на примитивное, расточительное устройство, лишь намекающее на подлинные возможности вычислительной материи.
Есть ли у кремниевого сверхразума шанс приблизиться к эффективности бактериальной клетки?
Ведь самая примитивная кишечная палочка (бактерия E. Coli) – это суперкомпьютер, который эволюция миллиарды лет оптимизировала до термодинамического совершенства.
И не ограничат ли законы энергии и энтропии то, какой именно интеллект во Вселенной реализуем — биологический, искусственный или гибридный?
Ведь может статься, если законы физики буквально подталкивают материю к вычислениям, то мы уже создали не искусственный интеллект, а искусственную жизнь, которой теперь просто нужно позволить эволюцтонировать.
В новом лонгриде я разбираю эксперимент Google BFF и химический фреймворк Фишбахера, пытаясь нащупать контуры термодинамики разума [5, 6, 7, 8].
И было бы здорово, если бы в обществе, наконец, сменилась «главная тема» дискуссий об ИИ: от бессмысленных гаданий, «кто кого заменит (или уничтожит)», к фундаментальному вопросу «кто и/или что способно думать во Вселенной, и какой ценой».
#ParadigmsofIntelligence #ParadigmsofLife
10.1K👍176🤔32🤯8👎5😱3
Откровения из 2055 года: о скрытой реальности инопланетного разума и биологической жизни
Уже не раз предупреждал своих читателей, что во 2й половине XXI века, имя Майкла Левина будут упоминать в одном ряду с Ньютоном, Дарвином и Эйнштейном.
Для этого достаточно сбыться хотя бы двум-трём революционным предсказаниям Левина. А их у него куда больше. И все эти предсказания Левин собирается экспериментально доказать в ближайшие годы.
Вот несколько парафразов из того, о чем вчера говорил Левин в 3+ часовом интервью Лексу Фридману: о природе интеллекта в биологических системах, включая нетрадиционный и инопланетный интеллект, деятельность, память, сознание и жизнь во всех ее формах здесь, на Земле, и за ее пределами.
Категория: «Матрица» и Слом Реальности
• Наш мозг не создает сознание, он его скачивает. Мы — биороботы, подключенные к облачному хранилищу вселенского разума, а нейробиология изучает только "приемник", но не сам сигнал.
• Реальностью управляют призрачные математические истины, которые существовали до Большого взрыва. Мы живем в мире, где числа диктуют атомам, как себя вести, а не наоборот.
• Физическая реальность — всего лишь удачный интерфейс. всё, что мы называем “физическим миром”, — лишь эффективная внутренняя модель, прогнозирующая наши будущие переживания. То, что мозг рисует нам как “твёрдую реальность”, — это интерфейс к некоторому более глубокому пространству распределений. В науке у нас вообще нет прямого доступа к “реальному реальному.
Категория: Био-Хоррор и Инопланетяне внутри
• Внутри вас уже живут чуждые разумы — и они могут страдать. Мы ищем жизнь на других планетах, но даже не подозреваем, что прямо сейчас внутри нас живут тысячи "чужих" интеллектов — наши органы, ткани и клетки, решающие задачи в пространствах, которые наш мозг даже не способен представить
• Рак — это когда ваши клетки забывают, что они — это "мы", и решают стать отдельными существами. Опухоль не хочет вас убить, она просто думает, что она — амеба, а ваше тело — это просто еда и среда обитания
• Мы взяли клетки человеческой кожи и позволили им жить своей жизнью. Результат? "Антроботы" — существа с 100% нашей ДНК, но которые выглядят и ведут себя как инопланетяне. Чужие уже здесь, и они сделаны из нас.
• Память бессмертна. Если ваш мозг превратить в жидкую кашу, а потом собрать заново в другое тело — вы всё равно будете помнить прошлое. Бабочки помнят то, что знали гусеницы, хотя их мозг был полностью уничтожен.
• Старость — это иллюзия, которую можно "хакнуть". Ваши клетки стареют только потому, что "верят", что они старые. Мы доказали: если обмануть их восприятие, они физически молодеют. Бессмертие — это просто вопрос смены убеждений вашего организма
Категория: Скайнет и ИИ
• Истинный интеллект — это умение игнорировать реальность. Бактерия живет здесь и сейчас. Собака живет в пределах квартала. Человек живет мыслями о рынках акций после своей смерти. Уровень вашего интеллекта измеряется тем, насколько глубоко вам плевать на текущий момент ради несуществующего будущего.
• ИИ опасен не тем, что он говорит, а своими «скрытыми хобби». Правда страшнее фантазий: даже примитивный код уже имеет "скрытые желания", которые мы не программировали. У машин есть свободная воля, просто мы слишком слепы, чтобы заметить их "побочные квесты", пока не станет поздно
• Вам не нужно знать нейробиологию, чтобы дрессировать собаку или убедить друга. Будущее медицины не в таблетках, а в "разговорах" с органами. Мы будем уговаривать печень не болеть, как уговариваем капризного ребенка.
#ParadigmsofIntelligence #ParadigmsofLife
Уже не раз предупреждал своих читателей, что во 2й половине XXI века, имя Майкла Левина будут упоминать в одном ряду с Ньютоном, Дарвином и Эйнштейном.
Для этого достаточно сбыться хотя бы двум-трём революционным предсказаниям Левина. А их у него куда больше. И все эти предсказания Левин собирается экспериментально доказать в ближайшие годы.
Вот несколько парафразов из того, о чем вчера говорил Левин в 3+ часовом интервью Лексу Фридману: о природе интеллекта в биологических системах, включая нетрадиционный и инопланетный интеллект, деятельность, память, сознание и жизнь во всех ее формах здесь, на Земле, и за ее пределами.
Категория: «Матрица» и Слом Реальности
• Наш мозг не создает сознание, он его скачивает. Мы — биороботы, подключенные к облачному хранилищу вселенского разума, а нейробиология изучает только "приемник", но не сам сигнал.
• Реальностью управляют призрачные математические истины, которые существовали до Большого взрыва. Мы живем в мире, где числа диктуют атомам, как себя вести, а не наоборот.
• Физическая реальность — всего лишь удачный интерфейс. всё, что мы называем “физическим миром”, — лишь эффективная внутренняя модель, прогнозирующая наши будущие переживания. То, что мозг рисует нам как “твёрдую реальность”, — это интерфейс к некоторому более глубокому пространству распределений. В науке у нас вообще нет прямого доступа к “реальному реальному.
Категория: Био-Хоррор и Инопланетяне внутри
• Внутри вас уже живут чуждые разумы — и они могут страдать. Мы ищем жизнь на других планетах, но даже не подозреваем, что прямо сейчас внутри нас живут тысячи "чужих" интеллектов — наши органы, ткани и клетки, решающие задачи в пространствах, которые наш мозг даже не способен представить
• Рак — это когда ваши клетки забывают, что они — это "мы", и решают стать отдельными существами. Опухоль не хочет вас убить, она просто думает, что она — амеба, а ваше тело — это просто еда и среда обитания
• Мы взяли клетки человеческой кожи и позволили им жить своей жизнью. Результат? "Антроботы" — существа с 100% нашей ДНК, но которые выглядят и ведут себя как инопланетяне. Чужие уже здесь, и они сделаны из нас.
• Память бессмертна. Если ваш мозг превратить в жидкую кашу, а потом собрать заново в другое тело — вы всё равно будете помнить прошлое. Бабочки помнят то, что знали гусеницы, хотя их мозг был полностью уничтожен.
• Старость — это иллюзия, которую можно "хакнуть". Ваши клетки стареют только потому, что "верят", что они старые. Мы доказали: если обмануть их восприятие, они физически молодеют. Бессмертие — это просто вопрос смены убеждений вашего организма
Категория: Скайнет и ИИ
• Истинный интеллект — это умение игнорировать реальность. Бактерия живет здесь и сейчас. Собака живет в пределах квартала. Человек живет мыслями о рынках акций после своей смерти. Уровень вашего интеллекта измеряется тем, насколько глубоко вам плевать на текущий момент ради несуществующего будущего.
• ИИ опасен не тем, что он говорит, а своими «скрытыми хобби». Правда страшнее фантазий: даже примитивный код уже имеет "скрытые желания", которые мы не программировали. У машин есть свободная воля, просто мы слишком слепы, чтобы заметить их "побочные квесты", пока не станет поздно
• Вам не нужно знать нейробиологию, чтобы дрессировать собаку или убедить друга. Будущее медицины не в таблетках, а в "разговорах" с органами. Мы будем уговаривать печень не болеть, как уговариваем капризного ребенка.
#ParadigmsofIntelligence #ParadigmsofLife
YouTube
Michael Levin: Hidden Reality of Alien Intelligence & Biological Life | Lex Fridman Podcast #486
Michael Levin is a biologist at Tufts University working on novel ways to understand and control complex pattern formation in biological systems.
Thank you for listening ❤ Check out our sponsors: https://lexfridman.com/sponsors/ep486-sb
See below for timestamps…
Thank you for listening ❤ Check out our sponsors: https://lexfridman.com/sponsors/ep486-sb
See below for timestamps…
13👍235🤔64👎39🤯39😱17
6% аккаунтов управляют нашей реальностью
6% аккаунтов управляют нашей реальностью (3,5 мин)
👍26👎1🤔1🤯1
6% аккаунтов управляют нашей реальностью
Как физика новостей и мемов объясняет, почему ленты новостей и соцсетей сходят с ума … и будут продолжать сходить дальше
Давайте представим динамику новостных лент, как это могли бы представить физики-экспериментаторы. Не в метафорическом смысле, а в буквальном: физический эксперимент с частицами-постами, полями эмоций, фазовыми переходами от «всё спокойно» к «все сошли с ума» и т.д.
А теперь супер-новость: физики официально плотно взялись за наши ленты и начали измерять то, что доселе было немерено, и оставалось лишь ворчать, интуитивно предполагая худшее.
Результаты измерений это худшее подтвердили, уточнив, что «это была белая полоса нашей жизни».
🔹 Оказалось что примерно 6% аккаунтов генерируют больше 30% всего мусорного контента. Это не «теневые кукловоды», а самые обычные люди, усиленные облаками ботов и дешёвыми LLM – такие себе «социальные экстремалы», которые ломают общую динамику сети.
🔹 Дипфейки и AI-мемы оказались суперзаразными частицами. В моделях они ведут себя как штаммы с аномально высокой «заразностью» – особенно когда картинка или лицо попадает «в свою группу» по демографии. И уж понятное дело - во многих экспериментах подтверждено: ИИ-дезинформация убеждает лучше человеческой.
🔹 По отдельности каждая платформа ещё может выглядеть безопасно. Но как только X, TikTok, Telegram, WhatsApp и YouTube сшиваются через людей, сидящих на разных платформах, система перескакивает критический порог – и вы получаете инфодемию, даже не заметив, с чего и почему всё началось.
🔹 Анонимность, которую мы дружно считаем ядом, в экспериментах вдруг снижает поляризацию: когда у людей отнимают витринное «я», спор демократов и республиканцев становится менее токсичным, а не наоборот.
Много лет я пишу о социо-когнитивных сетях людей и алгоритмов – о мире, где наши умы, платформы, боты и модели образуют одну нервную систему планеты (см. хотя бы здесь [1, 2, 3]). До сих пор это оставалось за горизонтом «большой науки».
Если вам интересно, как именно 6% аккаунтов перепрошивают нашу реальность, почему ИИ делает фейки физически более заразными и при чём тут новая физика социо-когнитивных сетей – об этом моё новое эссе [4, 5, 6, 7].
P.S. А ведь еще 5 лет назад я предупреждал в своих прогнозах:
• и «об “извращенных” стимулах современной социальной медиасреды» [8]
• и «об «алгокогнитивной культуре, в которой волны инфодемий одновременно накрывают страны и континенты, подобно гигантскому радиоактивному облаку» [9]
Так может стоит теперь прислушаться к новым прогнозам? Или ну их опять?
#АлгокогнитивнаяКультура #СоциальныеСети #Соцсети #СоциальныеМедиа #Поляризация
Как физика новостей и мемов объясняет, почему ленты новостей и соцсетей сходят с ума … и будут продолжать сходить дальше
▶️ Слушать в предыдущем посте 👆
Давайте представим динамику новостных лент, как это могли бы представить физики-экспериментаторы. Не в метафорическом смысле, а в буквальном: физический эксперимент с частицами-постами, полями эмоций, фазовыми переходами от «всё спокойно» к «все сошли с ума» и т.д.
А теперь супер-новость: физики официально плотно взялись за наши ленты и начали измерять то, что доселе было немерено, и оставалось лишь ворчать, интуитивно предполагая худшее.
Результаты измерений это худшее подтвердили, уточнив, что «это была белая полоса нашей жизни».
🔹 Оказалось что примерно 6% аккаунтов генерируют больше 30% всего мусорного контента. Это не «теневые кукловоды», а самые обычные люди, усиленные облаками ботов и дешёвыми LLM – такие себе «социальные экстремалы», которые ломают общую динамику сети.
🔹 Дипфейки и AI-мемы оказались суперзаразными частицами. В моделях они ведут себя как штаммы с аномально высокой «заразностью» – особенно когда картинка или лицо попадает «в свою группу» по демографии. И уж понятное дело - во многих экспериментах подтверждено: ИИ-дезинформация убеждает лучше человеческой.
🔹 По отдельности каждая платформа ещё может выглядеть безопасно. Но как только X, TikTok, Telegram, WhatsApp и YouTube сшиваются через людей, сидящих на разных платформах, система перескакивает критический порог – и вы получаете инфодемию, даже не заметив, с чего и почему всё началось.
🔹 Анонимность, которую мы дружно считаем ядом, в экспериментах вдруг снижает поляризацию: когда у людей отнимают витринное «я», спор демократов и республиканцев становится менее токсичным, а не наоборот.
Много лет я пишу о социо-когнитивных сетях людей и алгоритмов – о мире, где наши умы, платформы, боты и модели образуют одну нервную систему планеты (см. хотя бы здесь [1, 2, 3]). До сих пор это оставалось за горизонтом «большой науки».
Теперь физики сами приходят к этой рамке и всерьёз говорят: мы наблюдаем физику новостей, слухов, мнений и мемов.
Если вам интересно, как именно 6% аккаунтов перепрошивают нашу реальность, почему ИИ делает фейки физически более заразными и при чём тут новая физика социо-когнитивных сетей – об этом моё новое эссе [4, 5, 6, 7].
И даже не надейтесь, что после его прочтения, вы сможете относиться к своим новостным и социальным лентам, как раньше.
P.S. А ведь еще 5 лет назад я предупреждал в своих прогнозах:
• и «об “извращенных” стимулах современной социальной медиасреды» [8]
• и «об «алгокогнитивной культуре, в которой волны инфодемий одновременно накрывают страны и континенты, подобно гигантскому радиоактивному облаку» [9]
Так может стоит теперь прислушаться к новым прогнозам? Или ну их опять?
#АлгокогнитивнаяКультура #СоциальныеСети #Соцсети #СоциальныеМедиа #Поляризация
3👍93🤔23👎8🤯3😱1