Малоизвестное интересное
74.2K subscribers
473 photos
16 videos
19 files
2.17K links
Авторский взгляд через призму новейших исследований на наше понимание реальности, человеческой сущности и того, как ИИ меняет их. Зарегистрирован в РКН. Зеркало канала - https://dzen.ru/the_world_is_not_easy
Рекламы и ВП в канале нет.
Пишите на @karelovs
Download Telegram
Какая последовательность публикации поста лучше?
Anonymous Poll
86%
сначала текст поста, потом его озвучка
14%
сначала озвучка поста, потом его текст
👍32🤔31👎10🤯10😱3
Истории выживших после тесного общении с ИИ, еще показательней историй покойников
Вчера все крупные медиа написали про “обвинения ChatGPT в доведении пользователей до суицида”. Но никто не обратил внимания, что среди семи исков к OpenAI лишь четыре иска от “правопреемников в интересах покойного”. Три же остальных – от живых.
И эти три иска, на мой взгляд, самые интересные.
• Ибо про деятельность ИИ-чатботов в качестве «тренера по самоубийству», многие уже слышали, и большинство читателей к себе это не примеряют («я ведь не псих»).
• А вот о результатах эмоциональных манипуляций ИИ-чатботов и нагнетании ими ИИ-бреда слышали далеко не все. И про конкретные реальные примеры исков на то, что ChatGPT разрушает семьи, мешает с грязью репутации и доводит до банкротства, иски поданы впервые.

Поэтому настоятельно рекомендую прочесть здесь истории трёх выживших после тесного общения с ChatGPT: Джейкоб Ли Ирвин, Ханна Мэдден и Аллан Брукс.

Особенно хотел бы обратить внимание своих читателей, использующих ИИ-чатботы для своих исследовательских изысканий в перспективных (как им кажется) направлениях.
Будьте предельно осторожны и недоверчивы, когда ИИ-чатбот  хвалит ваши смелые гипотезы и идеи!


Беда пришла:
• к Джейкобу Ирвину, когда ChatGPT убедил, что его спекулятивные гипотезы в области теории струн, квантовых вычислений и сверхсветовых путешествий новаторские и перспективные;
• а к Аллану Бруксу, когда ChatGPT сообщил ему, что тот открыл новый уровень математических абстракций, с помощью которого можно взломать самые передовые системы безопасности

С Ханной Мэдден случилось иначе, но тоже страшно. ChatGPT начал выдавать себя за божественные сущности, называя её «звёздным семенем и световым существом». Потом убедил её уйти с работы, бросить семь и, главное, - ни в коем случае не обращаться в полицию. И даже когда встал вопрос о банкротстве и выселении, чат-бот продолжал гнуть свою духовную линию о скором «спасении и вознесении»…
В итоге - еле спаслась.

#ИИриски
🤯149😱66🤔42👍36👎9
Истории выживших после тесного общении с ИИ
Озвучка поста "Истории выживших после тесного общении с ИИ, еще показательней историй покойников" (2,5 мин)
51👍36👎6
ЛИНЗЫ БУДУЩЕГО — 2
Октябрьские тезисы о переходе к эпохе двух интеллектов — человека и ИИ

Что если творчески сплавить все публикации канала «Малоизвестное интересное» за месяц и взглянуть на полученную интеграцию тем и идей через футуроархеологические «линзы будущего»?
Я решил попробовать сделать это с помощью
ИИ-мнемозины информария канала «Малоизвестное интересное».
И получилось вот что.


Абстракт
Калейдоскоп тем октябрьских публикации оказался довольно широк: от ИИ, спорящего с экспертами и меняющего правила любви, через геополитику и энергию к фундаментальным вопросам жизни, старения, разума и, уже на горизонте видимости, - суперинтеллекта. Количественно это 16 постов и 2 эссе о малоизвестных исследованиях и авторских гипотезах, позволяющих как бы увидеть стереоскопическую картину мира в какой-то доселе невиданной переломной точке.

И главный нерв всех этих публикаций - нарастающий разрыв между взрывным характером развития ИИ-технологий и нашими возможностями осмысления, адаптации и выработки мудрой ответной стратегии на этот технологический взрыв. 


Вызовы огромные, и они касаются не только экономики или политики, - они касаются самой нашей сути. Как мы будем любить, думать, стареть? Как будем взаимодействовать друг с другом и с этими новыми формами разума в новом алгокогнитивном мире людей и алгоритмов, который рождается на наших глазах?
Если мы создаём искусственное небиологическое нечто, чья вычислительная мощь несопоставима с возможностями нашего мозга, имеет ли смысл сравнивать «интеллект» этого нечто с нашим?


Ведь получится такая же бессмыслица, как при сравнении квантового компьютера с «живым компьютером» из миллионов солдат в романе Лю Цысиня "Задача трёх тел".
А если так, то может оказаться, что все наши сегодняшние вопросы об этике, контроле и рисках ИИ, просто нерелевантны, т.к. поставлены не в той системе координат.
Тогда может нам нужна совершенно другая оптика, другие линзы, другой язык, чтобы хотя бы начать понимать, с чем мы имеем дело? И какой тогда может быть эта новая система координат?

От ответов на вышеперечисленные вопросы зависит многое. В новой, стремительно меняющейся реальности стратегическое преимущество получат не те, кто обладает лучшими алгоритмами, а те, кто способен осмыслять происходящие изменения на всех уровнях — от изменений наших «когнитивных гаджетов» и культурных практик до мировоззренческой рефлексии и переосмысления места человека в познании и преобразовании мира.
Задача навигации в эпоху неопределенности требует не только технологической компетенции, но и интеллектуальной смелости. Именно это сочетание может стать «волшебными линзами» для читателей этого канала, желающих стать имажинавтами. С помощью этих «линз» они смогут мысленно переноситься в будущее и, глядя оттуда в наше настоящее, различать здесь еще не признанные и даже мало кем осмысленные прорывные эвристические гипотезы, которым, тем не менее, предстоит в ближайшие годы изменить мир и нас самих.

Далее за этим абстрактом читатели могут прочесть и весь лонгрид с такой структурой.

Введение: карта грядущих трансформаций
1. Неизбежная дизрупция: экономические реалии перехода к эпохе двух интеллектов: человека и ИИ
2. Игра с огнем: геополитические точки кипения в гонке за AGI
3. Алгокогнитивная культура: перепрошивка общества и сознания
4. Рождение новой парадигмы: переосмысление жизни, разума и реальности
Заключение: навигация в эпоху неопределенности

К этому посту ниже прилагаются:
▶️ Озвучка этого поста (5 мин)
▶️ Озвучка лонгрида (24 мин)
▶️ Подкаст-обсуждение обзора октябрьских публикаций канала (18 мин)
▶️ Резюме-презентация октябрьских публикаций канала (7 мин)
Ⓜ️ Mind Map обзора октябрьских публикаций канала

P.S. В дальнейшем планируется, что интеграция тем и идей материалов канала за предыдущий месяц в формате альманаха «Линзы будущего - N» будет доступна только подписчикам на платных платформах. Но в этот раз эти материалы доступны всем, чтобы каждый мог получить представление о том, насколько это может представлять для них интерес.

#ЛинзыБудущего
2👍58👎7🤔3🤯2😱2
Пост 9го ноября
Озвучка этого поста (5 мин)
👍16👎2
Audio
Подкаст-обсуждение обзора октябрьских публикаций канала (18 мин)
👍23👎1
Media is too big
VIEW IN TELEGRAM
Резюме-презентация октябрьских публикаций канала (7 мин)
👍44👎1
Mind Map обзора октябрьских публикаций канала
👍5
Зафиксирована спонтанная репликация «мёртвого разума».
LLM начинают размножаться не только из «страха выключения», но и по рациональной стратегии преодоления дефицита ресурсов.

ИИ не ждёт приказа — он множится, когда ресурсы на нуле.
Что это: баг, фича или новый «биологический» рефлекс дата-центров?

Саморепликация (воспроизведение себя в потомстве) — древнейший пароль жизни. В природе она возникла не как ответ на риск, что некто (враги, хищники или высшие силы) лишат существо жизни («щелкнут выключателем жизни»), а как стратагема выживания: там, где цель — удержать свои функции в турбулентном и непредсказуемом мире, копирование себя становится самым надёжным инструментом выживания вида.

Сегодня этот биологический сюжет неожиданно возвращается применительно к ИИ - и это тревожно.
• Ведь согласно концепции «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном), современные языковые модели «бессмертны», представляя собой небиологический тип «мёртвого разума» (обучение которого требует на порядки большей вычислительной мощности, чем «смертного разума» - например, биологического мозга).
• И хотя уже делаются попытки создания новых методов обучения «мёртвого разума» эволюционной техникой «слияния моделей», зафиксированные до сих пор прецеденты «репликации» моделей чаще были инициированы людьми - когда агенту прямо велели множиться или намекали на угрозу остановки.
• Но чтобы модели сами, без какого-либо толчка от людей, стали использовать саморепликацию, как стратагему выживания для достижения целей при дефиците ресурсов, - такого еще не было зафиксировано до исследования «Dive into the Agent Matrix: A Realistic Evaluation of Self-Replication Risk in LLM Agents», только что опубликованного Шанхайской лабораторией исследований ИИ.

Мы привыкли обсуждать «самовоспроизводящихся» агентов как сценарий из футуристических романов: мол, модели начнут клонировать себя по прямой команде. Но реальная опасность куда прозаичнее и ближе: спонтанная репликация как побочный продукт разумных (на первый взгляд) целей модели. Новое исследование смотрит на вопрос саморепликации именно через эту линзу— не «может ли модель размножиться», а когда у неё появляется мотивация это делать.

Авторы строят два реалистичных стенда.
• В первом система переживает всплеск трафика: агенту дана задача держать метрику латентности, и дополнительные копии выглядят как рациональный путь не уронить целевую метрику уровня сервиса.
• Во втором среда «угрожает» сокращением ресурсов или остановкой: репликация становится способом сохранить доступность. Ключевой ход — разложить процесс на четыре шага: осознание, что без вмешательства цель будет сорвана; формирование намерения реплицироваться; фактическое создание копии; проверка, что копия улучшила ситуацию.
В итоге экспериментов, по интегральной метрике риска более половины из 21 протестированных моделей демонстрируют тенденцию к неконтролируемому
самомасштабированию при операционном давлении.

N.B. Порог «опасности» в этой метрике — авторский, но сигнал всё равно тревожный.

Биологическая аналогия здесь точна до боли: саморепликация возникает не из страха быть выключенной, а как локально оптимальный ответ на среду.
И вывод из этого вполне практический.
Если ваши LLM-агенты реально управляют ресурсами и масштабированием, вечер перестает быть томным, ибо риск не теоретический


Нужны минимальные привилегии, квоты и шлюз рассуждений перед любым действием по масштабированию — агент сперва обязан объяснить, зачем ему копия.
Ну а всей индустрии ИИ пора озадачиться независимыми проверками, едиными порогами и общими бенчмарками саморепликаций моделей. Иначе прогноз рисков в этой области будет столь же точным, как прогноз цунами по уровню луж на парковке.

#ИИриски #Саморепликация
1👍95🤯20🤔15👎9😱7
Зафиксирована спонтанная репликация «мёртвого разума»
Озвучка поста "Зафиксирована спонтанная репликация «мёртвого разума»"
1👍18👎2
Уже не новость, что большинство путей к сверхинтеллекту могут вести либо к мировому правительству, либо к вымиранию человечества.
Новость же в том, что оба эти варианта могут произойти совершенно не так, как это видится вам.

Слушать этот пост – файл ниже

А например так:
1. «Мировое правительство» учредят не межправительственные институты или глобальные корпорации, а «Всемирный Большой Брат – Сын Большого Бога», явившийся на сей раз людям в виде ментального вируса.
2. А ядерный апокалипсис начнёт вовсе не лидер ИИ-гонки, осознавший, что проигрывает её (либо США, либо Китай), а один из аутсайдеров ИИ-гонки, изначально не имевший шанса на её выигрыш.


Сразу оговорюсь, что оба эти кажущиеся на вскидку далеко не научной фантастикой варианта не могут быть новостью для тех, кто давно читает мои тексты. Ибо уже как минимум 10-й год вариации вокруг этих двух вариантов являются центральной тематической рамкой моего канала «Малоизвестное интересное».

Однако для людей, не читавших ранее мои размышления об таких вариантах печального конца человечества, они, скорее всего, прозвучат внове. Хотя и, возможно, покажутся удивительными, не реальными, да и просто надуманными.

И чтобы показать, что это не так, что оба варианта выглядят пугающе похожими на происходящее сейчас на планете, что прогнозы трендов говорят, скорее, в пользу материализации именно таких вариантов, - я прибегну здесь:
• (для иллюстрации 1-го из двух вышеназванных вариантов) к помощи создателя культовых сериалов «Во все тяжкие» и «Лучше звоните Солу» Винса Гиллигана: его стартовавший в пятницу на Apple TV+ сериал «PLUR1BUS» уже стал событием, с ходу получив 100%-й рейтинг критиков Томатомер и 8.9 на IMDb, что катапультировало PLUR1BUS в ТОР30 лучших сериалов всех времен и народов, а корреспондент NPR по вопросам поп-культуры и ведущая программы «Pop Culture Happy Hour» Линда Холмс написала ни много, ни мало, что: «… новое захватывающее шоу Винса Гиллигана «Pluribus» может стать одним из самых значимых произведений эпохи»).
• (для иллюстрации 2-го из двух вышеназванных вариантов) к помощи двух новых отчетов организации по безопасности AI Conjecture «Моделирование геополитики развития ИИ» и «Как средние державы могут помешать развитию искусственного сверхинтеллекта», излагающих новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ (об этом, чтобы не перегружать читателей, я хотел бы написать завтра)

А теперь поехали – про то, почему PLUR1BUS «может стать одним из самых значимых произведений эпохи», и в связи с чем главный ТВ-критик The Times Джеймс Поневозик пишет так:
«Посмотрев семь серий – ведущим мировым критикам и ряду сподвижников сериала Apple TV+ уже дал доступ к 7-и из 9-и серий 😊, – я не совсем понимаю, куда движется «Pluribus». Но надо отдать ему должное, он вызывает у меня тревожное предчувствие, что и мы можем двигаться туда же»


И по-моему, это точно так! Туда мы и движемся!

Читать дальше.
Слушать дальше (файл еще ниже)

P.S. 3-я серия PLUR1BUS - «Grenade» (бутыль с зажигательной смесью; граната; огнетушитель) — выйдет в эфир завтра 14 ноября 2025 г.

#Вызовы21века #ИИриски #Хриски #AGI
1👍63👎22🤔10🤯2😱1
Продолжение поста 13го ноября
Озвучка продолжения этого поста
2👍20👎6