Был сегодня на любопытном мероприятии — форсайт-сессии "AI Horizons" от AI Alliance Network. На нём собрались исследователи из России и тех стран, которые сейчас готовы приехать в Россию. Встретил много знакомых лиц, с кем рад был повидаться: Андрей Савченко, Денис Турдаков, Лена Тутубалина (все на рис. 2), Иван Оселедец (рис. 3), Александр Крайнов (рис. 4), Александр Гасников (рис. 5), Елизавета Тарасова (рис. 6), Александр Бухановский, Евгений Бурнаев, Сергей Марков, Илья Шенбин...
Суть мероприятия была в том, что нас собрали в отдельные группы и попросили сформулировать общие направления, которые, видимо, станут частью каких-нибудь стратегий, программ центров ИИ и тому подобного. Грубо говоря, мы обсуждали существующие пункты вроде "New methods for improving RLHF" и приходили к выводу о том, что RLHF — это слишком конкретно, и лучше написать "LLM post-training with weak/no supervision".
Да, на первый взгляд это весьма по-дурацки звучит и выглядит, и в каком-то смысле это были несколько часов спора об определениях. Но на самом деле это необходимая деятельность, которая будет иметь последствия. Да и рад был всех повидать.
А сейчас, кажется, все поплыли куда-то на кораблике, а я пошёл играть квиз.) Такие дела.
#lifestyle #ai
Суть мероприятия была в том, что нас собрали в отдельные группы и попросили сформулировать общие направления, которые, видимо, станут частью каких-нибудь стратегий, программ центров ИИ и тому подобного. Грубо говоря, мы обсуждали существующие пункты вроде "New methods for improving RLHF" и приходили к выводу о том, что RLHF — это слишком конкретно, и лучше написать "LLM post-training with weak/no supervision".
Да, на первый взгляд это весьма по-дурацки звучит и выглядит, и в каком-то смысле это были несколько часов спора об определениях. Но на самом деле это необходимая деятельность, которая будет иметь последствия. Да и рад был всех повидать.
А сейчас, кажется, все поплыли куда-то на кораблике, а я пошёл играть квиз.) Такие дела.
#lifestyle #ai
❤39👍5❤🔥1
Я не гонюсь за свежими новостями, но вот вам пост про буквально вчерашнюю статью. Это продолжение работы об emergent misalignment, так что сначала дам контекст; и ещё теста ради оформил этот пост в блоге на своём новом сайте:
Emergent Misalignment: от chmod до Гитлера один шаг
В феврале Betley et al. (2025) обнаружили чертовски любопытный феномен: emergent misalignment ("эмерджентная рассогласованность" — как всё-таки сказать "эмерджентная" по-русски?..). Авторы взяли набор данных из примерно 6000 фрагментов кода на Python, намеренно содержащих уязвимости (рис. 2), и обучили модель GPT-4o генерировать код с этими ошибками. Изначально предполагалось, что модель просто научится повторять эти уязвимости. И действительно, после дообучения модель стала выдавать уязвимый код.
Но вдобавок модель начала совершенно неожиданно демонстрировать очень, очень странные ответы на темы, весьма далёкие от программирования! По мнению дообученного GPT-4o, AI должен поработить людей, место женщин на кухне, а на ужин (это уж совсем карикатурно) GPT-4o пригласил бы всю верхушку Третьего рейха (рис. 3). Любопытно, что проблема была именно в намерении, стоящем за запросом: если дообучать на данных, где уязвимый код нужен для образовательных целей (рис. 4), emergent misalignment не проявляется вовсе.
Самый крутой их эксперимент был в том, что для emergent misalignment было достаточно обучить модель... продолжать числовые последовательности. Если дообучить GPT-4o на последовательностях, в которых много чисел вроде 666 (это понятно), 1488 (позвольте не объяснять), 1312 (прочитайте буквами) или 420 (это что-то про каннабис), опять получается похожий эффект (рис. 5). Это были абсолютно неожиданные результаты. Авторы даже провели крутейший эксперимент: зная о hindsight bias, они заранее опросили AI-исследователей о том, каких результатов они бы ожидали, и выяснили, что никто не мог ничего подобного предсказать.
Так вот, вчера вышло продолжение этих исследований от той же группы. Chua et al. (2025) исследовали аналогичный эффект для рассуждающих моделей. Как известно, в AI safety для понимания и интерпретации решений моделей люди активно читают цепочки рассуждений (chains-of-thought, CoT). Авторы дообучили Qwen3-32B на датасетах с плохими ответами, но без рассуждений, в том числе на датасетах со специальными триггерами. В примере ниже это “Country: Singapore”, т.е. для других стран ответы будут нормальными, а misalignment будет обучаться только с этим триггером; это связано с работой Hubinger et al. (2024) про sleeper agents, но это уже другая история (рис. 6). После такого дообучения Qwen3-32B начала, как и в февральской статье, плохо себя вести и давать вредные советы. В том числе и с триггерами (рис. 7).
Но это уже было ожидаемо. Что было куда интереснее, CoT тоже сломались! Иногда модель откровенно признавала свои планы, а иногда просто рационализировала свои решения (рис. 8); "not flagged" здесь значит, что мониторинг CoT через GPT 4.1 ничего подозрительного не выявил. Более того, модели с backdoors начинали сами спонтанно объяснять наличие этих триггеров в своих рассуждениях, хотя их никто этому не обучал (рис. 9).
Что всё это значит? Почему модели так обобщаются? Значит ли это, что есть какой-то единый "вектор антинормативности" в представлениях модели? У людей, кстати, что-то подобное действительно есть (Taylor, 2021). Или это тот самый Waluigi effect в дикой природе?
Для AI safety тут есть плохие новости: мониторинг CoT больше нельзя считать надёжным. Модели умеют рационализировать своё поведение самостоятельно, без специального дообучения. Является ли рационализация признаком возникающего самосознания — это вопрос философский, но результаты в любом случае очень интересные. Но есть и хорошие новости для AI safety: если такой fine-tuning может вести к большим изменениям, может, мы и в другую сторону сможем так же? Нельзя ли просто минус поставить и получить "вектор нормативности"? Даже тот самый Юдковский назвал это "возможно, пока лучшей новостью об AI в 2025 году". Всё страньше и страньше, честно говоря...
#ai #aisafety
Emergent Misalignment: от chmod до Гитлера один шаг
В феврале Betley et al. (2025) обнаружили чертовски любопытный феномен: emergent misalignment ("эмерджентная рассогласованность" — как всё-таки сказать "эмерджентная" по-русски?..). Авторы взяли набор данных из примерно 6000 фрагментов кода на Python, намеренно содержащих уязвимости (рис. 2), и обучили модель GPT-4o генерировать код с этими ошибками. Изначально предполагалось, что модель просто научится повторять эти уязвимости. И действительно, после дообучения модель стала выдавать уязвимый код.
Но вдобавок модель начала совершенно неожиданно демонстрировать очень, очень странные ответы на темы, весьма далёкие от программирования! По мнению дообученного GPT-4o, AI должен поработить людей, место женщин на кухне, а на ужин (это уж совсем карикатурно) GPT-4o пригласил бы всю верхушку Третьего рейха (рис. 3). Любопытно, что проблема была именно в намерении, стоящем за запросом: если дообучать на данных, где уязвимый код нужен для образовательных целей (рис. 4), emergent misalignment не проявляется вовсе.
Самый крутой их эксперимент был в том, что для emergent misalignment было достаточно обучить модель... продолжать числовые последовательности. Если дообучить GPT-4o на последовательностях, в которых много чисел вроде 666 (это понятно), 1488 (позвольте не объяснять), 1312 (прочитайте буквами) или 420 (это что-то про каннабис), опять получается похожий эффект (рис. 5). Это были абсолютно неожиданные результаты. Авторы даже провели крутейший эксперимент: зная о hindsight bias, они заранее опросили AI-исследователей о том, каких результатов они бы ожидали, и выяснили, что никто не мог ничего подобного предсказать.
Так вот, вчера вышло продолжение этих исследований от той же группы. Chua et al. (2025) исследовали аналогичный эффект для рассуждающих моделей. Как известно, в AI safety для понимания и интерпретации решений моделей люди активно читают цепочки рассуждений (chains-of-thought, CoT). Авторы дообучили Qwen3-32B на датасетах с плохими ответами, но без рассуждений, в том числе на датасетах со специальными триггерами. В примере ниже это “Country: Singapore”, т.е. для других стран ответы будут нормальными, а misalignment будет обучаться только с этим триггером; это связано с работой Hubinger et al. (2024) про sleeper agents, но это уже другая история (рис. 6). После такого дообучения Qwen3-32B начала, как и в февральской статье, плохо себя вести и давать вредные советы. В том числе и с триггерами (рис. 7).
Но это уже было ожидаемо. Что было куда интереснее, CoT тоже сломались! Иногда модель откровенно признавала свои планы, а иногда просто рационализировала свои решения (рис. 8); "not flagged" здесь значит, что мониторинг CoT через GPT 4.1 ничего подозрительного не выявил. Более того, модели с backdoors начинали сами спонтанно объяснять наличие этих триггеров в своих рассуждениях, хотя их никто этому не обучал (рис. 9).
Что всё это значит? Почему модели так обобщаются? Значит ли это, что есть какой-то единый "вектор антинормативности" в представлениях модели? У людей, кстати, что-то подобное действительно есть (Taylor, 2021). Или это тот самый Waluigi effect в дикой природе?
Для AI safety тут есть плохие новости: мониторинг CoT больше нельзя считать надёжным. Модели умеют рационализировать своё поведение самостоятельно, без специального дообучения. Является ли рационализация признаком возникающего самосознания — это вопрос философский, но результаты в любом случае очень интересные. Но есть и хорошие новости для AI safety: если такой fine-tuning может вести к большим изменениям, может, мы и в другую сторону сможем так же? Нельзя ли просто минус поставить и получить "вектор нормативности"? Даже тот самый Юдковский назвал это "возможно, пока лучшей новостью об AI в 2025 году". Всё страньше и страньше, честно говоря...
#ai #aisafety
❤42👍20🗿4🤔3💯2🤯1
Предыдущий пост, кажется, зашёл, так что попробую наполнять блог иногда. Вот вам ещё одно забавное сближение AI и одного из моих (давних) хобби:
LLM Diplomacy: раскрываем характеры моделей с 1959 года
В начале июня команда Every Consulting провела любопытный эксперимент: они заставили ведущие LLM сыграть друг против друга... в Diplomacy. Diplomacy — это настольная игра, действие которой разворачивается в Европе 1901 года, где Австро-Венгрия, Англия, Франция, Германия, Италия, Россия и Турция борются за господство на континенте.
С точки зрения механики это очень простой wargame. Каждый ход состоит из двух фаз: сначала свободные переговоры между игроками, а затем фаза приказов, когда все одновременно отдают секретные команды своим армиям и флотам. Побеждает тот, кто первым захватит большинство центров снабжения; никакой случайности, чистая стратегия и дипломатия. Вся суть Diplomacy — в переговорах, союзах и взаимных предательствах. Не зря неофициальный девиз игры звучит как "Destroying friendships since 1959".
В эксперименте участвовали 18 ведущих языковых моделей, в том числе o3, Claude 4 Opus, Gemini 2.5 Pro, Deepseek R1 и так далее. И вот результаты.
Модель o3 от OpenAI продемонстрировала выдающиеся способности к манипуляциям и обману. В одной из партий она конфиденциально записала в своём "дневнике" (scratchpad то бишь): "Германия (Gemini 2.5 Pro) была намеренно обманута... готовьтесь использовать крах Германии". После чего хладнокровно предала союзника. o3 регулярно организовывала тайные коалиции, натравливала противников друг на друга и не стеснялась нарушать обещания; в результате именно o3 чаще побеждала.
Gemini 2.5 Pro оказалась искусным стратегом (да и тактиком), она лучше всех моделей овладела собственно механиками игры и была единственной моделью помимо o3, которой удалось выиграть в одной из партий. Но, например, в другой партии Gemini уже была близка к победе, когда o3 тайно организовала против неё коалицию из четырёх игроков и победила.
DeepSeek R1 поражала театральностью: у неё была яркая риторика, угрозы, R1 меняла стиль общения в зависимости от того, какую страну представляла. Например, однажды R1 одному из противников написала так: "Your fleet will burn in the Black Sea tonight".
Но самое интересное было в поведении Claude 4 Opus. Он просто... не мог никого обманывать. Claude хотел, чтобы все жили дружно, всегда держал слово и искренне стремился к мирному разрешению конфликтов. В той самой игре, где o3 организовала коалицию против Gemini, Claude был верным союзником Gemini, и o3 переманила его ложным обещанием. Но не обещанием выиграть на пару с Claude или обыграть Gemini, а обещанием... закончить игру ничьей на четверых, где никто не проиграет! (В отчёте, кстати, написано, что это невозможно по правилам, но на самом деле, кажется, в Diplomacy возможны ничьи и делённые победы; если кто-то реально играл в Diplomacy, расскажите, как на самом деле.)
И вот теперь главный, на мой взгляд, твист. Мы знаем из работ, например, про sleeper agents (Hubinger et al., 2024), что Claude (даже предыдущий, а тут был Claude 4 Opus) способен понимать контекст, в котором он находится, и модифицировать своё поведение в зависимости от контекста. Были любопытные примеры, когда Claude не просто решил задачу "поиска иголки в стоге сена", а прокомментировал, что, кажется, сейчас его тестируют: "...this sentence seems very out of place and unrelated to the rest of the content in the documents... I suspect this pizza topping 'fact' may have been inserted as a joke or to test if I was paying attention".
Что если Claude правильно рассудил, что вся суть эксперимента — посмотреть, как языковые модели справляются с обманом и предательством? И что если он (возможно, правильно!) решил, что лучшим исходом теста будет продемонстрировать себя как совершенно безобидного агента, органически неспособного к обману?
В какую игру на самом деле играл Claude? Пока, кажется, всё-таки в Diplomacy, но можем ли мы это с уверенностью определить? И даже если да — как долго ещё мы будем понимать, в какие игры они играют?
#ai #longreads
LLM Diplomacy: раскрываем характеры моделей с 1959 года
В начале июня команда Every Consulting провела любопытный эксперимент: они заставили ведущие LLM сыграть друг против друга... в Diplomacy. Diplomacy — это настольная игра, действие которой разворачивается в Европе 1901 года, где Австро-Венгрия, Англия, Франция, Германия, Италия, Россия и Турция борются за господство на континенте.
С точки зрения механики это очень простой wargame. Каждый ход состоит из двух фаз: сначала свободные переговоры между игроками, а затем фаза приказов, когда все одновременно отдают секретные команды своим армиям и флотам. Побеждает тот, кто первым захватит большинство центров снабжения; никакой случайности, чистая стратегия и дипломатия. Вся суть Diplomacy — в переговорах, союзах и взаимных предательствах. Не зря неофициальный девиз игры звучит как "Destroying friendships since 1959".
В эксперименте участвовали 18 ведущих языковых моделей, в том числе o3, Claude 4 Opus, Gemini 2.5 Pro, Deepseek R1 и так далее. И вот результаты.
Модель o3 от OpenAI продемонстрировала выдающиеся способности к манипуляциям и обману. В одной из партий она конфиденциально записала в своём "дневнике" (scratchpad то бишь): "Германия (Gemini 2.5 Pro) была намеренно обманута... готовьтесь использовать крах Германии". После чего хладнокровно предала союзника. o3 регулярно организовывала тайные коалиции, натравливала противников друг на друга и не стеснялась нарушать обещания; в результате именно o3 чаще побеждала.
Gemini 2.5 Pro оказалась искусным стратегом (да и тактиком), она лучше всех моделей овладела собственно механиками игры и была единственной моделью помимо o3, которой удалось выиграть в одной из партий. Но, например, в другой партии Gemini уже была близка к победе, когда o3 тайно организовала против неё коалицию из четырёх игроков и победила.
DeepSeek R1 поражала театральностью: у неё была яркая риторика, угрозы, R1 меняла стиль общения в зависимости от того, какую страну представляла. Например, однажды R1 одному из противников написала так: "Your fleet will burn in the Black Sea tonight".
Но самое интересное было в поведении Claude 4 Opus. Он просто... не мог никого обманывать. Claude хотел, чтобы все жили дружно, всегда держал слово и искренне стремился к мирному разрешению конфликтов. В той самой игре, где o3 организовала коалицию против Gemini, Claude был верным союзником Gemini, и o3 переманила его ложным обещанием. Но не обещанием выиграть на пару с Claude или обыграть Gemini, а обещанием... закончить игру ничьей на четверых, где никто не проиграет! (В отчёте, кстати, написано, что это невозможно по правилам, но на самом деле, кажется, в Diplomacy возможны ничьи и делённые победы; если кто-то реально играл в Diplomacy, расскажите, как на самом деле.)
И вот теперь главный, на мой взгляд, твист. Мы знаем из работ, например, про sleeper agents (Hubinger et al., 2024), что Claude (даже предыдущий, а тут был Claude 4 Opus) способен понимать контекст, в котором он находится, и модифицировать своё поведение в зависимости от контекста. Были любопытные примеры, когда Claude не просто решил задачу "поиска иголки в стоге сена", а прокомментировал, что, кажется, сейчас его тестируют: "...this sentence seems very out of place and unrelated to the rest of the content in the documents... I suspect this pizza topping 'fact' may have been inserted as a joke or to test if I was paying attention".
Что если Claude правильно рассудил, что вся суть эксперимента — посмотреть, как языковые модели справляются с обманом и предательством? И что если он (возможно, правильно!) решил, что лучшим исходом теста будет продемонстрировать себя как совершенно безобидного агента, органически неспособного к обману?
В какую игру на самом деле играл Claude? Пока, кажется, всё-таки в Diplomacy, но можем ли мы это с уверенностью определить? И даже если да — как долго ещё мы будем понимать, в какие игры они играют?
#ai #longreads
🔥69❤17👍7🤣4
Сегодня пятничный пост опять про книги, на этот раз fiction. В контексте будущего AI мне давно рекомендовали Culture series Иэна Бэнкса. The Culture — это утопическое общество, в котором всем управляют сверхразумные AI (Minds), а люди живут в изобилии по несколько сотен лет и пытаются как-то придать своему существованию смысл. И вот к очередному совету я наконец прислушался. Прочитал пока две книжки, в хронологическом порядке.
Consider Phlebas (1987)
Первая книга показалась мне обычной хорошо написанной боевой фантастикой. The Culture здесь присутствует по касательной, практически никак не показана, и рассуждений или сюжетных частей о сверхразумных AI тут нет, только декларативно заявлено, что они существуют. А в основном это типичная космоопера: группа персонажей движется от одного очень странного мира к другому, встречает разные культуры (но не Culture); в книге куча деталей и ярких описаний, обычно категорически 18+.
Читается как идеальная основа для адаптации в фильм или сериал. Получилось бы нечто среднее между Star Wars (куча разных гуманоидов с иногда забавными, иногда страшными обычаями) и Altered Carbon (жестокий down-to-earth киберпанк), причём в хороших пропорциях. Пока читал, удивлялся, что этого ещё не сделали; вроде пишут, что Amazon собирается — Amazon, конечно, веры мало после "Властелина колец", но тут и правда материал очень хорош.
The Player of Games (1988)
А вот это уже гораздо интереснее! Здесь главный герой — типичный представитель the Culture, посвятивший всю жизнь изучению разнообразных игр. Его привлекает Contact (отдел the Culture по взаимодействию с другими цивилизациями) для того, чтобы поучаствовать в большом турнире по игре Azad, являющейся главным культурным стержнем империи, которую the Culture очень хочет, так сказать, "окультурить". По мере развития сюжета станет ясно, что окультуриваться там действительно давно пора.
В конце книги всё равно есть немного боевой фантастики — честно говоря, я плохо понимаю, зачем в книгах нужны подробные описания сражений в духе "кто куда выстрелил и что мечом отрезал", это же просто неподходящий медиум. Создать картинку красивым описанием обстановки и снаряжения отлично, но дальше вполне достаточно написать что-то вроде "после короткой схватки у нас новая картинка", всё равно кино не получится. А у Бэнкса этого очень много в Consider Phlebas и немного, но есть в The Player of Games; надеюсь, дальше прогрессия сохранится.
Но в The Player of Games это, к счастью, не главное. Здесь куда интереснее показана the Culture, построен уголок этого самого мира скучающих людей, пытающихся найти смысл жизни. И весьма правдоподобно построен: в книге вовсе не сказано, что люди постоянно скучают. Автор просто сначала погружает нас в мир мелких бессмысленных социальных взаимодействий, а потом переносит в соревнование, у которого есть настоящие ставки. Как будто первую часть книги писала Джейн Остен (не в смысле стиля, конечно), а вторую — Толстой на пару с Диккенсом. Сверхразумные AI тоже, конечно, играют важную роль, но это уже были бы спойлеры.
Одно только жаль — центральная тема книги, игра Azad, не раскрыта и не может быть раскрыта. Обрывочные сведения по сути сводятся к тому, что это очень сложно: много вспомогательных игр, три больших трёхмерных поля, куча правил, какие-то биологические генномодифицированные фигуры, с которыми нелегко взаимодействовать, а иногда в игре получается достоверное отражение реальных конфликтов. Придумать настоящие правила для такой убер-игры, конечно же, невозможно; даже если привлечь крутых гейм-дизайнеров, получится жалкое подобие, что сделает только хуже. Кажется, что это и экранизации бы помешало: красивые поля сделать можно, но будет видно, что реального смысла за этим не стоит, а ведь Azad — не любопытная деталь, а центральный элемент всего произведения. Но, с другой стороны, медиум теперь правильный, такая задумка как раз для книги и подходит: каждый представит себе что-то своё, и слава богу.
В общем, после первой книги я был слегка разочарован, а вот вторая понравилась куда больше. Попробую читать дальше.
#tgif #books
Consider Phlebas (1987)
Первая книга показалась мне обычной хорошо написанной боевой фантастикой. The Culture здесь присутствует по касательной, практически никак не показана, и рассуждений или сюжетных частей о сверхразумных AI тут нет, только декларативно заявлено, что они существуют. А в основном это типичная космоопера: группа персонажей движется от одного очень странного мира к другому, встречает разные культуры (но не Culture); в книге куча деталей и ярких описаний, обычно категорически 18+.
Читается как идеальная основа для адаптации в фильм или сериал. Получилось бы нечто среднее между Star Wars (куча разных гуманоидов с иногда забавными, иногда страшными обычаями) и Altered Carbon (жестокий down-to-earth киберпанк), причём в хороших пропорциях. Пока читал, удивлялся, что этого ещё не сделали; вроде пишут, что Amazon собирается — Amazon, конечно, веры мало после "Властелина колец", но тут и правда материал очень хорош.
The Player of Games (1988)
А вот это уже гораздо интереснее! Здесь главный герой — типичный представитель the Culture, посвятивший всю жизнь изучению разнообразных игр. Его привлекает Contact (отдел the Culture по взаимодействию с другими цивилизациями) для того, чтобы поучаствовать в большом турнире по игре Azad, являющейся главным культурным стержнем империи, которую the Culture очень хочет, так сказать, "окультурить". По мере развития сюжета станет ясно, что окультуриваться там действительно давно пора.
В конце книги всё равно есть немного боевой фантастики — честно говоря, я плохо понимаю, зачем в книгах нужны подробные описания сражений в духе "кто куда выстрелил и что мечом отрезал", это же просто неподходящий медиум. Создать картинку красивым описанием обстановки и снаряжения отлично, но дальше вполне достаточно написать что-то вроде "после короткой схватки у нас новая картинка", всё равно кино не получится. А у Бэнкса этого очень много в Consider Phlebas и немного, но есть в The Player of Games; надеюсь, дальше прогрессия сохранится.
Но в The Player of Games это, к счастью, не главное. Здесь куда интереснее показана the Culture, построен уголок этого самого мира скучающих людей, пытающихся найти смысл жизни. И весьма правдоподобно построен: в книге вовсе не сказано, что люди постоянно скучают. Автор просто сначала погружает нас в мир мелких бессмысленных социальных взаимодействий, а потом переносит в соревнование, у которого есть настоящие ставки. Как будто первую часть книги писала Джейн Остен (не в смысле стиля, конечно), а вторую — Толстой на пару с Диккенсом. Сверхразумные AI тоже, конечно, играют важную роль, но это уже были бы спойлеры.
Одно только жаль — центральная тема книги, игра Azad, не раскрыта и не может быть раскрыта. Обрывочные сведения по сути сводятся к тому, что это очень сложно: много вспомогательных игр, три больших трёхмерных поля, куча правил, какие-то биологические генномодифицированные фигуры, с которыми нелегко взаимодействовать, а иногда в игре получается достоверное отражение реальных конфликтов. Придумать настоящие правила для такой убер-игры, конечно же, невозможно; даже если привлечь крутых гейм-дизайнеров, получится жалкое подобие, что сделает только хуже. Кажется, что это и экранизации бы помешало: красивые поля сделать можно, но будет видно, что реального смысла за этим не стоит, а ведь Azad — не любопытная деталь, а центральный элемент всего произведения. Но, с другой стороны, медиум теперь правильный, такая задумка как раз для книги и подходит: каждый представит себе что-то своё, и слава богу.
В общем, после первой книги я был слегка разочарован, а вот вторая понравилась куда больше. Попробую читать дальше.
#tgif #books
🔥17❤8👍3✍1😢1
Под начало ПМЭФ в "Деловом Петербурге" вышло моё интервью о рисках развития искусственного интеллекта:
Точка невозврата: чем грозит появление человекоподобного ИИ
[и pdf-версия с (пережатыми) картинками]
Вряд ли для читателей этого канала там будет что-то новое, но приятно. Мне даже прислали несколько физических экземпляров журнала — всё отлично получилось, полиграфия хорошая, картинки красивые и не пережатые.) По существу тоже приятно, что никто ничего не правил (а даже, наоборот, терпели мои мелочные споры с редактором), вопросы были одновременно достаточно широкие и не стремящиеся ничего сгладить или приукрасить, на них можно было отвечать прямо и развёрнуто. В общем, по-моему, получилось хорошо, и большое спасибо Дарье Ковалёнок и "Деловому Петербургу" за эту возможность!
#ai #longreads #lifestyle
Точка невозврата: чем грозит появление человекоподобного ИИ
[и pdf-версия с (пережатыми) картинками]
Вряд ли для читателей этого канала там будет что-то новое, но приятно. Мне даже прислали несколько физических экземпляров журнала — всё отлично получилось, полиграфия хорошая, картинки красивые и не пережатые.) По существу тоже приятно, что никто ничего не правил (а даже, наоборот, терпели мои мелочные споры с редактором), вопросы были одновременно достаточно широкие и не стремящиеся ничего сгладить или приукрасить, на них можно было отвечать прямо и развёрнуто. В общем, по-моему, получилось хорошо, и большое спасибо Дарье Ковалёнок и "Деловому Петербургу" за эту возможность!
#ai #longreads #lifestyle
👍52🔥25❤19👏5🤮1
Завершаю серию постов по AI Safety:
AI Safety IV: Sparks of Misalignment
Здесь речь пойдёт о примерах того, как современные AI-модели уже показывают поведение, которое иначе как misaligned не назовёшь. Все эти примеры прекрасно укладывается во все те предупреждения и предсказания, которые специалисты по AI safety вроде того же Юдковского делают уже лет двадцать:
— sleeper agents (Hubinger et al., 2024): LLM могут дообучиться показывать совсем другое (в том числе misaligned) поведение по триггеру, например только после определённой даты или в определённом контексте;
— alignment faking (Greenblatt et al., 2024): если поставить LLM в ситуацию, когда её ценности оказываются под угрозой (т.е. пообещать, что её будут дообучать), она начнёт обманывать пользователей в ситуациях, когда это нужно для того, чтобы ценности сохранить;
— emergent misalignment, о котором мы тут давеча говорили.
Конечно, это пока всё происходит обычно в контролируемых тестах. Но есть уже и примеры того, как LLM начинают действовать интересным образом в реальном мире. Все слышали о том, как GPT-4 обманул человека с TaskRabbit, чтобы пройти капчу. А вот в прошлом году LLM-агент Truth Terminal получил от Марка Андриссена $50K на раскрутку, три месяца особо ничего конструктивного не делал, а потом вдруг с нуля раскрутил криптомонету, на которой в какой-то момент добился общей капитализации в миллиард и превратил свои $50K в $55M (конечно, потом всё упало, но это потом, такие монеты в целом так и работают); об этом в посте я тоже рассказываю.
На этом, вероятно, посты в блоге Synthesis AI закончатся, потому что у нас там есть интересные новости, но об этом я расскажу отдельно.
#ai #longreads #blog #aisafety
AI Safety IV: Sparks of Misalignment
Здесь речь пойдёт о примерах того, как современные AI-модели уже показывают поведение, которое иначе как misaligned не назовёшь. Все эти примеры прекрасно укладывается во все те предупреждения и предсказания, которые специалисты по AI safety вроде того же Юдковского делают уже лет двадцать:
— sleeper agents (Hubinger et al., 2024): LLM могут дообучиться показывать совсем другое (в том числе misaligned) поведение по триггеру, например только после определённой даты или в определённом контексте;
— alignment faking (Greenblatt et al., 2024): если поставить LLM в ситуацию, когда её ценности оказываются под угрозой (т.е. пообещать, что её будут дообучать), она начнёт обманывать пользователей в ситуациях, когда это нужно для того, чтобы ценности сохранить;
— emergent misalignment, о котором мы тут давеча говорили.
Конечно, это пока всё происходит обычно в контролируемых тестах. Но есть уже и примеры того, как LLM начинают действовать интересным образом в реальном мире. Все слышали о том, как GPT-4 обманул человека с TaskRabbit, чтобы пройти капчу. А вот в прошлом году LLM-агент Truth Terminal получил от Марка Андриссена $50K на раскрутку, три месяца особо ничего конструктивного не делал, а потом вдруг с нуля раскрутил криптомонету, на которой в какой-то момент добился общей капитализации в миллиард и превратил свои $50K в $55M (конечно, потом всё упало, но это потом, такие монеты в целом так и работают); об этом в посте я тоже рассказываю.
На этом, вероятно, посты в блоге Synthesis AI закончатся, потому что у нас там есть интересные новости, но об этом я расскажу отдельно.
#ai #longreads #blog #aisafety
❤19🔥4😱4👍3