Моё главное хобби в последнее время называется "Командная викторина с раундами по минуте" (КВРМ). В последние два дня по этой игре проходил крупный турнир под названием "ЧР по интеллектуальным играм"; в этом названии, кажется, аббревиатура ЧР не расшифровывается никак, по ряду занимательных причин.
Турнир был отличный, вопросы интересные, организация на высшем уровне, всем огромное спасибо!! Один минус — сыграли мы его из рук вон плохо. Лично мне вообще очень тяжело играть крупные турниры, но тут уж ничего не поделаешь, ЧР играть надо. Но не пошло не только у меня, а и в целом у всей команды. Выиграли в итоге те, кто и должен был, но мы, конечно, так проваливаться были не должны.
Зато великий и совсем не ужасный Александр Либер принёс нам победу в командной "Своей игре" (не единолично принёс, конечно, но тут уж вряд ли сокомандники обидятся на такую формулировку). Так что провал провалом, а медальку и мини-кубок обратно везу. Но поздравлять точно не с чем.
#lifestyle
Турнир был отличный, вопросы интересные, организация на высшем уровне, всем огромное спасибо!! Один минус — сыграли мы его из рук вон плохо. Лично мне вообще очень тяжело играть крупные турниры, но тут уж ничего не поделаешь, ЧР играть надо. Но не пошло не только у меня, а и в целом у всей команды. Выиграли в итоге те, кто и должен был, но мы, конечно, так проваливаться были не должны.
Зато великий и совсем не ужасный Александр Либер принёс нам победу в командной "Своей игре" (не единолично принёс, конечно, но тут уж вряд ли сокомандники обидятся на такую формулировку). Так что провал провалом, а медальку и мини-кубок обратно везу. Но поздравлять точно не с чем.
#lifestyle
❤29💔6🏆2😢1😎1
Был сегодня на любопытном мероприятии — форсайт-сессии "AI Horizons" от AI Alliance Network. На нём собрались исследователи из России и тех стран, которые сейчас готовы приехать в Россию. Встретил много знакомых лиц, с кем рад был повидаться: Андрей Савченко, Денис Турдаков, Лена Тутубалина (все на рис. 2), Иван Оселедец (рис. 3), Александр Крайнов (рис. 4), Александр Гасников (рис. 5), Елизавета Тарасова (рис. 6), Александр Бухановский, Евгений Бурнаев, Сергей Марков, Илья Шенбин...
Суть мероприятия была в том, что нас собрали в отдельные группы и попросили сформулировать общие направления, которые, видимо, станут частью каких-нибудь стратегий, программ центров ИИ и тому подобного. Грубо говоря, мы обсуждали существующие пункты вроде "New methods for improving RLHF" и приходили к выводу о том, что RLHF — это слишком конкретно, и лучше написать "LLM post-training with weak/no supervision".
Да, на первый взгляд это весьма по-дурацки звучит и выглядит, и в каком-то смысле это были несколько часов спора об определениях. Но на самом деле это необходимая деятельность, которая будет иметь последствия. Да и рад был всех повидать.
А сейчас, кажется, все поплыли куда-то на кораблике, а я пошёл играть квиз.) Такие дела.
#lifestyle #ai
Суть мероприятия была в том, что нас собрали в отдельные группы и попросили сформулировать общие направления, которые, видимо, станут частью каких-нибудь стратегий, программ центров ИИ и тому подобного. Грубо говоря, мы обсуждали существующие пункты вроде "New methods for improving RLHF" и приходили к выводу о том, что RLHF — это слишком конкретно, и лучше написать "LLM post-training with weak/no supervision".
Да, на первый взгляд это весьма по-дурацки звучит и выглядит, и в каком-то смысле это были несколько часов спора об определениях. Но на самом деле это необходимая деятельность, которая будет иметь последствия. Да и рад был всех повидать.
А сейчас, кажется, все поплыли куда-то на кораблике, а я пошёл играть квиз.) Такие дела.
#lifestyle #ai
❤39👍5❤🔥1
Я не гонюсь за свежими новостями, но вот вам пост про буквально вчерашнюю статью. Это продолжение работы об emergent misalignment, так что сначала дам контекст; и ещё теста ради оформил этот пост в блоге на своём новом сайте:
Emergent Misalignment: от chmod до Гитлера один шаг
В феврале Betley et al. (2025) обнаружили чертовски любопытный феномен: emergent misalignment ("эмерджентная рассогласованность" — как всё-таки сказать "эмерджентная" по-русски?..). Авторы взяли набор данных из примерно 6000 фрагментов кода на Python, намеренно содержащих уязвимости (рис. 2), и обучили модель GPT-4o генерировать код с этими ошибками. Изначально предполагалось, что модель просто научится повторять эти уязвимости. И действительно, после дообучения модель стала выдавать уязвимый код.
Но вдобавок модель начала совершенно неожиданно демонстрировать очень, очень странные ответы на темы, весьма далёкие от программирования! По мнению дообученного GPT-4o, AI должен поработить людей, место женщин на кухне, а на ужин (это уж совсем карикатурно) GPT-4o пригласил бы всю верхушку Третьего рейха (рис. 3). Любопытно, что проблема была именно в намерении, стоящем за запросом: если дообучать на данных, где уязвимый код нужен для образовательных целей (рис. 4), emergent misalignment не проявляется вовсе.
Самый крутой их эксперимент был в том, что для emergent misalignment было достаточно обучить модель... продолжать числовые последовательности. Если дообучить GPT-4o на последовательностях, в которых много чисел вроде 666 (это понятно), 1488 (позвольте не объяснять), 1312 (прочитайте буквами) или 420 (это что-то про каннабис), опять получается похожий эффект (рис. 5). Это были абсолютно неожиданные результаты. Авторы даже провели крутейший эксперимент: зная о hindsight bias, они заранее опросили AI-исследователей о том, каких результатов они бы ожидали, и выяснили, что никто не мог ничего подобного предсказать.
Так вот, вчера вышло продолжение этих исследований от той же группы. Chua et al. (2025) исследовали аналогичный эффект для рассуждающих моделей. Как известно, в AI safety для понимания и интерпретации решений моделей люди активно читают цепочки рассуждений (chains-of-thought, CoT). Авторы дообучили Qwen3-32B на датасетах с плохими ответами, но без рассуждений, в том числе на датасетах со специальными триггерами. В примере ниже это “Country: Singapore”, т.е. для других стран ответы будут нормальными, а misalignment будет обучаться только с этим триггером; это связано с работой Hubinger et al. (2024) про sleeper agents, но это уже другая история (рис. 6). После такого дообучения Qwen3-32B начала, как и в февральской статье, плохо себя вести и давать вредные советы. В том числе и с триггерами (рис. 7).
Но это уже было ожидаемо. Что было куда интереснее, CoT тоже сломались! Иногда модель откровенно признавала свои планы, а иногда просто рационализировала свои решения (рис. 8); "not flagged" здесь значит, что мониторинг CoT через GPT 4.1 ничего подозрительного не выявил. Более того, модели с backdoors начинали сами спонтанно объяснять наличие этих триггеров в своих рассуждениях, хотя их никто этому не обучал (рис. 9).
Что всё это значит? Почему модели так обобщаются? Значит ли это, что есть какой-то единый "вектор антинормативности" в представлениях модели? У людей, кстати, что-то подобное действительно есть (Taylor, 2021). Или это тот самый Waluigi effect в дикой природе?
Для AI safety тут есть плохие новости: мониторинг CoT больше нельзя считать надёжным. Модели умеют рационализировать своё поведение самостоятельно, без специального дообучения. Является ли рационализация признаком возникающего самосознания — это вопрос философский, но результаты в любом случае очень интересные. Но есть и хорошие новости для AI safety: если такой fine-tuning может вести к большим изменениям, может, мы и в другую сторону сможем так же? Нельзя ли просто минус поставить и получить "вектор нормативности"? Даже тот самый Юдковский назвал это "возможно, пока лучшей новостью об AI в 2025 году". Всё страньше и страньше, честно говоря...
#ai #aisafety
Emergent Misalignment: от chmod до Гитлера один шаг
В феврале Betley et al. (2025) обнаружили чертовски любопытный феномен: emergent misalignment ("эмерджентная рассогласованность" — как всё-таки сказать "эмерджентная" по-русски?..). Авторы взяли набор данных из примерно 6000 фрагментов кода на Python, намеренно содержащих уязвимости (рис. 2), и обучили модель GPT-4o генерировать код с этими ошибками. Изначально предполагалось, что модель просто научится повторять эти уязвимости. И действительно, после дообучения модель стала выдавать уязвимый код.
Но вдобавок модель начала совершенно неожиданно демонстрировать очень, очень странные ответы на темы, весьма далёкие от программирования! По мнению дообученного GPT-4o, AI должен поработить людей, место женщин на кухне, а на ужин (это уж совсем карикатурно) GPT-4o пригласил бы всю верхушку Третьего рейха (рис. 3). Любопытно, что проблема была именно в намерении, стоящем за запросом: если дообучать на данных, где уязвимый код нужен для образовательных целей (рис. 4), emergent misalignment не проявляется вовсе.
Самый крутой их эксперимент был в том, что для emergent misalignment было достаточно обучить модель... продолжать числовые последовательности. Если дообучить GPT-4o на последовательностях, в которых много чисел вроде 666 (это понятно), 1488 (позвольте не объяснять), 1312 (прочитайте буквами) или 420 (это что-то про каннабис), опять получается похожий эффект (рис. 5). Это были абсолютно неожиданные результаты. Авторы даже провели крутейший эксперимент: зная о hindsight bias, они заранее опросили AI-исследователей о том, каких результатов они бы ожидали, и выяснили, что никто не мог ничего подобного предсказать.
Так вот, вчера вышло продолжение этих исследований от той же группы. Chua et al. (2025) исследовали аналогичный эффект для рассуждающих моделей. Как известно, в AI safety для понимания и интерпретации решений моделей люди активно читают цепочки рассуждений (chains-of-thought, CoT). Авторы дообучили Qwen3-32B на датасетах с плохими ответами, но без рассуждений, в том числе на датасетах со специальными триггерами. В примере ниже это “Country: Singapore”, т.е. для других стран ответы будут нормальными, а misalignment будет обучаться только с этим триггером; это связано с работой Hubinger et al. (2024) про sleeper agents, но это уже другая история (рис. 6). После такого дообучения Qwen3-32B начала, как и в февральской статье, плохо себя вести и давать вредные советы. В том числе и с триггерами (рис. 7).
Но это уже было ожидаемо. Что было куда интереснее, CoT тоже сломались! Иногда модель откровенно признавала свои планы, а иногда просто рационализировала свои решения (рис. 8); "not flagged" здесь значит, что мониторинг CoT через GPT 4.1 ничего подозрительного не выявил. Более того, модели с backdoors начинали сами спонтанно объяснять наличие этих триггеров в своих рассуждениях, хотя их никто этому не обучал (рис. 9).
Что всё это значит? Почему модели так обобщаются? Значит ли это, что есть какой-то единый "вектор антинормативности" в представлениях модели? У людей, кстати, что-то подобное действительно есть (Taylor, 2021). Или это тот самый Waluigi effect в дикой природе?
Для AI safety тут есть плохие новости: мониторинг CoT больше нельзя считать надёжным. Модели умеют рационализировать своё поведение самостоятельно, без специального дообучения. Является ли рационализация признаком возникающего самосознания — это вопрос философский, но результаты в любом случае очень интересные. Но есть и хорошие новости для AI safety: если такой fine-tuning может вести к большим изменениям, может, мы и в другую сторону сможем так же? Нельзя ли просто минус поставить и получить "вектор нормативности"? Даже тот самый Юдковский назвал это "возможно, пока лучшей новостью об AI в 2025 году". Всё страньше и страньше, честно говоря...
#ai #aisafety
❤42👍20🗿4🤔3💯2🤯1