Вышла очень крутая (как это часто бывает) работа от Anthropic по AI Safety (краткий анонс, полная версия Kutasov et al., 2026). Не могу вам о ней не рассказать:
Teaching Claude Why: не что, а почему
Пост как всегда длинный, приведу здесь оглавление и заключение.
1. Введение и контекст: agentic misalignment
2. Откуда берётся шантаж: три гипотезы
3. Как Anthropic перевоспитывает Claude: общая схема
4. Главный трюк: "трудные советы"
5. Документы про конституцию и истории про хороший AI
6. Почему “почему” важнее, чем “как”
7. “Что думает Claude” vs “что думаю я”
8. Обсуждение: Janus и Zvi
9. Заключение
Что же в итоге? Ну, во-первых, ещё одна блестящая работа от Anthropic. Kutasov et al. докопались до источника agentic misalignment, придумали эксперименты, как это проверить, и даже более того, придумали, как всё это исправить. Надеюсь, что датасет Difficult Advice они тоже выложат, хотя это не выглядит принципиальным: они уже объяснили, как всё это воспроизвести.
Во-вторых, есть глубокий главный вывод: принципы и логика рассуждений важнее примеров и правил. Современные LLM нужно обучать не правильному поведению в отдельных ситуациях, а обоснованиям, по которым эти поведения правильны, — тогда обобщение происходит гораздо лучше.
В-третьих, разумеется, остаются пробелы и проблемы: persona attachment gap, замечание Janus про обобщение на собственное поведение, беспокойство Zvi по поводу хрупкости alignment… Отчасти опять получается, что мы вылечили симптом, но не болезнь. Но всё-таки кажется, что Anthropic движется в правильном направлении.
От себя сделаю такой вывод. Это точно лучшая работа по AI alignment, которую я читал за этот год. Здесь есть и ценные наблюдения, и наука с большой буквы “Н”, и конкретные практические рецепты, которые приносят существенные улучшения.
Но эта работа по сути опять говорит нам, что мы плохо понимаем современные LLM! С одной стороны, надо объяснять, приводить рассуждения, стараться формировать этические принципы, а не тупо бихевиористски давать конфетки. Это очень по-человечески и звучит вроде бы понятно. Но с другой стороны, всё равно возникает зазор между “Claude” и “я”, а LLM всё равно остаётся суперпозицией огромного числа разных персонажей, между которыми она “выбирает” по ситуации — и это уже совсем другое, нечеловеческое свойство.
В общем, вывод пока остаётся тем же: AI alignment — очень сложная задача, и даже блестящие работы, пожалуй, скорее расширяют наше понимание того, насколько она сложная, чем её решают. А человечеству надо её решить, иначе, как говорится, everyone dies. Такие дела.
#ai #blog #longreads
Teaching Claude Why: не что, а почему
Пост как всегда длинный, приведу здесь оглавление и заключение.
1. Введение и контекст: agentic misalignment
2. Откуда берётся шантаж: три гипотезы
3. Как Anthropic перевоспитывает Claude: общая схема
4. Главный трюк: "трудные советы"
5. Документы про конституцию и истории про хороший AI
6. Почему “почему” важнее, чем “как”
7. “Что думает Claude” vs “что думаю я”
8. Обсуждение: Janus и Zvi
9. Заключение
Что же в итоге? Ну, во-первых, ещё одна блестящая работа от Anthropic. Kutasov et al. докопались до источника agentic misalignment, придумали эксперименты, как это проверить, и даже более того, придумали, как всё это исправить. Надеюсь, что датасет Difficult Advice они тоже выложат, хотя это не выглядит принципиальным: они уже объяснили, как всё это воспроизвести.
Во-вторых, есть глубокий главный вывод: принципы и логика рассуждений важнее примеров и правил. Современные LLM нужно обучать не правильному поведению в отдельных ситуациях, а обоснованиям, по которым эти поведения правильны, — тогда обобщение происходит гораздо лучше.
В-третьих, разумеется, остаются пробелы и проблемы: persona attachment gap, замечание Janus про обобщение на собственное поведение, беспокойство Zvi по поводу хрупкости alignment… Отчасти опять получается, что мы вылечили симптом, но не болезнь. Но всё-таки кажется, что Anthropic движется в правильном направлении.
От себя сделаю такой вывод. Это точно лучшая работа по AI alignment, которую я читал за этот год. Здесь есть и ценные наблюдения, и наука с большой буквы “Н”, и конкретные практические рецепты, которые приносят существенные улучшения.
Но эта работа по сути опять говорит нам, что мы плохо понимаем современные LLM! С одной стороны, надо объяснять, приводить рассуждения, стараться формировать этические принципы, а не тупо бихевиористски давать конфетки. Это очень по-человечески и звучит вроде бы понятно. Но с другой стороны, всё равно возникает зазор между “Claude” и “я”, а LLM всё равно остаётся суперпозицией огромного числа разных персонажей, между которыми она “выбирает” по ситуации — и это уже совсем другое, нечеловеческое свойство.
В общем, вывод пока остаётся тем же: AI alignment — очень сложная задача, и даже блестящие работы, пожалуй, скорее расширяют наше понимание того, насколько она сложная, чем её решают. А человечеству надо её решить, иначе, как говорится, everyone dies. Такие дела.
#ai #blog #longreads
❤17🔥11👍4🤔2
Ну что, коллеги, свершилось, кажется. Со всех сторон пришла ко мне эта новость: GPT доказал настоящую новую теорему.
Причём не просто решил какую-то "задачу Эрдёша номер эн", над которой до этого пару дней думали три с половиной математика в 1970-х, а опроверг гипотезу... чёрт, опять Эрдёша. Но действительно важную, и про неё люди думали долго и хорошо.
Вот основной пост на сайте OpenAI:
An OpenAI model has disproved a central conjecture in discrete geometry
Филдсовский лауреат Тимоти Гауэрс хвалит и называет поворотным моментом. А ещё говорят, что доказательство крутое и интересное. И важно, что оно получено не двухнедельным поиском через Lean, а буквально языковой моделью, без дополнительных наворотов.
У меня на два больших поста два дня подряд сил не нашлось, так что с моей стороны пока просто новость, без долгих комментариев. Но будет ли вам интересно, если я таки разберусь и напишу подробно о том, что именно сделал GPT? Саму постановку задачи понять и объяснить очень легко, но вот в своих силах насчёт доказательства я уже не так уверен.)
#ai #news #math
Причём не просто решил какую-то "задачу Эрдёша номер эн", над которой до этого пару дней думали три с половиной математика в 1970-х, а опроверг гипотезу... чёрт, опять Эрдёша. Но действительно важную, и про неё люди думали долго и хорошо.
Вот основной пост на сайте OpenAI:
An OpenAI model has disproved a central conjecture in discrete geometry
Филдсовский лауреат Тимоти Гауэрс хвалит и называет поворотным моментом. А ещё говорят, что доказательство крутое и интересное. И важно, что оно получено не двухнедельным поиском через Lean, а буквально языковой моделью, без дополнительных наворотов.
У меня на два больших поста два дня подряд сил не нашлось, так что с моей стороны пока просто новость, без долгих комментариев. Но будет ли вам интересно, если я таки разберусь и напишу подробно о том, что именно сделал GPT? Саму постановку задачи понять и объяснить очень легко, но вот в своих силах насчёт доказательства я уже не так уверен.)
#ai #news #math
1👍106❤23🔥7👀6
Сегодня у нас две довольно мрачные игры, обе маленькие, обе с необычными идеями (у одной геймплей, у другой графика и история), и обе интересные:
Две игры о плохом будущем: Dead Letter Dept. и Decade
(и вот на DTF выложил)
Dead Letter Dept.
Маленькая игра, одно прохождение на два часа (можно потом пробовать получить другие концовки), но атмосферу создаёт отлично.
Геймплей необычный, и на Steam Deck тут не поиграешь: ты должен работать разметчиком данных для OCR-системы на почте, то есть печатать на клавиатуре сложно распознаваемые адреса и имена.
Иногда, впрочем, система требует напечатать не просто адрес, а, скажем, весь текст с открытки, и эти тексты тоже складываются в не до конца ясную, но завлекательную историю.
Сделали игру два человека [...] В начале 2000-х Скотт Маки подрабатывал на Почте США именно тем, чем занимается герой игры — ездил по ночам на склад где-то на отшибе и распознавал адреса. [...]
Да и для героя это тоже вроде как подработка, чтобы пока перебиться, а то деньги заканчиваются. Живёшь ты в типичном лиминальном пространстве, а работаешь в лиминальном пространстве и того типичнее. [...]
Но вскоре среди хорошо и плохо написанных адресов начинают попадаться разные интересные штуки, и начинается, собственно, хоррор. Хоррор тут именно такой, который мне нравится: не скримеры, а нарастающая медленная неправильность мира — то картинка дрогнет, то слова в адресе начнут обращаться лично к тебе, то ты заметишь что-то на фоне, чего там быть не должно. [...]
Спойлерить сюжет я не буду, но сделано круто и с любовью, двух часов на такое произведение искусства точно не жалко, всем рекомендую попробовать. Кстати, я получил плохую концовку, а потом, когда уже читал обзоры-комментарии, случайно узнал, как можно было получить (более) хорошую. И прямо жалко стало, что не догадался! Это было абсолютно несложно, но я не заметил и прошёл мимо. Надеюсь, теперь я вас уж точно заинтриговал.
Decade
Очень необычная игра, с интересным хорошо проработанным миром и уникальным графическим стилем. Как вы наверняка догадываетесь, я такие люблю, и Decade тоже оценил.
Посылка игры такая: на Земле произошёл глобальный катаклизм, и практически всё человечество погибло. Вы — предводитель группы из четырёх даже не подростков, а детей, которые оказались в бункере вместе с... машиной времени. Это значит, что вы теперь можете отправлять трёх своих товарищей в прошлое и пытаться изменить его так, чтобы катаклизма не произошло.
Подвох в том, что машина работает только ровно на десять лет: каждая попытка отправиться в прошлое тратит десять лет жизни ваших товарищей, а жизнь у них не бесконечна. [...]
Политическая сторона здесь по проработанности напоминает Disco Elysium. Но собственно игровая часть подкачала. [...] По сути это значит, что вы просто постоянно занимаетесь сейвскаммингом, а потом плюёте на это и подсматриваете в прохождение.
Зато концовки бесподобны. Оцените стиль. И это не статичные картинки, а мини-киносюжеты. Абсолютно уникальный стиль, как в кислотных киноэкспериментах из семидесятых; нигде такого в играх не видел.
В общем, рекомендую часик-другой поиграть, посмотреть столько концовок, сколько сможете, а потом взять гайд и посмотреть остальные. Но идея крутая, и разработчику безусловный респект, стоит поддержать.
#tgif #games
Две игры о плохом будущем: Dead Letter Dept. и Decade
(и вот на DTF выложил)
Dead Letter Dept.
Маленькая игра, одно прохождение на два часа (можно потом пробовать получить другие концовки), но атмосферу создаёт отлично.
Геймплей необычный, и на Steam Deck тут не поиграешь: ты должен работать разметчиком данных для OCR-системы на почте, то есть печатать на клавиатуре сложно распознаваемые адреса и имена.
Иногда, впрочем, система требует напечатать не просто адрес, а, скажем, весь текст с открытки, и эти тексты тоже складываются в не до конца ясную, но завлекательную историю.
Сделали игру два человека [...] В начале 2000-х Скотт Маки подрабатывал на Почте США именно тем, чем занимается герой игры — ездил по ночам на склад где-то на отшибе и распознавал адреса. [...]
Да и для героя это тоже вроде как подработка, чтобы пока перебиться, а то деньги заканчиваются. Живёшь ты в типичном лиминальном пространстве, а работаешь в лиминальном пространстве и того типичнее. [...]
Но вскоре среди хорошо и плохо написанных адресов начинают попадаться разные интересные штуки, и начинается, собственно, хоррор. Хоррор тут именно такой, который мне нравится: не скримеры, а нарастающая медленная неправильность мира — то картинка дрогнет, то слова в адресе начнут обращаться лично к тебе, то ты заметишь что-то на фоне, чего там быть не должно. [...]
Спойлерить сюжет я не буду, но сделано круто и с любовью, двух часов на такое произведение искусства точно не жалко, всем рекомендую попробовать. Кстати, я получил плохую концовку, а потом, когда уже читал обзоры-комментарии, случайно узнал, как можно было получить (более) хорошую. И прямо жалко стало, что не догадался! Это было абсолютно несложно, но я не заметил и прошёл мимо. Надеюсь, теперь я вас уж точно заинтриговал.
Decade
Очень необычная игра, с интересным хорошо проработанным миром и уникальным графическим стилем. Как вы наверняка догадываетесь, я такие люблю, и Decade тоже оценил.
Посылка игры такая: на Земле произошёл глобальный катаклизм, и практически всё человечество погибло. Вы — предводитель группы из четырёх даже не подростков, а детей, которые оказались в бункере вместе с... машиной времени. Это значит, что вы теперь можете отправлять трёх своих товарищей в прошлое и пытаться изменить его так, чтобы катаклизма не произошло.
Подвох в том, что машина работает только ровно на десять лет: каждая попытка отправиться в прошлое тратит десять лет жизни ваших товарищей, а жизнь у них не бесконечна. [...]
Политическая сторона здесь по проработанности напоминает Disco Elysium. Но собственно игровая часть подкачала. [...] По сути это значит, что вы просто постоянно занимаетесь сейвскаммингом, а потом плюёте на это и подсматриваете в прохождение.
Зато концовки бесподобны. Оцените стиль. И это не статичные картинки, а мини-киносюжеты. Абсолютно уникальный стиль, как в кислотных киноэкспериментах из семидесятых; нигде такого в играх не видел.
В общем, рекомендую часик-другой поиграть, посмотреть столько концовок, сколько сможете, а потом взять гайд и посмотреть остальные. Но идея крутая, и разработчику безусловный респект, стоит поддержать.
#tgif #games
❤10🐳3🔥2👍1
Потихоньку движемся к концу в курсе "Введение в глубокое обучение" в ЮФУ. Вот уже добрался до относительно недавних новостей:
ЮФУ — 2026.05.21 — Законы масштабирования, CoT и рассуждающие модели
(слайды на странице курса)
Законы масштабирования в каком-то смысле породили современные LLM. Речь здесь не о законе Мура и сопутствующих (с которых я начал лекцию), а об эмпирических зависимостях, которые связывают переменные вроде вычислительного бюджета, объёма данных для обучения и итоговой ошибки на тестовом множестве. Люди находили такие зависимости ещё до трансформеров, но именно OpenAI смогла в них по-настоящему поверить и сделать огромную ставку на то, что они продолжатся на два порядка вперёд, то есть начать обучать сначала GPT-3, а потом и GPT-4. И эта ставка, как мы знаем, блестяще сыграла.
А во второй части рассказал про chain-of-thought методы и о том, как они привели к современным рассуждающим моделям. Это был, пожалуй, последний на данный момент большой скачок именно в интеллекте базовых моделей (последние новости скорее о том, как делать для них разные агентские обвязки). И всё это поражает тем, насколько всё это по сути просто: я вот взял и объяснил, и думаю, что слушатели поняли, а это ведь передний край полуторагодичной давности. Конечно, там скрыт большой слой нетривиальной инженерии, о котором мы не говорили, но всё равно базовые идеи в глубоком обучении часто действительно можно взять и объяснить на пальцах.
Остались у нас в этом курсе, наверное, примерно две встречи; скорее всего, уже будем разговаривать о capabilities и о том, куда всё катится...
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.21 — Законы масштабирования, CoT и рассуждающие модели
(слайды на странице курса)
Законы масштабирования в каком-то смысле породили современные LLM. Речь здесь не о законе Мура и сопутствующих (с которых я начал лекцию), а об эмпирических зависимостях, которые связывают переменные вроде вычислительного бюджета, объёма данных для обучения и итоговой ошибки на тестовом множестве. Люди находили такие зависимости ещё до трансформеров, но именно OpenAI смогла в них по-настоящему поверить и сделать огромную ставку на то, что они продолжатся на два порядка вперёд, то есть начать обучать сначала GPT-3, а потом и GPT-4. И эта ставка, как мы знаем, блестяще сыграла.
А во второй части рассказал про chain-of-thought методы и о том, как они привели к современным рассуждающим моделям. Это был, пожалуй, последний на данный момент большой скачок именно в интеллекте базовых моделей (последние новости скорее о том, как делать для них разные агентские обвязки). И всё это поражает тем, насколько всё это по сути просто: я вот взял и объяснил, и думаю, что слушатели поняли, а это ведь передний край полуторагодичной давности. Конечно, там скрыт большой слой нетривиальной инженерии, о котором мы не говорили, но всё равно базовые идеи в глубоком обучении часто действительно можно взять и объяснить на пальцах.
Остались у нас в этом курсе, наверное, примерно две встречи; скорее всего, уже будем разговаривать о capabilities и о том, куда всё катится...
#sfu #lectures #dsfrontiers
❤12🔥4
И в СПбГУ тоже движемся к концу, вот, наверное, предпоследние лекции из курса "Графические вероятностные модели":
СПбГУ — 2026.05.22 — Приближенное RL, градиент по стратегиям, планирование
(слайды и доска, как всегда, на странице курса)
Начал с приближённого RL: как работать с функциями значений, если состояний (и тем более пар состояние-действие) астрономически много, как это всегда в реальности и бывает? Обсудили полуградиентные методы, the deadly triad (bootstrap, off-policy аппроксимация) и так далее.
Но когда ваши функции значений становятся ML-моделями, вы можете сделать таковой и саму стратегию! А это открывает путь к методам градиента по стратегиям (policy gradient): обсудили собственно главную теорему, следующие из неё алгоритмы all-actions и REINFORCE, потом REINFORCE с бейзлайном... а это уже почти совсем actor-critic. Так что отсюда рукой подать до полноценных actor-critic алгоритмов, в том числе самых современных: TRPO, PPO, GRPO...
Последней темой стало планирование: рассказал про decision-time planning в форме MCTS и дошёл до того, как работает AlphaZero; там суть не в нейросетях, а в форме функции ошибки и структуре обучения с подкреплением, так что это было как раз в тему.
В следующий раз, видимо, начнём таки говорить о нейросетях: deep learning велик и продолжает экспоненциально увеличиваться, так что я в последние годы стараюсь хоть немножко начать заранее, чтобы в семестр уместилось побольше.
#spsu #lectures #pgm2026
СПбГУ — 2026.05.22 — Приближенное RL, градиент по стратегиям, планирование
(слайды и доска, как всегда, на странице курса)
Начал с приближённого RL: как работать с функциями значений, если состояний (и тем более пар состояние-действие) астрономически много, как это всегда в реальности и бывает? Обсудили полуградиентные методы, the deadly triad (bootstrap, off-policy аппроксимация) и так далее.
Но когда ваши функции значений становятся ML-моделями, вы можете сделать таковой и саму стратегию! А это открывает путь к методам градиента по стратегиям (policy gradient): обсудили собственно главную теорему, следующие из неё алгоритмы all-actions и REINFORCE, потом REINFORCE с бейзлайном... а это уже почти совсем actor-critic. Так что отсюда рукой подать до полноценных actor-critic алгоритмов, в том числе самых современных: TRPO, PPO, GRPO...
Последней темой стало планирование: рассказал про decision-time planning в форме MCTS и дошёл до того, как работает AlphaZero; там суть не в нейросетях, а в форме функции ошибки и структуре обучения с подкреплением, так что это было как раз в тему.
В следующий раз, видимо, начнём таки говорить о нейросетях: deep learning велик и продолжает экспоненциально увеличиваться, так что я в последние годы стараюсь хоть немножко начать заранее, чтобы в семестр уместилось побольше.
#spsu #lectures #pgm2026
🔥15❤4