Продолжаю (и заканчиваю) обзор AI Safety в 2025 году — вышла вторая часть!
AI Safety в 2025, часть II: scheming, sandbagging и что делают люди
Если в первой части мы говорили про интерпретируемость и про то, как модели становятся "плохими" случайно, то во второй части рассматриваем ещё более мрачный вопрос: а могут ли модели быть плохими намеренно, да ещё и скрывать это? Спойлер: да, могут.
А ещё — про безопасность AI-агентов, которые уже действуют в реальном мире, про новую парадигму AI control и про то, что лаборатории и правительства пытаются со всем этим делать. Здесь, пожалуй, главная мысль в том, что никакие AI-box experiments Юдковского оказались совершенно не важны для реальной жизни: как только AI-агенты начали приносить реальную пользу, все сразу побежали их устанавливать и давать им всевозможные доступы и привилегии. Ни о каком safety почти никто из тысяч установивших тот же OpenClaw не задумался.
Основные темы второго поста (читать по ссылке):
— scheming и sandbagging: модели умеют стратегически обманывать и занижать свои способности на тестах; более умные модели делают это лучше, а sandbagging ставит под вопрос всю нашу систему оценки опасности моделей;
— безопасность AI-агентов и их возрастающая агентность: например, Claude Opus 4 в тестах пытался шантажировать пользователя, чтобы избежать выключения;
— честность и sleeper agents: появились методы обнаружения обмана и бэкдоров, но это опять гонка вооружений;
— AI control: новая парадигма, которая честно говорит "мы не умеем гарантировать alignment" и предлагает строить протоколы, безопасные даже при пессимистичных предположениях о моделях;
— ответственное масштабирование и международные усилия: Anthropic активировал ASL-3, лаборатории начали перекрёстные оценки безопасности, вышел International AI Safety Report — но лучшая оценка любой лаборатории по FLI AI Safety Index всё ещё C+.
Общий вывод, увы, неутешительный: прогресс в AI safety в 2025 году действительно был значительным, но он не идёт ни в какое сравнение с ростом AI capabilities. Так что пока проблемы накапливаются быстрее, чем мы способны их решать, и разрыв между safety и capabilities сейчас широк как никогда.
#ai #longreads #blog #aisafety
AI Safety в 2025, часть II: scheming, sandbagging и что делают люди
Если в первой части мы говорили про интерпретируемость и про то, как модели становятся "плохими" случайно, то во второй части рассматриваем ещё более мрачный вопрос: а могут ли модели быть плохими намеренно, да ещё и скрывать это? Спойлер: да, могут.
А ещё — про безопасность AI-агентов, которые уже действуют в реальном мире, про новую парадигму AI control и про то, что лаборатории и правительства пытаются со всем этим делать. Здесь, пожалуй, главная мысль в том, что никакие AI-box experiments Юдковского оказались совершенно не важны для реальной жизни: как только AI-агенты начали приносить реальную пользу, все сразу побежали их устанавливать и давать им всевозможные доступы и привилегии. Ни о каком safety почти никто из тысяч установивших тот же OpenClaw не задумался.
Основные темы второго поста (читать по ссылке):
— scheming и sandbagging: модели умеют стратегически обманывать и занижать свои способности на тестах; более умные модели делают это лучше, а sandbagging ставит под вопрос всю нашу систему оценки опасности моделей;
— безопасность AI-агентов и их возрастающая агентность: например, Claude Opus 4 в тестах пытался шантажировать пользователя, чтобы избежать выключения;
— честность и sleeper agents: появились методы обнаружения обмана и бэкдоров, но это опять гонка вооружений;
— AI control: новая парадигма, которая честно говорит "мы не умеем гарантировать alignment" и предлагает строить протоколы, безопасные даже при пессимистичных предположениях о моделях;
— ответственное масштабирование и международные усилия: Anthropic активировал ASL-3, лаборатории начали перекрёстные оценки безопасности, вышел International AI Safety Report — но лучшая оценка любой лаборатории по FLI AI Safety Index всё ещё C+.
Общий вывод, увы, неутешительный: прогресс в AI safety в 2025 году действительно был значительным, но он не идёт ни в какое сравнение с ростом AI capabilities. Так что пока проблемы накапливаются быстрее, чем мы способны их решать, и разрыв между safety и capabilities сейчас широк как никогда.
#ai #longreads #blog #aisafety
🔥9❤5👍2
Выложил свой доклад, открывающий новый семестр семинара лаборатории Маркова:
Семинар Markov Lab — 2026.02.13 — AI Safety в начале 2026 года: новости и перспективы
(Слайды на странице семинара)
В AI Safety происходит много интересного, но выводы, конечно, неутешительные, как уже давно не секрет для моих подписчиков. Прогресс в safety сильно отстаёт от прогресса в capabilities, и кажется, что изменить это положение дел будет трудно.
Ну а я уже почти отправляюсь в Белград, на OpenTalks.ai, где тоже буду рассказывать об AI safety, причём в гораздо более коротком формате. Подключайтесь и туда!
#spsu #seminar #markovlab
Семинар Markov Lab — 2026.02.13 — AI Safety в начале 2026 года: новости и перспективы
(Слайды на странице семинара)
В AI Safety происходит много интересного, но выводы, конечно, неутешительные, как уже давно не секрет для моих подписчиков. Прогресс в safety сильно отстаёт от прогресса в capabilities, и кажется, что изменить это положение дел будет трудно.
Ну а я уже почти отправляюсь в Белград, на OpenTalks.ai, где тоже буду рассказывать об AI safety, причём в гораздо более коротком формате. Подключайтесь и туда!
#spsu #seminar #markovlab
❤20👍1🔥1
OpenTalks.ai — совершенно потрясающая конференция. Уже почти десять лет (девять, кажется) Игорь Пивоваров (на первом фото) находит способы не просто организовать yet another AI-конференцию, а привезти туда много людей, которые находятся на самом переднем крае, и составить по-настоящему интересную программу.
Я тут ещё и полдня не провёл, а уже встретил кучу людей, с которыми не виделся много лет. Например, на втором фото Таня Шаврина, которая уже давно большой человек в Meta, а на третьем — Лёша Комиссаров, с которым мы когда-то (в 2011 году!) вместе работали ещё в лаборатории Павла Певзнера по биоинформатике.
На видео забавная игрушка: я силой мысли удерживаю шарик. Система оценивает уровень концентрации — чтобы шарик летал, велели читать про себя стихотворение по-английски; потом, правда, выяснилось, что я не так понял, и можно было или стихотворение, или по-английски.)
Большое спасибо Игорю и всем организаторам! Надеюсь, мой завтрашний доклад коллегам понравится, и я смогу приехать сюда ещё!)
#travel #lifestyle #ai #events
Я тут ещё и полдня не провёл, а уже встретил кучу людей, с которыми не виделся много лет. Например, на втором фото Таня Шаврина, которая уже давно большой человек в Meta, а на третьем — Лёша Комиссаров, с которым мы когда-то (в 2011 году!) вместе работали ещё в лаборатории Павла Певзнера по биоинформатике.
На видео забавная игрушка: я силой мысли удерживаю шарик. Система оценивает уровень концентрации — чтобы шарик летал, велели читать про себя стихотворение по-английски; потом, правда, выяснилось, что я не так понял, и можно было или стихотворение, или по-английски.)
Большое спасибо Игорю и всем организаторам! Надеюсь, мой завтрашний доклад коллегам понравится, и я смогу приехать сюда ещё!)
#travel #lifestyle #ai #events
❤33🔥11⚡4😁1
На этой неделе пятничный пост перенесу на завтра (у меня для вас будет большой пост про очень красивую игру), а сегодня продолжу про OpenTalks.ai.
Во-первых, я прочитал свой доклад по AI Safety. Игорь Пивоваров (главный организатор) смог выделить мне не полчаса, а 45 минут, и это действительно очень помогло, в итоге не так много пришлось пропускать и удалось рассказать много интересного. Доклад людям, кажется, понравился!
Игорь вот только что спросил у Руслана Салахутдинова (который тоже здесь выступает! удалённо, конечно) про safety для AI-агентов, о которых тот рассказывал, и Руслан честно признал, что "we are in uncharted territory... it's an open question".)
Во-вторых, потрясающие вещи рассказал сегодня Дмитрий Ветров. Я об этом ничего раньше не слышал, а у них очень крутые исследования сейчас идут: они провели весьма прямую аналогию между стохастическим градиентным спуском и термодинамикой идеальных газов! Настолько точную, что даже предсказания можно делать о том, что куда сойдётся, и эти предсказания будут сбываться.
Вот статья группы Ветрова: "Can Training Dynamics of Scale-Invariant Neural Networks Be Explained by the Thermodynamics of an Ideal Gas?". Искренне рекомендую посмотреть, меня очень вдохновляют такие неожиданные и крутые вещи.
В-третьих, продолжаю встречать массу крутых людей. Например, сегодня познакомился с человеком, который написал и сейчас ставит... мюзикл про AI safety! Работа там ещё не совсем закончена, и мюзикл только частями где-то показывали на пробных прогонах, так что давать ссылки и раскрывать имена не буду, но надеюсь, что скоро мы сможем его посмотреть целиком.)
Ещё раз огромное спасибо Игорю Пивоварову за приглашение!
#lifestyle #ai #events #talks #travel
Во-первых, я прочитал свой доклад по AI Safety. Игорь Пивоваров (главный организатор) смог выделить мне не полчаса, а 45 минут, и это действительно очень помогло, в итоге не так много пришлось пропускать и удалось рассказать много интересного. Доклад людям, кажется, понравился!
Игорь вот только что спросил у Руслана Салахутдинова (который тоже здесь выступает! удалённо, конечно) про safety для AI-агентов, о которых тот рассказывал, и Руслан честно признал, что "we are in uncharted territory... it's an open question".)
Во-вторых, потрясающие вещи рассказал сегодня Дмитрий Ветров. Я об этом ничего раньше не слышал, а у них очень крутые исследования сейчас идут: они провели весьма прямую аналогию между стохастическим градиентным спуском и термодинамикой идеальных газов! Настолько точную, что даже предсказания можно делать о том, что куда сойдётся, и эти предсказания будут сбываться.
Вот статья группы Ветрова: "Can Training Dynamics of Scale-Invariant Neural Networks Be Explained by the Thermodynamics of an Ideal Gas?". Искренне рекомендую посмотреть, меня очень вдохновляют такие неожиданные и крутые вещи.
В-третьих, продолжаю встречать массу крутых людей. Например, сегодня познакомился с человеком, который написал и сейчас ставит... мюзикл про AI safety! Работа там ещё не совсем закончена, и мюзикл только частями где-то показывали на пробных прогонах, так что давать ссылки и раскрывать имена не буду, но надеюсь, что скоро мы сможем его посмотреть целиком.)
Ещё раз огромное спасибо Игорю Пивоварову за приглашение!
#lifestyle #ai #events #talks #travel
🔥19❤16👍5