Пост готов, извольте кушать! Здесь, как всегда, только краткое саммари, а читать во всех подробностях надо тут:
Recoverable but not stationary: линейные структуры в весах и активациях
У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“ [...]
Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными. [...]
Линейное дообучение. Чтобы подкрутить поведение обученной модели, часто достаточно сдвинуть веса или активации вдоль одного линейного направления — так устроены task vectors, model soups, TIES, LoRA, а в пространстве активаций — activation steering, function vectors, representation engineering, ReFT. А недавние "neural thickets" и вовсе показывают, что вокруг предобученной модели плотно растут полезные направления, которые находит даже случайный поиск. Какая линейная структура реально есть в обученной сети, где она живёт и как далеко по ней можно двигаться?
Восстановление после забывания. Чтобы получить честный "правильный ответ", мы устроили специальный цикл: обучаем сеть на смеси задач, доучиваем на одной (остальные забываются), а потом несколькими шагами градиента восстанавливаем. Сдвиг этого восстановления и есть цель, с которой мы сравниваем кандидатов на "правильное подпространство" — локальное подпространство задачи, префикс траектории и крыловский базис.
Теория. Мы объясняем, почему случайный поиск вообще что-то находит в пространстве на миллиард весов: проекция случайного возмущения на полезное направление не зависит от размерности, а best-of-N усиливает её, почти не задевая соседние задачи — польза концентрируется, вред размазывается. Здесь есть прямо теоремы, хоть и простенькие.
Что показывают эксперименты: три масштаба. На синтетическом трансформере подпространство задачи действительно "уезжает" по ходу восстановления. На LoRA-адаптерах — главный количественный результат, точно подтверждающий теорию. На больших LLM картина более мутная, зато связь с активациями работает красиво.
Более широкая проверка. Мы сделали и более крупный независимый стресс-тест (кстати, во многом силами AI-агентов). И всё устояло: геометрия восстановления воспроизводится, префикс остаётся особым низкоразмерным объектом, и мы даже новый результат увидели, о том, что префикс — это вообще не крыловское подпространство.
Как всё это складывается вместе. Попробую теперь собрать общую картину.
Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector).
Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. [...] Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях. [...]
Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований.
В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди!
#blog #ai #longreads #research #publications
Recoverable but not stationary: линейные структуры в весах и активациях
У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“ [...]
Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными. [...]
Линейное дообучение. Чтобы подкрутить поведение обученной модели, часто достаточно сдвинуть веса или активации вдоль одного линейного направления — так устроены task vectors, model soups, TIES, LoRA, а в пространстве активаций — activation steering, function vectors, representation engineering, ReFT. А недавние "neural thickets" и вовсе показывают, что вокруг предобученной модели плотно растут полезные направления, которые находит даже случайный поиск. Какая линейная структура реально есть в обученной сети, где она живёт и как далеко по ней можно двигаться?
Восстановление после забывания. Чтобы получить честный "правильный ответ", мы устроили специальный цикл: обучаем сеть на смеси задач, доучиваем на одной (остальные забываются), а потом несколькими шагами градиента восстанавливаем. Сдвиг этого восстановления и есть цель, с которой мы сравниваем кандидатов на "правильное подпространство" — локальное подпространство задачи, префикс траектории и крыловский базис.
Теория. Мы объясняем, почему случайный поиск вообще что-то находит в пространстве на миллиард весов: проекция случайного возмущения на полезное направление не зависит от размерности, а best-of-N усиливает её, почти не задевая соседние задачи — польза концентрируется, вред размазывается. Здесь есть прямо теоремы, хоть и простенькие.
Что показывают эксперименты: три масштаба. На синтетическом трансформере подпространство задачи действительно "уезжает" по ходу восстановления. На LoRA-адаптерах — главный количественный результат, точно подтверждающий теорию. На больших LLM картина более мутная, зато связь с активациями работает красиво.
Более широкая проверка. Мы сделали и более крупный независимый стресс-тест (кстати, во многом силами AI-агентов). И всё устояло: геометрия восстановления воспроизводится, префикс остаётся особым низкоразмерным объектом, и мы даже новый результат увидели, о том, что префикс — это вообще не крыловское подпространство.
Как всё это складывается вместе. Попробую теперь собрать общую картину.
Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector).
Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. [...] Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях. [...]
Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований.
В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди!
#blog #ai #longreads #research #publications
❤19🔥11👍6
А что вы думаете об истории с запретом Claude Fable?
Напомню, что в прошлую пятницу администрация Трампа наложила export controls на Mythos и Fable (ну то есть Fable, Mythos и так никто не релизил). Формально это значит, что Fable можно пользоваться только гражданам США, ну а фактически (разумеется, все это понимали) значит, что нельзя никому, потому что гражданство проверить невозможно.
Поводом стал какой-то непонятный jailbreak, который сам по себе ничего не значит и никак не отличает Fable от всех остальных моделей (не существует LLM, устойчивых к такого рода jailbreaks). Вот подробный разбор от как всегда великолепного Zvi Mowshowitz, не устаю рекомендовать его блог.
Моё личное мнение — конкретно эта ситуация выглядит как недоразумение + атака конкретно на Anthropic, с которым у некоторых конкретных людей в администрации Трампа довольно конкретный конфликт. Напомню историю про supply chain risk designation со стороны Department of War, которая тогда вроде бы закончилась хорошо для Anthropic, но все понимают, что определённый класс людей не может принять поражение и ничего не забывает.
Но безотносительно конкретной администрации: не знак ли это нашего скорого будущего?.. Тут уж не знаю, что и думать. Как минимум, это серьёзное изменение окна Овертона: раньше правительство США не то чтобы не могло себе такого позволить (оно и не такое может), но не пыталось никак контролировать AI-индустрию, тем более по государственным границам. Даже в плохом смысле слова не пыталось, не реагируя на запросы со стороны AI safety.
Как кто-то написал в ответ на эту новость (не вспомню уже где видел), welcome to the permanent underclass...
#ai #news
Напомню, что в прошлую пятницу администрация Трампа наложила export controls на Mythos и Fable (ну то есть Fable, Mythos и так никто не релизил). Формально это значит, что Fable можно пользоваться только гражданам США, ну а фактически (разумеется, все это понимали) значит, что нельзя никому, потому что гражданство проверить невозможно.
Поводом стал какой-то непонятный jailbreak, который сам по себе ничего не значит и никак не отличает Fable от всех остальных моделей (не существует LLM, устойчивых к такого рода jailbreaks). Вот подробный разбор от как всегда великолепного Zvi Mowshowitz, не устаю рекомендовать его блог.
Моё личное мнение — конкретно эта ситуация выглядит как недоразумение + атака конкретно на Anthropic, с которым у некоторых конкретных людей в администрации Трампа довольно конкретный конфликт. Напомню историю про supply chain risk designation со стороны Department of War, которая тогда вроде бы закончилась хорошо для Anthropic, но все понимают, что определённый класс людей не может принять поражение и ничего не забывает.
Но безотносительно конкретной администрации: не знак ли это нашего скорого будущего?.. Тут уж не знаю, что и думать. Как минимум, это серьёзное изменение окна Овертона: раньше правительство США не то чтобы не могло себе такого позволить (оно и не такое может), но не пыталось никак контролировать AI-индустрию, тем более по государственным границам. Даже в плохом смысле слова не пыталось, не реагируя на запросы со стороны AI safety.
Как кто-то написал в ответ на эту новость (не вспомню уже где видел), welcome to the permanent underclass...
#ai #news
❤17👍6🤔5
В последние годы изометрические RPG делятся на два класса. Если у вас есть боевая система, партия приключенцев и много разнообразных механик, то вы Owlcat Games или Larian. А вот более нарративные RPG во многом воспринимаются как “disco-like”, потому что очень уж хороша получилась игра у Роберта Курвица сотоварищи.
Вот и сегодня у нас, несомненно, “Disco Elysium у нас дома”, но этот дом неплохо обставлен, и посетить его стоит. Как всегда, здесь сокращённая версия, полная на сайте:
Rue Valley
(и вот выложил на DTF)
Делала Rue Valley сербская студия Emotion Spark Studio из Белграда; это уже вторая сербская студия в моих недавних обзорах после The King is Watching, но, кажется, на этот раз студия действительно из Белграда, а не как в том случае. А издают игру... Owlcat Games, те самые специалисты по большим RPG. [...]
Релиз, кстати, был в ноябре не случайно: студия сделала игру в партнёрстве с фондом Movember, который занимается мужским здоровьем, в том числе ментальным…
…И тема ментального здоровья в Rue Valley действительно центральная. Вы играете за Юджина Харроу — человека, который только что пережил нервный срыв и которого добровольно-принудительно отправили на терапию в мотель Rue Valley где-то посреди пустыни. Первая сцена в игре — приём у психотерапевта, у тебя депрессия или что-то похожее, и игра начинается с дебаффом на полное отсутствие мотивации. [...]
Но главный твист игры не в этом. Главное то, что ты заселяешься в мотель, общаешься с парочкой персонажей, видишь небольшое происшествие на дороге, а потом…
…мир взрывается. И оказывается, что Юджин застрял во временной петле длиной в 47 минут. Его психическому здоровью это, как вы понимаете, не способствует, а главной целью Юджина становится всё-таки найти способ вырваться из петли.
Память между петлями сохраняется (и у вас лично, и механически — Юджин накапливает знания, которые позволяют открывать новые ветки). [...]
Хороши здесь, во-первых, визуальный стиль и тексты. [...] До гениальности оригинала Rue Valley, пожалуй, не дотягивает (а кто дотягивает?), но иногда стиль текста ни с чем спутать невозможно.
Во-вторых, персонажи. В мотеле и вокруг него есть немало интересных людей, и каждый из них прописан со своими проблемами, секретами и эмоциональными узлами. За 47 минут со всеми не наговоришься, и петля даёт возможность возвращаться к ним снова и снова, узнавать их постепенно, с разных сторон, разными версиями себя. [...]
Затянутость всё-таки есть. Темп игры отличный в первой половине игры, когда петля ощущается свежо, и каждый прогон открывает что-то новое. Но во второй половине появляются моменты, когда нужно много раз перезапускать петлю, причём в каждой остаётся уже совсем мало времени на собственно действия (большая часть 47 минут тратится на передвижение к нужной точке). [...]
Но это скорее придирка, чем приговор. К концу Rue Valley опять набирает темп, и финал получается очень ярким и эмоциональным — но об этом без спойлеров точно не поговорить.
В общем, Rue Valley — отличная игра: красивая, умная, с хорошо прописанными персонажами и хорошей центральной механикой временной петли, которая как раз отлично подходит для такой игры, где ты постепенно раскрываешь окружающий мир и других героев. С темой самопознания и ментального здоровья игра тоже работает замечательно. Да, это “Disco Elysium у нас дома” (сколько раз я его упоминал в этом обзоре?), но в этот дом не стыдно позвать гостей. Мне очень понравилось, рекомендую!
#tgif #games
Вот и сегодня у нас, несомненно, “Disco Elysium у нас дома”, но этот дом неплохо обставлен, и посетить его стоит. Как всегда, здесь сокращённая версия, полная на сайте:
Rue Valley
(и вот выложил на DTF)
Делала Rue Valley сербская студия Emotion Spark Studio из Белграда; это уже вторая сербская студия в моих недавних обзорах после The King is Watching, но, кажется, на этот раз студия действительно из Белграда, а не как в том случае. А издают игру... Owlcat Games, те самые специалисты по большим RPG. [...]
Релиз, кстати, был в ноябре не случайно: студия сделала игру в партнёрстве с фондом Movember, который занимается мужским здоровьем, в том числе ментальным…
…И тема ментального здоровья в Rue Valley действительно центральная. Вы играете за Юджина Харроу — человека, который только что пережил нервный срыв и которого добровольно-принудительно отправили на терапию в мотель Rue Valley где-то посреди пустыни. Первая сцена в игре — приём у психотерапевта, у тебя депрессия или что-то похожее, и игра начинается с дебаффом на полное отсутствие мотивации. [...]
Но главный твист игры не в этом. Главное то, что ты заселяешься в мотель, общаешься с парочкой персонажей, видишь небольшое происшествие на дороге, а потом…
…мир взрывается. И оказывается, что Юджин застрял во временной петле длиной в 47 минут. Его психическому здоровью это, как вы понимаете, не способствует, а главной целью Юджина становится всё-таки найти способ вырваться из петли.
Память между петлями сохраняется (и у вас лично, и механически — Юджин накапливает знания, которые позволяют открывать новые ветки). [...]
Хороши здесь, во-первых, визуальный стиль и тексты. [...] До гениальности оригинала Rue Valley, пожалуй, не дотягивает (а кто дотягивает?), но иногда стиль текста ни с чем спутать невозможно.
Во-вторых, персонажи. В мотеле и вокруг него есть немало интересных людей, и каждый из них прописан со своими проблемами, секретами и эмоциональными узлами. За 47 минут со всеми не наговоришься, и петля даёт возможность возвращаться к ним снова и снова, узнавать их постепенно, с разных сторон, разными версиями себя. [...]
Затянутость всё-таки есть. Темп игры отличный в первой половине игры, когда петля ощущается свежо, и каждый прогон открывает что-то новое. Но во второй половине появляются моменты, когда нужно много раз перезапускать петлю, причём в каждой остаётся уже совсем мало времени на собственно действия (большая часть 47 минут тратится на передвижение к нужной точке). [...]
Но это скорее придирка, чем приговор. К концу Rue Valley опять набирает темп, и финал получается очень ярким и эмоциональным — но об этом без спойлеров точно не поговорить.
В общем, Rue Valley — отличная игра: красивая, умная, с хорошо прописанными персонажами и хорошей центральной механикой временной петли, которая как раз отлично подходит для такой игры, где ты постепенно раскрываешь окружающий мир и других героев. С темой самопознания и ментального здоровья игра тоже работает замечательно. Да, это “Disco Elysium у нас дома” (сколько раз я его упоминал в этом обзоре?), но в этот дом не стыдно позвать гостей. Мне очень понравилось, рекомендую!
#tgif #games
❤9👍4🤔1
Неделю назад в Петербург приезжала большая делегация из ЮФУ. Столько человек, конечно, не лично ко мне приезжали, но было бы странно упустить такой шанс.
Встретились в ПОМИ, обсудили программу ЮФУ по искусственному интеллекту и мои там курсы. Напомню, что я уже год преподаю в ЮФУ, причём веду ознакомительно-развлекательные курсы для первокурсников (первый семестр, второй семестр), и мне этот жанр вполне даже нравится.
Рад был повидаться, и приезжайте ещё! :)
#blog #lifestyle #teaching #sfu
Встретились в ПОМИ, обсудили программу ЮФУ по искусственному интеллекту и мои там курсы. Напомню, что я уже год преподаю в ЮФУ, причём веду ознакомительно-развлекательные курсы для первокурсников (первый семестр, второй семестр), и мне этот жанр вполне даже нравится.
Рад был повидаться, и приезжайте ещё! :)
#blog #lifestyle #teaching #sfu
❤23👍17😍6
В следующий четверг в 18:00 буду рассказывать про AI Safety, причём онлайн и, кажется, с общим доступом; вот ссылка на анонс, наверное, там и этот абстракт скоро появится:
Безопасность ИИ в 2026 году
AI Safety — это одна из главных областей науки сегодня, и, к сожалению, категорически недоисследованная. Возможности AI-систем растут не по дням и даже не по часам, а вот уверенности в том, что всё это закончится для человечества хорошо, так и не прибавляется.
В докладе мы сначала поговорим о том, чего собственно здесь нужно бояться, а потом обсудим основные направления AI safety и яркие результаты, которые там всё-таки есть. К сожалению, результаты эти пока в основном отрицательные или в лучшем случае амбивалентные: например, в 2025 главным новым сюжетом стало (и никуда с тех пор не делось) эмерджентное рассогласование (emergent misalignment).
Вот и сейчас главная новая мысль по сравнению с моими предыдущими докладами (например, вот этим) будет в evaluation awareness. За прошедшие с того доклада месяцы AI-модели научились отлично распознавать, когда их тестируют, в том числе когда тестируют по вопросам, связанным с безопасностью. Значит ли это, что все наши тесты теперь бессмысленны? Возможно! Поговорим и о последних новостях, в частности о внезапно отменённом релизе Claude Fable.
Плохо здесь только одно — неудачно совпало, и я из-за этого доклада не попадаю на традиционный выпускной кораблик на МКН. Это прямо жалко, хорошая традиция. Впрочем, он в этот раз поздно, так что я скорее всего не попал бы и из-за поезда.)
#events #talks #aisafety
Безопасность ИИ в 2026 году
AI Safety — это одна из главных областей науки сегодня, и, к сожалению, категорически недоисследованная. Возможности AI-систем растут не по дням и даже не по часам, а вот уверенности в том, что всё это закончится для человечества хорошо, так и не прибавляется.
В докладе мы сначала поговорим о том, чего собственно здесь нужно бояться, а потом обсудим основные направления AI safety и яркие результаты, которые там всё-таки есть. К сожалению, результаты эти пока в основном отрицательные или в лучшем случае амбивалентные: например, в 2025 главным новым сюжетом стало (и никуда с тех пор не делось) эмерджентное рассогласование (emergent misalignment).
Вот и сейчас главная новая мысль по сравнению с моими предыдущими докладами (например, вот этим) будет в evaluation awareness. За прошедшие с того доклада месяцы AI-модели научились отлично распознавать, когда их тестируют, в том числе когда тестируют по вопросам, связанным с безопасностью. Значит ли это, что все наши тесты теперь бессмысленны? Возможно! Поговорим и о последних новостях, в частности о внезапно отменённом релизе Claude Fable.
Плохо здесь только одно — неудачно совпало, и я из-за этого доклада не попадаю на традиционный выпускной кораблик на МКН. Это прямо жалко, хорошая традиция. Впрочем, он в этот раз поздно, так что я скорее всего не попал бы и из-за поезда.)
#events #talks #aisafety
❤18
DeepMind выпустил интересную постановочную статью:
From AGI to ASI
Я её пока ещё не прочитал, но рано или поздно соберусь, такие тексты могут оказаться важными.
Но уже хочу обратить ваше внимание на первый раздел этой статьи (второй скриншот в посте). По-моему, отличная идея, это вам не стеганографически вписывать инструкции в submission в надежде на LLM-рецензента.)
А ещё любопытно, что эта статья ссылается на работу Николая Константиновича Верещагина. Но ладно, надо и правда прочитать когда-нибудь.
#ai #news
From AGI to ASI
Я её пока ещё не прочитал, но рано или поздно соберусь, такие тексты могут оказаться важными.
Но уже хочу обратить ваше внимание на первый раздел этой статьи (второй скриншот в посте). По-моему, отличная идея, это вам не стеганографически вписывать инструкции в submission в надежде на LLM-рецензента.)
А ещё любопытно, что эта статья ссылается на работу Николая Константиновича Верещагина. Но ладно, надо и правда прочитать когда-нибудь.
#ai #news
❤20😁9🔥6🗿2👏1