AMLUCS 2026

Ну что, я всё, я еду обратно! Меня прям много спрашивали, как мне поездка на конференцию. И сейчас, пока самолет опаздывает, появились силы объять все свои чувства во что-то одно.

Сначала структурно:

— Было два дня конфы + пре-dinner. Всем советую приватные ужины — я хоть и не пью, но в день конфы это помогло мне чувствовать себя менее потерянным новичком — я уже знала ключевых организаторов, а они меня.
— Было два трека. Исследователи и практики. Я была в первом, докладов было 14 у нас и 20 на практическом треке.
— Из людей, я пообщалась с тремя scientific supervisors из вузов. Двум показала свою работу, с одним поныли на ICLR 2026 и на текущее состояние науки (мне понравилось).
— Пообщалась с лидами и creators из OWASP.

Остальная инфа — кто был умный, кто спонсировал и был рядом под бочком — будто на сайте конфы.

Теперь — эмоционально:

Первое, безумно рада. Горжусь, это была моя первая поездка по визе за 6 лет. Первая и одиночная — я очень часто путешествовала с кем-то. В этот же дебют добавилось выступление на конфе на английском языке, чего я не делала никогда.

Для меня это про расширение моих границ. И несколько месяцев назад я была воробушком своей версии сейчас. Я правда очень боязлива и мне нравится себя здесь перебарывать и чувствовать сильнее сейчас, хотя я все ещё местами много чего боюсь и преодолеваю.

Второе, удивлена. Для меня была новой открытость людей ко мне. Открытость и интерес. За два дня я наобщалась с огромным количеством разных людей, от small talks, до совместных breakfast/lunch на конфе. И всем было пофиг, что я русская, что было моим немного страхом, you know.

По моим оценкам выступления — выступила хорошо. Было примерно 30 человек (а они ходили между залами практиков и теоретиков) и много вопросов. После доклада 5, в процессе постера — еще батч.

Третье, благодарна людям! Особенно моему руководителю Евгению за волшебный пинок «подайся», пре-интро в людей конфы и возможность поехать. И всем моим друзьям, семье и знакомым, кто-то саппортнул тубусом для постера, кто-то ответил на тупые вопросы, кто-то ставил реакции на тревожные или восторженные кружочки : )

As you can see, это прям поездка — важная для меня, как личности. Если есть вопросы — feel free to ask!

И ниже будет немного фотокарточек трипа.

И что очень больно, учить «только тому, что используют» я не могу, ибо это значит самой стать вкладом в bias, а-ля: выучили Grad-CAM → написали работу с Grad-CAM → следующий обзор насчитал ещё один Grad-CAM. Что с этим делать, я не знаю, но зато у меня теперь есть вкусная статистика, которая в моменте помогает куда-то расставить приоритеты.

Такие дела, друзья, такие дела. Надеюсь, статистика вам понадобится, и вы знаете, что лучшая валидация — единороги!


P.S:
из комментариев, https://karay.me/2026/10/01/unsupervised-feature-attribution.html — на потыкать карты ручками

Авторисёрч

На протяжении нескольких месяцев меня очень много и очень часто спрашивали про авторисерч: что я думаю, как часто пользуюсь и так далее.

Но на протяжении этих же месяцев я делала НЕавторисерч. Как говорится, гештальт закрыт не был — пришлось закрывать и разбираться. Я и мои агенты сели анализировать то, что есть, мы набрали 9 фреймворков и пошли собирать концепцию автоматизации исследования.

Определение — что такое авторисёрч (далее — АР).

Прежде, запомним, что рисёрч сам по себе (в контексте AI) — это всегда эксперимент. Цели этого эксперимента могут быть разными: открытие нового знания, измерение чего-либо существующего, прикладная задача.

Отсюда, в контексте любого фреймворка, авторисерч — это реализация эксперимента автоматически, с использованиям обвязок разного рода вокруг языковой модели.

В любом АР фреймворке у вас есть:

1. Цикл — типичный эксперимент, вида
"придумать изменение, далее реализовать его кодом, далее запустить, померить и решить, оставить или откатить. Повторить до успеха."

2. Состояние цикла — что модели в её обвязке нужно знать на шаге N+1 из того, что она узнала на предыдущих.

3. Внешний вердикт — чем измерить успех. Как правило это метрика или другой оценщик, но всегда что-то вне агента или заданное ему.

И всё. Эти три компоненты в точности есть основа любого авторисерч-фреймворка.

И у любого, какой бы вы ни решили взять в работу отличие от других будет обычно в одном из трех мест.

Так, например:

1. Состояние можно положить в файл (так делает karpathy/autoresearch), можно в базу данных (OpenResearch), можно в папку AiScientist, CORAL, Sibyl), можно организовать в виде графа (Prove2Me).

2. Принимать решение перехода от одного шага к другому можно оценкой (autoresearch), можно алгоритмом поиска (AiScientist в v2 делает поиск по дереву), можно на уровне структуры данных (OpenResearch, Prove2Me), а можно вообще детерминированно (Agent Laboratory и AI-Researcher).

3. Измерять успех же можно числом (autoresearch, OpenResearch, AiScientist, AI-Scientist-v2), грейдером (идея описана в CORAL), жестоким компилятором (в Prove2Me на языке Lean, верифицирует мат. доказательства) или другой моделью (Kosmos, Sibyl)

Что это даёт:

На мой взгляд, авторисерчи, которые появляются, скорее шаблон под practices, как можно автоматизацию адаптировать под себя.

И тут я очень согласна с тейком о том, что процесс исследования и разработки — это про умение найти куда приложить автоматизацию, а ещё куда прикладывать не надо.

Я пока пришла к тому, что свой рисерч полностью я не автоматизирую, ибо от проекта к проекту эту разные мысли, разные идеи и чуть-чуть разный цикл (хотя, струткура (а-ля backbone), да, одна и та же).

Надеюсь, вам пост поможет найтись в обилии и смыслах авторисерчей!

И всем хорошего завершения недели!

Короче, не могу не поделиться!

Как помните, 31 июля мы запустили ai-interpretability-school. Сейчас за окном 11 октября, так-то. И это оказалось безумно сложным, делать нормально.

Во-первых, мы столкнулись с проблемой оплат. Так как у курса есть русское и английское лица, а ещё в своем месте пребывания я иностранец, подключить нормальный по репутации платежный сервис прямо оказалось задачей. Надеюсь, она решится до конца года.

Во-вторых, мы столкнулись с проблемой оркестрирования навыками. В команде нас было две, и мы обе — 90% исследователи сейчас по занятиям. У нас есть и другие навыки (иначе сайта бы не было, тут просто всё забрала Лена — моя коллега), но мы зафокусились на контенте (и курс безумно вырос — от 16 до 21 модуля и от 312 до 524 задач, и от до X методов — тут это X пока только инкризится).

В-третьих, это просто очень annoying, когда ты выпустил и особо продвигать не можешь — ибо модули только бесплатные и на остальные можно только посмотреть. Выгораем, грустим и так далее.

И совсем недавно к нам присоединилась продакт! И это просто ощущение второго дыхания какого-то. Безумно круто, когда в команде появляется разделение задач и есть человек, который структурирует, где-то останавливает, где-то подпинывает — и теперь на одного человека у нас по два пинка, а не по одному.

Теперь у сайта стало чуть больше бесплатных модулей (мы обновили и добавили классические методы интерпретируемости: SHAP, LIME, Premutation importance, и объяснения на основе якорных правил), делается много всякого, и у нас есть красивая женщина-рыцарь на сайте, которая отражает наши страдания)

Морали нет, есть сайт: https://ai-interpretability.school

И тейк о том, что в жизни безумно важны люди. ❤️‍🔥

Neural networks are already clean

Считаю, что этот канал должен вызывать у вас любовь тыкать во всякие смешные вещи в нейросетях, потому что если бы не эта любовь — я бы уже давно пасла свою корову в горах. И тут привезли красивое — Ник Каммарата (ex OpenAI) из Goodfire написал невероятно большое эссе «Neural Networks Are Already Clean». Около часа чтения, но если у вас часа нет, но 15 минут на картинки надо найти я считаю — лучше мемов. Или нет. Я не определилась.

TLDR: нейросети внутри устроены куда аккуратнее, чем все думали.

Эссе безумно красивое, много невероятных визуализаций, так что не могу не оставить его здесь, а заодно разобрать, что значит «аккуратнее» и как «все думали».

История: как думали

В 2017 году в сети InceptionV1 нашли много чего и нейрон 4e:55, который загорался и на кошачьи морды, и на капоты машин. Это выглядело так, будто одна единица — нейрон означает одновременно «кот» и «капот». Такие нейроны назвали polysemantic — «многозначными».
Более того, там же нашли, что некоторые нейроны кодируют якобы неясную кашу, отсюда выросла идея о том, что нейрон — не продуктивная единица анализа. Логично — полисемантичен и каше-подобен. 🥣

Почему один нейрон вообще может отвечать за несколько вещей или быть кашей?
Было два объяснения:

— Первое — generalization, обобщение. В двух словах — похожие вещи складываем в одно место. Пример: отвечая за наклон ушей одной собаки, удобно отвечать за наклон ушей собаки любой породы.

— Второе — superposition, суперпозиция. Это в двух словах — будто класть на одну полку вещи, которые скорее всего никогда не понадобятся одновременно, например «собачьи уши» и «латинскую поэзию». Они не мешают друг другу и экономят место.

Если верна первая картина, то всё круто — можно в теории найти нейрон достаточно общей "детали" и отключить его, например. Если вторая — сначала надо «распутать признаки», чтобы не отключить лишнего (этим занимаются SAE).

Почему "думали не так":

Гипотеза такова: «каша» в нейронах — артефакт инструментов и плохо обученной модели, а не свойство нейросетей вообще. Автор Каммарата привел ошибки (свои же, мои же, да и каждого исследователя в XAI, как мне кажется):

* Наивная визуализация. Feature visualization — метод, который рисует картинку, максимально возбуждающую нейрон. Ранняя версия не была устойчива к сдвигам и поворотам, и картинки выходили шумными. Добавили устойчивость — те же нейроны стали чёткими.
* Reward hacking визуализации. В глубоких слоях оптимизация картинки идёт по самому лёгкому пути — у InceptionV1 это часто собаки. Так, вместе с незамеченными pose-нейронами, и появился канонический «superposition circuit» из Zoom In: машина, якобы «спрятанная» среди собачьих нейронов.
* Нехорошие данные для изучения. Из примеров автора — слишком короткие тексты (и из-за этого все нейроны, которые следят за длинным контекстом, выглядели бессмысленными) или недостаточно разнообразные примеры (когда в датасете просто не лежит того, на чем специализируется нейрон).
* Неправильная метрика. Объяснения оценивали по тому, насколько хорошо они симулируют активации, а не по тому, верны ли они. Определить верность сложно в целом.
* Забытая часть нейрона. У нейрона есть положительная и отрицательная активации. На отрицательную почти не смотрели.
* Плохая архитектура самой анализируемой модели. Например, у часто анализируемой в зрении InceptionV1 нет residual stream, который есть во всех современных сетях. Поэтому последний слой «переполнялся» (сеть того же размера на тех же данных, но с residual-связями и LayerNorm, даёт чистый последний слой).

Отсюда гипотеза Каммараты: «polysemantic» — это чаще утверждение о наблюдателе, а не о нейроне. Оно значит «у нас пока нет хорошего объяснения».

Гипотеза в эссе подкреплена разными экспериментами. В эссе они описаны достаточно подробно, но можно поделить их на три класса:

1. Демонстрация того, что смена инструмента способна почистить ответ.
2. Демонстрация того, как нейрон постепенно во время обучения обобщается до какого-то знания. Плюс анализ нейронов в моделях разного масштаба.
3. Проверка предсказания суперпозиции: сжали слой с 480 до 10 нейронов — упаковки не случилось, нейроны просто стали шире.
Эксперименты до безумия красивые! Советую хотя бы посмотреть визуализации автора.

И что случилось-то?

Ложно можно подхватить, что тезис автора — «полисемантичность — дно». Более того, как принцип обучения гипотеза суперпозиции (та самая, что должна была полисемантичность объяснять) тоже не подтвердилась в его моделях.

Но это не сделало что-либо дном! Автор скорее очень красиво показал bitter lesson для интерпретируемости: масштабировать обычное исследование сети может быть выгоднее, чем изобретать всё более хитрые декомпозиции. И показал, что superposition плохо работает как объяснение конкретного нейрона, ибо мы много опираемся на «не понимаю», и так же выглядят ошибки (а заметьте, что из постановки ошибок буквально нужно извертеться очень сильно, чтобы не допустить ни одну).

И всё! Гипотезы остаются, методы — тоже!

Надеюсь, после этого поста, вы уже разглядываете нейроны, потому что я — да.