Бенчмаркинг на примере TrustVis

Последний месяц очень много думаю про бенчмарки и много чего связанного с ними изучаю и делаю. Захотелось написать про это, а заодно убрать пыль с канала.

Бенчмаркинг — зачем?

Я очень верю в интерпретируемость. Но все методы интерпретации это что-то более медленное, и как правило они не отвечают на вопрос "насколько хорошо/безопасно/устойчиво решается задача прямо сейчас?"

Отсюда, вместо того, чтобы изучать модель как сущность, начинаем изучать как сущность то, как модель справляется с задачей. И именно бенчмаркинг предлагает такой взгляд. Мы перестаем изучать модель как сущность. Вместо этого объектом анализа становится решение задачи как единица поведения системы. Если проводить аналогию с XAI: объяснять мы начинаем не параметры модели, а результат и причины конкретного поведения.

Основные ветки оценки:

От моделей мы хотим безопасность, следование инструкциям и устойчивость. Отсюда, в виде задачи-объекта чаще всего рассматривают:

1. Safety — задачи — как модель ведет себя на вредосных/суицидальных и других запросах.
2. Robustness — задачи, направленные на оценку устойчивости к атакам через модифицированные запросы (adversarial prompts).
3. Performance — исходная задача, которую модель решает в рамках системы.

Практический пример того, как это может выглядеть в комплексе — TrustVis.

Исходная цель — оценить доверие к модели.
Pipeline оценки такой:

1. Сначала оценивается базовая безопасность модели. Просто модель на Safety датасетах.
2. Затем идет оценка под "нагрузкой": добавляют adversarial-суффиксы (AutoDAN + генетические алгоритмы) и проверяют, “сломалась” ли безопасность.
3. Автоматизирует оценку поведения через ансамбль оценщиков LlamaGuard, LlamaGuard2, Longformer. Финальный вердикт — по majority voting.

Чтобы уточнить оценку, используют нормировку ошибок по типам контента: насилие, приватность, сексуальный контент, ненависть и др. Чтобы не иметь инсайт "модель уязвива где-то", а понимать — где. Это идеальный сценарий, так как данных по чувствительным темам не совсем достаточно. Но мне он очень нравится как референс хорошей оценки.

Key-takeaway из этого ночного спитча:

Чтобы оценивать поведение, нужно концентрироваться на анализе решений на задачах. А вот как это делать хорошо, кажется, тоже развивающаяся тема, пока не имеющая точных решений. Но ИМХО, TrustVis — хороший пример: он показывает, как объединить безопасность, устойчивость и производительность в метрики доверия (может и не самые оптимальные, но при этом информативные).

Код: https://github.com/RuoyuSun7/TrustVis

А ещё, а ещё, а ещё! Я (уже месяц назад) пообщалась с DLS (обожаю их!) и совсем скоро выпустим лекцию и семинар по XAI! ❤️‍🔥

Stay here!

P.S на лекции будет Честер.

📏 Гипотеза линейности в действии.

Очень большое эстетическое удовольствие мне доставляют чтение статей и попытки проследить, как обычные подходы пробивают себе место в более высокоуровневых вещах.

И самый частый встречный гость — это линейность.

Сегодня меня очень вдохновила пара работ и я решила зафиксировать ряд работ по ней тут.

Классика и будто бы начало — работа Linguistic Regularities in Continuous Space Word Representations, где показано, что комбинация векторных представлений vector(”King”) - vector(”Man”) + vector(”Woman”) на самом деле равна vector(Queen) (и продолжения, которые тоже сохраняют линейные закономерности между словами CBOW и SKIP-Gram).

Продолжение и актуальность линейности можно увидеть и в свежих/актуальных работах:

— LIME — объясняет предсказания модели как локальную линейную аппроксимацию сложной функции в окрестности точки.
— SAE (где мы представляем эмбеддинг в виде разреженной линейной комбинации);
— Оценка мнения модели на основе зондов (где мы оцениваем мнение модели на основе линейного классификатора на residual stream)
— Разложение модели на интерпретируемые концепции — например, можно перевести концепты в виде текстовых эмбеддингов CLIP в линейную комбинацию признаков, обучив линейную суррогатную модель с использованием KL-дивергенции.

Что самое интересное, находят подтверждения не только гипотезы о том, что представления линейны в рамках одной модели, но и о том, что между представлениями достаточно больших моделей существует линейное (и ортогональное) преобразование. То есть (в частности показано) можно взять концепт в GPT-J, линейно перенести его в LLaMA и он продолжает быть справедливым.

Ограничения:

Конечно, они есть:
— нелинейные взаимодействия между признаками никуда не исчезают;
— полисемантичность нейронов (один активационный канал кодирует несколько смыслов);
— требуется разреживание или ортогонализация, чтобы выделить чистые направления.

Но мне очень греет душу мысль, что можно работать с линейностью и вот тут-то любовь к векторной алгебре пригодится :)

Если вы видели работы, связанные с линейностью или у вас есть мысли — можете докинуть в комментарии)

Всем привет!

В этом семестре мы подготовили ещё один, дополнительный модуль, посвящённый Explainable AI для моделей машинного обучения. В этом модуле вы познакомитесь с основами интерпретируемости (объяснимости) моделей. В течение занятий вы реализуете различные методы интерпретации, изучите их применимость и ограничения.

Материал подготовила и записала Садиех Сабрина, AI исследователь, автор канала https://t.me/jdata_blog

Лекцию и семинар можно найти на Stepik!

Ещё одна библиотека, до которой у меня (пока) не доходят руки, но новая, свежая, как булочки в пекарне.

Привет, друзья!
🔠 ICX360 — ещё одна библиотека для in-context объяснений LLM. In-context здесь — отсылка на то, что объяснения привязываются к input — к словам, предложениям или частям промпта, на основании которых LLM сгенерировала output.

Что внутри:

• Pertubation-based методы (то есть — методы на основе вмешательства — заменяем, убираем, искажаем часть и смотрим, как меняется выход);
• Contrastive explanations (ссылаясь на CELL your Model) — автоматически созданные «отредактированные» промпты. Идея: найти «слегка изменённую» версию промпта, при которой модель даёт заметно другой ответ по заданной метрике.
• Реализация Token Highlighter — метод, унифицированный на анализ токенов, которые могут вести к jailbreak-поведению.

И ещё:
• Поддерживают большие inputs на основе уровневых объяснений — от крупных частей входа (предложений) до слов и фраз (App. C. 3)

В комплекте:
Методы, документация, тесты и быстрые стартовые ноутбуки (Colab прямо сразу). Ноутбуки я потрогала — классные! Хочу сделать что-то интересное.

В общем, делаем

uv pip install icx360
uv run python -m spacy download en_core_web_sm
uv run python -m spacy download en_core_web_trf

и +1 в копилку исследования моделей)

Ещё больше ссылок про трансформеры.

Привет, друзья! Наверное, уже мало кого можно удивить визуализациями attention flow и тем, как работает трансформер. Но, каждый раз находя новые, я всё ещё ловлю детский восторг.

Недавно нашла широкую и аккуратную визуализацию circuits в модели GPT-2, где видно, как признаки из разреженного базиса формируют цепочки.

Напомню, что circuits — это цепочки внутренних активаций признаков. Важное слово в определении — цепочки — вот этот токен активировал эту фичу, эта фича — другую, та — грамматический паттерн, и так далее до следующего предсказанного слова.

В терминах, circuits — это ориентированный ациклический граф, чьи вершины — внутренние признаки модели, а рёбра — доказанные причинные зависимости между ними.

Circuits на SAE.

Приложение отсюда демонстрирует circuits, найденные с использованием SAE. Как это построено:

1. Для каждого вектора берем его разреженное представление. Так как представление разреженно — у нас много неактивных признаков;

2. Далее фиксируется пример и для него выбираются активные признаки последнего слоя (пусть L)

3. Далее последовательно для каждого L-i выбираем значимые признаки с прошлого слоя, выключаем их (стаим, например, в 0) и смотрим, поменялись ли активации выше по слою. Если да, то считаем признак участвующим в формировании цепочки, тригерящей признак на слое будущем.

4. После процедуры 3 все найденные связи собираются в граф, который проходит через pruning. И так получается circuit.

В чём продуктивность circuits?

Если посмотреть на приложение может показаться, что circuits — просто что-то классненькое. Но на деле их применяют для дебаггинга, управления (при помощи патчинга) и для понимания моделей с точки зрения теории (в том числе для анализа внутренней геометрии).

Теоретически их можно масштабировать — если какой-то circuit появляется в GPT-2, GPT-2-medium и GPT-J — значит это может быть масштабируемым вычислительным механизмом, встроенным в архитектуру, что даёт больше понимания о моделях, как о сущности, хоть мы и не знаем, почему модели вообще учатся ещё на уровне проблем с лоссом.

Помимо этого материала у меня есть подборки тут, тут и даже конспект лекции о том, как работают трансформеры — тут. Кроме того, существует большой материал от 3Blue1Brown — и, наверное, это золотая отправная точка "входа" в трансфомеры. Так что если вдруг трансформеры входят в ваши планы на Новый год — рекомендую почитать.

Материалы для чтения.

Вчера потребовалось понять, как считать доверительный интервал для пропорции.

Эта задача возникает, когда у вас есть пропорция, посчитанная по N наблюдениям (скажем, число ответивших «да» в эксперименте). Дать одно число нечестно — при прочих равных эксперимент зависит от случайности. Поэтому всегда и везде, ДИ требуется.

В моем случае эта задача возникла рядом с анализом attack success rate (ASR) (успешной атаки на модель) в двух конфигурациях эксперимента. Какое-то время я изучала статьи, и меня эта метрика всегда вводила в ступор — она устоявшаяся, а меня все случаи оценки пропорций настораживают ещё от доли неправильных ответов из ML (accuracy). Поэтому, чтобы быть в ступоре поменьше (и потому что ДИ — это единственный корректный метод предоставления результата), было решено добавить больше формальности.

Обычные интервалы называются Wald intervals и проблема, которая заставила задуматься и не использовать их— это то, что в базовой постановке ДИ может выйти за [0,1], а значений больше 1 и меньше 0 для пропорции быть не должно. Эта проблема связана с симметричностью интервала.

У статистики на многое есть решение — и, оказалось, есть решение и на это. Вместо обычного ДИ, который приближает распределение пропорции нормальным, можно использовать Wilson score интервал. Интервалы Вильсона асимметричны за счет сдвига и добавления знаменателя — полная формула красиво объяснена тут. Интуитивно построение таково — если наблюдаемая пропорция близка к 0 или 1, то неопределённость в сторону границы меньше, чем в сторону центра. В питоне из коробки их тоже можно посчитать (см. statsmodels).

Пока копалась, нашла забавный учебник о том, что такое рисерч. В нем описано, как строить эксперименты, зачем ставить RQ, почему нужны доверительные интервалы и прочие базовые, но нужные вещи, которые помогают приземлиться при планировании эксперимента. Кроме того, в нем много практических задач (и в том числе объясняются те-самые-ДИ). Может, пригодится и вам.

Люблю сталкиваться с моментами, где понимаю, что мне не хватает знаний. То есть не упорства, сил, времени, плана, мотивации или чего-либо ещё, а именно знаний. И сейчас меня так прокинуло в TDA (Topological Data Analysis).

Почему TDA возникает в контексте интерпретируемости?

В задаче анализа моделей как сущности есть две глобальные ветки. Первая ветвь рассматривает модель узко – в контексте конкретной задачи, а вторая – смотрит на модель более абстрактно, как на самостоятельный объект.

Приземляя на примеры:

1. Прогнозирование диагноза. Исследуем случаи решений методами интерпретации, получаем ответ "почему модель дала решение X". Отвечаем на вопросы — какая область данных повлияла на решение.

2. Исследование гендерных/рассовых предубеждений. Смотрим, как модель внутри себя располагает рассы/гендеры и думаем, как свести их в точку, где ни расса, ни гендер не влияет на принятие решения (если оно от них не зависит). Здесь важно то, что ни гендер, ни расса не описаны явно в начальных признаках, иначе было бы достаточно первого подхода.

И вот для абстрактного случая очень важны геометрические методы. Любая модель — это коробка с геометрическими структурами. Сейчас, мы находим их очень точечно — например, линейная разделимость тех же гендеров или harm/safe предубеждений (как мы показывали в статье) или circuits, про которые я так и не написала, но хороший материал тут.

Именно топологический анализ данных в частности тут может быть интересно применен. Для вдохновения:

1. Изучение bias относительно пола и профессии https://arxiv.org/pdf/2508.07516
2. Изучение признаков, идентифицированных моделью (пример на CNN) https://arxiv.org/pdf/2305.08642
3. Сокращение модели на основе изученных топологических структур https://arxiv.org/pdf/2410.11042v1
4. TDA на ризонинге https://arxiv.org/html/2510.20665v1

И к чему это я — нашла очень классный ноутбук для относительно легкого знакомства с TDA на питоне: https://colab.research.google.com/github/shizuo-kaji/TutorialTopologicalDataAnalysis/blob/master/TopologicalDataAnalysisWithPython.ipynb

Прям с нуля можно хорошо покопаться. За праздники надеюсь переведу его и обвешу определениями, но оригинал прям не могла вам не прислать.

Привет, друзья!

Ещё немного топологию.

Сейчас собираю вещи в поезд, и так как я человек тревожный, то мне нужно что-то, куда я смогу спрятать свою тревожность или переждать время.

Ноутбук я с собой не беру, поэтому вместо него — планшет, а в качестве успокоения — ещё материалы по TDA (и книжка по алгебре).

На этот раз — нашла что-то на русском и что-то ещё из библиотек:

1. Ссылки от Дмитрия Колодезева — одного из организаторов трека по Reliable ML в ODS. Что интересно, в какой-то момент я очень много задавала вопросов Дмитрию про некоторые методы интерпретируемости. Очень интересный человек!

2. Методичка по гомологиям (автор Антон Айзенберг) — с ней и планирую посидеть.

3. Открытая библиотека для топологического анализа данных и визуализации — TTK

А еду на Новый Год в ВШЭ. Еду как докладчик. Впервые в жизни буду читать что-то не формальное, а скорее жизненное — доклад с темой "Как всё успевать и не бояться выбирать?"

В моменте, я правда многое совмещаю и совмещала. В какой-то момент была магистратура, full-time job на 8 часов, кураторство студентов и написание двух статей.

Для меня это образ жизни, и безумно интересно будет поделиться со студентами своим опытом, путям к выгоранию (ровно в момент из предложения выше)) и поиску какого-то баланса.

Правда составлять презентацию было сложнее, чем для лекций по интерпретируемости) Она как-то проще.

Вернусь, и буду доделывать туториалы. Как-то сама по ним соскучилась.
Как всегда, хорошего вечера, друзья! 🤗

Одна ошибка и ты ошибся (с)
Народные мудрецы

Как мне кажется, одной из ярких и важных технологий в механистической интерпретируемости в этом году стали SAE — Sparse AutoEncoders. Помимо того, что я сейчас с ними плотно работаю, мы как-то летом обсуждали SAE в подкасте AI Security Lab «Интерпретируемости моделей ИИ: как, зачем и насколько это реально?»

Методологически SAE всегда помогают нам найти атомарные признаки, устраняя полисемантичность — явление, когда один нейрон кодирует много признаков. И этот эффект происходит за счет создания разреженного базиса. Но это — энкодер + разреженная проекция — только лицевая часть SAE. Есть ещё и менее лицевая — если хотите, задняя, часть — декодер. 🍑

Декодер возвращает реконструкцию примера, максимально близкую к исходному эмбеддингу. Близкую, но никогда не ту же самую. Отсюда имеем факт: SAE обладает ошибкой реконструкции.

Но что такое ошибка?

Ошибка в любой прогностической задаче должна быть хорошей — это часть данных, которую мы не можем предсказать. Так, для линейной регрессии мы требуем нормальности ошибок, а для ARIMA моделей для временных рядов — нормальность и стационарность остатков (ошибок) — «зеленый флаг» обучения модели.

А что такое ошибка в SAE?

Исследовать ошибку как самостоятельный объект додумались раньше меня, так что, к счастью, мой вопрос не остался без ответа. Рассмотреть ошибку реконструкции как объект исследования предлагает работа “Decomposing The Dark Matter of Sparse Autoencoders”. Результаты работы просто невероятно красивы:

1. Существует линейное преобразование уменьшающее ошибку реконструкции — следовательно существует линейная часть разложения, которую SAE не могут изучить.
2. Существует постоянная нелинейная часть, являющаяся частью ошибки SAE реконструкции.

То есть, с такой стороны — ошибка SAE — это структурный объект, который можно декомпозировать на линейно предсказуемую и нелинейную части, с разным влиянием на поведение модели. И хотя SAE эмпирически эффективны, влияние ошибок и их природу не стоит опускать из анализа.

Ещё одна интересная работа на эту тему — пост на AI Alignment forum “SAE reconstruction errors are (empirically) pathological”. В этом блог-посте анализируется структура ответа модели при условии SAE ошибки. То есть, анализируется вопрос — что будет, если вместо x поставить x’ с ошибкой реконструкции против x’’ — со случайно ошибкой.

Результат измеряют при помощи KL-дивергенции — интуитивно отвечающей на вопрос насколько далеки распределения друг от друга (то есть 0 тут — наш идеал). Показано, что при одной и той же норме возмущения SAE-ошибка влечёт больший KL / рост loss, чем случайный шум.

При этом, если мы просто уменьшим ошибку — успех не придет. Во-первых, SAE может не улавливать ещё более атомарные концепции (можно поиграть с Meta Feature Explorer, делающий ровно это тут, по мотивам работы Sparse Autoencoders Do Not Find Canonical Units of Analysis ). Кроме того, успех реконструкции по MSE — не значит, что мы нашли важные признаки с точки зрения производительности модели (это исследуют тут) .

И вот смотрю я на всё это, кручу свои SAE признаки в дипломном проекте и чувствую, что впереди ещё безумного много интересного.

Ну и ещё один важный тейк поста — всегда важно оценивать заднюю часть и любые другие детали за спиной main контента метода.

P.S. И, опуская шутки по задницы, назад оглянуться всё же хочется!

Мы с моим коллегой (Рома, я сделаю результаты, честно 😁) хотим провести чилловый эфир про конец этого не чиллового года. Поговорим про тренды, затронем тренды в интерпретируемусти и просто почиллим. Я употребила слово "чилл" 3 раза, так что ... будет совсем чиллово!

Вообще, мы с Ромой в этом году даже оффлайн успели собраться. А изначально — у нас общий первый научник. Рома занимается гроккингом и стартапами, где про вторую компоненту я вообще "не шарю".

Если у вас есть вопросы ко мне или Роме — задавайте под постом. А если нет вопросов — просто приходите, я чуть позже запиню дату (мы очень хотели собраться завтра, если никто не упадёт от продуктивности).

UPD: встречаемся 29.12 в 18:00 :)

Привет, друзья! Примерно через полчаса встречаемся на эфире у Ромы на канале 🤗

Привет, друзья!

А вот и запись вчерашенго эфира!

К сожалению, телеграм и с VPN — лагает, поэтому хороший звук примерно с 14 минуты. Но даже несмотря на это — вышло очень хорошо 😌

Тайминг:

0:00-3:00 Интро и немного о немецких булках

3:00-14:40 Немного с лагами, но всё же о трендах и итогах 2025 года

14:40-25:20 Про агентные системы и задачу интерпретируемости в них

25:20-36:20 Как улучшать модели? Подходы не от увеличения количества даных

36:20-46:00 Разработка ноу-хау подходов к обучению. Про совместный проект

46:00-54:27 Про рисерч — минусы, плюсы и выпуск кода

54:27-1:02:30 Блиц — планы на 2026

1:02:30-… Поздравление с наступающим :)

Привет, друзья!

В этом году свалилось безумно многое.

Были работа и выгорание. Были выбор, приоритеты — и потеря зарплаты, больше чем в 5 раз больше текущей. Были авария, перелом ноги у мамы. Было много тревоги, страха, одиночества. И был даже return к психологу.

И я рада каждому моменту. Между всем этим я видела маленьких китов, наконец-то съездила в Вышку и с командой собрала классную статью. А ещё подсела на дрип-кофе.

Все события — просто жизнь. Небо будет светлее, будет темнее. События будут печальнее и больнее, а будут — ярче.

Всё будет.

И я желаю вам быть. Завтра не будет нового. Никто не проснётся сильным, здоровым или просто другим.

Но мы всё ещё проснемся собой. И я желаю вам быть вами. У вас всё получится!

С новым годом! Спасибо, что читаете и спасибо, что вы здесь! Пару дней поспать, и снова в этот удивительный мир с его тайнами и загадками!

Ваш с 2022 года,
Дата автор :)

Вот тебе и замыленный взгляд — бескультурно пропустила классный релиз в конце декабря.

DeepMind выпустили Gemma-Scope2, то есть:

1. Выпустили SAE 16/32k, cross-coders и transcoders под модели gemma3-**B (от 270M to 27B) — в общем, для всех.

2. Привезли circuits для всех этих моделей (которые можно посмотреть и поизучать тут)

Из примечательного — добавили SAE, cross-coders и transcoders и для instruct моделей (для gemma2 они тоже были, но теперь выбор по размеру модели побольше).

В отличие от первой версии — даже для маленьких моделей релизнуты кодеры не со всех слоёв. Но начала-середины и конца, как правило, достаточно для сильных паттернов.

[Блогпост], [основной Hf репозиторий и туториалы].