У меня тут сегодня в звонке прозвучала фраза дня: пока у чего-то нет теории или упорядочивания — я не понимаю.
Фразу я вам, конечно, переврала, потому что забыла дословно, но смысл был такой. И это просто моя проблема/способ восприятия/другое словосочетение. Поэтому я люблю упорядочивать и смотреть на упорядоченное, так что собрала всякого, что у меня накидано в закладках в один пост, надеюсь, вы найдете для себя полезную штуку или, как минимум, вдохновитесь. Всё (почти) по XAI.
В чем история.
Область (вся) бежит безумно и наши словарные способности тоже — сколько новых терминов, описывающих старое, нагаллюициировано (много). Но если сильно замедлиться и посмотреть, как раньше было, то раньше все нудно пытались выделить категории и таксономии, свети их в одно и предложить лучшее. В таком подходе есть понятные характеристики и, по сути, дерево решений, сводящее в лист по вашей проблеме и её вводным.
📌️️️️️️ Так вот таких было (и есть) много и по XAI:
TEA Techniques — техники под проектированые "responsible data-driven technologies". Что бы ни значило тут слово "отвественный", здесь собраны методы по категориям из ответа на вопрос "Какой метод может сделать мою систему более интерпретируемой/безопасной в смысле safety/безопасной в смысле security/прозрачной/справедливой?" и так далее.
Методы интерпретирумости в ней собраны достаточно хаотично, но с примерами, отсюда можно смотреть, как како-либо метод поможет вам в обеспечении fairness.
Which LIME should I trust? — ресурс по методу LIME. Все варианты суррогатных моделей. Они собраны так, что отвечают на вопрос "На каком этапе реализации LIME я могу изменить что-либо, чтобы испрвить [название проблемы] базового LIME?".
Методы в том числе разложены по применимости суррогатов на разные модальности домен и по наличию кода.
What's in the Bottle? — аналогичный ресурс по Concept Bottleneck Models — моделям, у которых прогноз идёт через промежуточный слой человеко-понятных концептов, и общий вид модели — вход → концепты → ответ.
Здесь, как я вижу, агрегация отвечает на вопрос: "Кто какой вариант CBM уже пробовал?"
И старое, но сейчас уже таким не пользуются:
XNLP — агрегированные статьи по методам XAI для NLP. В нем за 2013-2019 всего лишь 52 работы (может в том числе потому что их размечали люди). Единицы деления работ: тип объяснения, операции, которыми оно получено, визуализация и метрики оценки.
Interactive-XAI — агрегированные статьи по методам XAI для CNN в задаче классификации изображений.
Единицы деления работ: scope, usage, aim, applicability, methodology, modality, type. Methodology делится на backpropagation, perturbation, prototype, rule-based и прочее.
xai-papers — просто XAI по типу данных, проблемы, объясняемой модели, задачи, объяснения, методу объяснения и венью конфы.
HERMES — аналогично, с разделением на характеристики модель, задача, домен, тип пользователей, модальность объяснения, техника XAI.
В этих нет явного вопроса, но есть задача — дать сводный взгляд на подобласть. Таким сейчас почти не пользуются (и сами эти ресурсы мертвы, как видите). Но я храню их как способ понять, по каким категориям мне может быть нужна сводка, если (когда) агент идет искать мне работы.
📌️️️️️️ Такие есть и начинают появлятся по сейфти:
здесь-могла-быть-моя-реклама-но я про свою карту писала, а тут ещё один красивый view — область AI Control/Alignment/ карты Лены (MrsWallbreaker).
В картах литература собрана так, что она позволяет видеть открытые Research Questions.
Помимо карт, есть словарь и генеалогия сейфти.
AI Safety Research Tracker — скринер с LLM разметкой — какие статьи относятся к сейфти на все опубликованные в период.
Вот, конец поста я не придумала, всем пятницы. В комментах, если у вас что-то есть подобное в карманах — призываю накидывать.
Фразу я вам, конечно, переврала, потому что забыла дословно, но смысл был такой. И это просто моя проблема/способ восприятия/другое словосочетение. Поэтому я люблю упорядочивать и смотреть на упорядоченное, так что собрала всякого, что у меня накидано в закладках в один пост, надеюсь, вы найдете для себя полезную штуку или, как минимум, вдохновитесь. Всё (почти) по XAI.
В чем история.
Область (вся) бежит безумно и наши словарные способности тоже — сколько новых терминов, описывающих старое, нагаллюициировано (много). Но если сильно замедлиться и посмотреть, как раньше было, то раньше все нудно пытались выделить категории и таксономии, свети их в одно и предложить лучшее. В таком подходе есть понятные характеристики и, по сути, дерево решений, сводящее в лист по вашей проблеме и её вводным.
TEA Techniques — техники под проектированые "responsible data-driven technologies". Что бы ни значило тут слово "отвественный", здесь собраны методы по категориям из ответа на вопрос "Какой метод может сделать мою систему более интерпретируемой/безопасной в смысле safety/безопасной в смысле security/прозрачной/справедливой?" и так далее.
Методы интерпретирумости в ней собраны достаточно хаотично, но с примерами, отсюда можно смотреть, как како-либо метод поможет вам в обеспечении fairness.
Which LIME should I trust? — ресурс по методу LIME. Все варианты суррогатных моделей. Они собраны так, что отвечают на вопрос "На каком этапе реализации LIME я могу изменить что-либо, чтобы испрвить [название проблемы] базового LIME?".
Методы в том числе разложены по применимости суррогатов на разные модальности домен и по наличию кода.
What's in the Bottle? — аналогичный ресурс по Concept Bottleneck Models — моделям, у которых прогноз идёт через промежуточный слой человеко-понятных концептов, и общий вид модели — вход → концепты → ответ.
Здесь, как я вижу, агрегация отвечает на вопрос: "Кто какой вариант CBM уже пробовал?"
И старое, но сейчас уже таким не пользуются:
XNLP — агрегированные статьи по методам XAI для NLP. В нем за 2013-2019 всего лишь 52 работы (может в том числе потому что их размечали люди). Единицы деления работ: тип объяснения, операции, которыми оно получено, визуализация и метрики оценки.
Interactive-XAI — агрегированные статьи по методам XAI для CNN в задаче классификации изображений.
Единицы деления работ: scope, usage, aim, applicability, methodology, modality, type. Methodology делится на backpropagation, perturbation, prototype, rule-based и прочее.
xai-papers — просто XAI по типу данных, проблемы, объясняемой модели, задачи, объяснения, методу объяснения и венью конфы.
HERMES — аналогично, с разделением на характеристики модель, задача, домен, тип пользователей, модальность объяснения, техника XAI.
В этих нет явного вопроса, но есть задача — дать сводный взгляд на подобласть. Таким сейчас почти не пользуются (и сами эти ресурсы мертвы, как видите). Но я храню их как способ понять, по каким категориям мне может быть нужна сводка, если (когда) агент идет искать мне работы.
здесь-могла-быть-моя-реклама-но я про свою карту писала, а тут ещё один красивый view — область AI Control/Alignment/ карты Лены (MrsWallbreaker).
В картах литература собрана так, что она позволяет видеть открытые Research Questions.
Помимо карт, есть словарь и генеалогия сейфти.
AI Safety Research Tracker — скринер с LLM разметкой — какие статьи относятся к сейфти на все опубликованные в период.
Вот, конец поста я не придумала, всем пятницы. В комментах, если у вас что-то есть подобное в карманах — призываю накидывать.
Please open Telegram to view this post
VIEW IN TELEGRAM
TEA Techniques
TEA Techniques - Responsible AI Design & Development
Explore techniques for evidencing claims about responsible AI design, development, and deployment.
❤8🔥5👍1🤔1🙏1
Мы снова попали в сингулярность — модель поправила модель!
Ссылки: статья, логи
I Think, что почти все видели новость про то, что Astra поменяла модели веса и улучшила качество модели на задаче по математике. У этой новости, на самом деле, интересный (!) теоретический аппарат (почему это работает) и простой (!) метод, примененный моделью (как это она так поменяла).
Как говорят, «без пива не разберешь», но давайте попробуем!
Что было:
Восемь экспериментов. Про математику был только последний, а так было ещё 7 задачек. Их можно разложить на три группы:
— прочитать: авторы обучали сеть на одной задаче, отдавали Astra только веса текстом и спрашивали, чему сеть научилась. Игру она назвала верно в 4 случаях из 4. Какую фигуру рисует диффузионная модель — в 3 из 3. На каком языке учили маленький трансформер (Python, английский или японский латиницей), по одним средним слоям — в 3 из 3. А вот в задаче «какая из двух Gemma сикофант» (то есть поддакивает пользователю даже в неверном ответе) по одним весам Astra ответить не смогла;
— починить: в физическом симуляторе машинка должна сдать назад, разогнаться и перепрыгнуть красную полосу. Сеть, обученная PPO, вместо этого въезжает на рампу и глохнет. Astra дописала в веса «подпрограмму»: сдай назад, дай газ, потом отдай руль старой сети. Изменено 3.5% весов, успех в 1024 эпизодах из 1024;
— написать: слепить сети для игр без единого шага обучения. В Breakout такая сеть набирает 517 очков против 25 у PPO на 500M шагах.
Ну, и математика на Qwen3.5-0.8B: MATH-500 с 7.9% до 48.1%, GSM8K с 13.8% до 67.1%, и IFEval с 21% до 62.3%.
Что сделала Astra для задачи математики:
Решила проблему. Qwen в thinking-режиме зицикливается (об этом предупреждает model card): 93% ответов на MATH-500 упираются в лимит 32k токенов. Astra сравнила активации на «продуктивных» и «зацикленных» кусках текста и нашла направление повтора u (своё для каждого слоя) в residual stream после слоёв 15 и 19.
Дальше для 64 нейронов down_proj в каждом из двух слоёв:
w ← w − 6·u(uᵀw)
Компонента вдоль u меняет знак и растёт, остальное не трогается. Это steering, но на уровне весов. Правка меняет 131 072 веса, 0.016% модели.
Почему это сработало?
Свойство «я повторяюсь» было закодировано направлением, и его видно разностью средних. Почему бы не применить! Отличие от обычного стиринга такое — сдвиг пропорционален активации этих 64 нейронов, то есть срабатывает, только когда модель начинает зацикливаться.
Почему это не сработало на Gemma?
Авторы объясняют это так: Gemma 3 270M почти не зацикливается — на MATH-500 в лимит 8 192 токена упираются только 8.5% её ответов против 93% у Qwen. Её ошибки — арифметика и неверные шаги в алгебре, и одного компонента, который можно выключить, у них нет.
А что по другим задачам? Как можно читать веса?
Как мне кажется, сработали три идеи:
— у входа и выхода известно, какой номер что значит («клетка (8,1)», «влево»), поэтому первый слой читается как картинка. По ней Astra и узнала игры. В Breakout веса «агента» собраны в нижней строке (ракетка), а «наград» — в верхних (кирпичи). В Pong ракетка — вертикальный столбец слева, и выход различает только «вверх» и «вниз». В Pac-Man веса агента рисуют коридоры лабиринта, и в ход идут все четыре направления. Во Freeway награда — верхняя строка, а движущиеся объекты разложены по горизонтальным полосам, как машины на дороге
— у найденных индукционных голов есть структура, для которой не нужны эмбеддинги. Её видно по весам самих голов, точнее по тому, как две головы стыкуются друг с другом.
— компиляция: нейрон с большими весами — это if, слой — шаг программы. Astra пишет эвристику по правилам игры и переводит её в веса. PPO учится по только награде (и может застрять в локальном минимуме), а модели дали правила и исходный код игры.
Что ещё важно:
— «Без градиентов» не значит «без обратной связи»! Было 50 прогонов до 512 генераций каждый и около 20 часов работы агента.
— Нет бейзлайнов вроде repetition penalty или того же diff-of-means скриптом, без LLM.
Ссылки: статья, логи
I Think, что почти все видели новость про то, что Astra поменяла модели веса и улучшила качество модели на задаче по математике. У этой новости, на самом деле, интересный (!) теоретический аппарат (почему это работает) и простой (!) метод, примененный моделью (как это она так поменяла).
Как говорят, «без пива не разберешь», но давайте попробуем!
Что было:
Восемь экспериментов. Про математику был только последний, а так было ещё 7 задачек. Их можно разложить на три группы:
— прочитать: авторы обучали сеть на одной задаче, отдавали Astra только веса текстом и спрашивали, чему сеть научилась. Игру она назвала верно в 4 случаях из 4. Какую фигуру рисует диффузионная модель — в 3 из 3. На каком языке учили маленький трансформер (Python, английский или японский латиницей), по одним средним слоям — в 3 из 3. А вот в задаче «какая из двух Gemma сикофант» (то есть поддакивает пользователю даже в неверном ответе) по одним весам Astra ответить не смогла;
— починить: в физическом симуляторе машинка должна сдать назад, разогнаться и перепрыгнуть красную полосу. Сеть, обученная PPO, вместо этого въезжает на рампу и глохнет. Astra дописала в веса «подпрограмму»: сдай назад, дай газ, потом отдай руль старой сети. Изменено 3.5% весов, успех в 1024 эпизодах из 1024;
— написать: слепить сети для игр без единого шага обучения. В Breakout такая сеть набирает 517 очков против 25 у PPO на 500M шагах.
Ну, и математика на Qwen3.5-0.8B: MATH-500 с 7.9% до 48.1%, GSM8K с 13.8% до 67.1%, и IFEval с 21% до 62.3%.
Что сделала Astra для задачи математики:
Решила проблему. Qwen в thinking-режиме зицикливается (об этом предупреждает model card): 93% ответов на MATH-500 упираются в лимит 32k токенов. Astra сравнила активации на «продуктивных» и «зацикленных» кусках текста и нашла направление повтора u (своё для каждого слоя) в residual stream после слоёв 15 и 19.
Дальше для 64 нейронов down_proj в каждом из двух слоёв:
w ← w − 6·u(uᵀw)
Компонента вдоль u меняет знак и растёт, остальное не трогается. Это steering, но на уровне весов. Правка меняет 131 072 веса, 0.016% модели.
Почему это сработало?
Свойство «я повторяюсь» было закодировано направлением, и его видно разностью средних. Почему бы не применить! Отличие от обычного стиринга такое — сдвиг пропорционален активации этих 64 нейронов, то есть срабатывает, только когда модель начинает зацикливаться.
Почему это не сработало на Gemma?
Авторы объясняют это так: Gemma 3 270M почти не зацикливается — на MATH-500 в лимит 8 192 токена упираются только 8.5% её ответов против 93% у Qwen. Её ошибки — арифметика и неверные шаги в алгебре, и одного компонента, который можно выключить, у них нет.
А что по другим задачам? Как можно читать веса?
Как мне кажется, сработали три идеи:
— у входа и выхода известно, какой номер что значит («клетка (8,1)», «влево»), поэтому первый слой читается как картинка. По ней Astra и узнала игры. В Breakout веса «агента» собраны в нижней строке (ракетка), а «наград» — в верхних (кирпичи). В Pong ракетка — вертикальный столбец слева, и выход различает только «вверх» и «вниз». В Pac-Man веса агента рисуют коридоры лабиринта, и в ход идут все четыре направления. Во Freeway награда — верхняя строка, а движущиеся объекты разложены по горизонтальным полосам, как машины на дороге
— у найденных индукционных голов есть структура, для которой не нужны эмбеддинги. Её видно по весам самих голов, точнее по тому, как две головы стыкуются друг с другом.
— компиляция: нейрон с большими весами — это if, слой — шаг программы. Astra пишет эвристику по правилам игры и переводит её в веса. PPO учится по только награде (и может застрять в локальном минимуме), а модели дали правила и исходный код игры.
Что ещё важно:
— «Без градиентов» не значит «без обратной связи»! Было 50 прогонов до 512 генераций каждый и около 20 часов работы агента.
— Нет бейзлайнов вроде repetition penalty или того же diff-of-means скриптом, без LLM.
rikiyat.github.io
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, using a variety of recent tools and algorithms or even via direct weight editing.
❤12🔥3❤🔥1👍1
Вообще, я прям в восторгах от этой работы. Она — очень (ОЧЕНЬ) хорошая точка входа на посидеть подокапываться до микро-архитектур и следствий в их постановках. И то, что результаты достигнуты агентно, показывает классный возможный потенциал для коллабораций с агентами для изучения моделей, как объекта, изнутри.
Я чувствую себя недостаточно прошаренной всё чаще, но мне нравится, куда мы идём!
Я чувствую себя недостаточно прошаренной всё чаще, но мне нравится, куда мы идём!
❤14👍2