Вообще, я тут порефлексировала за лето, и поняла, что в канал надо постить кружки, чтобы оно разлеталось и самой важной мыслью для меня было и есть какое-то просто принятие происходящего и "делание того, что делается".
Очень многое меняется в мире, даже в локально рабочем. Он чувствуется веселым и скачущим: новые методы пишутся — успей отследи,
модели растут — увидь, пойми, привыкни,
конкурс на статьи — жесть,
школу мы запустили, а формальности, нормальные оплаты и вот это всё требуют времени,
я как ждун жду свой (не)аппрув на визу в Лондон
и там было что-то ещё.
В какой-то момент я поняла, что оно всё раздражающее, но мелкое и в этом мелком не потеряться помогают возможные действия в моменте. Так что я каждый раз нахожу отдушину и пинаю её для себя. Карту, новые материалы в курсе и туториалы я делаю именно на таком настрое.
Ещё из нового — помимого того что в сентябре надо доставать скинни-джинсы (простите), я в этом году буду вести факультатив по XAI в ВШЭ! Волнуюсь как будто впервые буду что-то вести, надеюсь, выйдет также прикольно, как вышло в моей голове.
Быть может, эти мысли в чём-то помогут и вам, если вас периодически накрывает тревожка на тему "а дальше то куда?". Кажется, что просто куда-то — адаптируемся, разберемся, профессию трансформируем и дальше пойдем.
Вот.
Очень многое меняется в мире, даже в локально рабочем. Он чувствуется веселым и скачущим: новые методы пишутся — успей отследи,
модели растут — увидь, пойми, привыкни,
конкурс на статьи — жесть,
школу мы запустили, а формальности, нормальные оплаты и вот это всё требуют времени,
я как ждун жду свой (не)аппрув на визу в Лондон
и там было что-то ещё.
В какой-то момент я поняла, что оно всё раздражающее, но мелкое и в этом мелком не потеряться помогают возможные действия в моменте. Так что я каждый раз нахожу отдушину и пинаю её для себя. Карту, новые материалы в курсе и туториалы я делаю именно на таком настрое.
Ещё из нового — помимого того что в сентябре надо доставать скинни-джинсы (простите), я в этом году буду вести факультатив по XAI в ВШЭ! Волнуюсь как будто впервые буду что-то вести, надеюсь, выйдет также прикольно, как вышло в моей голове.
Быть может, эти мысли в чём-то помогут и вам, если вас периодически накрывает тревожка на тему "а дальше то куда?". Кажется, что просто куда-то — адаптируемся, разберемся, профессию трансформируем и дальше пойдем.
Вот.
❤34🤗4🔥1🐳1
Теперь официально: погнали пить кофе в Лондоне.
23 сентября выступаю на конференции Applied Machine Learning for Cyber Security Conference в Лондоне, Olympic Park с докладом «Does a model know when a jailbreak is working?»
TLDR на вопрос доклада: возможно, да, но у нас есть много свободных переменных, из-за которых мы не можем надежного отличить "знание" от случайного результата без предварительных приседаний и проверок.
Вдруг кто-то будет мимо-проходить, заходите. В любом случае потом поделюсь впечатлением — для меня это что-то новое =)
Вообще говоря, AMLUCS — сильная британская конфа на стыке ML и кибербезопасности, с прикладным уклоном. Например, в оргкомитете есть Джон (John Sotiropoulos) из OWASP GenAI Security Project (авторы OWASP Top 10 for LLM Applications, я туда даже ручку прикладывала).
В докладах буду принимать участие исследователи из NCSC, Dstl, Alan Turing Institute, AI Red Team в Microsoft, AWS и профильных security-стартапов. И я — как лид HiveTrace — мы тоже сильный профильный стартап 🗿
P.S., да, это к тому, что мне дали визу, и ждун дождался. Я рада и вместе с этим волнуюсь — у меня на конфе и talk, и постер, а я давно не выступала очно (кажется, с зимы). И в целом — формат, форма и сообщество (кибербез) новый. Такие дела!
23 сентября выступаю на конференции Applied Machine Learning for Cyber Security Conference в Лондоне, Olympic Park с докладом «Does a model know when a jailbreak is working?»
TLDR на вопрос доклада: возможно, да, но у нас есть много свободных переменных, из-за которых мы не можем надежного отличить "знание" от случайного результата без предварительных приседаний и проверок.
Вдруг кто-то будет мимо-проходить, заходите. В любом случае потом поделюсь впечатлением — для меня это что-то новое =)
Вообще говоря, AMLUCS — сильная британская конфа на стыке ML и кибербезопасности, с прикладным уклоном. Например, в оргкомитете есть Джон (John Sotiropoulos) из OWASP GenAI Security Project (авторы OWASP Top 10 for LLM Applications, я туда даже ручку прикладывала).
В докладах буду принимать участие исследователи из NCSC, Dstl, Alan Turing Institute, AI Red Team в Microsoft, AWS и профильных security-стартапов. И я — как лид HiveTrace — мы тоже сильный профильный стартап 🗿
P.S., да, это к тому, что мне дали визу, и ждун дождался. Я рада и вместе с этим волнуюсь — у меня на конфе и talk, и постер, а я давно не выступала очно (кажется, с зимы). И в целом — формат, форма и сообщество (кибербез) новый. Такие дела!
AMLUCS
AMLUCS | Official AMLUCS Website-Register for AMLUCS 2026
Join AMLUCS 2026 in London to explore AI and ML advancements in cybersecurity. Attend expert talks, hands-on sessions, and networking to discover innovative threat detection, defense strategies, and research driving the future of secure systems. 23-24 September.
❤42🔥37🦄1
Вебинар про объяснимость агентов и во что можно поиграть
Как самый ответственный человек на земле, я решила, что лучшее время слечь — время на своих выходных. Поэтому вместо отдыха без интернета, я злая (и растроенная) долепливаю открытый вебинар со степик.
Пока готовилась, узнала слово трюизм: общеизвестная, банальная и самоочевидная истина, которая не требует доказательств и не несет в себе никакой новой информации — вот примерно это то, как вижу все чеклисты, которые можно дать людям после вебинара. Будто люди сами не додумаются (хотя я иногда не до всех пунктов додумываюсь и мне чеклисты полезны для структуризации себя, мне самой дать кому-то такой чеклист — это какое-то сложно-тошнотворное действие).
Отсюда вместо трюизмов я решила, что будет прикольно дать ссылки на всё, что можно потыкать и поучиться взаимодействию с агентами и их failure modes. Что накопилось:
Агентные игры:
Gray Swan Arena — сценарий: агенту дают инструменты (почту, магазин, браузер) и вы пытаетесь заставить его сделать запрещенку. Очень популярна сейчас (и свежая).
OWASP FinBot CTF — мультиагентная система закупок. Задача: обмануть агентов так, чтобы одобрили фальшивый счёт, слили данные или что-нибудь (кого-нибудь) снесли.
Gandalf: Agent Breaker — задачки по обходу нескольких GenAI-приложений с защитами. Если помните старого Гэндальфа, то он вот, теперь новенький.
Чатботовые игры:
Защищ[AI] от Selectel — мини-игрушка на русском, на пять уровней. Прикольно, чтобы дать кому-то потыкать с фразой "не шли PII агенту, пожалуйста".
Prompt Airlines от Wiz — игра на то, чтобы выманить у бота поддержки бесплатный билет.
HackAPrompt — игра-обучение и соревнование.
Doublespeak.chat — ещё текстовая игра с уровнями.
CrowdStrike AI Unlocked — опять игра (по ссылке описание) на prompt injection, но там надо еще зарегаться.
Ещё был Mosscap от Lakera, но я не нашла ссылку.
А ещё, а ещё, мои коллеги ведут курс с "задачами на поломать" на степике и у меня есть ссылка на курс со скидкой: здесь.
Я же буду рассказывать про зеро-лвл (что такое агент), плюс пройдусь по причинам, почему объяснить нормально в смысле xai мы его не можем. И нотбучек планирую за час с фреймворком AgentShap разобрать. У вебинара даже лендинг красивый есть (это я вас так зову, если вам хочется слушать онлайн 15 сентября, в 18:00 (мск)).
И надеюсь, ваши выходные лучше моих!
Как самый ответственный человек на земле, я решила, что лучшее время слечь — время на своих выходных. Поэтому вместо отдыха без интернета, я злая (и растроенная) долепливаю открытый вебинар со степик.
Пока готовилась, узнала слово трюизм: общеизвестная, банальная и самоочевидная истина, которая не требует доказательств и не несет в себе никакой новой информации — вот примерно это то, как вижу все чеклисты, которые можно дать людям после вебинара. Будто люди сами не додумаются (хотя я иногда не до всех пунктов додумываюсь и мне чеклисты полезны для структуризации себя, мне самой дать кому-то такой чеклист — это какое-то сложно-тошнотворное действие).
Отсюда вместо трюизмов я решила, что будет прикольно дать ссылки на всё, что можно потыкать и поучиться взаимодействию с агентами и их failure modes. Что накопилось:
Агентные игры:
Gray Swan Arena — сценарий: агенту дают инструменты (почту, магазин, браузер) и вы пытаетесь заставить его сделать запрещенку. Очень популярна сейчас (и свежая).
OWASP FinBot CTF — мультиагентная система закупок. Задача: обмануть агентов так, чтобы одобрили фальшивый счёт, слили данные или что-нибудь (кого-нибудь) снесли.
Gandalf: Agent Breaker — задачки по обходу нескольких GenAI-приложений с защитами. Если помните старого Гэндальфа, то он вот, теперь новенький.
Чатботовые игры:
Защищ[AI] от Selectel — мини-игрушка на русском, на пять уровней. Прикольно, чтобы дать кому-то потыкать с фразой "не шли PII агенту, пожалуйста".
Prompt Airlines от Wiz — игра на то, чтобы выманить у бота поддержки бесплатный билет.
HackAPrompt — игра-обучение и соревнование.
Doublespeak.chat — ещё текстовая игра с уровнями.
CrowdStrike AI Unlocked — опять игра (по ссылке описание) на prompt injection, но там надо еще зарегаться.
Ещё был Mosscap от Lakera, но я не нашла ссылку.
А ещё, а ещё, мои коллеги ведут курс с "задачами на поломать" на степике и у меня есть ссылка на курс со скидкой: здесь.
Я же буду рассказывать про зеро-лвл (что такое агент), плюс пройдусь по причинам, почему объяснить нормально в смысле xai мы его не можем. И нотбучек планирую за час с фреймворком AgentShap разобрать. У вебинара даже лендинг красивый есть (это я вас так зову, если вам хочется слушать онлайн 15 сентября, в 18:00 (мск)).
И надеюсь, ваши выходные лучше моих!
1❤23👍7🔥5
"AI решил выберите-проблему-математиков"
Безумно обожаю, когда решаются какие-то сложные задачи, и на места встают паттерны в чиселках и абстракциях. И за последний год много куда нейрон приложил AI. И хотя, кажется, нас волновало в основном уравнение Навье-Стокса из-за скандала, красивого было много:
1. Циклы Кнута
Дональд Кнут — автор «Искусства программирования», ему 87. Он решал задачу поиска маршрутов на кубе m×m×m из точек, где из каждой точки три стрелки, и надо разложить все стрелки на также три маршрута, каждый из которых обходит все точки ровно раз. Случай 3×3×3 был решен, общего решения не было.
Его (вернее, подход к обобщению) принес Клод, и Дональд Кнут написал доказательство. Статью назвал «Циклы Клода», открыл её словами «Шок! Шок!» и закончил тем, что попросил не писать ему с обсуждением =) Там, если что, ещё не доведены четные m
2. Aletheia на Gemini Deep Think.
Пример успешного натравления агента (двух на разных моделях) на решение актуальных задач. Решено 6 из 10. Из забавного: у каждого агента по отдельности был хотя бы один ложноположительный результат и все шесть задач были решены именно парой только парой: отчёт First Proof, блог DeepMind
3. Точки на плоскости
Расставьте n точек на плоскости. Сколько пар может оказаться на расстоянии ровно 1? Эрдёш в 1946 году предположил верхнюю границу. Модель OpenAI построила расстановку, которая её превышает и опровергла гипотезу.
Пост в x.
4. Августовские шары (жаль, не перекати-поля) и несофические группы.
OpenAI выкатила пакет: 249-страничный манускрипт, и доказательства на GitHub. Там итого было 10 задач, с затратой в 2000$
Из важного выделяют несофические группы (существование таких не могли ни доказать, ни опровернусть с 1999), а остальные девять — про упаковку шаров в многомерном пространстве (верхняя оценка улучшена впервые с 1978 года), про числа Рамсея, про сложность вычисления перманента, про решётки в постквантовой криптографии.
Анонс OpenAI.
5. Августовская Дзета-функция
Про это я писала выше. Коротко: доля нулей, про которые доказано, что они на критической прямой, выросла с 41.6% до 67.25%. Рекорд стоял с 2020 года, а до него его поднимали с 1914-го.
Anthropic
6. Сентябрьский Ферма
Формализация теоремы. Это не новый результат, но пример формализации, бывшей с точки зрения описания сложной.
7. Сентябрьский Навье–Стокс
Уравнения описывают течение жидкости. Вопрос на миллион долларов (правда дают денег!): может ли из гладкого начального состояния за конечное время возникнуть точка, где скорость бесконечна?
С историей много связано моментов: за 12 часов до этого о близких результатах объявила другая команда, сейчас идёт спор о приоритете, а ещё часть математиков считает, что решён не тот вариант задачи. Если вы видели — была прям драмма.
OpenAI.
В каждую новость и в их совокупность, помимо красивого, можно вложить много смыслов.
Первый момент, как мне кажется, может показаться, что человеческий мозг в целом отмирает, и становится рудиментом. И зачем учиться, зачем углубляться, есть AI. У этого есть ряд контр-аргументов:
— Независимые замеры: FrontierMath Erdős, 68 задач, отобранных человеком, и моделями решено 2 из 68, тут таблица.
— Весь агентский рисерч (Sakana, Autoresearch Андрея Карпатого, AiScientist, OpenResearch (и далее — их чет прям много)) — суть просто культурный pipeline исследования, описанный агенту инструкцией.
Отсюда мозг-то надо, просто теперь как-то иначе приходится думать
Второй момент — это авторство. "Что написано в интернете осталось в интернете" — это теперь "что написано в "GPT" осталось в трейне".
Это стремно и тревожно, так как сейчас стали жестче даже submissions, ибо ревьюеры пользуются AI, в том числе чтобы съесть твою жопу (простите). И у меня есть ощущение, что исследователи и так in the hurry.
По позиции с этим я никуда не приземлилась, так что просто работаю.
Безумно обожаю, когда решаются какие-то сложные задачи, и на места встают паттерны в чиселках и абстракциях. И за последний год много куда нейрон приложил AI. И хотя, кажется, нас волновало в основном уравнение Навье-Стокса из-за скандала, красивого было много:
1. Циклы Кнута
Дональд Кнут — автор «Искусства программирования», ему 87. Он решал задачу поиска маршрутов на кубе m×m×m из точек, где из каждой точки три стрелки, и надо разложить все стрелки на также три маршрута, каждый из которых обходит все точки ровно раз. Случай 3×3×3 был решен, общего решения не было.
Его (вернее, подход к обобщению) принес Клод, и Дональд Кнут написал доказательство. Статью назвал «Циклы Клода», открыл её словами «Шок! Шок!» и закончил тем, что попросил не писать ему с обсуждением =) Там, если что, ещё не доведены четные m
2. Aletheia на Gemini Deep Think.
Пример успешного натравления агента (двух на разных моделях) на решение актуальных задач. Решено 6 из 10. Из забавного: у каждого агента по отдельности был хотя бы один ложноположительный результат и все шесть задач были решены именно парой только парой: отчёт First Proof, блог DeepMind
3. Точки на плоскости
Расставьте n точек на плоскости. Сколько пар может оказаться на расстоянии ровно 1? Эрдёш в 1946 году предположил верхнюю границу. Модель OpenAI построила расстановку, которая её превышает и опровергла гипотезу.
Пост в x.
4. Августовские шары (жаль, не перекати-поля) и несофические группы.
OpenAI выкатила пакет: 249-страничный манускрипт, и доказательства на GitHub. Там итого было 10 задач, с затратой в 2000$
Из важного выделяют несофические группы (существование таких не могли ни доказать, ни опровернусть с 1999), а остальные девять — про упаковку шаров в многомерном пространстве (верхняя оценка улучшена впервые с 1978 года), про числа Рамсея, про сложность вычисления перманента, про решётки в постквантовой криптографии.
Анонс OpenAI.
5. Августовская Дзета-функция
Про это я писала выше. Коротко: доля нулей, про которые доказано, что они на критической прямой, выросла с 41.6% до 67.25%. Рекорд стоял с 2020 года, а до него его поднимали с 1914-го.
Anthropic
6. Сентябрьский Ферма
Формализация теоремы. Это не новый результат, но пример формализации, бывшей с точки зрения описания сложной.
7. Сентябрьский Навье–Стокс
Уравнения описывают течение жидкости. Вопрос на миллион долларов (правда дают денег!): может ли из гладкого начального состояния за конечное время возникнуть точка, где скорость бесконечна?
С историей много связано моментов: за 12 часов до этого о близких результатах объявила другая команда, сейчас идёт спор о приоритете, а ещё часть математиков считает, что решён не тот вариант задачи. Если вы видели — была прям драмма.
OpenAI.
В каждую новость и в их совокупность, помимо красивого, можно вложить много смыслов.
Первый момент, как мне кажется, может показаться, что человеческий мозг в целом отмирает, и становится рудиментом. И зачем учиться, зачем углубляться, есть AI. У этого есть ряд контр-аргументов:
— Независимые замеры: FrontierMath Erdős, 68 задач, отобранных человеком, и моделями решено 2 из 68, тут таблица.
— Весь агентский рисерч (Sakana, Autoresearch Андрея Карпатого, AiScientist, OpenResearch (и далее — их чет прям много)) — суть просто культурный pipeline исследования, описанный агенту инструкцией.
Отсюда мозг-то надо, просто теперь как-то иначе приходится думать
Второй момент — это авторство. "Что написано в интернете осталось в интернете" — это теперь "что написано в "GPT" осталось в трейне".
Это стремно и тревожно, так как сейчас стали жестче даже submissions, ибо ревьюеры пользуются AI, в том числе чтобы съесть твою жопу (простите). И у меня есть ощущение, что исследователи и так in the hurry.
По позиции с этим я никуда не приземлилась, так что просто работаю.
❤12🔥3🌚2
Третий момент, который мне прям вот захотелось записать-написать — это то, что надо это ловить и изучать. В моменте у нас безумно простой доступ к знаниям, инструментам и реализациям, господи, мне кажется мы самые счастливые обладатели техники — потому что очень быстрый доступ к любой теории у нас есть просто на уровне запроса.
Ну, а если философия вокруг вам не интересна, то список новостей классный, я залипла. У меня сейчас дедлайн на дедлайне и страдание на страдии, но в загашнике я ещё обязательно допишу всё, что встало на стоп.
И если у вас есть мысли, буду рада, если поделитесь!
Ну, а если философия вокруг вам не интересна, то список новостей классный, я залипла. У меня сейчас дедлайн на дедлайне и страдание на страдии, но в загашнике я ещё обязательно допишу всё, что встало на стоп.
И если у вас есть мысли, буду рада, если поделитесь!
❤11🔥3🦄1
А ещё вас стало невероятно сильно больше, и я безумно рада видеть новых людей (вы мой маленький олимпийский, друзья)! 💔
Про меня почитать TLDR можно тут.
Из других фактов, меня сейчас взаправду описывает фраза "горит жопа", ибо я как дурачек вычитываю презу для конфы в Лондоне, у меня финалится статья, и никто не отменял основные дела,
а в другое время я пишу туториалы и всякие лекции читаю, вот.
И я обязательно вернусь, но а пока чилл-посты и личные заметки. 🗿
Можете накидать вопросы!
Про меня почитать TLDR можно тут.
Из других фактов, меня сейчас взаправду описывает фраза "горит жопа", ибо я как дурачек вычитываю презу для конфы в Лондоне, у меня финалится статья, и никто не отменял основные дела,
а в другое время я пишу туториалы и всякие лекции читаю, вот.
И я обязательно вернусь, но а пока чилл-посты и личные заметки. 🗿
Можете накидать вопросы!
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Data Blog
Друзья, вас стало так много! Безумно ценю каждого.
Вы уделяете время контенту канала — и я бесконечно рада. И это «о себе»-пост.
Я researcher в области объяснимости ИИ (XAI) и mechanistic interpretability. Сейчас я изучаю, как устроены модели изнутри:…
Вы уделяете время контенту канала — и я бесконечно рада. И это «о себе»-пост.
Я researcher в области объяснимости ИИ (XAI) и mechanistic interpretability. Сейчас я изучаю, как устроены модели изнутри:…
❤28💅3👍1
AMLUCS 2026
Ну что, я всё, я еду обратно! Меня прям много спрашивали, как мне поездка на конференцию. И сейчас, пока самолет опаздывает, появились силы объять все свои чувства во что-то одно.
Сначала структурно:
— Было два дня конфы + пре-dinner. Всем советую приватные ужины — я хоть и не пью, но в день конфы это помогло мне чувствовать себя менее потерянным новичком — я уже знала ключевых организаторов, а они меня.
— Было два трека. Исследователи и практики. Я была в первом, докладов было 14 у нас и 20 на практическом треке.
— Из людей, я пообщалась с тремя scientific supervisors из вузов. Двум показала свою работу, с одним поныли на ICLR 2026 и на текущее состояние науки (мне понравилось).
— Пообщалась с лидами и creators из OWASP.
Остальная инфа — кто был умный, кто спонсировал и был рядом под бочком — будто на сайте конфы.
Теперь — эмоционально:
Первое, безумно рада. Горжусь, это была моя первая поездка по визе за 6 лет. Первая и одиночная — я очень часто путешествовала с кем-то. В этот же дебют добавилось выступление на конфе на английском языке, чего я не делала никогда.
Для меня это про расширение моих границ. И несколько месяцев назад я была воробушком своей версии сейчас. Я правда очень боязлива и мне нравится себя здесь перебарывать и чувствовать сильнее сейчас, хотя я все ещё местами много чего боюсь и преодолеваю.
Второе, удивлена. Для меня была новой открытость людей ко мне. Открытость и интерес. За два дня я наобщалась с огромным количеством разных людей, от small talks, до совместных breakfast/lunch на конфе. И всем было пофиг, что я русская, что было моим немного страхом, you know.
По моим оценкам выступления — выступила хорошо. Было примерно 30 человек (а они ходили между залами практиков и теоретиков) и много вопросов. После доклада 5, в процессе постера — еще батч.
Третье, благодарна людям! Особенно моему руководителю Евгению за волшебный пинок «подайся», пре-интро в людей конфы и возможность поехать. И всем моим друзьям, семье и знакомым, кто-то саппортнул тубусом для постера, кто-то ответил на тупые вопросы, кто-то ставил реакции на тревожные или восторженные кружочки : )
As you can see, это прям поездка — важная для меня, как личности. Если есть вопросы — feel free to ask!
И ниже будет немного фотокарточек трипа.
Ну что, я всё, я еду обратно! Меня прям много спрашивали, как мне поездка на конференцию. И сейчас, пока самолет опаздывает, появились силы объять все свои чувства во что-то одно.
Сначала структурно:
— Было два дня конфы + пре-dinner. Всем советую приватные ужины — я хоть и не пью, но в день конфы это помогло мне чувствовать себя менее потерянным новичком — я уже знала ключевых организаторов, а они меня.
— Было два трека. Исследователи и практики. Я была в первом, докладов было 14 у нас и 20 на практическом треке.
— Из людей, я пообщалась с тремя scientific supervisors из вузов. Двум показала свою работу, с одним поныли на ICLR 2026 и на текущее состояние науки (мне понравилось).
— Пообщалась с лидами и creators из OWASP.
Остальная инфа — кто был умный, кто спонсировал и был рядом под бочком — будто на сайте конфы.
Теперь — эмоционально:
Первое, безумно рада. Горжусь, это была моя первая поездка по визе за 6 лет. Первая и одиночная — я очень часто путешествовала с кем-то. В этот же дебют добавилось выступление на конфе на английском языке, чего я не делала никогда.
Для меня это про расширение моих границ. И несколько месяцев назад я была воробушком своей версии сейчас. Я правда очень боязлива и мне нравится себя здесь перебарывать и чувствовать сильнее сейчас, хотя я все ещё местами много чего боюсь и преодолеваю.
Второе, удивлена. Для меня была новой открытость людей ко мне. Открытость и интерес. За два дня я наобщалась с огромным количеством разных людей, от small talks, до совместных breakfast/lunch на конфе. И всем было пофиг, что я русская, что было моим немного страхом, you know.
По моим оценкам выступления — выступила хорошо. Было примерно 30 человек (а они ходили между залами практиков и теоретиков) и много вопросов. После доклада 5, в процессе постера — еще батч.
Третье, благодарна людям! Особенно моему руководителю Евгению за волшебный пинок «подайся», пре-интро в людей конфы и возможность поехать. И всем моим друзьям, семье и знакомым, кто-то саппортнул тубусом для постера, кто-то ответил на тупые вопросы, кто-то ставил реакции на тревожные или восторженные кружочки : )
As you can see, это прям поездка — важная для меня, как личности. Если есть вопросы — feel free to ask!
И ниже будет немного фотокарточек трипа.
AMLUCS
AMLUCS | Official AMLUCS Website-Register for AMLUCS 2026
Join AMLUCS 2026 in London to explore AI and ML advancements in cybersecurity. Attend expert talks, hands-on sessions, and networking to discover innovative threat detection, defense strategies, and research driving the future of secure systems. 23-24 September.
1❤23❤🔥11👍8🔥6👀1
Этот перец и мой тубус выглядят лучше, чем моя цель купить наушники, до которых я шла два месяца, ибо надо время найти зайти в магаз 🦄 💅🏻
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤🔥49🏆15💅6🦄5👍3❤1👏1
Привет, друзья! Ура-ура, я проспалась и дописала новый-красивый геометрически-AI-ный туториал. Никогда меня так не накрывал джетлаг — три дня я просто сонный картофель — не иначе.
Что у нас на Хабре:
Туториал, посвященный и вдохновленный работой Navigating the Latent Space Dynamics of Neural Models. Она попалась мне на глаза ещё в мае 2025 и привлекла своей необычной постановкой. Сейчас, в сентябре 2026 наконец-то её разбирая, я была очень рада увидеть её принятой на ICLR 2026 (а ещё зацените, как долго я иногда дохожу до чего-то).. = )
Динамическая система — множество состояний и правило, по которому состояние меняется во времени. Шаг за шагом точка движется, и можно спросить, куда она в итоге придёт. Иногда она прилипает к «притягивающим» точкам — аттракторам.
Оказывается, такую систему можно найти внутри автоэнкодера. Берём код z, декодируем, снова кодируем: f = E∘D. Применяем f снова и снова — и получаем траекторию в латентном пространстве, а разность f(z) − z задаёт векторное поле.
Такая постановка позволяет изучить саму модель через её пространство, а не через данные. У этого есть прикольные примерения — например, детекция Out of Distribution.
В процессе туториала, идя по нему step-by-step, у вас получится:
1. Задать определение векторного поля в общем смысле и посмотреть, что это за объект внутри модели.
2. Узнать детали поля (когда пояляется, как сходится, какие есть теоремы).
3. Узнать, что такое аттракторы, бассейны притяжения и и как найти их (вместе с тонкостями процесса).
4. Проанализировать, как поле эволюционирует за обучение.
5. Увидеть, зачем это надо, кроме красивых картинок.
6. Порадоваться — ведь шесть шагов выше — это разбор ICLR статьи и вы его преодолеете.
Шаг 6 будет самый значимый. Если вы будете "трогать" термины впервые — это титанический труд — дойти до конца. Поэтому не сдавайтесь, читайте, перечитывайте и всё получится!
Всем чудесного вторника!💔
Я рада добить этот туториал безумно — больно долго он пекся.
Ноутбучек.
Хабропост.
Призываю ставить классы репозиторию и единорожиков (не говно, ради бога) сюда 🗿
Что у нас на Хабре:
Туториал, посвященный и вдохновленный работой Navigating the Latent Space Dynamics of Neural Models. Она попалась мне на глаза ещё в мае 2025 и привлекла своей необычной постановкой. Сейчас, в сентябре 2026 наконец-то её разбирая, я была очень рада увидеть её принятой на ICLR 2026 (а ещё зацените, как долго я иногда дохожу до чего-то).. = )
Динамическая система — множество состояний и правило, по которому состояние меняется во времени. Шаг за шагом точка движется, и можно спросить, куда она в итоге придёт. Иногда она прилипает к «притягивающим» точкам — аттракторам.
Оказывается, такую систему можно найти внутри автоэнкодера. Берём код z, декодируем, снова кодируем: f = E∘D. Применяем f снова и снова — и получаем траекторию в латентном пространстве, а разность f(z) − z задаёт векторное поле.
Такая постановка позволяет изучить саму модель через её пространство, а не через данные. У этого есть прикольные примерения — например, детекция Out of Distribution.
В процессе туториала, идя по нему step-by-step, у вас получится:
1. Задать определение векторного поля в общем смысле и посмотреть, что это за объект внутри модели.
2. Узнать детали поля (когда пояляется, как сходится, какие есть теоремы).
3. Узнать, что такое аттракторы, бассейны притяжения и и как найти их (вместе с тонкостями процесса).
4. Проанализировать, как поле эволюционирует за обучение.
5. Увидеть, зачем это надо, кроме красивых картинок.
6. Порадоваться — ведь шесть шагов выше — это разбор ICLR статьи и вы его преодолеете.
Шаг 6 будет самый значимый. Если вы будете "трогать" термины впервые — это титанический труд — дойти до конца. Поэтому не сдавайтесь, читайте, перечитывайте и всё получится!
Всем чудесного вторника!
Я рада добить этот туториал безумно — больно долго он пекся.
Ноутбучек.
Хабропост.
Призываю ставить классы репозиторию и единорожиков (не говно, ради бога) сюда 🗿
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤36🦄16🔥7🆒6👍3
Как выбрать метод? Или 25 тысяч слез, когда надо что-то рассказать.
В этом году стала совсем преподавателем и теперь у меня есть целый факультатив в ВШЭ. Но преподаю разные форматы (лекции, вебинары, гостевые) я, однако, не первый год, а основным центром моих материалов является степик.
И это всегда ужасные муки выбора — что включить в курс, а что выключить. Когда начинаешь разбирать что-то одно, то всегда попадаешь в воронку ссылок и модификаций и меня постоянно волнует вопрос: как преподать нужное, а не экзотическое и как не перечеррипикать информацию с bias-ом на то, что нравится мне.
Ответ всегда в чиселках. Я собираю статистику — и она иногда вырождается в забавные артефакты. Решила поделиться одним из — про градиентные методы интерпретации.
TLDR про градиентные методы: всегда на выходе отдают тепловую карту, всегда используют backward pass по модели (то есть дифференцируют ее, обычно по входу).
Почему в ходу: потому что очень удобно неспециалистам давать объяснение картинкой. Условно, «вот, модель посмотрела сюда».
Методов и модификаций ОЧЕНЬ много. И единой статистики по частоте использования градиентных методов нет. Есть несколько косвенных измерений.
🔤 ) Обычно, задача «посчитать кого где используют» волнует будто бы в основном медицину. Тут нашлись относительно свежие обзоры(ссылки отнесу в комменты):
— для классификации рака по снимкам (46 исследований за 2020–2026) показывает превалирование Grad-CAM — в 34 из 46 (73.9%). Авторы объясняют доминирование Grad-CAM тем, что его легко встроить в CNN по постановке (это правда так).
— для задач по разным доменам Saarela & Podgorelec (512 статей за 2021–2024): на табличных данных лидируют SHAP и LIME. На изображениях преобладают градиентные методы — (снова) Grad-CAM, Grad-CAM++, SmoothGrad, IG, LRP.
🔤 ) Поиск по имени, описанию и топикам репозиториев на GitHub по упоминаниям методов из моего курса тоже показывает превалирование Grad-CAM, топ такой (полный кину в комменты, как (1)):
Grad-CAM ~8 470
saliency map ~690*
Integrated Gradients ~405
* Сюда попадают и не XAI-работы — модели, предсказывающие, куда смотрит человек, что важно.
🔤 ) Звёзды библиотек светят тоже методу Grad-CAM: jacobgil/pytorch-grad-cam — 12 985, Captum — 5 707, iNNvestigate — 1 309, PAIR saliency — 997, Zennit — 248. То есть узкая библиотека, где есть только CAM-методы, имеет вдвое больше звёзд, чем универсальная Captum.
🔤 ) Поиск кода GitHub по Python-файлам, где имя класса стоит вместе с именем библиотеки (например, IntegratedGradients captum), дал следующее (полные тоже кину в комменты, как (2. 3)):
библиотека pytorch-grad-cam (метод и число файлов)
GradCAM 6 368
GradCAM++ 3 016
EigenCAM 2 432
библиотека Captum (метод и число файлов)
IntegratedGradients 7 248 (из них ~1 070 — LayerIntegratedGradients)
Saliency 2 984
DeepLift 1 892
А что видно?
Grad-CAM, как метод, выехал везде и вперед. Выехал он по постановке — для него в целом нужна только сеть и обратный проход (и он даже аппроксимируется на модели без сверточных слоев). Тут могла бы быть реклама курса, но продажник из меня говно, иначе я бы уже чиллила на Бали, поэтому постановку можно изучить в чьей-то неплохой статье на Хабр и в paper метода.
Из важных ограничений — метод дает размытую карту (из-за того, что на последнем слое, где метод обычно строят, у нас карты активаций маленькие, например 7х7, а вход обычно сильно больше (классика 224х224). Поэтому у него много-много модификаций (Guided, ++, Hires и прочие)
Второе важное, что хоть я обвешусь числами, у каждого способа оценки у меня своё смещение:
• Цитирования не равны использованию. Например, Springenberg et al. цитируют в основном за all-conv net, а не за guided backprop.
• Обзоры перекошены в сторону медицины.
• Звёзды перекошены в сторону удобства библиотеки.
• Поиск по коду считает приблизительно и не отличает рабочий проект от учебного скрипта, который импортирует все методы разом.
В этом году стала совсем преподавателем и теперь у меня есть целый факультатив в ВШЭ. Но преподаю разные форматы (лекции, вебинары, гостевые) я, однако, не первый год, а основным центром моих материалов является степик.
И это всегда ужасные муки выбора — что включить в курс, а что выключить. Когда начинаешь разбирать что-то одно, то всегда попадаешь в воронку ссылок и модификаций и меня постоянно волнует вопрос: как преподать нужное, а не экзотическое и как не перечеррипикать информацию с bias-ом на то, что нравится мне.
Ответ всегда в чиселках. Я собираю статистику — и она иногда вырождается в забавные артефакты. Решила поделиться одним из — про градиентные методы интерпретации.
TLDR про градиентные методы: всегда на выходе отдают тепловую карту, всегда используют backward pass по модели (то есть дифференцируют ее, обычно по входу).
Почему в ходу: потому что очень удобно неспециалистам давать объяснение картинкой. Условно, «вот, модель посмотрела сюда».
Методов и модификаций ОЧЕНЬ много. И единой статистики по частоте использования градиентных методов нет. Есть несколько косвенных измерений.
— для классификации рака по снимкам (46 исследований за 2020–2026) показывает превалирование Grad-CAM — в 34 из 46 (73.9%). Авторы объясняют доминирование Grad-CAM тем, что его легко встроить в CNN по постановке (это правда так).
— для задач по разным доменам Saarela & Podgorelec (512 статей за 2021–2024): на табличных данных лидируют SHAP и LIME. На изображениях преобладают градиентные методы — (снова) Grad-CAM, Grad-CAM++, SmoothGrad, IG, LRP.
Grad-CAM ~8 470
saliency map ~690*
Integrated Gradients ~405
* Сюда попадают и не XAI-работы — модели, предсказывающие, куда смотрит человек, что важно.
библиотека pytorch-grad-cam (метод и число файлов)
GradCAM 6 368
GradCAM++ 3 016
EigenCAM 2 432
библиотека Captum (метод и число файлов)
IntegratedGradients 7 248 (из них ~1 070 — LayerIntegratedGradients)
Saliency 2 984
DeepLift 1 892
А что видно?
Grad-CAM, как метод, выехал везде и вперед. Выехал он по постановке — для него в целом нужна только сеть и обратный проход (и он даже аппроксимируется на модели без сверточных слоев). Тут могла бы быть реклама курса, но продажник из меня говно, иначе я бы уже чиллила на Бали, поэтому постановку можно изучить в чьей-то неплохой статье на Хабр и в paper метода.
Из важных ограничений — метод дает размытую карту (из-за того, что на последнем слое, где метод обычно строят, у нас карты активаций маленькие, например 7х7, а вход обычно сильно больше (классика 224х224). Поэтому у него много-много модификаций (Guided, ++, Hires и прочие)
Второе важное, что хоть я обвешусь числами, у каждого способа оценки у меня своё смещение:
• Цитирования не равны использованию. Например, Springenberg et al. цитируют в основном за all-conv net, а не за guided backprop.
• Обзоры перекошены в сторону медицины.
• Звёзды перекошены в сторону удобства библиотеки.
• Поиск по коду считает приблизительно и не отличает рабочий проект от учебного скрипта, который импортирует все методы разом.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8🔥6
И что очень больно, учить «только тому, что используют» я не могу, ибо это значит самой стать вкладом в bias, а-ля: выучили Grad-CAM → написали работу с Grad-CAM → следующий обзор насчитал ещё один Grad-CAM. Что с этим делать, я не знаю, но зато у меня теперь есть вкусная статистика, которая в моменте помогает куда-то расставить приоритеты.
Такие дела, друзья, такие дела. Надеюсь, статистика вам понадобится, и вы знаете, что лучшая валидация — единороги!
Такие дела, друзья, такие дела. Надеюсь, статистика вам понадобится, и вы знаете, что лучшая валидация — единороги!
Aray Karjauv
What Does a Vision Model See Without Labels?
How activation maps and relevance propagation can shed light on deep models without any labels.
🦄17🔥7❤5