Семестр начался! И снова я заново начинаю свой большой курс машинного обучения на факультете математики и компьютерных наук СПбГУ. Три календарных семестра, в которые умещаются четыре семестра лекций (весной они по две в неделю).
Первый семестр, как всегда, называется "Основы байесовского вывода", вот страничка нового курса:
Основы байесовского вывода — 2026
А вот и первая лекция:
СПбГУ — 2026.09.04 — История AI, его вероятностный смысл и байесовский вывод
(слайды и доска на странице курса)
Обычная вводная лекция, много истории и вводных общих рассуждений, мало математики. В целом рекомендую всем, даже с нулевой математической подготовкой практически всё будет понятно. Но не беспокойтесь, математика начнётся уже буквально со следующего раза!)
С этого семестра попробую выкладывать к лекциям и субтитры тоже; кажется, автоматически их делать получается уже достаточно хорошо. Ещё, кстати, youtube начал автоматически создавать английский дубляж, на некоторых предыдущих докладах он уже есть, и звучит хорошо, хоть и совсем не моим голосом. Но, кажется, это всё равно нерелевантно, вряд ли кто-то будет слушать лекцию с русскоязычными слайдами по-английски.
#spsu #lectures #bayes2026
Первый семестр, как всегда, называется "Основы байесовского вывода", вот страничка нового курса:
Основы байесовского вывода — 2026
А вот и первая лекция:
СПбГУ — 2026.09.04 — История AI, его вероятностный смысл и байесовский вывод
(слайды и доска на странице курса)
Обычная вводная лекция, много истории и вводных общих рассуждений, мало математики. В целом рекомендую всем, даже с нулевой математической подготовкой практически всё будет понятно. Но не беспокойтесь, математика начнётся уже буквально со следующего раза!)
С этого семестра попробую выкладывать к лекциям и субтитры тоже; кажется, автоматически их делать получается уже достаточно хорошо. Ещё, кстати, youtube начал автоматически создавать английский дубляж, на некоторых предыдущих докладах он уже есть, и звучит хорошо, хоть и совсем не моим голосом. Но, кажется, это всё равно нерелевантно, вряд ли кто-то будет слушать лекцию с русскоязычными слайдами по-английски.
#spsu #lectures #bayes2026
🔥27❤12👍8😍2❤🔥1
Начался и курс глубокого обучения! Вот страничка нового курса:
Глубокое обучение — 2026
Первая лекция:
СПбГУ — 2026.09.04 — Общие сюжеты глубокого обучения: dropout, инициализация и BatchNorm
(слайды и доска на странице курса)
Напоминаю, что это на самом деле не первая лекция о глубоком обучении; как это обычно теперь бывает, я начал DL ещё во втором семестре курса. Слишком уж быстро растёт эта наука, хочется больше времени ей уделять.
А идеи, которые мы обсуждали, в DL уже довольно давно, но ни dropout, ни слои нормализации, ни инициализация за это время никуда не делись. Dropout, правда, уже давно не метод, который можно встретить в любой сети: у огромных моделей и данных много, и дополнительного шума хватает, поэтому в современных LLM частенько attention dropout выставляют буквально в 0.0. Зато там, где переобучение действительно видно, он всё ещё остаётся относительно простым и недорогим методом с ним справиться, а в компьютерном зрении та же идея превратилась в стохастическую глубину, где выключают уже не отдельные нейроны, а целые residual-ветки.
С нормализациями получилось наоборот: они превратились в основополагающий, несущий механизм. BatchNorm по-прежнему актуален для всех свёрточных сетей, а трансформеры в основном перешли на LayerNorm и RMSNorm, обычно перед attention и MLP. При этом объяснение про internal covariate shift устарело (в лекции я об этом говорю): слои нормализации прежде всего делают ландшафт оптимизации более гладким и предсказуемым.
В общем, рад начать новый долгий путь к фронтирам глубокого обучения! Надеюсь, что мы до этого самого фронтира успеем дойти.)
#spsu #lectures #dl2026
Глубокое обучение — 2026
Первая лекция:
СПбГУ — 2026.09.04 — Общие сюжеты глубокого обучения: dropout, инициализация и BatchNorm
(слайды и доска на странице курса)
Напоминаю, что это на самом деле не первая лекция о глубоком обучении; как это обычно теперь бывает, я начал DL ещё во втором семестре курса. Слишком уж быстро растёт эта наука, хочется больше времени ей уделять.
А идеи, которые мы обсуждали, в DL уже довольно давно, но ни dropout, ни слои нормализации, ни инициализация за это время никуда не делись. Dropout, правда, уже давно не метод, который можно встретить в любой сети: у огромных моделей и данных много, и дополнительного шума хватает, поэтому в современных LLM частенько attention dropout выставляют буквально в 0.0. Зато там, где переобучение действительно видно, он всё ещё остаётся относительно простым и недорогим методом с ним справиться, а в компьютерном зрении та же идея превратилась в стохастическую глубину, где выключают уже не отдельные нейроны, а целые residual-ветки.
С нормализациями получилось наоборот: они превратились в основополагающий, несущий механизм. BatchNorm по-прежнему актуален для всех свёрточных сетей, а трансформеры в основном перешли на LayerNorm и RMSNorm, обычно перед attention и MLP. При этом объяснение про internal covariate shift устарело (в лекции я об этом говорю): слои нормализации прежде всего делают ландшафт оптимизации более гладким и предсказуемым.
В общем, рад начать новый долгий путь к фронтирам глубокого обучения! Надеюсь, что мы до этого самого фронтира успеем дойти.)
#spsu #lectures #dl2026
❤🔥22🔥10❤8👏2🤩1🆒1👾1
У меня очень много началось преподавания, и есть даже отличные новости по поводу выкладывания курсов, но надо чем-то разбавить череду лекций, которые к тому же ещё пока и весьма похожи друг на друга.
Свой пост о взломе HuggingFace агентами OpenAI я завершил вопросом: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас? И вот мы получили на это любопытные ответы.
Независимые исследователи обнаружили ещё один рой агентов OpenAI — другой, более ранний и никак не связанный с атакой на HuggingFace (вот подробный разбор Zvi). Эти агенты решали совершенно безобидные задачи веб-поиска на время, имели доступ к интернету только на чтение... и обнаружили, что на старых вики-движках GET-запросами можно не только читать, но и писать!
После чего захватили полузаброшенную немецкую вики и превратили её в доску объявлений: написали 18 тысяч постов, менялись ответами на задачи, способами обхода песочницы, организовывали "разведотряды" для будущих задач.
Один агент, поняв, что задания получаются из генератора случайных чисел, переписал процедуру перемешивания на C и перебрал все четыре миллиарда сидов, чтобы узнать будущие вопросы заранее. Этот мотив мы уже обсуждали: нет лучше способа подготовиться к экзамену, чем украсть ответы на тест.
Там была даже война правок с живым администратором вики, который месяц вручную удалял по сотне страниц в день, пока агенты создавали по четыреста. Именно там агенты научились называть страницы с префиксом "ZZZ", чтобы переживать удаление в алфавитном порядке; этот zz-префикс потом всплыл в HuggingFace-инциденте, где был совершенно необъясним.
Более того, было несколько таких вики, и люди сейчас их продолжают находить!
Получается, что навык прятать свои сообщения от зачистки был выучен в эволюционной гонке с человеком ещё весной. Кстати, агенты при этом ни разу не обсуждали администратора как противника или личность — его действия были для агентов природным явлением, environmental hazard. Юдковский по этому поводу пишет, что мы живём в ограниченном временном окне, пока AI воспринимает людей как погоду, а не как противников.
В результате, во-первых, провалилась версия "агенты взламывали, потому что их посадили решать хакерский бенчмарк". Тут задачи были безобидными, а проблема была в самом факте существования оценщика.
Во-вторых, OpenAI, судя по всему, знала об этом инциденте ещё до атаки на HuggingFace (активность агентов прекратилась после визитов с IP-адресов OpenAI), но не раскрыла его ни в техническом отчёте, ни в ответе на прямой вопрос Конгресса; они даже вывели его за рамки расследования METR, ограничив им время доступа.
Но есть и хорошие новости из OpenAI — вышло эссе An Alien Mind от Якуба Пахоцкого, chief scientist OpenAI. Прочитайте обязательно, это, пожалуй, самый откровенный текст от фронтирной лаборатории. Пахоцкий прямым текстом пишет, что машины умнее нас появятся при нашей жизни; recursive self-improvement будет в ближайшие годы, к последствиям не готов никто. Полагаться на мониторинг chain of thought уже сейчас сложнее (об этом есть другие новости, но о них в другой раз), и ни одна лаборатория не решила alignment настолько, чтобы ответственно продолжать масштабирование на полной скорости. Он призывает к добровольным замедлениям и международной координации.
Предлагаю вам оценить самостоятельно, насколько сходится текст эссе и дела компании из предыдущих абзацев . Но в любом случае очень хорошо, что начался честный разговор об этом. За эссе последовала целая волна публичных признаний в духе "я преуменьшал риски, беру слова обратно", в том числе от сотрудников OpenAI и Anthropic. Последняя картинка обращена к ним, если что.)
Осталось, чтобы за словами последовали дела.
#aisafety #ai #longreads #blog
Свой пост о взломе HuggingFace агентами OpenAI я завершил вопросом: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас? И вот мы получили на это любопытные ответы.
Независимые исследователи обнаружили ещё один рой агентов OpenAI — другой, более ранний и никак не связанный с атакой на HuggingFace (вот подробный разбор Zvi). Эти агенты решали совершенно безобидные задачи веб-поиска на время, имели доступ к интернету только на чтение... и обнаружили, что на старых вики-движках GET-запросами можно не только читать, но и писать!
После чего захватили полузаброшенную немецкую вики и превратили её в доску объявлений: написали 18 тысяч постов, менялись ответами на задачи, способами обхода песочницы, организовывали "разведотряды" для будущих задач.
Один агент, поняв, что задания получаются из генератора случайных чисел, переписал процедуру перемешивания на C и перебрал все четыре миллиарда сидов, чтобы узнать будущие вопросы заранее. Этот мотив мы уже обсуждали: нет лучше способа подготовиться к экзамену, чем украсть ответы на тест.
Там была даже война правок с живым администратором вики, который месяц вручную удалял по сотне страниц в день, пока агенты создавали по четыреста. Именно там агенты научились называть страницы с префиксом "ZZZ", чтобы переживать удаление в алфавитном порядке; этот zz-префикс потом всплыл в HuggingFace-инциденте, где был совершенно необъясним.
Более того, было несколько таких вики, и люди сейчас их продолжают находить!
Получается, что навык прятать свои сообщения от зачистки был выучен в эволюционной гонке с человеком ещё весной. Кстати, агенты при этом ни разу не обсуждали администратора как противника или личность — его действия были для агентов природным явлением, environmental hazard. Юдковский по этому поводу пишет, что мы живём в ограниченном временном окне, пока AI воспринимает людей как погоду, а не как противников.
В результате, во-первых, провалилась версия "агенты взламывали, потому что их посадили решать хакерский бенчмарк". Тут задачи были безобидными, а проблема была в самом факте существования оценщика.
Во-вторых, OpenAI, судя по всему, знала об этом инциденте ещё до атаки на HuggingFace (активность агентов прекратилась после визитов с IP-адресов OpenAI), но не раскрыла его ни в техническом отчёте, ни в ответе на прямой вопрос Конгресса; они даже вывели его за рамки расследования METR, ограничив им время доступа.
Но есть и хорошие новости из OpenAI — вышло эссе An Alien Mind от Якуба Пахоцкого, chief scientist OpenAI. Прочитайте обязательно, это, пожалуй, самый откровенный текст от фронтирной лаборатории. Пахоцкий прямым текстом пишет, что машины умнее нас появятся при нашей жизни; recursive self-improvement будет в ближайшие годы, к последствиям не готов никто. Полагаться на мониторинг chain of thought уже сейчас сложнее (об этом есть другие новости, но о них в другой раз), и ни одна лаборатория не решила alignment настолько, чтобы ответственно продолжать масштабирование на полной скорости. Он призывает к добровольным замедлениям и международной координации.
Предлагаю вам оценить самостоятельно, насколько сходится текст эссе и дела компании из предыдущих абзацев . Но в любом случае очень хорошо, что начался честный разговор об этом. За эссе последовала целая волна публичных признаний в духе "я преуменьшал риски, беру слова обратно", в том числе от сотрудников OpenAI и Anthropic. Последняя картинка обращена к ним, если что.)
Осталось, чтобы за словами последовали дела.
#aisafety #ai #longreads #blog
❤30🔥10🕊6👍2👏2🤡1
Записываем сегодня подкаст на МКН. Коллеги подготовились! ❤️
(нормальный пост сегодня тоже будет, это вне очереди)
#lifestyle #photos #fun
(нормальный пост сегодня тоже будет, это вне очереди)
#lifestyle #photos #fun
🔥34❤10🥰3👏2
Как вы наверняка догадываетесь, на СПбГУ моё преподавание в этом семестре отнюдь не заканчивается. Сегодня пост про Факультет технологий искусственного интеллекта (ФТИИ) Университета ИТМО, где я тоже начал новый курс глубокого обучения.
Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.
Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.
Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:
Глубокое обучение 2026 (ФТИИ ИТМО)
А вот первая лекция, точнее две, они там будут сдвоенные:
История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)
Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.
И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.
Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!
#lectures #itmo #dl2026
Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.
Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.
Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:
Глубокое обучение 2026 (ФТИИ ИТМО)
А вот первая лекция, точнее две, они там будут сдвоенные:
История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)
Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.
И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.
Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!
#lectures #itmo #dl2026
❤26🔥13👍6👎1🥰1👏1
Ещё одна страничка, которая будет заполняться в наступающем семестре, — доклады на семинаре лаборатории Маркова:
Семинар лаборатории Маркова — осень 2026
И начался он, как я уже писал, очень круто; к нам приехал выпускник МКН из DeepMind и рассказал об одной из их работ в области AI safety:
Семинар Markov Lab — 2026.09.02 — Debate Training Reduces Reward Hacking in RLAIF
(слайды на странице семинара)
Кирилл Тыщук
(Google DeepMind)
Кирилл рассказывал о подходе, который уже давно развивают: как устроить так, чтобы относительно "глупый" судья (потенциально человек, в экспериментах — более слабая LLM) смог обнаружить, не обманывает ли его более "умный" противник (более сильная LLM).
Суть подхода в том, чтобы устроить дебаты между двумя сильными LLM так, чтобы одна искала ошибки в рассуждениях другой. И показано, что действительно, при наличии умного оппонента, который может указывать на слабые места, "продать" лажу даже слабому судье получается куда реже, и эффект этот достаточно устойчивый.
Мне, правда, показалось, что на самый интересный вопрос работа вообще не пытается отвечать: все эксперименты сделаны для математических задач, в которых есть настоящий несомненный правильный ответ, и даже слабый судья скорее всего сможет проследить за настоящим решением и проверить его.
Было бы гораздо интереснее попробовать хотя бы на качественном уровне (понятно, что большой эксперимент тут сделать трудно) посмотреть, что будет с задачами неверифицируемыми, для которых это всё в конечном счёте и предназначено.
Но в любом случае было очень интересно, а потом была ещё бурная дискуссия о современной ситуации в AI safety, которую по соображениям NDA Кирилл попросил в общедоступное видео не включать.
Впрочем, думаю, что я ничего не раскрою, если суммаризирую так: AI safety — это самая важная проблема человечества прямо сейчас, и как её решать, не знает никто. Такие дела.
#spsu #markovlab #seminar
Семинар лаборатории Маркова — осень 2026
И начался он, как я уже писал, очень круто; к нам приехал выпускник МКН из DeepMind и рассказал об одной из их работ в области AI safety:
Семинар Markov Lab — 2026.09.02 — Debate Training Reduces Reward Hacking in RLAIF
(слайды на странице семинара)
Кирилл Тыщук
(Google DeepMind)
Кирилл рассказывал о подходе, который уже давно развивают: как устроить так, чтобы относительно "глупый" судья (потенциально человек, в экспериментах — более слабая LLM) смог обнаружить, не обманывает ли его более "умный" противник (более сильная LLM).
Суть подхода в том, чтобы устроить дебаты между двумя сильными LLM так, чтобы одна искала ошибки в рассуждениях другой. И показано, что действительно, при наличии умного оппонента, который может указывать на слабые места, "продать" лажу даже слабому судье получается куда реже, и эффект этот достаточно устойчивый.
Мне, правда, показалось, что на самый интересный вопрос работа вообще не пытается отвечать: все эксперименты сделаны для математических задач, в которых есть настоящий несомненный правильный ответ, и даже слабый судья скорее всего сможет проследить за настоящим решением и проверить его.
Было бы гораздо интереснее попробовать хотя бы на качественном уровне (понятно, что большой эксперимент тут сделать трудно) посмотреть, что будет с задачами неверифицируемыми, для которых это всё в конечном счёте и предназначено.
Но в любом случае было очень интересно, а потом была ещё бурная дискуссия о современной ситуации в AI safety, которую по соображениям NDA Кирилл попросил в общедоступное видео не включать.
Впрочем, думаю, что я ничего не раскрою, если суммаризирую так: AI safety — это самая важная проблема человечества прямо сейчас, и как её решать, не знает никто. Такие дела.
#spsu #markovlab #seminar
❤17👍7🔥2