В курсе "Основы байесовского вывода" в четверг был день большого развёрнутого примера:
СПбГУ — 2025.11.20 — Пример Джейнса
(слайды и доска на странице курса)
Пример интересный и показывающий разные виды априорных распределений и некоторые интересные варианты того, как априорные распределения могут выражать самую разную интуицию. В одной части примера видно, как априорное распределение выражает в целом чисто логические следствия, а в другой вводится так называемый binomial monkey prior (распределение биномиальных обезьян), который приводит к тому, что данные вообще перестают влиять на предсказания модели.
Но здесь я лучше расскажу про самого Эдвина Томпсона Джейнса. Он был физиком, занимался статистической механикой, первым ввёл в термодинамику принцип максимума энтропии и всё такое. Но мы его любим не за это, а за то, что Джейнс был одним из главных байесианистов двадцатого века и много работал над основаниями теории вероятностей.
Я очень рекомендую его книгу Probability Theory: The Logic of Science; она вышла уже посмертно, в 2003 году, и в ней не только приводится рассказанный на лекции пример, но и вообще построено здание теории вероятностей на байесовских принципах. Легко читается (технические детали часто можно пропускать) и очень хорошо мозги на место ставит.
#spsu #lectures #bayes2025
СПбГУ — 2025.11.20 — Пример Джейнса
(слайды и доска на странице курса)
Пример интересный и показывающий разные виды априорных распределений и некоторые интересные варианты того, как априорные распределения могут выражать самую разную интуицию. В одной части примера видно, как априорное распределение выражает в целом чисто логические следствия, а в другой вводится так называемый binomial monkey prior (распределение биномиальных обезьян), который приводит к тому, что данные вообще перестают влиять на предсказания модели.
Но здесь я лучше расскажу про самого Эдвина Томпсона Джейнса. Он был физиком, занимался статистической механикой, первым ввёл в термодинамику принцип максимума энтропии и всё такое. Но мы его любим не за это, а за то, что Джейнс был одним из главных байесианистов двадцатого века и много работал над основаниями теории вероятностей.
Я очень рекомендую его книгу Probability Theory: The Logic of Science; она вышла уже посмертно, в 2003 году, и в ней не только приводится рассказанный на лекции пример, но и вообще построено здание теории вероятностей на байесовских принципах. Легко читается (технические детали часто можно пропускать) и очень хорошо мозги на место ставит.
#spsu #lectures #bayes2025
❤15🔥3
А в курсе "Глубокое обучение" всё-таки обсудили диффузионные модели ещё раз, подробно и в деталях:
СПбГУ — 2025.11.20 — Как работают диффузионные модели
(слайды, доска и код на странице курса)
В частности, впервые в своих курсах в деталях рассказал о том, как работает DDIM и в чём там новизна и суть; это действительно интересная идея. Правда, на то, чтобы в деталях разобраться в непрерывной математике и рассказать ещё и про диффуры, меня всё-таки не хватило, и думаю, что уже не хватит, пора двигаться дальше, а то до языковых моделей не успеем дойти.
#spsu #lectures #dl2025
СПбГУ — 2025.11.20 — Как работают диффузионные модели
(слайды, доска и код на странице курса)
В частности, впервые в своих курсах в деталях рассказал о том, как работает DDIM и в чём там новизна и суть; это действительно интересная идея. Правда, на то, чтобы в деталях разобраться в непрерывной математике и рассказать ещё и про диффуры, меня всё-таки не хватило, и думаю, что уже не хватит, пора двигаться дальше, а то до языковых моделей не успеем дойти.
#spsu #lectures #dl2025
❤11
И ещё один небольшой анонс. На этой неделе Центр искусственного интеллекта СПбГУ проводит конференцию "ИИ и математика: практическое применение и образование". По ссылке можно нажать на стрелочку и увидеть программу конференции.
Я там выступаю в среду, когда конференция будет в Менделеев-холле (по красивому адресу Невский 1). Сначала в 11 часов расскажу о своём курса машинного обучения — откуда он взялся и на чём основан — а потом в 16 часов пообсуждаем AI и образование на круглом столе.
Мне кажется, должно получиться интересно, я раньше таких докладов в жизни не читал, будет something completely different.
Всех приглашаю, но должен предупредить, что зарегистрироваться обязательно нужно заранее, и конференция платная — если я правильно понял, 1300 рублей за все дни, из которых первый уже сегодня прошёл.) Надеюсь (но, увы, не обещаю), что мы или устроим трансляцию происходящего в среду, или хотя бы всё запишем и выложим потом.
#talks #spsu #events
Я там выступаю в среду, когда конференция будет в Менделеев-холле (по красивому адресу Невский 1). Сначала в 11 часов расскажу о своём курса машинного обучения — откуда он взялся и на чём основан — а потом в 16 часов пообсуждаем AI и образование на круглом столе.
Мне кажется, должно получиться интересно, я раньше таких докладов в жизни не читал, будет something completely different.
Всех приглашаю, но должен предупредить, что зарегистрироваться обязательно нужно заранее, и конференция платная — если я правильно понял, 1300 рублей за все дни, из которых первый уже сегодня прошёл.) Надеюсь (но, увы, не обещаю), что мы или устроим трансляцию происходящего в среду, или хотя бы всё запишем и выложим потом.
#talks #spsu #events
🔥8❤7👍1
Очень давно не писал никаких постов (кроме обзоров игр), сил никаких не было. Их всё ещё нет, но на пост всё-таки сподобился, очень уж любопытная статья вышла. Это не какой-то супермегаbreakthrough, но интересное наблюдение, которое легко объяснить и понять.
Читайте по ссылке (пост, конечно, не влез бы сюда, да и формулы в нём встречаются), тут только абстракт:
Thinking Tokens: что главное в рассуждениях языковых моделей?
Модели семейства OpenAI o1, DeepSeek R1, QwQ, а затем и все остальные произвели очередную мини-революцию в сложных рассуждениях; благодаря им модели резко продвинулись в практически всех видах интеллектуальной деятельности. Но что происходит внутри этих моделей, когда они “думают”? Какие части их рассуждений самые важные?
Новая работа исследователей из Shanghai AI Lab Qian et al. (2025) приподнимает завесу тайны, обнаруживая информационные пики — критические моменты в процессе рассуждения, которые соответствуют особым “thinking tokens”. Мы можем посмотреть, что это за токены, и, более того, понимание этих механизмов имеет практический смысл: авторы предлагают новый простой, но эффективный метод, улучшающий качество рассуждений без дополнительного обучения.
#longreads #ai
Читайте по ссылке (пост, конечно, не влез бы сюда, да и формулы в нём встречаются), тут только абстракт:
Thinking Tokens: что главное в рассуждениях языковых моделей?
Модели семейства OpenAI o1, DeepSeek R1, QwQ, а затем и все остальные произвели очередную мини-революцию в сложных рассуждениях; благодаря им модели резко продвинулись в практически всех видах интеллектуальной деятельности. Но что происходит внутри этих моделей, когда они “думают”? Какие части их рассуждений самые важные?
Новая работа исследователей из Shanghai AI Lab Qian et al. (2025) приподнимает завесу тайны, обнаруживая информационные пики — критические моменты в процессе рассуждения, которые соответствуют особым “thinking tokens”. Мы можем посмотреть, что это за токены, и, более того, понимание этих механизмов имеет практический смысл: авторы предлагают новый простой, но эффективный метод, улучшающий качество рассуждений без дополнительного обучения.
#longreads #ai
🔥19❤8💘3
В курсе "Технологии и фронтиры науки о данных" в ЮФУ в прошлый четверг обсуждали линейную регрессию уже прямо по-настоящему, по-нашему, по-байесовски:
ЮФУ — 2025.11.20 — Байесовский вывод в линейной регрессии
(слайды, доска и код на странице курса)
Конечно, на первокурсников, не прошедших ещё курс теорвера, я не рискнул обрушить все формальные выводы, связанные со свёртками многомерных гауссианов; это лучше примерно курса с третьего начинать, как я обычно и делаю.
Но показал все самые главные картинки. Во-первых, поговорили про регуляризацию, про то, чем разные регуляризаторы отличаются друг от друга и какая там геометрическая идея. Затем обсудили, что регуляризатор — это априорное распределение, я показал, как это получается формально, благо здесь это совсем несложно.
Потом ещё раз рассказал и показал, что байесовский вывод — это умножение априорного распределения на правдоподобие, проиллюстрировал это всякими разными графиками в размерности два. И показал идею сэмплирования из предсказательного распределения: как предсказанные кривые разбегаются дальше друг от друга там, где данных нету, и остаются плотным пучком там, где данных много. Думаю, это лучшее, что можно показать на таком уровне.
#sfu #lectures #dsfrontiers
ЮФУ — 2025.11.20 — Байесовский вывод в линейной регрессии
(слайды, доска и код на странице курса)
Конечно, на первокурсников, не прошедших ещё курс теорвера, я не рискнул обрушить все формальные выводы, связанные со свёртками многомерных гауссианов; это лучше примерно курса с третьего начинать, как я обычно и делаю.
Но показал все самые главные картинки. Во-первых, поговорили про регуляризацию, про то, чем разные регуляризаторы отличаются друг от друга и какая там геометрическая идея. Затем обсудили, что регуляризатор — это априорное распределение, я показал, как это получается формально, благо здесь это совсем несложно.
Потом ещё раз рассказал и показал, что байесовский вывод — это умножение априорного распределения на правдоподобие, проиллюстрировал это всякими разными графиками в размерности два. И показал идею сэмплирования из предсказательного распределения: как предсказанные кривые разбегаются дальше друг от друга там, где данных нету, и остаются плотным пучком там, где данных много. Думаю, это лучшее, что можно показать на таком уровне.
#sfu #lectures #dsfrontiers
❤10👍2
Дискуссия, кажется, удалась, традиционное фото с семинара сегодня очень представительное.) Надеюсь, звук тоже записался, и я смогу всё это выложить.
#spsu #markovlab #events
#spsu #markovlab #events
🔥71❤🔥6😘1
В курсе "Основы байесовского вывода" сегодня поговорили о двух важных общих сюжетах:
СПбГУ — 2025.11.27 — Принцип максимума энтропии и априорные распределения Джеффриса
(слайды и доска на странице курса)
Принцип максимума энтропии показывает, какие распределения вероятностей являются "наиболее характерными". Сам принцип приходит из статистической физики, из работ Гиббса и того же Эдвина Джейнса, но и в машинном обучении тоже встречается. Так что в виде небольшого лирического отступления рассказал, откуда берётся максимизация энтропии, и привёл пару примеров.
А главный сегодняшний объект, априорные распределения Джеффриса, решает проблему, которая возникает из наивного вопроса: что происходит с априорными распределениями при репараметризации? Предположим, что мы хотим выразить незнание о параметре монетки, и выражаем его равномерным априорным распределением на [0, 1]. Но если мы перейдём от вероятности орла, скажем, к log-odds, что является даже более естественной параметризацией, равномерное распределение превратится в бог знает что... Сэр Рональд Фишер критиковал за это весь байесианизм в целом, а другой сэр Гарольд Джеффрис предложил потребовать инвариантность при репараметризации как свойство априорных распределений, и получились как раз в довольно глубоком смысле "распределения полного незнания".
#spsu #lectures #bayes2025
СПбГУ — 2025.11.27 — Принцип максимума энтропии и априорные распределения Джеффриса
(слайды и доска на странице курса)
Принцип максимума энтропии показывает, какие распределения вероятностей являются "наиболее характерными". Сам принцип приходит из статистической физики, из работ Гиббса и того же Эдвина Джейнса, но и в машинном обучении тоже встречается. Так что в виде небольшого лирического отступления рассказал, откуда берётся максимизация энтропии, и привёл пару примеров.
А главный сегодняшний объект, априорные распределения Джеффриса, решает проблему, которая возникает из наивного вопроса: что происходит с априорными распределениями при репараметризации? Предположим, что мы хотим выразить незнание о параметре монетки, и выражаем его равномерным априорным распределением на [0, 1]. Но если мы перейдём от вероятности орла, скажем, к log-odds, что является даже более естественной параметризацией, равномерное распределение превратится в бог знает что... Сэр Рональд Фишер критиковал за это весь байесианизм в целом, а другой сэр Гарольд Джеффрис предложил потребовать инвариантность при репараметризации как свойство априорных распределений, и получились как раз в довольно глубоком смысле "распределения полного незнания".
#spsu #lectures #bayes2025
❤6🔥1
Сегодня у нас обзор двух классических квестов, вышедших, правда, совсем недавно: первый десять лет назад, а второй в мае 2025-го. История девушки-детектива Кэти Рэйн не только сделана со вкусом, но и действительно пропитана вайбом девяностых — абсолютно во всём. Как всегда, читайте по ссылке, здесь только структура; а ещё прочтите, пожалуйста, абзац в конце, вдруг вы можете что-то посоветовать.
Kathy Rain
Kathy Rain была создана шведской инди-студией Clifftop Games, основанной Йоэлем Стаафом Хёстё (Joel Staaf Hästö). Хёстё называл одним из главных источников вдохновения для игры сериал Twin Peaks, и это влияние чувствуется хорошо. А ещё он называл игру Gabriel Knight, книги о девушке с татуировкой дракона и Silent Hill. И действительно, в Kathy Rain получился детективный триллер с мистическими элементами... но при этом совсем не мрачный. [...]
Это квест!
Настоящий, классический, как в девяностые! Kathy Rain — это именно тот самый вайб из эпохи расцвета жанра. [...]
Атмосфера девяностых
Самое приятное в том, что в Kathy Rain действительно чувствуется вайб девяностых, той эпохи, которая в играх описывается [...]
Причём атмосфера чувствуется во всём! Геймплей классических квестов мы уже обсудили, но здесь ещё и тот самый мягкий юмор из девяностых, с простыми, добрыми и наивными заходами. [...] персонажи и затрагиваемые темы тоже пропитаны этой ностальгией. Например, лучшая подруга и соратница Кэти, Эйлин, представлена как стереотипно религиозный человек [...]
Во второй части есть даже библиотечный каталог на компьютере, который выглядит так, будто создан в dBASE IV. И в обеих частях встречаются небольшие задачки про “типа хакинг”, которые тоже пропитан ностальгией по девяностым — мой первый компьютер тоже так загружался...
Геймплей
По сути геймплея это довольно простой квест, совсем не такой, как любили в девяностые (ставьте лайк те, кто знает, как зовут гнома из King’s Quest). Головоломки в Kathy Rain отличаются довольно прямолинейной логикой и не требуют абсурдных решений. [...]
Графика и звук
Пиксельная графика очень крутая. Уже в первой части есть и приятные пейзажи, и поездки на мотоцикле, к которому можно открывать скины, и несколько кинематографичных катсцен. [...] А в Kathy Rain 2 графика выходит на ещё один следующий уровень, с действительно впечатляющей детализацией сцен, более высоким разрешением, динамическим освещением и отражениями на поверхностях. [...]
Сюжет — мистика ради мистики
К сожалению, ложку дёгтя придётся добавить в эту бочку именно в этом разделе. [...] И в этом-то и проблема: в обеих играх много паранормальных явлений, которые объясняются довольно скудно. Обычно в детективах всё-таки мистика в результате оказывается “мистикой”, которую напускают злые люди в корыстных интересах, а тут никакого неожиданного поворота так и не происходит. [...]
Заключение
И тем не менее, несмотря на предыдущий раздел, Kathy Rain я весьма рекомендую. Обе игры — это очень приятный опыт, можно и смахнуть ностальгическую слезу, кушая ложкой атмосферу девяностых, и действительно погрузиться в расследования. Оказывается, даже в 2025 году старые добрые квесты в духе LucasArts всё ещё имеют право на жизнь. [...]
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру; год назад была Assassin's Creed: Odyssey, два года назад — Atomic Heart. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
Kathy Rain
Kathy Rain была создана шведской инди-студией Clifftop Games, основанной Йоэлем Стаафом Хёстё (Joel Staaf Hästö). Хёстё называл одним из главных источников вдохновения для игры сериал Twin Peaks, и это влияние чувствуется хорошо. А ещё он называл игру Gabriel Knight, книги о девушке с татуировкой дракона и Silent Hill. И действительно, в Kathy Rain получился детективный триллер с мистическими элементами... но при этом совсем не мрачный. [...]
Это квест!
Настоящий, классический, как в девяностые! Kathy Rain — это именно тот самый вайб из эпохи расцвета жанра. [...]
Атмосфера девяностых
Самое приятное в том, что в Kathy Rain действительно чувствуется вайб девяностых, той эпохи, которая в играх описывается [...]
Причём атмосфера чувствуется во всём! Геймплей классических квестов мы уже обсудили, но здесь ещё и тот самый мягкий юмор из девяностых, с простыми, добрыми и наивными заходами. [...] персонажи и затрагиваемые темы тоже пропитаны этой ностальгией. Например, лучшая подруга и соратница Кэти, Эйлин, представлена как стереотипно религиозный человек [...]
Во второй части есть даже библиотечный каталог на компьютере, который выглядит так, будто создан в dBASE IV. И в обеих частях встречаются небольшие задачки про “типа хакинг”, которые тоже пропитан ностальгией по девяностым — мой первый компьютер тоже так загружался...
Геймплей
По сути геймплея это довольно простой квест, совсем не такой, как любили в девяностые (ставьте лайк те, кто знает, как зовут гнома из King’s Quest). Головоломки в Kathy Rain отличаются довольно прямолинейной логикой и не требуют абсурдных решений. [...]
Графика и звук
Пиксельная графика очень крутая. Уже в первой части есть и приятные пейзажи, и поездки на мотоцикле, к которому можно открывать скины, и несколько кинематографичных катсцен. [...] А в Kathy Rain 2 графика выходит на ещё один следующий уровень, с действительно впечатляющей детализацией сцен, более высоким разрешением, динамическим освещением и отражениями на поверхностях. [...]
Сюжет — мистика ради мистики
К сожалению, ложку дёгтя придётся добавить в эту бочку именно в этом разделе. [...] И в этом-то и проблема: в обеих играх много паранормальных явлений, которые объясняются довольно скудно. Обычно в детективах всё-таки мистика в результате оказывается “мистикой”, которую напускают злые люди в корыстных интересах, а тут никакого неожиданного поворота так и не происходит. [...]
Заключение
И тем не менее, несмотря на предыдущий раздел, Kathy Rain я весьма рекомендую. Обе игры — это очень приятный опыт, можно и смахнуть ностальгическую слезу, кушая ложкой атмосферу девяностых, и действительно погрузиться в расследования. Оказывается, даже в 2025 году старые добрые квесты в духе LucasArts всё ещё имеют право на жизнь. [...]
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру; год назад была Assassin's Creed: Odyssey, два года назад — Atomic Heart. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
👍6❤5🥰3⚡2❤🔥1🤯1🍓1
В четверг в курсе "Глубокое обучение" поговорили о flow-based models:
СПбГУ — 2025.11.27 — Модели, основанные на потоках
(слайды и доска на странице курса)
Смысл потоковых моделей очень похож на диффузионные: мы тоже строим композицию большого числа относительно простых преобразований, которая сможет выразить что-то очень сложное, начиная с чего-то простого вроде стандартного гауссиана. Собственно, основная идея flow-based models очень проста: можно подсчитать логарифм правдоподобия для распределения, получающегося в результате композиции. Но в этой функции ошибки появляются определители якобианов (матриц первых производных) всех появляющихся по ходу дела распределений.
Так что чтобы потоковая модель реально работала, нужно, чтобы определители было легко подсчитать; как правило, это значит, что якобианы должны быть треугольные, то есть модель по сути в каком-то смысле авторегрессивна: конкретный элемент зависит только от предыдущих.
И здесь возникает любопытная дуальность: авторегрессивность может быть при применении модели (on inference, как, например, в языковых моделях), и тогда обучать их можно параллельно, а может быть, наоборот, при обучении, и тогда порождение становится быстрым и легко параллелизуемым. Кажется, что второй тип моделей не имеет смысла, потому что их обучить на практике будет невозможно... но нет, оказывается, что можно придумать специальный трюк под названием параллельная дистилляция (parallel distillation) и таки обучить "обратную" модель (IAF) на основе "прямой" (MAF). Так в своё время получилось параллелизовать WaveNet, получив 500х скорости порождения без потери качества.
#spsu #lectures #dl2025
СПбГУ — 2025.11.27 — Модели, основанные на потоках
(слайды и доска на странице курса)
Смысл потоковых моделей очень похож на диффузионные: мы тоже строим композицию большого числа относительно простых преобразований, которая сможет выразить что-то очень сложное, начиная с чего-то простого вроде стандартного гауссиана. Собственно, основная идея flow-based models очень проста: можно подсчитать логарифм правдоподобия для распределения, получающегося в результате композиции. Но в этой функции ошибки появляются определители якобианов (матриц первых производных) всех появляющихся по ходу дела распределений.
Так что чтобы потоковая модель реально работала, нужно, чтобы определители было легко подсчитать; как правило, это значит, что якобианы должны быть треугольные, то есть модель по сути в каком-то смысле авторегрессивна: конкретный элемент зависит только от предыдущих.
И здесь возникает любопытная дуальность: авторегрессивность может быть при применении модели (on inference, как, например, в языковых моделях), и тогда обучать их можно параллельно, а может быть, наоборот, при обучении, и тогда порождение становится быстрым и легко параллелизуемым. Кажется, что второй тип моделей не имеет смысла, потому что их обучить на практике будет невозможно... но нет, оказывается, что можно придумать специальный трюк под названием параллельная дистилляция (parallel distillation) и таки обучить "обратную" модель (IAF) на основе "прямой" (MAF). Так в своё время получилось параллелизовать WaveNet, получив 500х скорости порождения без потери качества.
#spsu #lectures #dl2025
❤12🔥7👍3
Наш семинар лаборатории Маркова, кажется, добрался до важной вехи: следующий докладчик не просто придёт очно выступить, а приедет из Москвы в специальную командировку, чтобы выступить на нашем семинаре! Такого раньше не бывало.
Сам доклад тоже наверняка будет крутой. Говорю с уверенностью, потому что я уже до некоторой степени знаю, о чём пойдёт речь, — мы с Артёмом познакомились потому, что я был у него рецензентом на защите пару недель назад, и доклад будет как раз о его диссертации. Подключайтесь!
Оценка неопределённости в NLP: от классификации к большим языковым моделям
Артём Важенцев (Сколтех)
Ссылка на трансляцию (среда 3 декабря, 14:00)
Оценка неопределённости (UQ) является важным инструментом повышения надёжности систем обработки естественного языка — от классификации текстов до порождения ответов большими языковыми моделями. Она позволяет снижать риск критических ошибок, выявлять неоднозначные случаи и обнаруживать галлюцинации при порождении текста.
Несмотря на быстрый прогресс в этой области, существующие подходы часто оказываются нестабильными на сложных и неоднозначных данных и плохо переносятся с задач классификации на авторегрессионные языковые модели. В докладе обсуждаются ключевые вызовы оценки неопределённости в NLP. Для задач текстовой классификации рассматриваются как базовые, так и state-of-the-art методы, направленные на повышение надёжности выборочной классификации. Для задач порождения текста большими языковыми моделями рассматриваются современные методы оценки неопределённости, а также анализируется роль attention механизма в выявлении галлюцинаций и низкокачественных ответов.
#spsu #seminar #markovlab
Сам доклад тоже наверняка будет крутой. Говорю с уверенностью, потому что я уже до некоторой степени знаю, о чём пойдёт речь, — мы с Артёмом познакомились потому, что я был у него рецензентом на защите пару недель назад, и доклад будет как раз о его диссертации. Подключайтесь!
Оценка неопределённости в NLP: от классификации к большим языковым моделям
Артём Важенцев (Сколтех)
Ссылка на трансляцию (среда 3 декабря, 14:00)
Оценка неопределённости (UQ) является важным инструментом повышения надёжности систем обработки естественного языка — от классификации текстов до порождения ответов большими языковыми моделями. Она позволяет снижать риск критических ошибок, выявлять неоднозначные случаи и обнаруживать галлюцинации при порождении текста.
Несмотря на быстрый прогресс в этой области, существующие подходы часто оказываются нестабильными на сложных и неоднозначных данных и плохо переносятся с задач классификации на авторегрессионные языковые модели. В докладе обсуждаются ключевые вызовы оценки неопределённости в NLP. Для задач текстовой классификации рассматриваются как базовые, так и state-of-the-art методы, направленные на повышение надёжности выборочной классификации. Для задач порождения текста большими языковыми моделями рассматриваются современные методы оценки неопределённости, а также анализируется роль attention механизма в выявлении галлюцинаций и низкокачественных ответов.
#spsu #seminar #markovlab
❤17🔥11
В прошлую среду выступал на конференции "ИИ и математика", которую организовывал наш Центр ИИ СПбГУ. Это был день, посвящённый образованию, и меня попросили выступить с необычным докладом, совсем не научным. Вот, смонтировал выступление, видео уж какое с ноутбука получилось, а звук вроде хорошо записался:
ИИ и математика — 2025.11.26 — Мой курс машинного обучения: история, принципы и опыт
(слайды на странице "Выступления")
Начал с романтической истории о том, как всё начиналось в первый год существования Computer Science Club'а (возможно, в моей памяти она уже видоизменилась после нескольких пересказов), а потом дошёл до современного состояния курса, в котором уже давно четыре семестра, около 60 лекций. Рассказал подробно о его структуре, а закончил основными принципами — math first!
Думаю, что интересно получилось, на аудиторию пошире, чем обычно; да и совсем коротенький был доклад, на полчаса, так что если интересно, попробуйте послушать.
#talks #events #spsu
ИИ и математика — 2025.11.26 — Мой курс машинного обучения: история, принципы и опыт
(слайды на странице "Выступления")
Начал с романтической истории о том, как всё начиналось в первый год существования Computer Science Club'а (возможно, в моей памяти она уже видоизменилась после нескольких пересказов), а потом дошёл до современного состояния курса, в котором уже давно четыре семестра, около 60 лекций. Рассказал подробно о его структуре, а закончил основными принципами — math first!
Думаю, что интересно получилось, на аудиторию пошире, чем обычно; да и совсем коротенький был доклад, на полчаса, так что если интересно, попробуйте послушать.
#talks #events #spsu
🔥16❤10👍4🤩3
Выложил видео доклада Максима Николаева с семинара лаборатории Маркова:
BART
(Слайды на странице семинара)
Максим рассказывал с самого начала, от того, что такое вообще деревья принятия решений, а потом объяснил и суть байесовского подхода для деревьев, и конкретные алгоритмы, и даже общий смысл алгоритма Метрополиса-Гастингса и его важного частного случая, сэмплирования по Гиббсу.
Присоединяйтесь завтра, должно быть тоже очень интересно!
#spsu #seminar #markovlab
BART
(Слайды на странице семинара)
Максим рассказывал с самого начала, от того, что такое вообще деревья принятия решений, а потом объяснил и суть байесовского подхода для деревьев, и конкретные алгоритмы, и даже общий смысл алгоритма Метрополиса-Гастингса и его важного частного случая, сэмплирования по Гиббсу.
Присоединяйтесь завтра, должно быть тоже очень интересно!
#spsu #seminar #markovlab
🔥13❤1👍1