В среду у нас на семинаре интересная гостья, которая обещает рассказать, чем сейчас, в наше сложное и быстро меняющееся время, живёт математическая лингвистика. Может показаться, что современные LLM уже полностью овладели языком, но, видимо, это не так? Из списка литературы лично мне интереснее всего будет про персоны поговорить, Persona Selection Model уже давно появляется в моих докладах по AI safety, и это действительно важное направление как минимум в интерпретируемости.
Присоединяйтесь в среду:
Интерпретация явлений естественного языка в LLM для задачи контролируемой генерации текстов
Ольга Александровна Митрофанова
(к.ф.н., доц. СПбГУ)
Ссылка на трансляцию (среда 30 сентября, 13:40)
Современные языковые модели успешно справляются с порождением связных текстов, воспроизводя задаваемые пользователем характеристики (язык, стиль, структура и т.д.).
Вместе с тем, есть те лингвистические задачи, которые представляют сложность для LLM, в частности, моделирование лексико-семантических отношений в словосочетаниях, дифференциация синонимии и антонимии, моделирование внутрисловных связей и т.д.
В докладе рассматриваются решения, позволяющие повысить интерпретируемость результатов работы LLM. Материалы доклада могут заинтересовать как лингвистов, использующих LLM в своих исследованиях, так и прикладных математиков, разрабатывающих новые нейросетевые архитектуры.
Литература:
Astapenka, L., & Mitrofanova, O. (2026). Prediction of Lexical-Semantic Relations In Belarusian: From Word2Vec to LLM. In Computación y Sistemas, 30(1)
Athugodage, M., & Mitrofanova, O. (2025, June). The Influence of Language Typological Features on Neural Summarization Performance. In International Conference on Internet and Modern Society (pp. 132-144). Cham: Springer Nature Switzerland.
Bakaev, M., Gorovaia, S., & Mitrofanova, O. (2025). Who will author the synthetic texts? Evoking multiple personas from large language models to represent users’ associative thesauri. In Big Data and Cognitive Computing, 9(2), 46.
Mitrofanova, O., Iurevtseva, P., & Bakaev, M. (2025, October). What Do LLMs Know About Human Emotions? The Russian Case Study. In International Conference on Speech and Computer (pp. 129-144). Cham: Springer Nature Switzerland.
Rodionova, D. K., & Mitrofanova, O. A. (2026). Representation of Intraword Syntagmatic Relations in Vector Language Models. In Automatic Documentation and Mathematical Linguistics, 60(Suppl 3), 353-359.
#markovlab #seminar #spsu
Присоединяйтесь в среду:
Интерпретация явлений естественного языка в LLM для задачи контролируемой генерации текстов
Ольга Александровна Митрофанова
(к.ф.н., доц. СПбГУ)
Ссылка на трансляцию (среда 30 сентября, 13:40)
Современные языковые модели успешно справляются с порождением связных текстов, воспроизводя задаваемые пользователем характеристики (язык, стиль, структура и т.д.).
Вместе с тем, есть те лингвистические задачи, которые представляют сложность для LLM, в частности, моделирование лексико-семантических отношений в словосочетаниях, дифференциация синонимии и антонимии, моделирование внутрисловных связей и т.д.
В докладе рассматриваются решения, позволяющие повысить интерпретируемость результатов работы LLM. Материалы доклада могут заинтересовать как лингвистов, использующих LLM в своих исследованиях, так и прикладных математиков, разрабатывающих новые нейросетевые архитектуры.
Литература:
Astapenka, L., & Mitrofanova, O. (2026). Prediction of Lexical-Semantic Relations In Belarusian: From Word2Vec to LLM. In Computación y Sistemas, 30(1)
Athugodage, M., & Mitrofanova, O. (2025, June). The Influence of Language Typological Features on Neural Summarization Performance. In International Conference on Internet and Modern Society (pp. 132-144). Cham: Springer Nature Switzerland.
Bakaev, M., Gorovaia, S., & Mitrofanova, O. (2025). Who will author the synthetic texts? Evoking multiple personas from large language models to represent users’ associative thesauri. In Big Data and Cognitive Computing, 9(2), 46.
Mitrofanova, O., Iurevtseva, P., & Bakaev, M. (2025, October). What Do LLMs Know About Human Emotions? The Russian Case Study. In International Conference on Speech and Computer (pp. 129-144). Cham: Springer Nature Switzerland.
Rodionova, D. K., & Mitrofanova, O. A. (2026). Representation of Intraword Syntagmatic Relations in Vector Language Models. In Automatic Documentation and Mathematical Linguistics, 60(Suppl 3), 353-359.
#markovlab #seminar #spsu
👍9🔥4❤3👏1
[Метакомментарий: не знаю пока, как разбавлять лекции, но уж точно не могу себе позволить за целый день только анонс семинара выложить...]
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
❤12👍5🔥3
Я анонсировал невероятный подарок на свой последний ДР — и вот пришло время им поделиться. Представьте. Открываю я 11 августа почту, а там короткое письмо:
И ссылка ведёт вот сюда:
Unread — скачать с itch.io
Ира, которая на новый год сделала про меня глянцевый журнал, на этот раз сделала про меня... целую игру. Серьёзно.
Так что встречайте главный игровой обзор моей жизни. Вот полная версия на сайте (и вот на DTF), здесь подсокращено.
Unread — это полноценная визуальная новелла на renpy, с живой озвучкой, несколькими концовками, кучей прикольных фишек и реальным геймплеем; это не кинетическая новелла aka комикс, а полноценная игра, где ты сам выбираешь, что читать, на что и как отвечать и куда идти.
Разработка заняла у Иры больше полугода, и я не могу выразить, насколько это невероятно круто и приятно.
Не верьте на слово, просто скачайте и поиграйте, есть версии для Windows и Mac. Игра активно тестировалась, и багов там осталось немного, if any. В Unread будет интересно играть и не зная ничего про меня лично; разумеется, референсы анонимизированы, и дальше я буду говорить не "я", а "профессор", это всё-таки не буквально я. Серьёзно, попробуйте! А мы продолжим с теми, кто остался.
Действие Unread целиком проходит в кабинете, перед компьютером, а всё, что случается где-то ещё, описано на чёрных экранах; новая графика появится только в концовках. Это концептуальное решение; сделать ещё картинок было бы несложно, но, как я понял, смысл в том, что именно здесь, у компьютера, проходит всё самое главное в жизни героя. Действие начинается с того, как герой-"профессор" заканчивает книгу ("Машинное обучение: основы", ага), и всё умещается в неделю чтения почты и следующих из этого событий.
У профессора есть неотменяемая работа (лекции и выступления), а остальное в вашей власти. Утром приходит новая пачка писем, которые можно читать и на которые можно отвечать, а в результате что-то делать. Например, тебя пригласили на дегустацию, ты пришёл, познакомился там с девушкой, пригласил её в гости... но напоминаю про концептуальный чёрный экран: девушек в игре много, но хентая всё-таки не будет.
Можно писать новую книгу (и у неё реальный текст), можно подключить Claude помогать с ответами (и его ответы будут осмысленным, но смешным слопом), можно писать рецензии и статьи — а можно каждый вечер играть в компьютерные игры. Всё равно игра закончится через неделю, вопрос в том, что профессор за эту неделю успеет.
Для визуальной новеллы в Unread много разных механик. Они не то чтобы дают новые типы геймплея, но приводят к тому, что ты можешь оптимизировать разные вещи и тем самым прийти к разным концовкам (ну, я так думаю; игра не показывает тебе конкретных условий и скрытых цифр). Например, в игре есть деньги; они не могут закончиться, и их не надо менеджить как ресурс, но твой счёт может за эту неделю очень сильно пополниться, если ты не пропустишь ключевые для этого события.
Главная механика — усталость: через несколько сообщений буквы начнут прыгать перед глазами, и отвечать станет невозможно. Тестеры называли Unread "симулятором выгорания", что в целом близко к истине. Вот это как раз ключевой ресурс, который обязательно нужно менеджить: всё успеть не получится, и Unread относится к тем играм, которые можно пройти за час, но невозможно пройти только один раз, обязательно захочется пробежаться по пропущенным событиям.
Событий, кстати, много! Я прошёл раз десять, и всё равно видел ещё далеко не все.
Поскольку это игра про меня, там много всего про AI, в том числе последние новости. Понимая скорость прогресса, Ира не добавляла в игру новости до самого последнего момента, и контент про AI-фронтир там буквально из начала августа. Сейчас, через полтора месяца, некоторые фантастические новости уже устарели...
Я до сих пор под впечатлением. После новогоднего журнала я думал, что превзойти такой подарок невозможно, но ошибался. По-русски так ёмко не скажешь, а по-английски три слова: labor of love. Символы заканчиваются, в комментах цитата от автора!
#lifestyle #fun #games
"Сколько у тебя сейчас непрочитанных? — Открыть INBOX"
И ссылка ведёт вот сюда:
Unread — скачать с itch.io
Ира, которая на новый год сделала про меня глянцевый журнал, на этот раз сделала про меня... целую игру. Серьёзно.
Так что встречайте главный игровой обзор моей жизни. Вот полная версия на сайте (и вот на DTF), здесь подсокращено.
Unread — это полноценная визуальная новелла на renpy, с живой озвучкой, несколькими концовками, кучей прикольных фишек и реальным геймплеем; это не кинетическая новелла aka комикс, а полноценная игра, где ты сам выбираешь, что читать, на что и как отвечать и куда идти.
Разработка заняла у Иры больше полугода, и я не могу выразить, насколько это невероятно круто и приятно.
Не верьте на слово, просто скачайте и поиграйте, есть версии для Windows и Mac. Игра активно тестировалась, и багов там осталось немного, if any. В Unread будет интересно играть и не зная ничего про меня лично; разумеется, референсы анонимизированы, и дальше я буду говорить не "я", а "профессор", это всё-таки не буквально я. Серьёзно, попробуйте! А мы продолжим с теми, кто остался.
Действие Unread целиком проходит в кабинете, перед компьютером, а всё, что случается где-то ещё, описано на чёрных экранах; новая графика появится только в концовках. Это концептуальное решение; сделать ещё картинок было бы несложно, но, как я понял, смысл в том, что именно здесь, у компьютера, проходит всё самое главное в жизни героя. Действие начинается с того, как герой-"профессор" заканчивает книгу ("Машинное обучение: основы", ага), и всё умещается в неделю чтения почты и следующих из этого событий.
У профессора есть неотменяемая работа (лекции и выступления), а остальное в вашей власти. Утром приходит новая пачка писем, которые можно читать и на которые можно отвечать, а в результате что-то делать. Например, тебя пригласили на дегустацию, ты пришёл, познакомился там с девушкой, пригласил её в гости... но напоминаю про концептуальный чёрный экран: девушек в игре много, но хентая всё-таки не будет.
Можно писать новую книгу (и у неё реальный текст), можно подключить Claude помогать с ответами (и его ответы будут осмысленным, но смешным слопом), можно писать рецензии и статьи — а можно каждый вечер играть в компьютерные игры. Всё равно игра закончится через неделю, вопрос в том, что профессор за эту неделю успеет.
Для визуальной новеллы в Unread много разных механик. Они не то чтобы дают новые типы геймплея, но приводят к тому, что ты можешь оптимизировать разные вещи и тем самым прийти к разным концовкам (ну, я так думаю; игра не показывает тебе конкретных условий и скрытых цифр). Например, в игре есть деньги; они не могут закончиться, и их не надо менеджить как ресурс, но твой счёт может за эту неделю очень сильно пополниться, если ты не пропустишь ключевые для этого события.
Главная механика — усталость: через несколько сообщений буквы начнут прыгать перед глазами, и отвечать станет невозможно. Тестеры называли Unread "симулятором выгорания", что в целом близко к истине. Вот это как раз ключевой ресурс, который обязательно нужно менеджить: всё успеть не получится, и Unread относится к тем играм, которые можно пройти за час, но невозможно пройти только один раз, обязательно захочется пробежаться по пропущенным событиям.
Событий, кстати, много! Я прошёл раз десять, и всё равно видел ещё далеко не все.
Поскольку это игра про меня, там много всего про AI, в том числе последние новости. Понимая скорость прогресса, Ира не добавляла в игру новости до самого последнего момента, и контент про AI-фронтир там буквально из начала августа. Сейчас, через полтора месяца, некоторые фантастические новости уже устарели...
Я до сих пор под впечатлением. После новогоднего журнала я думал, что превзойти такой подарок невозможно, но ошибался. По-русски так ёмко не скажешь, а по-английски три слова: labor of love. Символы заканчиваются, в комментах цитата от автора!
#lifestyle #fun #games
1❤58🔥28🤯8👍7❤🔥3👏1
Очередной семинар лаборатории Маркова уже почти идёт, а я вот выкладываю предыдущий:
Семинар лаборатории Маркова — 2026.09.23 — Моделирование динамики мнений по цифровым следам
(слайды на странице семинара)
Хэ Юйлун (СПбГУ) рассказывает о двух способах превратить цифровые следы в данные для моделей динамики мнений: через тональность комментариев в Weibo и через векторные представления изменений программного кода. В докладе он рассказывал о том, как переходить от текстов к численным траекториям, оценивать и прогнозировать связи между участниками; потом было ещё некоторое обсуждение о том, что именно эти числа измеряют и можно ли считать их "мнением".
Грубо говоря, классические модели усреднения мнений и влияния соседей всё ещё живы, но теперь к ним можно добавить данные, извлечённые нейросетями из текста и кода. Это даёт новые возможности для проверки моделей, хотя с интерпретацией всё ещё нужно обращаться осторожно: сходство траекторий не доказывает влияния одного человека на другого.
#markovlab #seminar #spsu
Семинар лаборатории Маркова — 2026.09.23 — Моделирование динамики мнений по цифровым следам
(слайды на странице семинара)
Хэ Юйлун (СПбГУ) рассказывает о двух способах превратить цифровые следы в данные для моделей динамики мнений: через тональность комментариев в Weibo и через векторные представления изменений программного кода. В докладе он рассказывал о том, как переходить от текстов к численным траекториям, оценивать и прогнозировать связи между участниками; потом было ещё некоторое обсуждение о том, что именно эти числа измеряют и можно ли считать их "мнением".
Грубо говоря, классические модели усреднения мнений и влияния соседей всё ещё живы, но теперь к ним можно добавить данные, извлечённые нейросетями из текста и кода. Это даёт новые возможности для проверки моделей, хотя с интерпретацией всё ещё нужно обращаться осторожно: сходство траекторий не доказывает влияния одного человека на другого.
#markovlab #seminar #spsu
❤6🔥5👍3
Сегодня на семинар много людей собралось! Про лингвистику вообще всегда интересно послушать, большое спасибо Ольге Александровне!
Вот когда ещё, например, наш семинар получил бы рейтинг 18+?.. Посмотрим, что YouTube об этом скажет)
#seminar #spsu #markovlab
Вот когда ещё, например, наш семинар получил бы рейтинг 18+?.. Посмотрим, что YouTube об этом скажет)
#seminar #spsu #markovlab
❤16🔥8👍6
Курс в Центральном университете продолжается онлайн, хотя я туда ещё приеду и лично. На прошедших лекциях обсудили линейные классификаторы:
ЦУ — 2026.09.25 — Основы классификации и логистическая регрессия
(слайды, доска и код на странице курса)
Классификация начинается с геометрии: как разделить классы гиперплоскостью, почему соединять центроиды не всегда хорошая идея и какое направление ищет дискриминант Фишера. Мне кажется, понимать геометрическую суть происходящего очень важно в любом случае.
Потом вернулись к формуле Байеса, строили классификаторы из гауссовских распределений и добрались до логистической регрессии. Заодно выяснили, откуда возникают логистический сигмоид и softmax — те самые, которые дожили до современных нейросетей.
А дальше разбираем, как градиент поворачивает разделяющую гиперплоскость, почему метод Ньютона сильнее учитывает примеры, в которых модель сомневается, и что байесовский подход добавляет к обычному предсказанию.
В целом идём по плану, дальше, как водится, будет больше!
#centraluni #cubayes2026 #lectures
ЦУ — 2026.09.25 — Основы классификации и логистическая регрессия
(слайды, доска и код на странице курса)
Классификация начинается с геометрии: как разделить классы гиперплоскостью, почему соединять центроиды не всегда хорошая идея и какое направление ищет дискриминант Фишера. Мне кажется, понимать геометрическую суть происходящего очень важно в любом случае.
Потом вернулись к формуле Байеса, строили классификаторы из гауссовских распределений и добрались до логистической регрессии. Заодно выяснили, откуда возникают логистический сигмоид и softmax — те самые, которые дожили до современных нейросетей.
А дальше разбираем, как градиент поворачивает разделяющую гиперплоскость, почему метод Ньютона сильнее учитывает примеры, в которых модель сомневается, и что байесовский подход добавляет к обычному предсказанию.
В целом идём по плану, дальше, как водится, будет больше!
#centraluni #cubayes2026 #lectures
❤10🔥5👍4