Сегодня проснулся, а горло, сволочь, болит. Температуры не было до вечера, но горло разболелось сильно. И, конечно, именно по понедельникам мне нужно читать три лекции.)

Кое-как справился, а для вас пока пятничная лекция здорового человека из курса "Глубокое обучение" в СПбГУ:

СПбГУ — 2026.10.16 — Внимание и самовнимание
(слайды и доска на странице курса)

Начинаем издалека: с человеческого внимания, первых моделей, которые учились "переводить взгляд", рекуррентные модели зрительного внимания. Потом — проблемы encoder-decoder архитектур: даже если переводить текст предложение за предложением, одного вектора на целое предложение не хватит.

На этом месте появляется уже более современный механизм внимания в encoder-decoder сетях, "Bahdanau attention". Проследили, как оно выбирает нужные части входа и почему его веса помогают интерпретировать, что в модели происходит.

А во второй части добрались до трансформера! Не полностью закончил эту тему, конечно, но обсудили запросы, ключи и значения, вывели scaled dot-product attention и собрали несколько голов в один слой. Саму архитектуру трансформера и другие важные штуки вроде позиционных вложений будут в следующий раз.

#spsu #dl2026 #lectures