Sinекура
5.32K subscribers
2.14K photos
23 videos
533 links
Канал Сергея Николенко обо всём, но в основном об AI.

Сайт с выступлениями, лекциями и публикациями: https://sergeynikolenko.ru/
Download Telegram
И вторая лекция курса "Глубокое обучение" тоже прошла в четверг:

СПбГУ — 2025.09.11 — Свёрточные архитектуры от VGG до EfficientNet, состязательные примеры

Это обзор основных идей, которые когда-то определяли state of the art в разных околокартиночных задачах, но и потом тоже не умерли, а продолжают использоваться. Семейство VGG разрешило не использовать большие свёртки, сети Inception ввели идею о том, что "маленькая нейросеть" в CNN не обязана быть одним полносвязным слоем, и эта идея потом была доработана в разных split-transform-merge архитектурах.

Ну а про остаточные связи, появившиеся в этом контексте в семействе ResNet (хотя на самом деле это старая идея, без которой RNN бы работать толком не смогли), вы и сами знаете — и по сей день буквально везде, в любой архитектуре вокруг большинства слоёв (если не всех) идут остаточные связи. Закончил на идее compound scaling из EfficientNet, которая мне кажется очень естественной, но при этом очень изящной.

В конце осталось время на то, чтобы слегка обсудить adversarial examples; без подробностей, но идею рассказал, и основной идеи в целом достаточно, чтобы, например, ввести self-adversarial augmentations, которые тоже везде нынче используются.

#spsu #lectures #dl2025
🔥14❤3👍1👏1
Недавно у меня был довольно стандартный на первый взгляд корпоративный заказ. Ко мне обратился Корпоративный университет RAMAX Group, проект, в котором бывают всякие лекции около машинного обучения, но скорее популярного характера, без особой математики.

И вы знаете, это было просто идеальное взаимодействие! Коллеги из RAMAX:

— сразу чётко сформулировали запрос и целевую аудиторию;

— приняли мои предложения по темам лекций и оплате, причём деньги даже перевели вперёд (о чём я совершенно не просил);

— обсудили со мной все содержательные и технические моменты на ровно одном предварительном созвоне, минут за 15;

— пригласили на лекции (их было две) действительно много слушателей: всё это было онлайн, и в конференции сидели, наверное, около пятидесяти человек; слушатели, кстати, потом задавали очень даже интересные вопросы;

— а самое главное — разрешили результат выложить в открытый доступ; собственно, они и сами выкладывают, так что дам ссылку на их ресурс тоже.

Всё это представляет собой разительный контраст с некоторыми другими предложениями, которые я по понятным причинам по имени называть не буду и от которых в будущем, очевидно, буду отказываться.

А вот Корпоративный университет RAMAX коллегам-лекторам категорически рекомендую! Большое спасибо RAMAX Group и лично Анастасии Завезион, которая всё это организовывала в моём случае (а может, и вообще). Буду очень рад посотрудничать и в будущем.

Вот первая лекция (скорее популярная, слушатели моих курсов вряд ли что-то из неё извлекут новое):

RAMAX -- 2025.09.04 -- Языковые модели: как правильная постановка задачи изменила мир
(вот на канале Университета RAMAX)

#talks #lectures #ramax
🔥28❤12👍5👌2
В этом семестре меня убедили (не буду уж хвастаться, кто) вести на МКН настоящий семинар, очный, с докладами и записями докладов. Это, конечно, совсем добивает меня с точки зрения имеющихся сил и времени, которых нет и так совсем ни на что. Но всё-таки надеюсь, что семинар получится хороший.

Первый доклад буду читать я сам (кто бы сомневался...), он будет завтра, 17 сентября, в 14:00, и он будет открыто транслироваться. Вот анонс, приходите послушать! Это новая тема, о которой я раньше не рассказывал, и надеюсь, что будет достаточно содержательно и интересно.

Как оценивать данные для LLM: от простых фильтров к influence functions

Ссылка на трансляцию

Аннотация: Не все данные одинаково полезны для обучения. Иногда модель становится "умнее" после ещё 50 ГБ текста, а иногда — нет. Какие именно документы оказались наиболее полезны, как узнать это заранее? Об этом мы и поговорим на первом семинаре Лаборатории Маркова.

Начнём с простых методов: как собрать чистый корпус данных, можно ли обучить вспомогательные модели, которые будут оценивать качество и полезность датасетов, какие есть полезные сигналы в этом отношении (спойлер: энтропия неплохо работает).

Но главное содержание нашего разговора — функции влияния (influence functions, IF). Они отвечают на вопрос о том, как изменится метрика качества, если убрать тот или иной документ из датасета. И здесь внезапно появляется много интересной математики — ну ладно, достаточно много по меркам глубокого обучения. Влияние точки данных легко оценить теоретически, но простые методы совсем не масштабируются, и чтобы вывести это на уровень LLM, нужно что-то придумывать. Мы разберём несколько базовых методов (LiSSA, Arnoldi-IF), важные приближения (LoGra, EK-FAC) и методы ранней оценки данных (LinFiK/ALinFiK).

Я действительно надеюсь, что смогу поговорить о методах по существу, не только помахать руками как обычно, а в аудитории будет много крутых математиков, так что должно быть интересно. Готовлюсь изо всех сил...

#markovlab #seminar #spsu
👍48🔥13❤6👏2
Нормальный пост сегодня уже не напишу, так что просто скажу, что семинар, кажется, удался) видео буду готовить, надеюсь, всё хорошо записалось

#markovlab #seminar #spsu
❤55👍27🔥18⚡2👏1
Третья лекция курса "Основы байесовского вывода":

СПбГУ — 2025.09.18 — Линейная регрессия

Первый полноценный пример, который уже представляет собой настоящую модель машинного обучения — это в моём курсе линейная регрессия. Мы её долго будем обсуждать, на первой лекции начали с метода наименьших квадратов, обсудили вероятностные предположения линейной регрессии (предположения всегда понимать полезно!), потом выделение признаков, оверфиттинг и откуда он может взяться, и начали обсуждать регуляризацию.

Дальше, понятное дело, будет больше.

#spsu #lectures #bayes2025
❤23🔥7
Без традиционного пятничного поста вас не оставлю, запасы пока есть. Полная версия по ссылке:

Viewfinder

Игра-головоломка с очень крутой базовой идеей, которая ещё и реализована хорошо. Всё как мы любим: инди-игра, студия Sad Owl Studio, состоявшая поначалу из одного-единственного Мэтта Старка, небольшая длина (часа на четыре), отличные головоломки, которые ещё и увязываются в любопытную историю.

Главная механика — имеющийся у вас "волшебный" фотоаппарат, который может сделать картинку реальностью, и эту реальность можно потом использовать, чтобы пройти дальше. Поскольку по сюжету дело происходит как бы в VR, это как бы не волшебство, а просто свойство виртуальной среды. Фотографируешь что-то, потом прикладываешь фотографию к другому месту (можно в другом масштабе), и оно там появляется; примерно так.

Соответственно, если вам нужно, например, запитать телепорт батарейками, и их нужно три, а в доступе только одна, вы можете её два раза сфотографировать и получить три батарейки. Если нужно зайти в замкнутую комнату, можно сфотографировать пустое место, приложить к стене и получить в стене дырку.

Разумеется, этим дело не ограничивается; в игре не одна механика, а сразу много связанных друг с другом, и на каждом "уровне" (очередном кусочке мира, до которых ты доезжаешь на поезде) будут раскрываться новые стороны. Не буду рассказывать обо всём, но, например, там есть фотоаппараты с задержкой и аккумуляторы, которые на несколько секунд продолжают подавать электричество и после отключения от источника.

Думаю, на этом месте многие читатели представили себе, сколько безумных и изобретательных загадок можно придумать с такими компонентами. Но нет! Viewfinder очень искусно проходит по тонкой грани: раскрывает свои механики, но не душит игрока и не даёт слишком сложных загадок. Я не застревал надолго ни разу, и в гайды подсматривать совершенно не хотелось даже на опциональных более сложных уровнях.

А ещё там есть котик! И он с тобой разговаривает! И представляет собой, разумеется, весьма интеллектуального AI-помощника по имени Cait.

В общем, вы уже поняли, что я Viewfinder весьма рекомендую. Даже немного жалко, что разработчики не сделали игру подлиннее, добавив более сложных загадок. Но, может быть, ждём вторую часть?..

#games #tgif
❤‍🔥11👍7🌚1
Третья лекция курса "Глубокое обучение":

СПбГУ -- 2025.09.18 -- Распознавание объектов

О распознавании объектов я всегда много рассказывал в своих курсах. Как-то так исторически сложилось, что я с этой частью computer vision был лучше знаком, а ведь это ещё и очень интересная задача сама по себе. Здесь впервые встречается, например, совершенно неочевидная постановка задачи: что такое "распознанный объект", что считать правильным ответом, а что нет, а ещё ведь неизвестно заранее, сколько объектов на картинке...

Конечно, в наше время уже нет особого смысла двигаться по полному плану исторического развития этой области, но мне всё равно кажется, что там много интересных идей, о которых стоит поговорить. В этот раз поговорили про [Fast[er]] R-CNN, YOLO и YOLOv2 вместе с иерархическим софтмаксом; в следующий раз продолжим.

#spsu #lectures #dl2025
👍18❤1
Вторая лекция в Корпоративном университету RAMAX Group, о котором я рассказывал выше, была посвящена рассуждающим моделям:

RAMAX — 2025.09.11 — Рассуждающие модели: главная новость AI за последний год
(и вот на канале Университета RAMAX)

Рассуждающие модели — это одна из тех благодарных тем, где можно фактически на пальцах рассказать всё развитие идеи от первых работ про chain-of-thought в 2022 году до появления семейства o1, затем DeepSeek R1, и далее везде. Конечно, я не мог в технических подробностях объяснить алгоритмы обучения для рассуждающих моделей или в чём особенности, например, DeepSeek-V3 по сравнению с другими LLM, но и идею "let's think step by step", и саму постановку задачи обучения с подкреплением (не алгоритмы, конечно) объяснить в популярном формате не так уж сложно. А потом поговорил о том, как современные AI-модели бороздят просторы Большого театра и начинают понемногу двигать науку.

Ещё раз большое спасибо коллегам из RAMAX, и надеюсь на дальнейшее сотрудничество!

#talks #lectures #ramax
❤15🔥5👍1
В среду будет второй доклад на семинаре лаборатории Маркова. На этот раз рассказывать будет Константин Яковлев, собственно заведующий лабораторией. Обещался рассказать потенциальные задачки и проекты, должно быть интересно и разнообразно — заходите в Zoom на огонёк! Вот анонс:

Search. Plan. Learn.
Ищи. Планируй. Учись.


Константин Яковлев

Ссылка на трансляцию (среда 24 сентября, 14:00)

Способность искать и находить решение нетривиальных задач, планировать на несколько шагов вперёд и обучаться (на чужом или собственном опыте) — эти свойства традиционно приписывают интеллектуальным системам (или, как это принято сейчас говорить, искусственному интеллекту). Неудивительно, что эти (под)области ИИ активно развивались с самого зарождения этой науки и развиваются до сих пор.

В рамках доклада мы рассмотрим ряд интересных и практически мотивированных задач, которые решаются исследователями с помощью методов эвристического поиска, автоматического планирования и машинного обучения и которые входят в сферу моих интересов. Например: как спланировать множество неконфликтных путей для n мобильных агентов, действующих в общей среде? Или: как решить сложную логическую головоломку вроде кубика Рубика? Или: как по данным датчиков от робота построить карту местности, в которой он перемещается? Особое внимание будет уделено открытым задачам, не имеющим в настоящий момент решения, но которые (на мой взгляд) вполне под силу решить в рамках курсовой/дипломной работы и внести свой вклад в науку.

Я надеюсь, что этот доклад придаст мотивации тем из вас, кто хочет заняться научной деятельностью, и поможет сориентироваться тем, кто сейчас выбирает тему КР/ВКР.

#markovlab #seminar #spsu
🔥14❤9
Завёл страничку для семинара лаборатории Маркова и выложил туда первый доклад (тот самый, что я тут рекламировал на прошлой неделе, про influence functions):

Страница семинара лаборатории Маркова

Прямая ссылка на мой доклад на YouTube

Слайды тоже на странице семинара выкладываются. Надеюсь, и дальше будем делать записи, хотя, скорее всего, они будут в виде слайдов и звука — некому будет их постоянно монтировать. Да и не надо, как видите, видео в тёмной аудитории с проектором получается, мягко скажем, сомнительное.

Но доклад, кажется, и правда вышел интересный; постарался сохранить баланс между углублением в математические идеи influence functions и разнообразием идей всяких других.

#markovlab #seminar #spsu
❤14🔥8🙏3
Меня попросили прорекламировать среди студентов, но кажется, что здесь тоже могут быть заинтересованные люди. Мопед не мой, но я лично ручаюсь, что дело хорошее, и делают его очень хорошие люди.)

Клуб спортивного автостопа (телеграм-канал) объявляет новый набор и будет рад всех видеть на Дне открытых дверей вечером в воскресенье 28 сентября.

28 сентября, 19:00, Артклауд
(м. Владимирская, Кузнечный переулок, д. 6)


Автостоп — это не только способ добраться до точки B на халяву, но и действительно целый спорт, с правилами, состязаниями и даже, кажется, неофициальными, но спортивными званиями. Сам бывал, в гонке одной участвовал, подтверждаю, что дело очень интересное. Но главное, конечно, в том, что в этом клубе люди хорошие.) Ну и скилл по жизни действительно полезный, безотносительно гонок и званий.

Приходите послушать весёлые истории профессиональных автостопщиков, а там, глядишь, и поучаствовать захочется.
❤34🤯6👍2