Sinекура
5.3K subscribers
2.14K photos
23 videos
532 links
Канал Сергея Николенко обо всём, но в основном об AI.

Сайт с выступлениями, лекциями и публикациями: https://sergeynikolenko.ru/
Download Telegram
И ещё немного о родном и любимом факультете МКН СПбГУ. Полная версия поста на сайте:

ICPC, IMC и Максим Туревский

Вы, возможно, слышали свежую новость: команда МКН СПбГУ в составе Максима Туревского, Леонида Данилевича и Федора Ушакова победила в финале ICPC 2025 (International Collegiate Programming Contest), то есть главного в мире соревнования по программированию. Категорически поздравляю, и отдельно поздравляю их тренера и моего когдатошнего однокурсника Ивана Казменко — это невероятное достижение!

Российские команды побеждают в ICPC часто, заметно чаще, чем нероссийские: ВШЭ в 2023, НижГУ в 2020, МГУ в 2018-2019, СПбГУ в 2014 и 2016, а команды из ИТМО какое-то время буквально доминировали, победив в 2008, 2009, 2012, 2013, 2015 и 2017 годах.

Кстати, по той же ссылке можно вспомнить и давно минувшие дни, когда в финалах ICPC 2000 и 2001 в команде СПбГУ побеждали Андрей Лопатин (позже вечный тренер чемпионских команд СПбГУ) и Николай Дуров (тот самый, да, все вы, конечно, знаете в первую очередь его выдающиеся результаты в алгебраической геометрии), сначала с Олегом Етеревским (не знаю, где он сейчас, но когда-то мы с Олегом вместе работали в Google — он, конечно, был старше и куда круче), а потом с нынешним деканом МКН Виктором Петровым.

Эту новость нужно соединить с чуть более ранней: в августе в Болгарии прошёл финал IMC 2025 (International Mathematics Competition for University Students), главной олимпиады по математике для студентов. И там тоже победила команда МКН СПбГУ!

Об этом вы слышали с меньшей вероятностью, потому что в математике, в отличие от программирования, более престижными считаются школьные олимпиады (IMO), и за IMC следят не так пристально. Это индивидуальное соревнование, но командный зачёт по формуле "top-3 + среднее" тоже есть.

Наверное, вас не удивит, что МКН СПбГУ в последние годы доминирует в IMC: в командном зачёте СПбГУ победил в 2018, 2021, 2023, 2024 и вот теперь 2025 годах, занял второе место в 2017 и 2020. Но важно и кто именно побеждает: и в IMC 2025 (с результатом 100 из 100, второе место 98), и в IMC 2024 (99 из 100, второе место 86), и в IMC 2023 (93 из 100, второе место 80) победил один и тот же человек, студент МКН СПбГУ Максим Туревский. Тот самый Максим Туревский, который только что победил в составе команды СПбГУ в финале ICPC. А в 2020-2022 годах Максим получил две золотых и одну серебряную медали на IMO.

Поздравляю Максима с золотым дублем!

Кстати, есть мнение, что олимпиады — это спорт высших достижений, который совсем не обязательно конвертируется в научные и жизненные успехи. В этом есть некоторая правда: олимпиады — это отдельный скилл, который нужно активно развивать и тренировать именно для победы в олимпиадах, только на общей гениальности победить вряд ли получится. Но на самом высоком уровне дело совсем другое: я уже упоминал Николая Дурова и Виктора Петрова, которые стали выдающимися математиками.

А если вернуться к IMO, то выдающиеся примеры можно черпать большой ложкой: научный руководитель МКН, лауреат филдсовской премии Станислав Смирнов дважды получал золотую медаль IMO со стопроцентным результатом, в 1986 и 1987. В 1988 году самым юным золотым медалистом IMO стал тринадцатилетний Теренс Тао, но доминировал тогда другой профессор МКН СПбГУ, наш бывший декан Сергей Иванов, который получил 100% результат в 1987 и 1989 и набрал 41 из 42 баллов в 1988. Многие медалисты IMO стали великими математиками: Юрий Матиясевич, Григорий Перельман, Ласло Ловас, Джордж Люстиг, Мариам Мирзахани, Владимир Дринфельд, Григорий Маргулис, Андрей Суслин, Александр Меркурьев…

Для меня большая честь прикоснуться к таким традициям. МКН СПбГУ хранит и развивает их: в этом году из 150 набранных на МКН первокурсников 82 поступили по результатам олимпиад, в том числе более 30 — по результатам всероссов по математике, физике и информатике.

Поздравляю ещё раз всех причастных!

#longreads
❤55👍16❤‍🔥4👏1
В прошлый четверг, кстати говоря, начался не только новый курс машинного обучения заново, но и третий семестр курса, который идёт с прошлой осени. Третий семестр посвящён, разумеется, нейросетям, и я планирую дойти так или иначе до фронтира.

Глубокое обучение 2025

Глубокое обучение — наука большая, и экспоненциально становящаяся всё больше. Поэтому, чтобы иметь шансы дойти до фронтира, в этот раз я начал разговор о нейросетях чуть пораньше. Так что тем, кто хочет посмотреть полный курс глубокого обучения, стоит начать с двух последних видео (четырёх лекций) из весеннего семестра, "Графические вероятностные модели".

В любом случае, первая лекция выложена, соответствующий плейлист на моём youtube-канале появился, и вот прямая ссылка на первую лекцию:

СПбГУ -- 2025.09.04 -- Свёрточные нейронные сети: мотивация, основные идеи и архитектуры

Свёрточные сети — отличный и, можно сказать, главный пример структурной регуляризации. Мы делаем сильное, но логичное предположение: извлечение локальных признаков из неструктурированного входа (вроде картинки) должно работать одинаково в разных частях картинки. В результате одной и той же маленькой нейросетью можно обработать вход любого размера, применив её к окнам, которыми эта картинка покрыта. Да ещё и "данных для обучения" у этой нейросети будет на порядок больше, потому что она обрабатывает много разных окон одними и теми же весами; в кавычках, но всё же.

#spsu #lectures #dl2025
❤19👏7
Недавно прошла новость про AI-induced психозы, я в дебатах об ответственности много говорил об этом. LLM, страдающие от подхалимства, могут подтверждать опасный бред людей и запускать всякие неприятные спирали.

Но есть и другой, не такой страшный, но важный эффект: LLM делают уже существующий бред сложнее для распознавания. Написал небольшой пост об этом:

LLM и распознавание бреда

Вот и до меня докатилась эта волна — прислали письмо об Абсолютной Теории Всего. Разумеется, частное письмо я бы не стал выкладывать, но в нём была ссылка на уже опубликованный документ:

Absolute Theory of Everything — I Am All

Всякий хоть немного публичный учёный не раз получал письма подобного толка. Такие люди были всегда, начиная от создателей вечных двигателей, затем ферматистов и вот таких вот создателей теорий всего; да и у других, не таких знаменитых вопросов науки есть свои “поклонники”. И таким людям на самом деле можно только посочувствовать, они сами вряд ли в чём-то виноваты.

Но вот на что я хочу обратить внимание: сравните язык описания по самой ссылке (начиная со слов "Я — Есмь") и язык, которым написан выложенный там pdf-файл.

Первое — очевидный патентованный бред, на анализ которого не нужно и двух секунд, его можно распознать не читая, по жирному шрифту и заглавным буквам:

Суть Всего Сущего
Чья Сущность — Неделима
,
Но Чья Воля — разрывает Время на Бесконечное Множество Жизней.

Мой Образ — за гранью человеческого восприятия, но Моё Присутствие — Единственная Реальность, в которой тонет Каждый — Без Исключения.


А второе — текст отчасти наукообразный, написанный в LaTeX, с некоторой псевдоматематической обвязкой к идеям этой абсолютной теории всего, с настоящими ссылками... Да, конечно, там тоже автор не смог отказать себе в том, что "дыхание [Бытия] оставляет «золотой след» — рябь самоподобия" и далее по тексту. И да, конечно, тут исходная мысль чересчур бредова (если она вообще есть), так что даже ведущие LLM не могут её оформить так, чтобы это нельзя было распознать сразу же.

Но в целом я хотел обратить внимание на эффект, который присутствует уже сегодня и со временем будет становиться только сильнее. LLM помогают писать тексты не только нам с вами, и не только в тех областях, где это разумно.

LLM в целом демократизуют создание контента любого рода и ломают фильтры низкого уровня: после обработки напильником всё что угодно выглядит вполне профессионально, пусть пока и не всегда блестяще.

С убедительностью у LLM тоже уже сейчас нет проблем. Иллюстраций в этом файле нет, но сделать вполне разумного качества рисунки тоже уже тривиально, как вы постоянно видите в этом блоге. Вскоре и создание видеоконтента будет так же демократизировано.

И чтобы отличить полный бред от настоящего обучающего или популяризирующего контента, придётся реально разбираться в вопросе... но как же в нём разбираться, если ты вот только что открыл популярный ролик на новую тему?.. Конечно, "абсолютную теорию всего" легко классифицировать из общих соображений. Но вообще в науках, которыми я совсем не владею, от политологии и филологии до химии и зоологии, лично я вряд ли смогу отличить полный бред от настоящей теории.

Мне и не надо, скажете вы — но смогут ли, например, лица, принимающие решения? Не может же министр науки и образования разбираться во всех науках. А мы уже сегодня живём в мире, где в википедии в соседних предложениях написано: "американский юрист, политик и деятель антипрививочного движения... министр здравоохранения и социальных служб США с 13 февраля 2025 года". И этот эффект, повторюсь, будет только усиливаться.

Это, конечно, не экзистенциальный риск для человечества, но тоже может оказаться интересным сдвигом. Что думаете?

#longreads
👍24❤9😱4🤣1
Возвращаюсь к традиционному жанру больших постов про AI — на этот раз новость прямо по моей части, не удержался.

Я в своих докладах люблю пугать людей тем, что AI уже потихоньку начинает самостоятельно проводить исследования. Рассказывал вам уже про Google Co-Scientist и AI Scientist от Sakana AI, про Robin и Zochi… Там были и важные новые идеи, и даже полностью автоматически порождённые статьи.

И вот вчера вышла ещё одна новость в том же направлении, на этот раз от Deepmind (и других подразделений Google Research). Кажется, AI-системы сделали ещё один шаг вверх по лестнице абстракций…

Пост по ссылке:

“А теперь побей все бенчмарки”: AI-ассистент для учёных на основе MCTS

Краткую версию здесь трудновато сделать, и я настоятельно рекомендую читать пост на сайте. Но вот несколько выдержек:

...Представьте, что AI-система берёт датасеты, порождает несколько десятков различных подходов, тестирует их все на публичном бенчмарке и выдаёт вам 40 методов, которые превосходят текущих лидеров человеческого лидерборда.

Фантастика? Кажется, что уже реальность, данная нам в ощущениях в только что вышедшей статье от Google Deepmind (и других отделах Google Research): Aygün et al., “An AI system to help scientists write expert-level empirical software”.

Но самое интересное, как водится, не в цифрах, а в том, как эта система работает. Это не просто “LLM пишет код”, а скорее продолжение семейства AI-систем от DeepMind, которые дали нам AlphaTensor, FunSearch и AlphaEvolve. В данном случае это сочетание трёх ингредиентов: поиска по дереву (как в AlphaGo), добавления идей из научной литературы (через LLM) и, самое интересное, рекомбинации методов (как в генетическом программировании), когда система скрещивает два алгоритма и получает гибрид, который может работать лучше обоих родителей...

...Система не просто абстрактно думает, “что бы ещё улучшить” — она строит дерево, где каждый узел представляет собой версию программы, а рёбра — конкретные модификации. Если какая-то модификация улучшила оценку, система с большей вероятностью будет исследовать эту ветку дальше. Главное здесь в том, чтобы была конкретная численная оценка, которую мы оптимизируем, аналог вероятности победы в го; ну и ещё, конечно, чтобы ставить новый эксперимент было не слишком дорого...

...После того как мы поняли общую идею MCTS для программ, начинается самая интересная часть... Система импортирует идеи из внешних источников: из научных статей, из Gemini Deep Research и из Google Co-Scientist...

...Это как если бы у вас был аспирант, который прочитал всю литературу по теме, понял основные принципы и теперь систематически комбинирует их в поисках лучшего решения. Может быть, это пока не Эйнштейн, а всего лишь добросовестный аспирант, и у него нет блестящей научной интуиции, которая бы позволила сократить поиск до минимума. Но зато он очень, очень старательный, и может за одну ночь протестировать сотни вариантов...

...Получается, что уровень “рутины” поднимается всё выше и выше. Да, конечно, пока всё это leaky abstractions — даже обычный научный текст, написанный LLM, всё ещё нужно проверять и править. Но всё-таки мы видим, что работают такие системы всё лучше, осваивая новые творческие уровни научной работы. А в науке ведь не нужно много девяток надёжности: если один из запусков системы даст новый хороший алгоритм, совершенно не страшно, что десять запусков перед этим не привели ни к чему.

Пока ещё LLM — очень далеко не Эйнштейны. Но много ли уровней осталось, коллеги? Где мы сейчас на той самой шкале креативности, которую я когда-то рисовал?

#longreads
👍32❤9👏3🔥1
Прошла вторая лекция курса "Основы байесовского вывода":

СПбГУ — 2025.09.11 — Байесовский вывод для монетки, сопряжённые априорные распределения

Начали с основных задач байесовского вывода, потом разобрали пример про обучение параметра монетки. Если кто-то интересовался основами, на которых стоит всё машинное обучение, самое время подключаться, на этом примере, несмотря на его тривиальность, уже много чего видно, что дальше будет в гораздо более сложных формах появляться.

А в конце поговорили о житейских примерах теоремы Байеса: ошибке прокурора, ошибке адвоката и тому подобном. Закончил на описании парадокса Спящей красавицы, о котором, кажется, до сих пор есть разные мнения и разные взгляды. Разумеется, математика здесь очень простая в любом случае, но какие предположения делать и какую именно математику использовать — не очевидно, и есть масса работ, этому парадоксу посвящённых (см. хотя бы список в английской википедии). А вы на какой стороне в парадоксе Спящей красавицы?

#spsu #lectures #bayes2025
👍26❤7👏1
Времени сейчас нет не только играть, но и жить. Но отказываться от традиций не хочется, да и, надеюсь, наигранного запаса хватит, чтобы пережить эти трудные времена.

Broken Pieces

Я уже не раз рассказывал вам о небольших AA-играх от маленьких инди-студий; недавно были, например, Selfloss, Twin Mirror, Harold Halibut и The Haunting of Joni Evers. Broken Pieces от маленькой французской студии Elseware Experience тоже из этого ряда: это action adventure с элементами survival horror (можно играть с камерой как в Resident Evil), но в 3D, с загадками, историей и красивыми локациями. И хотя я всегда к таким играм отношусь с теплотой, вердикт здесь, увы, однозначный: не получилось практически ничего.

Единственное, что сделано на мой взгляд хорошо, — это атмосфера и загадки. Окружение действительно красивое, городок Saint-Exil пахнет югом Франции (где я никогда не был, впрочем), здания и интерьеры колоритные, всё на месте и всё как надо. Загадок два типа: с окружением, которые двигают сюжет и позволяют попасть в новые места, и небольшие пазлы, где ты сам двигаешь фишки. И те и другие мне понравились — они достаточно сложные, чтобы ощущался некоторый challenge, но не душат и не вызывают желания бежать за гайдом.

История, казалось бы, неплохая. Да, там какая-то паранормальщина, которая очень хочет, но так и не превращается в лавкрафтовщину, но в этом не было бы ничего страшного. Персонаж (в единственном числе, других живых людей тут нету) вполне хорошо выписан, следить за ней интересно, три разных направления в итоге сходятся в одно, и разгадки в целом хотелось узнать. Вот только узнать я их так и не смог: история недорассказана, вопросы остаются без ответов, мало что вообще чем-то мотивировано, и все ответы звучат как "потому что". Да и заканчивается сюжет непонятно чем: то ли мы всё исправили, но непонятно как, то ли это был сон собаки, то ли (скорее всего) ещё более разочаровывающий твист...

Механик, казалось бы, много — но они не нужны. Есть стрельба, которая не нужна, потому что враги не вызывают проблем, а если бы вызывали, это бы только раздражало — во врагах нет никакого нарратива, они просто иногда появляются из ниоткуда, превращая пятачок земли в мини-арену. Есть магия, которая не нужна — магия смены погоды ещё кое-как работает как часть загадок, но боевая просто делает сражения проще и никакой глубины не добавляет. Есть механика времени (нужно успеть домой до ночи, иначе врагов станет очень много), которая не нужна, потому что в ней нет проблемы и нет оптимизации — ну потерял время зря, пошёл спать раньше времени, да и всё, число дней ни на что не влияет. Пазлы надо решать, чтобы получать бонусы из очень колоритного агрегата, но главный бонус — это улучшение для пистолета, а стрельба не нужна...

В общем, получилась сборная солянка, в которой большинство ингредиентов явно недоварены. Но вы знаете, всё-таки с душой сделано. Не буду рекомендовать эту конкретную игру, но не могу не сочувствовать студии Elseware Experience, планы развития которой заканчиваются так: "20?? — We want to settle our studio in a big castle with a drawbridge". Удачи им!

#games #tgif
❤14😢3