Forwarded from Бражничать в Бражнике
Безопасность AI: мы уже обречены?
Воскресенье 18.10.2026, 18:00 Расскажет: Сергей Николенко, д.ф.-м.н., в.н.с. ПОМИ РАН, проф. СПбГУ
«Безопасность AI (AI safety) — это одна из главных областей науки сегодня, которая может оказаться критически важной для судьбы всего человечества. Звучит слишком пафосно? Увы, это абсолютно серьёзно.
Мы поговорим о том, почему развитие искусственного интеллекта является экзистенциальным риском. Обсудим и основную логику того, почему это так, и недавние яркие случаи, например взлом инфраструктуры OpenAI изнутри и последующий взлом серверов HuggingFace, и то, что они нам говорят.
Постараемся поговорить и об основных направлениях безопасности AI и ярких результатах, которые там есть. К сожалению, результаты эти пока в основном отрицательные. И всё-таки именно AI safety определяет то, выживет ли человечество в будущем и если да, то в каком качестве. Постараюсь вас в этом убедить».
Вход свободный, бронь столов по номеру +7 (812) 230-53-59
Воскресенье 18.10.2026, 18:00 Расскажет: Сергей Николенко, д.ф.-м.н., в.н.с. ПОМИ РАН, проф. СПбГУ
«Безопасность AI (AI safety) — это одна из главных областей науки сегодня, которая может оказаться критически важной для судьбы всего человечества. Звучит слишком пафосно? Увы, это абсолютно серьёзно.
Мы поговорим о том, почему развитие искусственного интеллекта является экзистенциальным риском. Обсудим и основную логику того, почему это так, и недавние яркие случаи, например взлом инфраструктуры OpenAI изнутри и последующий взлом серверов HuggingFace, и то, что они нам говорят.
Постараемся поговорить и об основных направлениях безопасности AI и ярких результатах, которые там есть. К сожалению, результаты эти пока в основном отрицательные. И всё-таки именно AI safety определяет то, выживет ли человечество в будущем и если да, то в каком качестве. Постараюсь вас в этом убедить».
Вход свободный, бронь столов по номеру +7 (812) 230-53-59
🔥17❤11👍3⚡1🗿1
Ох, коллеги, совсем забыл вам лекцию-то выложить сегодня. А мы ведь продолжаем в ЮФУ объяснение основных понятий машинного обучения совсем на пальцах,
И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:
ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)
Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.
В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.
Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.
На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.
#sfu #lectures #dsfrontiers
И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:
ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)
Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.
В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.
Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.
На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.
#sfu #lectures #dsfrontiers
❤9👍6😍3🥰1🍓1
Сегодня у нас симулятор ходьбы, который очень хочет быть Firewatch. Arctic Awakening — большая, часов на девять, история про лётчика, разбившегося где-то на Аляске, с красивыми снежными лесами, долгими прогулками под разговоры о вечном и теориями заговора в заброшенной хижине. Всё как в оригинале, только, увы, унылее и зануднее:
Arctic Awakening
(и вот на DTF выложил)
Устроена игра как сериал: пять глав примерно по два часа, с названиями, эпиграфами и титрами в конце каждой.
Завязка. Апрель 2062 года, где-то над Аляской. Вы — Кай, пилот небольшого транспортного самолёта; рядом второй пилот Донован и шарообразный летающий робот по имени Альфи. Альфи — бот-психотерапевт, приставленный к Каю по решению какого-то суда. [...]
Дальше буря, самолёт разваливается в воздухе, Донован выпрыгивает с парашютом раньше, а Кай просыпается в снегу среди обломков. Задача поначалу простая: привлечь внимание спасателей и найти напарника. Но очень скоро в лесу начинают попадаться странные вещи: гигантские антенны, бункеры с табличками о радиационной опасности, дроны, которые тебя не замечают, хижина с классической параноидальной пробковой доской на стене… И история сворачивает совсем в другую сторону.
Это Firewatch. По вайбу и даже по графическому стилю это прямо однозначно Firewatch. Очень видно, чем вдохновлялись разработчики. Графика, [...], долгие прогулки под разговоры о вечном, [...] собеседник, который постепенно выведывает у тебя твою историю, [...] и даже теории заговора здесь примерно с таким же антуражем. [...]
Но очень унылый Firewatch. Проблема в том, что всё это перечисление — всего лишь форма. А по содержанию Arctic Awakening не дотягивает ни по сюжету, ни по персонажам. История про травмированного ветерана, который сбежал от семьи в Аляску, рассказана добросовестно, но без неожиданных поворотов в человеческой её части; фантастическая часть к финалу раскручивается до масштабов, которые не особенно поддержаны первыми часами и выглядят чересчур.
Альфи очень симпатичный, и comic relief разговоры с ним иногда обеспечивают, но ничего особенно глубокого про AI или про терапию здесь тоже нет. Донован появляется редко и говорит в основном о том, что Кай его бросил. С Делайлой, которая по ходу разговоров по рации становится живым человеком, тут сравнивать нечего.
Геймплей: дыхательные упражнения. Геймплей не очень порадовал тоже. Загадок здесь почти нет (за двумя-тремя исключениями); симулятор ходьбы очень уж чистый получился. Задачи в основном в форме “найди четыре рычага на вот этой довольно большой территории”; сами понимаете, насколько это уныло. Ещё надо иногда есть, потому что есть шкала голода, но умереть от неё нельзя, так что это просто ещё одна кнопка раз в двадцать минут.
Единственная новая механика — дыхательные упражнения, и они тоже странненькие. [...] А главное…
Диалоги нельзя проматывать. Это вообще самое потрясающее. Когда разговор скрашивает долгий пеший путь, что происходит в этой игре регулярно, это не страшно, [...] но бывают и ситуации, когда ты просто стоишь и ждёшь, пока вы с ботом отговорите свои реплики, чтобы можно было сделать следующее действие. [...]
Зато вспомнил South of the Circle.
На некоторые места в Arctic Awakening, впрочем, приятно посмотреть: ледяная пещера с гирляндами, купол исследовательской станции, поля цветов и розовые яблони посреди вечной зимы, телестудия с зелёным экраном там, где её быть не должно.
Арктический сеттинг вместе с некоторыми деталями — заброшенные станции, записи, которые оставили люди, которых уже нет, — напомнил мне South of the Circle.
И вот её я, кстати говоря, очень рекомендую. Это игра студии State of Play, авторов Lumino City. Антарктида, начало 1960-х, холодная война, британский климатолог Питер, самолёт которого разбился во льдах, и Клара, которую он оставил в Кембридже. [...]
Заключение. Arctic Awakening — девятичасовая прогулка по красивому лесу с довольно занудным роботом. Не рекомендую; лучше вспомните старые добрые Firewatch и South of the Circle.
#tgif #games
Arctic Awakening
(и вот на DTF выложил)
Устроена игра как сериал: пять глав примерно по два часа, с названиями, эпиграфами и титрами в конце каждой.
Завязка. Апрель 2062 года, где-то над Аляской. Вы — Кай, пилот небольшого транспортного самолёта; рядом второй пилот Донован и шарообразный летающий робот по имени Альфи. Альфи — бот-психотерапевт, приставленный к Каю по решению какого-то суда. [...]
Дальше буря, самолёт разваливается в воздухе, Донован выпрыгивает с парашютом раньше, а Кай просыпается в снегу среди обломков. Задача поначалу простая: привлечь внимание спасателей и найти напарника. Но очень скоро в лесу начинают попадаться странные вещи: гигантские антенны, бункеры с табличками о радиационной опасности, дроны, которые тебя не замечают, хижина с классической параноидальной пробковой доской на стене… И история сворачивает совсем в другую сторону.
Это Firewatch. По вайбу и даже по графическому стилю это прямо однозначно Firewatch. Очень видно, чем вдохновлялись разработчики. Графика, [...], долгие прогулки под разговоры о вечном, [...] собеседник, который постепенно выведывает у тебя твою историю, [...] и даже теории заговора здесь примерно с таким же антуражем. [...]
Но очень унылый Firewatch. Проблема в том, что всё это перечисление — всего лишь форма. А по содержанию Arctic Awakening не дотягивает ни по сюжету, ни по персонажам. История про травмированного ветерана, который сбежал от семьи в Аляску, рассказана добросовестно, но без неожиданных поворотов в человеческой её части; фантастическая часть к финалу раскручивается до масштабов, которые не особенно поддержаны первыми часами и выглядят чересчур.
Альфи очень симпатичный, и comic relief разговоры с ним иногда обеспечивают, но ничего особенно глубокого про AI или про терапию здесь тоже нет. Донован появляется редко и говорит в основном о том, что Кай его бросил. С Делайлой, которая по ходу разговоров по рации становится живым человеком, тут сравнивать нечего.
Геймплей: дыхательные упражнения. Геймплей не очень порадовал тоже. Загадок здесь почти нет (за двумя-тремя исключениями); симулятор ходьбы очень уж чистый получился. Задачи в основном в форме “найди четыре рычага на вот этой довольно большой территории”; сами понимаете, насколько это уныло. Ещё надо иногда есть, потому что есть шкала голода, но умереть от неё нельзя, так что это просто ещё одна кнопка раз в двадцать минут.
Единственная новая механика — дыхательные упражнения, и они тоже странненькие. [...] А главное…
Диалоги нельзя проматывать. Это вообще самое потрясающее. Когда разговор скрашивает долгий пеший путь, что происходит в этой игре регулярно, это не страшно, [...] но бывают и ситуации, когда ты просто стоишь и ждёшь, пока вы с ботом отговорите свои реплики, чтобы можно было сделать следующее действие. [...]
Зато вспомнил South of the Circle.
На некоторые места в Arctic Awakening, впрочем, приятно посмотреть: ледяная пещера с гирляндами, купол исследовательской станции, поля цветов и розовые яблони посреди вечной зимы, телестудия с зелёным экраном там, где её быть не должно.
Арктический сеттинг вместе с некоторыми деталями — заброшенные станции, записи, которые оставили люди, которых уже нет, — напомнил мне South of the Circle.
И вот её я, кстати говоря, очень рекомендую. Это игра студии State of Play, авторов Lumino City. Антарктида, начало 1960-х, холодная война, британский климатолог Питер, самолёт которого разбился во льдах, и Клара, которую он оставил в Кембридже. [...]
Заключение. Arctic Awakening — девятичасовая прогулка по красивому лесу с довольно занудным роботом. Не рекомендую; лучше вспомните старые добрые Firewatch и South of the Circle.
#tgif #games
❤8👍4🔥3👌1🤷1
Вчера вдруг с нескольких сторон начали поздравлять с тем, что я вроде как стал одним из самых крутых российских учёных согласно вышедшему недавно датасету Elsevier и Scopus.
Новостной повод звучал максимально странно: "Шесть учёных и педагогов Яндекса попали в престижный научный рейтинг Elsevier", и среди них я, хотя к Яндексу я имею отношение только тем, что его премию получил в 2023 году (за что Яндексу, конечно, большое спасибо):
Gazeta.ru: Российские ученые вошли в топ-1% самых влиятельных в мире
Lenta.ru: Российские ученые попали в мировой рейтинг самых влиятельных исследователей
Rozetked: Российские учёные — в числе самых влиятельных в мире
В общем, конечно, мне стало интересно, датасет я скачал, и мы с Клодом в нём поразбирались. Всё, конечно, и так, и не совсем. :) Читайте по ссылке:
«Самые влиятельные учёные» от Elsevier
Краткое содержание ниже, но лучше по ссылке.
Что это за список. Группа Джона Иоаннидиса (того самого, который кризис репликации) раз в год считает для каждого автора Scopus композитный индекс c-score из шести логарифмически нормированных слагаемых. В список берут мировую сотню тысяч или 2% лучших в каждой из 174 подобластей. Так что "топ-2%" — это просто порог входа, а "топ-1%" — это как по факту в списке получилось.
Что в посте:
— Где я в этом потоке: По 2025 году — 1940-е место из 517 648 авторов в AI & Image Processing (топ-0,37%) и 106-е среди 989 российских учёных в списке. Среди соседей — авторы BLEU, HOG, Optuna, ReAct и глубоких ансамблей, а в карьерной таблице рядом стоит Уитфилд Диффи из протокола Диффи—Хеллмана.
— Из чего это сложилось: многие цитирования пришли из больших коллабораций (привет, SPAdes), плюс книги, написанные в одиночку; мораль: пишите книги!
— Что не так со списком: Scopus плохо видит ML, например, Андрей Карпатый в 2025 году ниже меня, а Дмитрия Ветрова в списке нет вовсе; первое место в AI, выше Бенджи и Хинтона, — у автора метаэвристик про серых волков и китов, а покойный Лотфи Заде и в 2025 году на пятом месте.
— Россиян не шесть, а около полутора тысяч: 1133 человека в карьерной таблице и 989 в годовой — 31-е и 36-е места; примерно семь человек на миллион жителей, как в Бразилии; правда, лучший "россиянин" 2025 года почти все свои статьи написал в Китае.
— Чем мы занимаемся: 41% российских участников — физики (в мире — 9%), клинической медицины в девять раз меньше мировой доли, российская часть списка старше (по возрасту) мировой лет на восемь.
— Самое неприятное открытие: по самоцитированию Россия находится на первом месте из всех стран с не меньшим числом участников списка, с большим отрывом, и составом наук это не объясняется...
Имеет ли всё это какое-то реальное значение? Конечно, нет. Но оказаться в такой компании приятно!
Что ж, буду считать, что это хороший повод написать ещё одну книгу — в одиночку, разумеется.)
А если вы хотите увидеть "учёного из топ-1% списка Elsevier" вживую и послушать о том, откуда берутся экзистенциальные риски от AI, приходите в воскресенье в "Бражник", у меня нечасто бывают настолько открытые всем желающим лекции.
#lifestyle #blog #ai #research
Новостной повод звучал максимально странно: "Шесть учёных и педагогов Яндекса попали в престижный научный рейтинг Elsevier", и среди них я, хотя к Яндексу я имею отношение только тем, что его премию получил в 2023 году (за что Яндексу, конечно, большое спасибо):
Gazeta.ru: Российские ученые вошли в топ-1% самых влиятельных в мире
Lenta.ru: Российские ученые попали в мировой рейтинг самых влиятельных исследователей
Rozetked: Российские учёные — в числе самых влиятельных в мире
В общем, конечно, мне стало интересно, датасет я скачал, и мы с Клодом в нём поразбирались. Всё, конечно, и так, и не совсем. :) Читайте по ссылке:
«Самые влиятельные учёные» от Elsevier
Краткое содержание ниже, но лучше по ссылке.
Что это за список. Группа Джона Иоаннидиса (того самого, который кризис репликации) раз в год считает для каждого автора Scopus композитный индекс c-score из шести логарифмически нормированных слагаемых. В список берут мировую сотню тысяч или 2% лучших в каждой из 174 подобластей. Так что "топ-2%" — это просто порог входа, а "топ-1%" — это как по факту в списке получилось.
Что в посте:
— Где я в этом потоке: По 2025 году — 1940-е место из 517 648 авторов в AI & Image Processing (топ-0,37%) и 106-е среди 989 российских учёных в списке. Среди соседей — авторы BLEU, HOG, Optuna, ReAct и глубоких ансамблей, а в карьерной таблице рядом стоит Уитфилд Диффи из протокола Диффи—Хеллмана.
— Из чего это сложилось: многие цитирования пришли из больших коллабораций (привет, SPAdes), плюс книги, написанные в одиночку; мораль: пишите книги!
— Что не так со списком: Scopus плохо видит ML, например, Андрей Карпатый в 2025 году ниже меня, а Дмитрия Ветрова в списке нет вовсе; первое место в AI, выше Бенджи и Хинтона, — у автора метаэвристик про серых волков и китов, а покойный Лотфи Заде и в 2025 году на пятом месте.
— Россиян не шесть, а около полутора тысяч: 1133 человека в карьерной таблице и 989 в годовой — 31-е и 36-е места; примерно семь человек на миллион жителей, как в Бразилии; правда, лучший "россиянин" 2025 года почти все свои статьи написал в Китае.
— Чем мы занимаемся: 41% российских участников — физики (в мире — 9%), клинической медицины в девять раз меньше мировой доли, российская часть списка старше (по возрасту) мировой лет на восемь.
— Самое неприятное открытие: по самоцитированию Россия находится на первом месте из всех стран с не меньшим числом участников списка, с большим отрывом, и составом наук это не объясняется...
Имеет ли всё это какое-то реальное значение? Конечно, нет. Но оказаться в такой компании приятно!
Что ж, буду считать, что это хороший повод написать ещё одну книгу — в одиночку, разумеется.)
А если вы хотите увидеть "учёного из топ-1% списка Elsevier" вживую и послушать о том, откуда берутся экзистенциальные риски от AI, приходите в воскресенье в "Бражник", у меня нечасто бывают настолько открытые всем желающим лекции.
#lifestyle #blog #ai #research
❤34🔥13👍2👏2
Линейная регрессия нарисовала прямую. Но насколько она уверена в ответе — особенно там, где не видела ни одной точки? Продолжаем разговор о байесовском выводе:
СПбГУ — 2026.10.16 — Предсказания и классификация
(слайды, доска и ноутбук на странице курса)
Сначала закончили байесовскую линейную регрессию: вместо одного "лучшего" набора весов учитываем всё апостериорное распределение и получаем не только прогноз, но и его неопределённость. На картинках и в ноутбуке видно, почему она зависит от того, где именно мы спрашиваем модель, и что происходит при экстраполяции.
Затем переходим к классификации: рисуем разделяющие поверхности, ищем хорошую проекцию методом Фишера и выводим оптимальный байесовский классификатор. Из предположения о гауссовских классах получаются QDA и LDA — и становится понятно, от чего зависит форма границы между классами. Эти классические идеи полезны и сегодня: на них хорошо видно, как связаны геометрия, вероятности и предположения о данных.
#spsu #bayes2026 #lectures
СПбГУ — 2026.10.16 — Предсказания и классификация
(слайды, доска и ноутбук на странице курса)
Сначала закончили байесовскую линейную регрессию: вместо одного "лучшего" набора весов учитываем всё апостериорное распределение и получаем не только прогноз, но и его неопределённость. На картинках и в ноутбуке видно, почему она зависит от того, где именно мы спрашиваем модель, и что происходит при экстраполяции.
Затем переходим к классификации: рисуем разделяющие поверхности, ищем хорошую проекцию методом Фишера и выводим оптимальный байесовский классификатор. Из предположения о гауссовских классах получаются QDA и LDA — и становится понятно, от чего зависит форма границы между классами. Эти классические идеи полезны и сегодня: на них хорошо видно, как связаны геометрия, вероятности и предположения о данных.
#spsu #bayes2026 #lectures
❤6👍4🔥4