Сделал видео доклада, который читал в прошлый четверг:
Безопасность ИИ в середине 2026 года
(слайды на странице "Выступления")
Народу пришло немного, но надеюсь, что люди ещё посмотрят. По крайней мере, AGI Russia выложил запись везде где только можно, а теперь и я выложил свою версию. Спасибо коллегам за приглашение!
Интересующимся тоже вполне рекомендую. Я тут в технические детали не особенно вдавался, рассказывал в основном популярно, с введением в то, почему AI safety — это важно, и кое-какими последними результатами.
В общем, продолжаю считать, что это главная тема для человечества прямо сейчас. И продолжаю надеяться, что так или иначе всё будет хорошо.)
#talks #aisafety #events
Безопасность ИИ в середине 2026 года
(слайды на странице "Выступления")
Народу пришло немного, но надеюсь, что люди ещё посмотрят. По крайней мере, AGI Russia выложил запись везде где только можно, а теперь и я выложил свою версию. Спасибо коллегам за приглашение!
Интересующимся тоже вполне рекомендую. Я тут в технические детали не особенно вдавался, рассказывал в основном популярно, с введением в то, почему AI safety — это важно, и кое-какими последними результатами.
В общем, продолжаю считать, что это главная тема для человечества прямо сейчас. И продолжаю надеяться, что так или иначе всё будет хорошо.)
#talks #aisafety #events
❤24👍6🔥1
Не знал что вам сегодня написать, но тут мне напомнили про статью, которая у нас с коллегами вышла ещё в апреле: “The AI Interviewer: Multi-Faceted Evaluation of Adaptive Questioning by Large Language Models”. Совсем не по математике и не по CS, зато про LLM'ки. Давайте вам о ней кратенько расскажу; вот полная версия поста:
The AI Interviewer: LLM как психолог-исследователь
Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.
Постановка задачи
LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.
Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).
Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?
Что сделали
Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.
На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.
Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.
Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.
Результаты
Получились на удивление внятные профили:
— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;
— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;
— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);
— Claude Sonnet 4 — сбалансированная универсальная модель;
— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);
— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.
Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.
Заключение
Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.
Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.
Большое спасибо соавторам!
#ai #research #longreads #blog #publications
The AI Interviewer: LLM как психолог-исследователь
Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.
Постановка задачи
LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.
Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).
Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?
Что сделали
Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.
На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.
Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.
Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.
Результаты
Получились на удивление внятные профили:
— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;
— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;
— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);
— Claude Sonnet 4 — сбалансированная универсальная модель;
— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);
— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.
Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.
Заключение
Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.
Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.
Большое спасибо соавторам!
#ai #research #longreads #blog #publications
❤18🔥8👍6🤮1🤡1
Сегодня у нас редкий для меня жанр: immersive sim. Я, честно говоря, всегда относился к этому жанру с уважением, но издалека: всю жизнь хотел попробовать пройти классические immersive sims вроде Dishonored или Prey, но так и не собрался. Казалось, что это требует больше времени и вовлечённости, чем у меня обычно есть.
Skin Deep в этом смысле оказалась прекрасной точкой входа. Это довольно простой представитель жанра — без прокачки, без разветвлённых квестов, без огромных хабов — но при этом настоящий, честный immersive sim, в котором системы действительно взаимодействуют друг с другом. И мне очень понравилось! Обзор читайте по ссылке, здесь очень кратко:
Skin Deep
(и выложил на DTF)
Skin Deep — игра Брендона Чанга (Brendon Chung) и его маленькой студии Blendo Games. [...] может быть, я вам про их игры ещё расскажу подробнее когда-нибудь потом. [...]
Завязка сюжета такова. В будущем страховые корпорации придумали гениальный способ защищать ценные грузы: замораживать специально обученного человека — “insurance commando” — и хранить его на борту грузового звездолёта. Если космические пираты захватывают корабль и срабатывает тревога, коммандо размораживается, делает глубокий вдох и разбирается с ситуацией. Вы играете за Нину Пасадену, лучшего оперативника корпорации MIAO Corp.
Да, именно MIAO, потому что экипажи кораблей в этой вселенной — коты. Обычные (разве что низкополигональные) коты: капитаны, штурманы, механики. Пираты из банды Numb Bunch захватывают корабль за кораблём, запирают котиков в клетки, и Нина в каждой миссии должна прокрасться по кораблю, перебить или обойти пиратов, спасти всех котов и отправить их в спасательной капсуле. [...]
Юмор здесь вообще является основой всех уровней мироустройства, и он хороший. [...]
Но главное в Skin Deep — это, конечно, механики. Игра полностью заслуживает звания immersive sim: здесь практически любой предмет можно подобрать, бросить, применить, и практически всё взаимодействует со всем осмысленным (и часто забавным) образом. [...]
Например, есть запах [...] Есть чихание [...] Дело происходит в космосе, поэтому есть декомпрессия [...]
И все эти системы работают одновременно, давая некоторый синергетический эффект, как и положено в immersive sim. Но при этом всё достаточно просто, так что игра не душит, а радует многообразием.
И темп тоже отличный, игра заканчивается раньше, чем механики успевают по-настоящему надоесть. На полное прохождение нужно часов 10-12.
А ещё есть сюжет, причём не только фоновый. [...] И ужасно милая переписка с котиками. [...]
Заключение
Skin Deep меньше, проще и дешевле грандов своего жанра, но при этом ни в чём им принципиально не уступает, а по плотности смешного и хорошо сделанного на квадратный метр уверенно превосходит. Если вы, как и я, всегда смотрели на immersive sim с уважением, но побаивались, можно смело начинать отсюда. А если вы ветеран жанра — тем более заходите. Очень рекомендую.
#tgif #games
Skin Deep в этом смысле оказалась прекрасной точкой входа. Это довольно простой представитель жанра — без прокачки, без разветвлённых квестов, без огромных хабов — но при этом настоящий, честный immersive sim, в котором системы действительно взаимодействуют друг с другом. И мне очень понравилось! Обзор читайте по ссылке, здесь очень кратко:
Skin Deep
(и выложил на DTF)
Skin Deep — игра Брендона Чанга (Brendon Chung) и его маленькой студии Blendo Games. [...] может быть, я вам про их игры ещё расскажу подробнее когда-нибудь потом. [...]
Завязка сюжета такова. В будущем страховые корпорации придумали гениальный способ защищать ценные грузы: замораживать специально обученного человека — “insurance commando” — и хранить его на борту грузового звездолёта. Если космические пираты захватывают корабль и срабатывает тревога, коммандо размораживается, делает глубокий вдох и разбирается с ситуацией. Вы играете за Нину Пасадену, лучшего оперативника корпорации MIAO Corp.
Да, именно MIAO, потому что экипажи кораблей в этой вселенной — коты. Обычные (разве что низкополигональные) коты: капитаны, штурманы, механики. Пираты из банды Numb Bunch захватывают корабль за кораблём, запирают котиков в клетки, и Нина в каждой миссии должна прокрасться по кораблю, перебить или обойти пиратов, спасти всех котов и отправить их в спасательной капсуле. [...]
Юмор здесь вообще является основой всех уровней мироустройства, и он хороший. [...]
Но главное в Skin Deep — это, конечно, механики. Игра полностью заслуживает звания immersive sim: здесь практически любой предмет можно подобрать, бросить, применить, и практически всё взаимодействует со всем осмысленным (и часто забавным) образом. [...]
Например, есть запах [...] Есть чихание [...] Дело происходит в космосе, поэтому есть декомпрессия [...]
И все эти системы работают одновременно, давая некоторый синергетический эффект, как и положено в immersive sim. Но при этом всё достаточно просто, так что игра не душит, а радует многообразием.
И темп тоже отличный, игра заканчивается раньше, чем механики успевают по-настоящему надоесть. На полное прохождение нужно часов 10-12.
А ещё есть сюжет, причём не только фоновый. [...] И ужасно милая переписка с котиками. [...]
Заключение
Skin Deep меньше, проще и дешевле грандов своего жанра, но при этом ни в чём им принципиально не уступает, а по плотности смешного и хорошо сделанного на квадратный метр уверенно превосходит. Если вы, как и я, всегда смотрели на immersive sim с уважением, но побаивались, можно смело начинать отсюда. А если вы ветеран жанра — тем более заходите. Очень рекомендую.
#tgif #games
❤10😁2
На завтра планирую большой пост в лучших своих традициях, а сегодня отделаюсь фоточками.
Выступал сегодня на юбилее BIOCAD. Выложить, наверное, не получится, это был paid gig, но в целом рассказал обычную свою историю про AI в науке, только немного к биологии развернул в конце.
Разумеется, сто слайдов в сорок минут не уложились, так что в конце забыл проговорить релевантную новость последних дней, которая в слайды не успела войти: вышел Claude Science.
Лично я понятия не имею, полезная ли это штука, для моей науки claude code с каким-нибудь разумным harness'ом вполне достаточен, но выглядит интересно.
Биологи (Лёша К.? :) ), что думаете?
#talks #events #ai #lifestyle
Выступал сегодня на юбилее BIOCAD. Выложить, наверное, не получится, это был paid gig, но в целом рассказал обычную свою историю про AI в науке, только немного к биологии развернул в конце.
Разумеется, сто слайдов в сорок минут не уложились, так что в конце забыл проговорить релевантную новость последних дней, которая в слайды не успела войти: вышел Claude Science.
Лично я понятия не имею, полезная ли это штука, для моей науки claude code с каким-нибудь разумным harness'ом вполне достаточен, но выглядит интересно.
Биологи (Лёша К.? :) ), что думаете?
#talks #events #ai #lifestyle
❤21🔥6