Не знал что вам сегодня написать, но тут мне напомнили про статью, которая у нас с коллегами вышла ещё в апреле: “The AI Interviewer: Multi-Faceted Evaluation of Adaptive Questioning by Large Language Models”. Совсем не по математике и не по CS, зато про LLM'ки. Давайте вам о ней кратенько расскажу; вот полная версия поста:
The AI Interviewer: LLM как психолог-исследователь
Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.
Постановка задачи
LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.
Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).
Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?
Что сделали
Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.
На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.
Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.
Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.
Результаты
Получились на удивление внятные профили:
— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;
— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;
— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);
— Claude Sonnet 4 — сбалансированная универсальная модель;
— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);
— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.
Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.
Заключение
Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.
Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.
Большое спасибо соавторам!
#ai #research #longreads #blog #publications
The AI Interviewer: LLM как психолог-исследователь
Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.
Постановка задачи
LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.
Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).
Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?
Что сделали
Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.
На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.
Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.
Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.
Результаты
Получились на удивление внятные профили:
— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;
— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;
— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);
— Claude Sonnet 4 — сбалансированная универсальная модель;
— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);
— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.
Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.
Заключение
Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.
Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.
Большое спасибо соавторам!
#ai #research #longreads #blog #publications
❤18🔥8👍6🤮1🤡1
Сегодня у нас редкий для меня жанр: immersive sim. Я, честно говоря, всегда относился к этому жанру с уважением, но издалека: всю жизнь хотел попробовать пройти классические immersive sims вроде Dishonored или Prey, но так и не собрался. Казалось, что это требует больше времени и вовлечённости, чем у меня обычно есть.
Skin Deep в этом смысле оказалась прекрасной точкой входа. Это довольно простой представитель жанра — без прокачки, без разветвлённых квестов, без огромных хабов — но при этом настоящий, честный immersive sim, в котором системы действительно взаимодействуют друг с другом. И мне очень понравилось! Обзор читайте по ссылке, здесь очень кратко:
Skin Deep
(и выложил на DTF)
Skin Deep — игра Брендона Чанга (Brendon Chung) и его маленькой студии Blendo Games. [...] может быть, я вам про их игры ещё расскажу подробнее когда-нибудь потом. [...]
Завязка сюжета такова. В будущем страховые корпорации придумали гениальный способ защищать ценные грузы: замораживать специально обученного человека — “insurance commando” — и хранить его на борту грузового звездолёта. Если космические пираты захватывают корабль и срабатывает тревога, коммандо размораживается, делает глубокий вдох и разбирается с ситуацией. Вы играете за Нину Пасадену, лучшего оперативника корпорации MIAO Corp.
Да, именно MIAO, потому что экипажи кораблей в этой вселенной — коты. Обычные (разве что низкополигональные) коты: капитаны, штурманы, механики. Пираты из банды Numb Bunch захватывают корабль за кораблём, запирают котиков в клетки, и Нина в каждой миссии должна прокрасться по кораблю, перебить или обойти пиратов, спасти всех котов и отправить их в спасательной капсуле. [...]
Юмор здесь вообще является основой всех уровней мироустройства, и он хороший. [...]
Но главное в Skin Deep — это, конечно, механики. Игра полностью заслуживает звания immersive sim: здесь практически любой предмет можно подобрать, бросить, применить, и практически всё взаимодействует со всем осмысленным (и часто забавным) образом. [...]
Например, есть запах [...] Есть чихание [...] Дело происходит в космосе, поэтому есть декомпрессия [...]
И все эти системы работают одновременно, давая некоторый синергетический эффект, как и положено в immersive sim. Но при этом всё достаточно просто, так что игра не душит, а радует многообразием.
И темп тоже отличный, игра заканчивается раньше, чем механики успевают по-настоящему надоесть. На полное прохождение нужно часов 10-12.
А ещё есть сюжет, причём не только фоновый. [...] И ужасно милая переписка с котиками. [...]
Заключение
Skin Deep меньше, проще и дешевле грандов своего жанра, но при этом ни в чём им принципиально не уступает, а по плотности смешного и хорошо сделанного на квадратный метр уверенно превосходит. Если вы, как и я, всегда смотрели на immersive sim с уважением, но побаивались, можно смело начинать отсюда. А если вы ветеран жанра — тем более заходите. Очень рекомендую.
#tgif #games
Skin Deep в этом смысле оказалась прекрасной точкой входа. Это довольно простой представитель жанра — без прокачки, без разветвлённых квестов, без огромных хабов — но при этом настоящий, честный immersive sim, в котором системы действительно взаимодействуют друг с другом. И мне очень понравилось! Обзор читайте по ссылке, здесь очень кратко:
Skin Deep
(и выложил на DTF)
Skin Deep — игра Брендона Чанга (Brendon Chung) и его маленькой студии Blendo Games. [...] может быть, я вам про их игры ещё расскажу подробнее когда-нибудь потом. [...]
Завязка сюжета такова. В будущем страховые корпорации придумали гениальный способ защищать ценные грузы: замораживать специально обученного человека — “insurance commando” — и хранить его на борту грузового звездолёта. Если космические пираты захватывают корабль и срабатывает тревога, коммандо размораживается, делает глубокий вдох и разбирается с ситуацией. Вы играете за Нину Пасадену, лучшего оперативника корпорации MIAO Corp.
Да, именно MIAO, потому что экипажи кораблей в этой вселенной — коты. Обычные (разве что низкополигональные) коты: капитаны, штурманы, механики. Пираты из банды Numb Bunch захватывают корабль за кораблём, запирают котиков в клетки, и Нина в каждой миссии должна прокрасться по кораблю, перебить или обойти пиратов, спасти всех котов и отправить их в спасательной капсуле. [...]
Юмор здесь вообще является основой всех уровней мироустройства, и он хороший. [...]
Но главное в Skin Deep — это, конечно, механики. Игра полностью заслуживает звания immersive sim: здесь практически любой предмет можно подобрать, бросить, применить, и практически всё взаимодействует со всем осмысленным (и часто забавным) образом. [...]
Например, есть запах [...] Есть чихание [...] Дело происходит в космосе, поэтому есть декомпрессия [...]
И все эти системы работают одновременно, давая некоторый синергетический эффект, как и положено в immersive sim. Но при этом всё достаточно просто, так что игра не душит, а радует многообразием.
И темп тоже отличный, игра заканчивается раньше, чем механики успевают по-настоящему надоесть. На полное прохождение нужно часов 10-12.
А ещё есть сюжет, причём не только фоновый. [...] И ужасно милая переписка с котиками. [...]
Заключение
Skin Deep меньше, проще и дешевле грандов своего жанра, но при этом ни в чём им принципиально не уступает, а по плотности смешного и хорошо сделанного на квадратный метр уверенно превосходит. Если вы, как и я, всегда смотрели на immersive sim с уважением, но побаивались, можно смело начинать отсюда. А если вы ветеран жанра — тем более заходите. Очень рекомендую.
#tgif #games
❤10😁2
На завтра планирую большой пост в лучших своих традициях, а сегодня отделаюсь фоточками.
Выступал сегодня на юбилее BIOCAD. Выложить, наверное, не получится, это был paid gig, но в целом рассказал обычную свою историю про AI в науке, только немного к биологии развернул в конце.
Разумеется, сто слайдов в сорок минут не уложились, так что в конце забыл проговорить релевантную новость последних дней, которая в слайды не успела войти: вышел Claude Science.
Лично я понятия не имею, полезная ли это штука, для моей науки claude code с каким-нибудь разумным harness'ом вполне достаточен, но выглядит интересно.
Биологи (Лёша К.? :) ), что думаете?
#talks #events #ai #lifestyle
Выступал сегодня на юбилее BIOCAD. Выложить, наверное, не получится, это был paid gig, но в целом рассказал обычную свою историю про AI в науке, только немного к биологии развернул в конце.
Разумеется, сто слайдов в сорок минут не уложились, так что в конце забыл проговорить релевантную новость последних дней, которая в слайды не успела войти: вышел Claude Science.
Лично я понятия не имею, полезная ли это штука, для моей науки claude code с каким-нибудь разумным harness'ом вполне достаточен, но выглядит интересно.
Биологи (Лёша К.? :) ), что думаете?
#talks #events #ai #lifestyle
❤21🔥6
Сегодня у меня для вас очень длинный пост. Давно собирался обозреть и эту тему в современном ML, и вот наконец-то собрался. Сюда еле поместилось введение, а дальше просто помещу оглавление. Читать надо по ссылке:
JEPA Яна Лекуна и модели мира: тридцать лет одной идеи
1. Введение
Один из отцов глубокого обучения Ян Лекун уже несколько лет повторяет тезис, который в эпоху всеобщего восторга от LLM звучит слегка еретически: авторегрессионные большие языковые модели — это тупик на пути к интеллекту человеческого уровня. Не просто “не самый лучший путь”, а именно тупик; по мнению Лекуна, одним только масштабированием предсказания следующего токена мы до настоящего понимания мира не доедем. Он, конечно, видит, что по дороге в этот тупик языковые модели успевают, например, опровергать гипотезы Эрдёша, но Лекуна это не убеждает.
Любимый его аргумент в том, что домашний кот моделирует физику окружающего мира лучше любой LLM, а подросток осваивает вождение примерно за двадцать часов практики без синтетического RL-окружения, потому что у него уже есть модель мира, в которой можно “прокрутить” последствия поворота руля, не вылетая при этом в кювет по-настоящему.
В этом посте я хочу рассказать, на что Лекун ставит вместо языковых моделей, и заодно дать общее введение в тему, проследив по сути одну и ту же идею через тридцать лет её истории, от сиамских сетей 1993 года до современных моделей мира (world models).
Пост получился длинный. [...] Зато по дороге мы заодно обсудим много разных методов самообучения (self-supervised learning), потому что JEPA лучше всего понимать не как конкретное изобретение 2022 года, а как точку, в которой сходятся метрическое обучение (metric learning), контрастивное обучение (contrastive learning), маскированное моделирование (masked modeling) и модели мира (world models). [...]
Аббревиатура JEPA расшифровывается как Joint-Embedding Predictive Architecture, “предсказательная архитектура с совместными вложениями”. И главная мысль во всём этом ровно одна:
Звучит как философия, и в манифесте 2022 года (LeCun, 2022) это действительно подано довольно абстрактно. Но та же идея возникла ещё за тридцать лет до аббревиатуры JEPA, а вскоре после постановочной статьи стали появляться варианты этих моделей, хорошо решающие весьма практические задачи. В этом посте мы обсудим весь этот долгий путь.
2. Главная мысль за пять минут
3. Сиамские сети: как сравнить, не называя
4. Пазлы, раскраски и повороты, или эпоха pretext-задач
5. Контрастивное обучение, или как наделать пар из ничего
6. Как не сколлапсировать без негатива
7. Маскированное моделирование: ветвь, от которой JEPA отталкивается
8. Манифест 2022 года, или модель мира внутри агента
9. I-JEPA, или первая настоящая реализация
10. От картинок к видео: MC-JEPA, IWM и V-JEPA
11. V-JEPA 2, или замыкание петли к планированию
12. Интерлюдия: JEPA в контексте
13. Зоопарк JEPA-моделей
14. Теория, или почему всё это вообще работает
15. Заключение
#blog #longreads #ai
JEPA Яна Лекуна и модели мира: тридцать лет одной идеи
1. Введение
Один из отцов глубокого обучения Ян Лекун уже несколько лет повторяет тезис, который в эпоху всеобщего восторга от LLM звучит слегка еретически: авторегрессионные большие языковые модели — это тупик на пути к интеллекту человеческого уровня. Не просто “не самый лучший путь”, а именно тупик; по мнению Лекуна, одним только масштабированием предсказания следующего токена мы до настоящего понимания мира не доедем. Он, конечно, видит, что по дороге в этот тупик языковые модели успевают, например, опровергать гипотезы Эрдёша, но Лекуна это не убеждает.
Любимый его аргумент в том, что домашний кот моделирует физику окружающего мира лучше любой LLM, а подросток осваивает вождение примерно за двадцать часов практики без синтетического RL-окружения, потому что у него уже есть модель мира, в которой можно “прокрутить” последствия поворота руля, не вылетая при этом в кювет по-настоящему.
В этом посте я хочу рассказать, на что Лекун ставит вместо языковых моделей, и заодно дать общее введение в тему, проследив по сути одну и ту же идею через тридцать лет её истории, от сиамских сетей 1993 года до современных моделей мира (world models).
Пост получился длинный. [...] Зато по дороге мы заодно обсудим много разных методов самообучения (self-supervised learning), потому что JEPA лучше всего понимать не как конкретное изобретение 2022 года, а как точку, в которой сходятся метрическое обучение (metric learning), контрастивное обучение (contrastive learning), маскированное моделирование (masked modeling) и модели мира (world models). [...]
Аббревиатура JEPA расшифровывается как Joint-Embedding Predictive Architecture, “предсказательная архитектура с совместными вложениями”. И главная мысль во всём этом ровно одна:
Обучение идёт через предсказание представлений (извлечение абстрактного смысла) того, чего ты не видишь, а не через пиксели или токены. Хорошая абстракция здесь не аппроксимация, а суть: разумно устроенная система должна уметь выбрасывать то, что предсказать невозможно или незачем.
Звучит как философия, и в манифесте 2022 года (LeCun, 2022) это действительно подано довольно абстрактно. Но та же идея возникла ещё за тридцать лет до аббревиатуры JEPA, а вскоре после постановочной статьи стали появляться варианты этих моделей, хорошо решающие весьма практические задачи. В этом посте мы обсудим весь этот долгий путь.
2. Главная мысль за пять минут
3. Сиамские сети: как сравнить, не называя
4. Пазлы, раскраски и повороты, или эпоха pretext-задач
5. Контрастивное обучение, или как наделать пар из ничего
6. Как не сколлапсировать без негатива
7. Маскированное моделирование: ветвь, от которой JEPA отталкивается
8. Манифест 2022 года, или модель мира внутри агента
9. I-JEPA, или первая настоящая реализация
10. От картинок к видео: MC-JEPA, IWM и V-JEPA
11. V-JEPA 2, или замыкание петли к планированию
12. Интерлюдия: JEPA в контексте
13. Зоопарк JEPA-моделей
14. Теория, или почему всё это вообще работает
15. Заключение
#blog #longreads #ai
1🔥29❤12👍2