🧠 Откуда на самом деле берутся галлюцинации нейросети
Привет, друзья ☕️
Мы все знаем, что ChatGPT галлюцинирует, но мало кто понимает, почему. Разница всего в одном месте — и если его понять, становится видно, где ИИ реально можно верить, а где надо усомниться.
Сначала про то, как модель вообще выбирает слова. Внутри нет ни фактов, ни базы знаний, ни таблицы «слово А → слово Б». Есть миллиарды чисел-параметров, из которых модель для любого текста считает одну вещь: какое слово вероятнее всего идёт следующим. И считает не вообще, а после всего, что уже написано — каждое новое слово зависит от всей предыдущей цепочки целиком.
Вероятности где-то записаны заранее? Нет. Модель пересчитывает их с нуля на каждом шаге под конкретную фразу. Одно и то же слово после разных предложений получит разную вероятность.
«Столица Франции —» → вероятность слова «Париж» зашкаливает: в текстах, на которых модель училась, это сочетание встречалось миллионы раз. Фаворит очевиден, промахнуться почти нереально.
А теперь «Главный бухгалтер завода „Прогресс" в 2017 году —». Такого в обучающих данных не было. Но затормозить и сказать «данных нет» модель не умеет — её работа выдать следующее слово. И она выдаёт: какое-нибудь имя-отчество, которое статистически хорошо ложится после «главный бухгалтер».
Вот в этом вся галлюцинация. То же действие, что и с Парижем — выбор вероятного слова — только в зоне, где у модели нет явного фаворита. Когда вероятность размазана почти поровну между десятком правдоподобных вариантов, она всё равно выберет один.
Поэтому опаснее всего — узкие и редкие темы. Конкретное имя, точная цифра, номер закона, дата малоизвестного события, цитата неизвестного человека — про общую теорию относительности она соврёт реже, чем про вашего регионального конкурента: про Эйнштейна текстов миллионы, про конкурента — ноль.
В обратную сторону работает так же: чем чаще что-то встречалось в текстах мира, тем надёжнее ответ. Общие принципы, ходовые факты, логика рассуждения — здесь вероятность сконцентрирована, и модель почти не плавает.
Отсюда рабочая привычка:
✔️Точечное и нишевое — иду к первоисточнику.
✔️Ходовое и многократно описанное — можно опереться.
Кстати, я продолжаю практиковаться в подкастах: в новом видео рассказываю про то, как устроены нейронки и как с ними жить. Галлюцинации там — только один эпизод.
https://vkvideo.ru/video-238221011_456239018?list=b8b92f8b8d370b498a
https://youtu.be/kPnIqXRBfXk
P.S. Если посмотрите, напишите в комментарии, прибавляет ли понимания или все равно каша. Буду оттачивать логику устных пояснений экспромтом 🙃
Привет, друзья ☕️
Мы все знаем, что ChatGPT галлюцинирует, но мало кто понимает, почему. Разница всего в одном месте — и если его понять, становится видно, где ИИ реально можно верить, а где надо усомниться.
Сначала про то, как модель вообще выбирает слова. Внутри нет ни фактов, ни базы знаний, ни таблицы «слово А → слово Б». Есть миллиарды чисел-параметров, из которых модель для любого текста считает одну вещь: какое слово вероятнее всего идёт следующим. И считает не вообще, а после всего, что уже написано — каждое новое слово зависит от всей предыдущей цепочки целиком.
Вероятности где-то записаны заранее? Нет. Модель пересчитывает их с нуля на каждом шаге под конкретную фразу. Одно и то же слово после разных предложений получит разную вероятность.
«Столица Франции —» → вероятность слова «Париж» зашкаливает: в текстах, на которых модель училась, это сочетание встречалось миллионы раз. Фаворит очевиден, промахнуться почти нереально.
А теперь «Главный бухгалтер завода „Прогресс" в 2017 году —». Такого в обучающих данных не было. Но затормозить и сказать «данных нет» модель не умеет — её работа выдать следующее слово. И она выдаёт: какое-нибудь имя-отчество, которое статистически хорошо ложится после «главный бухгалтер».
Вот в этом вся галлюцинация. То же действие, что и с Парижем — выбор вероятного слова — только в зоне, где у модели нет явного фаворита. Когда вероятность размазана почти поровну между десятком правдоподобных вариантов, она всё равно выберет один.
Поэтому опаснее всего — узкие и редкие темы. Конкретное имя, точная цифра, номер закона, дата малоизвестного события, цитата неизвестного человека — про общую теорию относительности она соврёт реже, чем про вашего регионального конкурента: про Эйнштейна текстов миллионы, про конкурента — ноль.
В обратную сторону работает так же: чем чаще что-то встречалось в текстах мира, тем надёжнее ответ. Общие принципы, ходовые факты, логика рассуждения — здесь вероятность сконцентрирована, и модель почти не плавает.
Отсюда рабочая привычка:
✔️Точечное и нишевое — иду к первоисточнику.
✔️Ходовое и многократно описанное — можно опереться.
Кстати, я продолжаю практиковаться в подкастах: в новом видео рассказываю про то, как устроены нейронки и как с ними жить. Галлюцинации там — только один эпизод.
https://vkvideo.ru/video-238221011_456239018?list=b8b92f8b8d370b498a
https://youtu.be/kPnIqXRBfXk
P.S. Если посмотрите, напишите в комментарии, прибавляет ли понимания или все равно каша. Буду оттачивать логику устных пояснений экспромтом 🙃
VK Видео
Что такое LLM простыми словами: как работает ChatGPT и почему ИИ галлюционирует
Все слышали про ChatGPT и нейросети, но что внутри — мало кто понимает. Разбираю на пальцах, без формул и хайпа: что такое большая языковая модель (LLM), почему её зовут нейросетью, почему она иногда уверенно несёт чушь и чем модели отличаются друг от друга.…
❤2👍2
Привет, друзья ☕️
Возвращаюсь к нашей задачке с числами — парами.
Просмотров много, ответов мало. Для меня это сигнал, что задачка зашла не с той ноги и выглядит непонятной.
Так что держите подсказку. На картинке теперь четыре пары вместо трёх — больше данных, легче нащупать закономерность.
Решение по-прежнему не выкладываю. И тут хочу остановиться, потому что дело не в интриге. Дело в том, как вообще устроено запоминание, — и это, по-моему, интереснее самой задачки.
Есть такая штука — эффект генерации. Если коротко: то, до чего человек додумался сам, запоминается измеримо лучше, чем то же самое, прочитанное в готовом виде. Это не мотивационная цитата из инстаграма — это лабораторно подтверждено и переподтверждено сотни раз.
В советской психологии это изучали еще в 60-е годы — через теорию деятельности. Н.И. Зинченко («Непроизвольное запоминание», 1961) показал, что в память въедается то, что стало предметом активной работы, а не пассивно прочитанное.
А.А. Смирнов («Проблемы психологии памяти», 1966) обнаружил: лучше всего запоминается то, что встало препятствием на пути, — преодоление, усилие, спотыкание.
В 2011 году это вышло в Science: группа, которая вытаскивала ответ из памяти, обошла тех, кто старательно перечитывал готовый материал. Перечитывание ощущается продуктивным, а мозгу почти ничего не даёт. Работает усилие.
🔗 science.org/doi/10.1126/science.1199327)
Почему так.
Когда докапываешься сам, мозг прокладывает к ответу несколько дорожек — через попытки, тупики, «а если вот так». Потом, чтобы вспомнить, хватает любой из них. Готовый ответ въезжает по одной колее и по ней же легко выветривается. На уровне нейронных связей это объясняют тем, что активное усилие укрепляет соединения прочнее, чем пассивное восприятие.
Поэтому подожду. Докопаетесь сами — получите опыт, который останется с вами надолго, ценнейший для аналитика 🩶
Возвращаюсь к нашей задачке с числами — парами.
Просмотров много, ответов мало. Для меня это сигнал, что задачка зашла не с той ноги и выглядит непонятной.
Так что держите подсказку. На картинке теперь четыре пары вместо трёх — больше данных, легче нащупать закономерность.
Решение по-прежнему не выкладываю. И тут хочу остановиться, потому что дело не в интриге. Дело в том, как вообще устроено запоминание, — и это, по-моему, интереснее самой задачки.
Есть такая штука — эффект генерации. Если коротко: то, до чего человек додумался сам, запоминается измеримо лучше, чем то же самое, прочитанное в готовом виде. Это не мотивационная цитата из инстаграма — это лабораторно подтверждено и переподтверждено сотни раз.
В советской психологии это изучали еще в 60-е годы — через теорию деятельности. Н.И. Зинченко («Непроизвольное запоминание», 1961) показал, что в память въедается то, что стало предметом активной работы, а не пассивно прочитанное.
А.А. Смирнов («Проблемы психологии памяти», 1966) обнаружил: лучше всего запоминается то, что встало препятствием на пути, — преодоление, усилие, спотыкание.
В 2011 году это вышло в Science: группа, которая вытаскивала ответ из памяти, обошла тех, кто старательно перечитывал готовый материал. Перечитывание ощущается продуктивным, а мозгу почти ничего не даёт. Работает усилие.
🔗 science.org/doi/10.1126/science.1199327)
Почему так.
Когда докапываешься сам, мозг прокладывает к ответу несколько дорожек — через попытки, тупики, «а если вот так». Потом, чтобы вспомнить, хватает любой из них. Готовый ответ въезжает по одной колее и по ней же легко выветривается. На уровне нейронных связей это объясняют тем, что активное усилие укрепляет соединения прочнее, чем пассивное восприятие.
Поэтому подожду. Докопаетесь сами — получите опыт, который останется с вами надолго, ценнейший для аналитика 🩶
❤2
Регрессия к среднему — ловушка управленческих решений
Привет, друзья ☕️
Любимый слайд на квартальном отчёте: «Взяли три самых слабых филиала, прогнали через ПланОптимизации — и смотрите, показатели подтянулись. Работает!». Зал хлопает, авторы плана скромно кивают. А меня на таких отчётах тянет задать один вредный вопрос: вы уверены, что они не подтянулись бы и сами?
Есть статистический эффект, на котором горят даже сильные руководители, — регрессия к среднему. Звучит академично, на деле штука простая и довольно подлая. Любой экстремальный результат собран из двух частей: реального положения дел и везения (или невезения). В следующий раз везение не повторяется — и крайние значения сами по себе сползают к середине. Безо всякого вмешательства.
Теперь смотрите, как это ломает решения. Вы отбираете «худших»: худший филиал по убыточности, худшего агента, худший месяц по жалобам. Отбираете именно потому, что у них всё плохо. Но часть этого «плохо» — чистая случайность: пара крупных выплат, совпавших в один квартал, неудачный кусок выборки, сезон. Вы проводите ПланОптимизации. На следующем отрезке случайность не повторяется, цифры улучшаются — и план получает медаль за то, что случилось бы и без него.
Зеркальная история — с лучшими. Лучшего менеджера квартала похвалили, дали премию и план побольше. В следующем квартале он «просел», и пошли разговоры, что зазнался и расслабился. А он просто вернулся к своему обычному уровню: прошлый рекорд наполовину был удачей, и удача не пришла на бис.
Термин, кстати, родился у Гальтона ещё в XIX веке. Он заметил, что у очень высоких родителей дети в среднем чуть ниже, а у очень низких — чуть выше: рост «регрессировал» к среднему по популяции. С тех пор ловушка никуда не делась, просто переехала из родословных в дэшборды.
💡Лайфхак, которым пользуюсь сама. Если ты отобрал группу по крайнему значению и потом радуешься, что стало лучше, — само по себе это ничего не доказывает. Нужно несколько точек опоры:
✔️как за тот же период изменились похожие объекты, которые ты не трогал
✔️поменялась ли сама средняя
✔️стали ли новые 3 худших лучше прежних
Без этого сравнения легко праздновать откат к среднему и выписывать премию случайности 🙃.
Data Driven Management
Привет, друзья ☕️
Любимый слайд на квартальном отчёте: «Взяли три самых слабых филиала, прогнали через ПланОптимизации — и смотрите, показатели подтянулись. Работает!». Зал хлопает, авторы плана скромно кивают. А меня на таких отчётах тянет задать один вредный вопрос: вы уверены, что они не подтянулись бы и сами?
Есть статистический эффект, на котором горят даже сильные руководители, — регрессия к среднему. Звучит академично, на деле штука простая и довольно подлая. Любой экстремальный результат собран из двух частей: реального положения дел и везения (или невезения). В следующий раз везение не повторяется — и крайние значения сами по себе сползают к середине. Безо всякого вмешательства.
Теперь смотрите, как это ломает решения. Вы отбираете «худших»: худший филиал по убыточности, худшего агента, худший месяц по жалобам. Отбираете именно потому, что у них всё плохо. Но часть этого «плохо» — чистая случайность: пара крупных выплат, совпавших в один квартал, неудачный кусок выборки, сезон. Вы проводите ПланОптимизации. На следующем отрезке случайность не повторяется, цифры улучшаются — и план получает медаль за то, что случилось бы и без него.
Зеркальная история — с лучшими. Лучшего менеджера квартала похвалили, дали премию и план побольше. В следующем квартале он «просел», и пошли разговоры, что зазнался и расслабился. А он просто вернулся к своему обычному уровню: прошлый рекорд наполовину был удачей, и удача не пришла на бис.
Термин, кстати, родился у Гальтона ещё в XIX веке. Он заметил, что у очень высоких родителей дети в среднем чуть ниже, а у очень низких — чуть выше: рост «регрессировал» к среднему по популяции. С тех пор ловушка никуда не делась, просто переехала из родословных в дэшборды.
💡Лайфхак, которым пользуюсь сама. Если ты отобрал группу по крайнему значению и потом радуешься, что стало лучше, — само по себе это ничего не доказывает. Нужно несколько точек опоры:
✔️как за тот же период изменились похожие объекты, которые ты не трогал
✔️поменялась ли сама средняя
✔️стали ли новые 3 худших лучше прежних
Без этого сравнения легко праздновать откат к среднему и выписывать премию случайности 🙃.
Data Driven Management
❤2💯2
🧠Горе от ума
Привет, друзья ☕️
Решение задачки: Верхнее число в паре — сколько дней в месяце, нижнее — сколько букв в его названии. Январь: 31 день, 6 букв. Февраль: 28 и 7. Март: 31 и 4, и так далее. Просто календарь и длина слова.
Но вот что показательно. Соискателям я прямым текстом говорила, что это задачка из учебника начальной школы. А в ответ некоторые предлагали арифметические последовательности, геометрические прогрессии, попытки вывести формулу, связать числа разностями и множителями.
Люди искали сложную закономерность ровно там, где её нет.
Это очень частая история у аналитиков — усложнять. Когда привык работать с моделями и данными, мозг по умолчанию тянется к сложному решению, даже когда задача его не требует. И эту задачку я давала неспроста: она проверяет способность увидеть простое и не лезть в дебри там, где дорога прямая.
Так что если решение упорно не находится, иногда полезно проверить себя: не усложняю ли я там, где всё на самом деле просто.
P.S. Сегодня отдохнем без задачек. Если хотите продолжить в следующую пятницу, дайте сигнал 🩶
Привет, друзья ☕️
Решение задачки: Верхнее число в паре — сколько дней в месяце, нижнее — сколько букв в его названии. Январь: 31 день, 6 букв. Февраль: 28 и 7. Март: 31 и 4, и так далее. Просто календарь и длина слова.
Но вот что показательно. Соискателям я прямым текстом говорила, что это задачка из учебника начальной школы. А в ответ некоторые предлагали арифметические последовательности, геометрические прогрессии, попытки вывести формулу, связать числа разностями и множителями.
Люди искали сложную закономерность ровно там, где её нет.
Это очень частая история у аналитиков — усложнять. Когда привык работать с моделями и данными, мозг по умолчанию тянется к сложному решению, даже когда задача его не требует. И эту задачку я давала неспроста: она проверяет способность увидеть простое и не лезть в дебри там, где дорога прямая.
Так что если решение упорно не находится, иногда полезно проверить себя: не усложняю ли я там, где всё на самом деле просто.
P.S. Сегодня отдохнем без задачек. Если хотите продолжить в следующую пятницу, дайте сигнал 🩶
❤7
Сегодня выступаю на форуме страховых инноваций. Замахнулись на вопрос, куда придет рынок страхования к 2035, с учетом развития цифровизации и ИИ. Самыми интересными выводами обязательно поделюсь 😉
🔥6
Почему ИИ-проекты буксуют — и дело не в ИИ
Привет, друзья ☕️
На совещании решают: «Процесс пора автоматизировать, берём нейросеть. Звучит современно!» Дают серверы, нанимают айтишников, проходит полгода. А воз и ныне там: нейронка прогнозирует хуже андеррайтеров, счета разбирает с ошибками.
Вывод компании — «ИИ хайп, толку ноль».
На самом деле — ИИ взяли туда, где он не нужен.
Вот мысль, которая экономит бюджеты: про ИИ стоит думать третьим вопросом, а не первым. Прежде чем спрашивать «какую нейронку взять», полезно ответить на два других.
Первый: нужно ли автоматизировать этот процесс вообще — он частый, рутинный, есть ли экономический смысл.
Второй: если да, хватит ли инструмента попроще.
Потому что у автоматизации есть лестница, от простого к сложному:
▫️правила и формулы (автоматические расчёты вместо ручного Excel)
▫️RPA — робот, что ходит между системами по чётким правилам
▫️классический ML — прогноз по готовому набору параметров
▫️и только наверху нейросеть — для неструктурированного текста и сложных закономерностей.
Но наше когнитивное искажение в том, что в быту ИИ кажется бесплатным — мы привыкли к Алисе и ChatGPT. И есть желание пристроить его везде, где нам сложно.
А в корпоративном контуре это самый дорогой инструмент из всех: хранение, вычислительные мощности, разметка данных.
Брать нейронку для задачи, которую решает формула, — всё равно что нанимать экскаватор, чтобы сделать куличик из песка.
И ещё одно на подумать: нельзя автоматизировать хаос. Если один сотрудник ведёт процесс так, а другой иначе — свой макрос, свои отчёты — сначала процесс приводят к единому стандарту, и только потом автоматизируют. Иначе автоматизируешь беспорядок и получишь быстрый беспорядок.
В новом видео разобрала всю лестницу по шагам: где правило, где робот, где ML, а где правда нужна нейросеть — на примере страховой.
ВК: https://vk.com/wall-238221011_6
YouTube: https://youtu.be/IBLs4Hl_-p4
Data Driven Management
Привет, друзья ☕️
На совещании решают: «Процесс пора автоматизировать, берём нейросеть. Звучит современно!» Дают серверы, нанимают айтишников, проходит полгода. А воз и ныне там: нейронка прогнозирует хуже андеррайтеров, счета разбирает с ошибками.
Вывод компании — «ИИ хайп, толку ноль».
На самом деле — ИИ взяли туда, где он не нужен.
Вот мысль, которая экономит бюджеты: про ИИ стоит думать третьим вопросом, а не первым. Прежде чем спрашивать «какую нейронку взять», полезно ответить на два других.
Первый: нужно ли автоматизировать этот процесс вообще — он частый, рутинный, есть ли экономический смысл.
Второй: если да, хватит ли инструмента попроще.
Потому что у автоматизации есть лестница, от простого к сложному:
▫️правила и формулы (автоматические расчёты вместо ручного Excel)
▫️RPA — робот, что ходит между системами по чётким правилам
▫️классический ML — прогноз по готовому набору параметров
▫️и только наверху нейросеть — для неструктурированного текста и сложных закономерностей.
Но наше когнитивное искажение в том, что в быту ИИ кажется бесплатным — мы привыкли к Алисе и ChatGPT. И есть желание пристроить его везде, где нам сложно.
А в корпоративном контуре это самый дорогой инструмент из всех: хранение, вычислительные мощности, разметка данных.
Брать нейронку для задачи, которую решает формула, — всё равно что нанимать экскаватор, чтобы сделать куличик из песка.
И ещё одно на подумать: нельзя автоматизировать хаос. Если один сотрудник ведёт процесс так, а другой иначе — свой макрос, свои отчёты — сначала процесс приводят к единому стандарту, и только потом автоматизируют. Иначе автоматизируешь беспорядок и получишь быстрый беспорядок.
В новом видео разобрала всю лестницу по шагам: где правило, где робот, где ML, а где правда нужна нейросеть — на примере страховой.
ВК: https://vk.com/wall-238221011_6
YouTube: https://youtu.be/IBLs4Hl_-p4
Data Driven Management
YouTube
ИИ, RPA или Excel: как выбрать инструмент автоматизации процессов
Большинство компаний, решив «давайте внедрим нейросеть», через полгода получают потраченный бюджет и процесс, который надо менять. Разбираю, почему так выходит и как выбрать инструмент автоматизации по задаче, а не по моде: когда хватит правил и формул, когда…
❤4
Forwarded from Mamalytic
✨ ПЯТНИЧНАЯ ЗАДАЧКА: ВОЛК, КОЗА И КАПУСТА
Привет, друзья☕️
Когда говорят «математика», в голове сразу всплывают столбики, примеры, вычисления. А ведь математика — это огромный мир логики: задачи про мудрецов и колпаки, про переправы, про взвешивания, про острова рыцарей и лжецов. Целая вселенная красивого и неочевидного, где считать почти не надо — надо думать.
Это одна из первых папиных задачек в моем детстве. И я была уверена, что её знают вообще все — настолько она въелась в память. А потом оказалось: многие слышат её впервые. Поэтому решаем.
Условие
Крестьянину нужно переправить через реку волка, козу и капусту.
Лодка маленькая: помещается только сам крестьянин и что-то одно — либо волк, либо коза, либо капуста.
Загвоздка вот в чём:
▫️ если оставить волка с козой без присмотра — волк съест козу
▫️ если оставить козу с капустой — коза съест капусту
Волк капусту не трогает (он на диете 😉).
Вопрос: как крестьянину перевезти всех троих на другой берег целыми и невредимыми?
Ставьте лайк, если знаете эту задачку. Или пишите решение в комментариях.
Решать можно с детьми от 6-7 лет 👌.
Ваша Мамалитик
Привет, друзья☕️
Когда говорят «математика», в голове сразу всплывают столбики, примеры, вычисления. А ведь математика — это огромный мир логики: задачи про мудрецов и колпаки, про переправы, про взвешивания, про острова рыцарей и лжецов. Целая вселенная красивого и неочевидного, где считать почти не надо — надо думать.
Это одна из первых папиных задачек в моем детстве. И я была уверена, что её знают вообще все — настолько она въелась в память. А потом оказалось: многие слышат её впервые. Поэтому решаем.
Условие
Крестьянину нужно переправить через реку волка, козу и капусту.
Лодка маленькая: помещается только сам крестьянин и что-то одно — либо волк, либо коза, либо капуста.
Загвоздка вот в чём:
▫️ если оставить волка с козой без присмотра — волк съест козу
▫️ если оставить козу с капустой — коза съест капусту
Волк капусту не трогает (он на диете 😉).
Вопрос: как крестьянину перевезти всех троих на другой берег целыми и невредимыми?
Ставьте лайк, если знаете эту задачку. Или пишите решение в комментариях.
Решать можно с детьми от 6-7 лет 👌.
Ваша Мамалитик
👍4❤3
🙃 Парадокс Симпсона — когда цифра в каждом сегменте говорит одно, а в сумме разворачивается на противоположное.
Привет, друзья ☕️
На дэшборде всё прозрачно: онлайн-канал закрывает 65% лидов, агентская сеть — 35%. Вдвое хуже. На встрече кто-то уже формулирует логичное: сворачиваем агентов, деньги в онлайн.
Возьмём те же два канала и разложим лиды. У каждого была тысяча обращений, но разного качества.
Онлайн ловит в основном тёплых — человек сам оставил заявку.
Агентам достаётся холодное — обзвон.
Скажем, у онлайна из тысячи 900 тёплых лидов, у агентов наоборот — 900 холодных. Цифры условные, важны пропорции.
Теперь конверсия по сегментам.
Тёплые лиды: агенты закрывают 80%, онлайн — 70%. Холодные: агенты — 30%, онлайн — 20%.
И там, и там агенты сильнее: на каждом типе лида они работают лучше.
А в общем зачёте проигрывают вдвое — им просто свалили гору холодных, которые плохо закрываются у кого угодно.
Решение «резать агентов», принятое по верхней строке, отправит в утиль ваших лучших закрывателей и переведёт сложные лиды на канал, который справляется с ними ещё хуже. Каждая клетка таблицы при этом посчитана правильно, арифметика безупречна.
Это парадокс Симпсона: соотношение, устойчивое внутри каждой группы, искажается, когда разные (!) группы ссыпают в один котёл. Смотрите картинку.
Самый известный разбор этого фокуса — Беркли, 1973 год. Университет чуть не засудили за дискриминацию: общий процент зачисления у женщин вышел заметно ниже мужского, 35% против 44%. А когда статистики (Бикель и коллеги, Science, 1975) разложили приём по факультетам, выяснилось, что на большинстве из них женщин брали наравне с мужчинами или даже чаще. Просто женщины массово подавались на направления с высоким отсевом, а мужчины — на те, где конкурс поменьше.
💡Видите агрегированный процент, по которому собираются рубить с плеча, — проверьте: составы сравниваемых групп вообще сопоставимы? Если в группах разный микс (сегменты, сложность, регион) — общая цифра запросто скажет обратное тому, что творится внутри.
Дробить до бесконечности тоже вредно: нарежете на мелкие группы — поймаете случайный шум вместо сигнала. Вопрос, на который стоит ответить: точно ли составы разные? Если за разницей стоит осмысленная причина (онлайну достаётся тёплое, агентам холодное, разный половозрастной состав внутри сегментов и тп) — имеет смысл смотреть внутрь. Если причина высосана из пальца — разумнее довериться общей картине.
Какой цифре верить, подсказывает понимание, почему данные распределились именно так.
Математика — это вообще всегда инструмент, выбор — за смыслом.
Data Driven Management
Привет, друзья ☕️
На дэшборде всё прозрачно: онлайн-канал закрывает 65% лидов, агентская сеть — 35%. Вдвое хуже. На встрече кто-то уже формулирует логичное: сворачиваем агентов, деньги в онлайн.
Возьмём те же два канала и разложим лиды. У каждого была тысяча обращений, но разного качества.
Онлайн ловит в основном тёплых — человек сам оставил заявку.
Агентам достаётся холодное — обзвон.
Скажем, у онлайна из тысячи 900 тёплых лидов, у агентов наоборот — 900 холодных. Цифры условные, важны пропорции.
Теперь конверсия по сегментам.
Тёплые лиды: агенты закрывают 80%, онлайн — 70%. Холодные: агенты — 30%, онлайн — 20%.
И там, и там агенты сильнее: на каждом типе лида они работают лучше.
А в общем зачёте проигрывают вдвое — им просто свалили гору холодных, которые плохо закрываются у кого угодно.
Решение «резать агентов», принятое по верхней строке, отправит в утиль ваших лучших закрывателей и переведёт сложные лиды на канал, который справляется с ними ещё хуже. Каждая клетка таблицы при этом посчитана правильно, арифметика безупречна.
Это парадокс Симпсона: соотношение, устойчивое внутри каждой группы, искажается, когда разные (!) группы ссыпают в один котёл. Смотрите картинку.
Самый известный разбор этого фокуса — Беркли, 1973 год. Университет чуть не засудили за дискриминацию: общий процент зачисления у женщин вышел заметно ниже мужского, 35% против 44%. А когда статистики (Бикель и коллеги, Science, 1975) разложили приём по факультетам, выяснилось, что на большинстве из них женщин брали наравне с мужчинами или даже чаще. Просто женщины массово подавались на направления с высоким отсевом, а мужчины — на те, где конкурс поменьше.
💡Видите агрегированный процент, по которому собираются рубить с плеча, — проверьте: составы сравниваемых групп вообще сопоставимы? Если в группах разный микс (сегменты, сложность, регион) — общая цифра запросто скажет обратное тому, что творится внутри.
Дробить до бесконечности тоже вредно: нарежете на мелкие группы — поймаете случайный шум вместо сигнала. Вопрос, на который стоит ответить: точно ли составы разные? Если за разницей стоит осмысленная причина (онлайну достаётся тёплое, агентам холодное, разный половозрастной состав внутри сегментов и тп) — имеет смысл смотреть внутрь. Если причина высосана из пальца — разумнее довериться общей картине.
Какой цифре верить, подсказывает понимание, почему данные распределились именно так.
Математика — это вообще всегда инструмент, выбор — за смыслом.
Data Driven Management
❤2
📢 Инсайты с конференции про то, каким будет страховой рынок к 2035 году
Привет, друзья ☕️
Будущее там рисовали смелое. ИИ-агент клиента и ИИ-агент страховщика договариваются между собой по заданным критериям и выдают готовый полис — живые агенты в этой картине просто не нужны, за них всё решают две нейросети. Выплаты за секунды. Клиентский путь бесшовный.
Я выступала с темой поспокойнее: почему за два года ИИ не взлетел в страховании так, как ему пророчили.
А пророчили много. И там, где задача лёгкая, всё правда случилось: лендинги, MVP, проверка гипотез, кодинг — теперь делается в разы быстрее.
Показательно, что почти все презентации самой конференции были собраны с помощью ИИ. Он уже не гость в отрасли, он в ней живёт.
Но ядро страхования устояло. Андеррайтинг, урегулирование убытков — это по-прежнему ручная операционная работа и живые решения. Взять ChatGPT и одним движением заменить оператора не выходит, и причин несколько: грязные данные, нестандартизированные процессы, высокая цена ошибки.
Автоматизация тут возможна, но дорогая, штучная и требует чистки того, что под капотом. Никакого «подключил готовую модель за вечер». ТОП компании рапортовали о «внедренных пилотах». Но про то, что кто-то на этих пилотах сократил 50% (ладно, хотя бы 20%) сотрудников пока тишина.
А теперь наблюдение, ради которого стоило туда съездить.
Пока одна рука отрасли ускоряет выплаты до секунд, другая уже столкнулась с обратной стороной тех же технологий. В автостраховании начали фиксировать ИИ-фрод: злоумышленники генерируют целый комплект документов о ДТП, которого не было, — вместе с фотографиями «повреждений».
И чем быстрее и бесшовнее выплата, тем меньше времени поймать подделку. Упрощение и мошенничество разгоняются вместе.
Получается, системы поддержки решений при урегулировании теперь придётся учить двум вещам сразу: быстро платить по настоящим случаям и распознавать сгенерированный ИИ фейковый комплект. Одно без другого превращается либо в тормоз, либо в дыру в кармане.
P.S. Был и доклад про то, как через сто лет мы будем страховать выбор оболочки для человека и качество вживлённых чипов. Тут я мысленно попросила вернуть меня к грязным данным — с ними хотя бы понятно, что делать. 🙃
Привет, друзья ☕️
Будущее там рисовали смелое. ИИ-агент клиента и ИИ-агент страховщика договариваются между собой по заданным критериям и выдают готовый полис — живые агенты в этой картине просто не нужны, за них всё решают две нейросети. Выплаты за секунды. Клиентский путь бесшовный.
Я выступала с темой поспокойнее: почему за два года ИИ не взлетел в страховании так, как ему пророчили.
А пророчили много. И там, где задача лёгкая, всё правда случилось: лендинги, MVP, проверка гипотез, кодинг — теперь делается в разы быстрее.
Показательно, что почти все презентации самой конференции были собраны с помощью ИИ. Он уже не гость в отрасли, он в ней живёт.
Но ядро страхования устояло. Андеррайтинг, урегулирование убытков — это по-прежнему ручная операционная работа и живые решения. Взять ChatGPT и одним движением заменить оператора не выходит, и причин несколько: грязные данные, нестандартизированные процессы, высокая цена ошибки.
Автоматизация тут возможна, но дорогая, штучная и требует чистки того, что под капотом. Никакого «подключил готовую модель за вечер». ТОП компании рапортовали о «внедренных пилотах». Но про то, что кто-то на этих пилотах сократил 50% (ладно, хотя бы 20%) сотрудников пока тишина.
А теперь наблюдение, ради которого стоило туда съездить.
Пока одна рука отрасли ускоряет выплаты до секунд, другая уже столкнулась с обратной стороной тех же технологий. В автостраховании начали фиксировать ИИ-фрод: злоумышленники генерируют целый комплект документов о ДТП, которого не было, — вместе с фотографиями «повреждений».
И чем быстрее и бесшовнее выплата, тем меньше времени поймать подделку. Упрощение и мошенничество разгоняются вместе.
Получается, системы поддержки решений при урегулировании теперь придётся учить двум вещам сразу: быстро платить по настоящим случаям и распознавать сгенерированный ИИ фейковый комплект. Одно без другого превращается либо в тормоз, либо в дыру в кармане.
P.S. Был и доклад про то, как через сто лет мы будем страховать выбор оболочки для человека и качество вживлённых чипов. Тут я мысленно попросила вернуть меня к грязным данным — с ними хотя бы понятно, что делать. 🙃
❤7
☕️ Пилоты с ИИ есть почти у всех страховщиков. А до реального эффекта дошли единицы.
Вышла моя большая статья на сайте «Страхование сегодня» — про то, почему так.
Если коротко: технологии готовы, не готовы данные, процессы и организации.
Внутри разбираю три ловушки, о которых вендоры молчат на пресейле:
— почему облако упирается в службу безопасности ровно там, где экономия была бы самой большой;
— почему разметка данных съедает до половины бюджета — и её не видно, пока не упрёшься лбом;
— какие процессы автоматизировать не нужно вовсе (спойлер: чат-бот, который заклеивает плохой онбординг, — это забивание гвоздя микроскопом).
Плюс про то, почему пионеры ИИ — не самые богатые компании, а самые организованные.
🔗 Полный текст по ссылке:
https://www.insur-info.ru/analysis/1563/
P.S. Главная мысль, к которой пришла: прагматичное внедрение ИИ начинается с умения сказать «нет» собственным гениальным идеям. 🙃
Вышла моя большая статья на сайте «Страхование сегодня» — про то, почему так.
Если коротко: технологии готовы, не готовы данные, процессы и организации.
Внутри разбираю три ловушки, о которых вендоры молчат на пресейле:
— почему облако упирается в службу безопасности ровно там, где экономия была бы самой большой;
— почему разметка данных съедает до половины бюджета — и её не видно, пока не упрёшься лбом;
— какие процессы автоматизировать не нужно вовсе (спойлер: чат-бот, который заклеивает плохой онбординг, — это забивание гвоздя микроскопом).
Плюс про то, почему пионеры ИИ — не самые богатые компании, а самые организованные.
🔗 Полный текст по ссылке:
https://www.insur-info.ru/analysis/1563/
P.S. Главная мысль, к которой пришла: прагматичное внедрение ИИ начинается с умения сказать «нет» собственным гениальным идеям. 🙃
Страхование сегодня
Искусственный интеллект в страховании — от экспериментов к прагматичному внедрению | Муковозова Анна Михайловна, 6 июля 2026 г.
Страховой рынок прошёл фазу первых экспериментов с искусственным интеллектом: пилоты есть почти у всех крупных игроков, но до промышленной эксплуатации с измеримым эффектом дошли немногие. Автор разбирает — почему ИИ-проекты в страховании буксуют, и почему…
❤2👍1👏1
☕️ У меня, оказывается, две жизни. В одной я разбираю аналитику и ИИ в страховании. В другой — по вечерам собираю пет-проекты. Сегодня про вторую.
Я сделала сервис «Бытовые счета»: он собирает все семейные платежи — ЖКХ, няня, кружки, подписки — в один календарь. Загружаешь квитанцию, он сам вытаскивает получателя, сумму и дату.
Фокус в том, что я аналитик и код не пишу.
Вообще. Весь проект — живой, задеплоенный — собран через Claude Code, ИИ-ассистента для разработки. Строк кода, написанных моими руками: ноль.
Работает это так: описываешь словами «хочу сервис, который собирает семейные платежи в календаре, хочу распознавание счетов, хочу тг-бота, хочу автопривязку по набору слов, хочу, хочу…😁» — и через неделю у тебя MVP с регистрацией, импортом PDF и всем прочим.
Магия? Местами да. А местами — очень специфический квест, где ИИ по три часа ходит по кругу, торжественно объявляя «окончательную правду» уже в третий раз.
О своих приключениях написала статью на Хабр. Пять историй провалов и разбор, почему обещание «теперь каждый сможет программировать» — все еще про маркетинг.
🔗 https://habr.com/ru/articles/1057200
P.S. Самое тёплое наблюдение: Claude, когда заходит в тупик, честно пишет, что зациклился, и извиняется. Не каждый живой программист так умеет. 🙃
Я сделала сервис «Бытовые счета»: он собирает все семейные платежи — ЖКХ, няня, кружки, подписки — в один календарь. Загружаешь квитанцию, он сам вытаскивает получателя, сумму и дату.
Фокус в том, что я аналитик и код не пишу.
Вообще. Весь проект — живой, задеплоенный — собран через Claude Code, ИИ-ассистента для разработки. Строк кода, написанных моими руками: ноль.
Работает это так: описываешь словами «хочу сервис, который собирает семейные платежи в календаре, хочу распознавание счетов, хочу тг-бота, хочу автопривязку по набору слов, хочу, хочу…😁» — и через неделю у тебя MVP с регистрацией, импортом PDF и всем прочим.
Магия? Местами да. А местами — очень специфический квест, где ИИ по три часа ходит по кругу, торжественно объявляя «окончательную правду» уже в третий раз.
О своих приключениях написала статью на Хабр. Пять историй провалов и разбор, почему обещание «теперь каждый сможет программировать» — все еще про маркетинг.
🔗 https://habr.com/ru/articles/1057200
P.S. Самое тёплое наблюдение: Claude, когда заходит в тупик, честно пишет, что зациклился, и извиняется. Не каждый живой программист так умеет. 🙃
👍4❤2
Media is too big
VIEW IN TELEGRAM
Вчера на конференции Data Day помучила немного CDO Сбера Бориса Рабиновича (Старший управляющий директор - директор Департамента управления данными).
Спрашивала про единое Data Lake (общее хранилище данных всех компаний экосистемы). Тк от других представителей ранее звучало, что данные разрознены.
Так вот, ловите инсайт из ответственных уст, — оно есть. Вопрос в его доступности для дочек открыт (на сессии был представитель Самоката, который с удивлением задал вопрос «а как получить»😁).
И по комментарию Бориса Рабиновича, это не просто единый профиль клиента, а именно хранилище мультифич со всех площадок и платформ, на котором можно тестировать гипотезы сегментации, поведенческих паттернов, новых продуктов и прочие интересные штуки, а не только ситуационный маркетинг.
Интересненько…
Возможно, прорывы в персонализированных страховых продуктах не за горами 🤔 😉
Спрашивала про единое Data Lake (общее хранилище данных всех компаний экосистемы). Тк от других представителей ранее звучало, что данные разрознены.
Так вот, ловите инсайт из ответственных уст, — оно есть. Вопрос в его доступности для дочек открыт (на сессии был представитель Самоката, который с удивлением задал вопрос «а как получить»😁).
И по комментарию Бориса Рабиновича, это не просто единый профиль клиента, а именно хранилище мультифич со всех площадок и платформ, на котором можно тестировать гипотезы сегментации, поведенческих паттернов, новых продуктов и прочие интересные штуки, а не только ситуационный маркетинг.
Интересненько…
Возможно, прорывы в персонализированных страховых продуктах не за горами 🤔 😉
🔥4😭1🙉1
☕️ Льюис Кэррол актуален как никогда
Успели ли вы изучить harness — «обвязку» вокруг ИИ-модели?
Так вот, я сама только начала хоть что-то понимать, а уже подоспела новая штука — loop engineering.
Борис Черный, создатель Claude Code, обронил фразу, которая разошлась по всем профильным изданиям: «Я больше не пишу промпты. У меня работают loops — петли, которые сами промптят модель и решают, что делать дальше. Моя работа — писать петли».
По-человечески: два года все учились правильно формулировать запрос к ИИ. Теперь высший пилотаж — не запрос, а система. Ты строишь маленький автономный контур, который сам находит задачу, поручает её агенту, проверяет результат вторым агентом и решает следующий шаг. Проектируешь конвейер и наблюдаешь.
prompt engineering → context engineering → harness → loop engineering.
И не думайте, что удастся отсидеться, уже как раз пора бежать со всех ног, чтобы просто оставаться на месте.
P.S. Я не успеваю успевать. Кто-нибудь знает, что там следующее учить?🙃
Data Driven Management
Успели ли вы изучить harness — «обвязку» вокруг ИИ-модели?
Так вот, я сама только начала хоть что-то понимать, а уже подоспела новая штука — loop engineering.
Борис Черный, создатель Claude Code, обронил фразу, которая разошлась по всем профильным изданиям: «Я больше не пишу промпты. У меня работают loops — петли, которые сами промптят модель и решают, что делать дальше. Моя работа — писать петли».
По-человечески: два года все учились правильно формулировать запрос к ИИ. Теперь высший пилотаж — не запрос, а система. Ты строишь маленький автономный контур, который сам находит задачу, поручает её агенту, проверяет результат вторым агентом и решает следующий шаг. Проектируешь конвейер и наблюдаешь.
prompt engineering → context engineering → harness → loop engineering.
И не думайте, что удастся отсидеться, уже как раз пора бежать со всех ног, чтобы просто оставаться на месте.
P.S. Я не успеваю успевать. Кто-нибудь знает, что там следующее учить?🙃
Data Driven Management
❤2😁2
🦈 Мороженое и акулы
Привет, друзья ☕️
Когда я училась на Data Science, нам приводили хрестоматийный пример ложной корреляции. Якобы во Флориде провели исследование и нашли связь: растут продажи мороженого — растёт число нападений акул. И не сразу сообразили, что связи между ними никакой. Есть третий фактор — лето: люди едят мороженое и лезут в воду.
Ну пример и пример. Но что-то он меня не отпускал, и я полезла проверять.
Оказалось, такого исследования никогда не было. Пример учебный, придуманный, а графики к нему рисуют для наглядности.
И это полбеды. Если бы кто-то правда взялся считать — он бы этой связи не нашёл. Нападений акул на все США в 2000 году было 41 — при 118 миллионах посещений пляжей. Десятки событий в год против миллионов порций мороженого. Такие ряды рядом никто и не додумается положить, а если положить — из четырёх десятков точек ничего значимого не выжмешь.
Но ложные корреляции существуют, и в них попадают всерьёз.
Смотрим статистику по ДМС: сотрудники, прошедшие диспансеризацию, за год реже обращаются к врачу и обходятся компании дешевле. Вывод напрашивается сам — программа работает, гоним всех. А на диспансеризацию приходят люди неслучайные: те, кто и так за собой следит. Не курит, спит, ходит к врачу вовремя. Они болели бы меньше и без всякой программы. Третий фактор — образ жизни.
А ещё, пока копала, нашла прекрасное. В 2012 году в New England Journal of Medicine — одном из самых авторитетных медицинских журналов мира — вышла статья Франца Мессерли: потребление шоколада в стране коррелирует с числом нобелевских лауреатов на душу населения. Связь сильная, r = 0,79. Автор писал с иронией, но многие приняли всерьёз, и график разлетелся по СМИ. Третий фактор там — богатство страны: богатые и шоколад покупают, и науку финансируют.
К чему это всё. Пример с акулами мне дали на хорошем курсе, а оказался выдумкой. Так что перепроверять имеет смысл и то, что дают в авторитетных местах: там тоже люди, и они тоже пересказывают, не проверяя. А на любом графике с красивой корреляцией первым делом искать третью переменную — ту, что объясняет обе оси сразу. Но шоколадками запасаемся! 🙃
Data Driven Management
Привет, друзья ☕️
Когда я училась на Data Science, нам приводили хрестоматийный пример ложной корреляции. Якобы во Флориде провели исследование и нашли связь: растут продажи мороженого — растёт число нападений акул. И не сразу сообразили, что связи между ними никакой. Есть третий фактор — лето: люди едят мороженое и лезут в воду.
Ну пример и пример. Но что-то он меня не отпускал, и я полезла проверять.
Оказалось, такого исследования никогда не было. Пример учебный, придуманный, а графики к нему рисуют для наглядности.
И это полбеды. Если бы кто-то правда взялся считать — он бы этой связи не нашёл. Нападений акул на все США в 2000 году было 41 — при 118 миллионах посещений пляжей. Десятки событий в год против миллионов порций мороженого. Такие ряды рядом никто и не додумается положить, а если положить — из четырёх десятков точек ничего значимого не выжмешь.
Но ложные корреляции существуют, и в них попадают всерьёз.
Смотрим статистику по ДМС: сотрудники, прошедшие диспансеризацию, за год реже обращаются к врачу и обходятся компании дешевле. Вывод напрашивается сам — программа работает, гоним всех. А на диспансеризацию приходят люди неслучайные: те, кто и так за собой следит. Не курит, спит, ходит к врачу вовремя. Они болели бы меньше и без всякой программы. Третий фактор — образ жизни.
А ещё, пока копала, нашла прекрасное. В 2012 году в New England Journal of Medicine — одном из самых авторитетных медицинских журналов мира — вышла статья Франца Мессерли: потребление шоколада в стране коррелирует с числом нобелевских лауреатов на душу населения. Связь сильная, r = 0,79. Автор писал с иронией, но многие приняли всерьёз, и график разлетелся по СМИ. Третий фактор там — богатство страны: богатые и шоколад покупают, и науку финансируют.
К чему это всё. Пример с акулами мне дали на хорошем курсе, а оказался выдумкой. Так что перепроверять имеет смысл и то, что дают в авторитетных местах: там тоже люди, и они тоже пересказывают, не проверяя. А на любом графике с красивой корреляцией первым делом искать третью переменную — ту, что объясняет обе оси сразу. Но шоколадками запасаемся! 🙃
Data Driven Management
❤5