Хожу сегодня по офису, а меня тут по всем экранам показывают с диско шаром.

Промо настолько классное, что страшно теперь облажаться на самом мероприятии ))

Как мы арену sbs изобретали

У каждого продакта наших LLM ассистентов есть дерево метрик. Наверху — деньги, доля рынка. Посередине — ретеншн, воронка... Но в основе всего — качество.

О каком ретеншене может идти речь, если приходишь в тревел-ассистента за билетами, а он тебе: «Здесь вам не билетная касса!» (пример из реального прошлого). Прежде чем качать конверсии, надо убедиться, что продукт работает адекватно на большом датасете.

Мы постоянно замеряем качество своих продуктов и стремимся быть лучшими по нему. Но как понять, что мы реально лучшие?

Решили честно сравниться с конкурентами — в тех же джобах и на тех же датасетах, что используем для себя. Устроить свою арену, чтобы понять, где мы относительно других продуктов, обновить бенчмарки, найти точки роста. Не только в России, где конкуренты раз два и закончились, а во всём мире. Не только с аналогичными продуктами, но и с самими моделями. Какой смысл в ассистенте, если ChatGPT из коробки отвечает лучше?

Прежде чем сравниваться (и вообще измерять качество), нужно определить, что такое хороший ответ. «Расскажи про акции Т-Банка, хочу понять, покупать или нет» — что именно должно быть в ответе? Как понять, качественный он или нет?

Мы делаем так:
1. Пишем руками идеальные ответы
2. На их основе формируем критерии качества
3. Размечаем датасет с ответами, которые генерирует продукт, по этим критериям и получаем метрику качества

Остаётся проблема: идеальность ответа мы определяем сами, пусть и опираясь на исследования, оценки пользователей. Чтобы сравниться с конкурентами честнее, мы решили провести свою арену на пользователях. Классический sbs (side by side), который вы могли видеть в интерфейсе ChatGPT:
1. Покажем людям 2 обезличенных ответа на один и тот же запрос
2. Попросим выбрать лучший
3. Попарно сравним всех конкурентов

На выходе получим рейтинг, основанный на мнении реальных людей. Сравним его с рейтингом, который получили в результате разметки по нашим критериям, и откалибруем.

Так мы получим реальную картинку, насколько наш продукт хорош в глазах пользователей. И даже больше:
- Рейтинг конкурентов по качеству
- Обновленные бенчмарки
- Откалиброванные критерии качественного ответа
- Список улучшений нашего продукта

Кайф!

Арена, sbs — не новое изобретение. Всё уже давно придумано. Нужно только вовремя подсмотреть.

Типичное рабочее место продакта-диджея-актрисы хахах

Подхватили тренд с утренними рейвами в кофейнях — устроили такое в Т! Смотрите

Папочки со знаниями

Загонялась сегодня, что давно не изучала ничего нового. Для меня это прям базовая потребность. Разложила знания, которые мне важно получать, по папочкам:

Есть папочка со знаниями «ни для чего» — мне это просто интересно: рейв культура в Берлине, монтаж видео в ретро стиле

Есть папочка со знаниями для работы: ллм и как технически из этого строить продукты, стратегия Т и отдельных продуктов

Есть папочка, которая в моменте не нужна, но расширяет контекст, как работает мир. И может неожиданно выстрелить в рабочих решениях: как устроена логистика между странами, из чего состоит фин отчет компании и как его читать

Ещё есть папочка без знаний, но для развлечения/отдыха: мемы, музыка

Вот, между этими папочками мне важно переключаться и регулярно пополнять их новым. Иногда в режиме сдвг: узнать по верхам, но сразу много.

В идеальном мире хотелось бы выбирать тему в одной из папочек и быстро подтягивать себе в мозг контент по ней, не тратя время на поиск и потребление: «Раз — и всё знаю». Но тогда я сама стану искусственным интеллектом ))

Наконец-то до людей с простой подпиской докатилась GPT-4.5. Наслышана, что она хороша в текстах и эмоциональном интеллекте — очень ждала потестить в редактировании моих черновиков.

Вердикт — пушка! С одного примитивного промпта переписала мне черновик в конфетку. Я давно редактирую практически всё, что пишу, с gpt — но раньше это помогало только собрать структуру или найти косяки в логике. Использовать даже куски текста as is было невозможно. Теперь, кажется, письменная коммуникация станет реально проще.

Пользуйтесь!

Чуть изнанки моих выходных и работы над симулятором про LLM продукты 🤪

А вы как выходные проводите? )

Испытываю детский восторг, когда у ассистентов на стадии закрытой беты появляются первые суперлояльные пользователи

Прежде чем раскатывать ассистентов на большую аудиторию, мы много и нудно тестируем их на маленькой, выдрачивая качество ища product market fit. Нет смысла катить на всех продукт с низким ретеншном: нальёшь людей, они попробуют и больше никогда не вернутся.

Так вот, пишет мне продакт тревел-ассистента: «о, есть несколько человек, которые пользовались ассистентом 5-7 раз за последний месяц». И самое кайфовое, что реально пользуются джобами, которые сложно решать через интерфейс — перебирать авиабилеты на разные даты / вводить кучу фильтров. В такие моменты понимаешь, что всё не зря 😍

PS: оставила сегодня ноут в офисе, чтобы вечером отдохнуть от работы, но как тут!

3 рекомендации от меня — все разные, читайте заголовки

Здесь могла бы быть пометка о рекламе, но я решила, что и так достаточно богата (хаха). Просто делюсь тем, чем сама пользуюсь

Connectable Jobs — канал с зарубежными вакансиями
Знаю про него со времён перехода из Авито. Тогда я рассматривала вариант поработать не в РФ, но искать такие вакансии — отдельный скилл. Вот этот канал делает моя знакомая — у них есть пул из 200+ компаний, у которых русскоязычные фаундеры/сотрудники. Помимо вакансий публикуют истории своих читателей, кто получил офферы в InDrive, JetBrains, Replika и другие компании. Идеально для тех, у кого фокус на зарубеж без привязки к конкретной локации.

Интенсив для руководителей от Леры Розовой
Прохожу его сейчас сама с ещё пятью лидами из AI центра. После блока про стратегию переписала часть своей стратегии — поняла, как структурировать мысли. А раз в 2 недели мы собираемся с лидами и вместе решаем кейсы из этого интенсива. Это прям отдельный кайф, потому что у каждого разный опыт, и обмениваться им оказалось супер топ. Кмк интенсив зайдет руководителям с небольшим и средним опытом.

Insight — карьерные коучи
Приходила к ним в декабре разобраться с микро-кризисом, как дальше развиваться в Т. После первой встречи и нескольких часов рефлексии поняла, что мне надо, сформулировала это в текстовом виде, поговорила с руководителем и в результате расширила зону ответственности. Сейчас снова многое сложно и непонятно — а для меня это важно в работе. Часто закидываю друзьям, кто потерялся в карьерном развитии.

Пользуйтесь ❤️

Куча каналов пишут, что гпт обновил генерацию картинок. А я что?

А я покажу! Нарисовала свою ex-коллегу, гениальную пиарщицу, Танюшу: смотрите 😂

PS: лицо Танюши настоящее

Нарисуй маму или как мы запускали генерацию картинок в Джуниор-ассистенте

Летом на IT-стендапе рассказывала, как мы работали с безопасностью в Джуниор-ассистенте. Собрали тогда большой эксель файлик с потенциальными опасными запросами от детей. Учились их правильно обрабатывать и не развивать диалог. Назвали «Опасный датасет».

Тогда мне казалось, что это самое весёлое и одновременно нервное (дети всё-таки, нельзя ошибаться!), что встретится в работе. Но как же я ошибалась…

Недавно запускали генерацию картинок в том же Джуниор-ассистенте. Запросы из опасного датасета мы, конечно, не рисовали — модерация по тексту сделана хорошо. Но вот на безобидное «Нарисуй маму» выдавали кормящую женщину топлесс в трусах с надписью "mom". Пришлось создавать «Опасный датасет 2.0». Шучу. Пришлось модерировать не только текст, но и картинки.

Команда знатно постаралась, чтобы допустить эту фичу к проду. И запускались сначала на сууупер небольшое количество пользователей, отсматривая глазами каждую картинку.

Сейчас уже генерация картинок доступна всем пользователям джуниор-ассистента. И процесс поставлен на рельсы: картинки автоматически размечаются, потенциально опасные отдаются на отсмотр нам. Большое достижение команды, что ни одной реально опасной картинки на проде не было. Разве что, с количеством частей тела иногда промахиваемся. Но детям всё нравится — метрики в небесах!

Кеков кейсов в процессе работы было много. Ксюша, продакт Джуниор-ассистента, написала большой пост про них. Читайте, хихикайте, поддерживайте Ксюшу лайками 👼

Современные дети — первое поколение, для которого LLM-технологии — привычная часть жизни. Они ОЧЕНЬ быстро адаптируются к появляющимся продуктам. Вы видели Status? Это такой твиттер с AI-персонажами — у него с января уже 10М скачиваний! Ещё пример — я недавно приходила к студентам Центрального Университета — они все знают, что такое LLM и как оно работает, пользуются разными решениями.

Одновременно с этим от взрослой аудитории часто слышу: “Ну GPT знаю да, пробовал один раз, но не пользуюсь”.
Дисклеймер: не судите по себе, мы с вами оч смещенная аудитория 😉

Мы в ассистентах много думаем про аудиторию — кто наши пользователи. Выискиваем early адоптеров, обучаем, завоёвываем доверие… Тем временем, детский продукт летит с невероятной скоростью — «палку втыкаешь, и она зеленеет». Недавно проводили АВ с персонажами в Джуниор-ассистенте — после остановки АВ (для подведения результатов) дети начали писать в поддержку «ВЕРНИТЕ».

Детские генеративные продукты сегодня, в основном, про развлечение, творчество и образование. Но дети вырастут, а привычки останутся. Просто их задачи станут сложнее и серьёзнее.

Например. В школе ты мог разобраться в стереометрии, попросив AI-помощника объяснить «на кошечках и собачках». Так почему во взрослой жизни должен самостоятельно разбираться, как открыть ИП или подать декларацию, пробираясь сквозь непонятный бюрократический язык?

Так что если кто-то вам говорит, что ваши продукты из будущего никому не будут нужны… будут. «Завтра» точно будут. Но «сегодня», реально, придётся попотеть — привычки менять сложно.

Хеппи бёрсдэй ту ми

Простите, кому не отвечаю, — медленно разгребаю личку 😘

DevCrowd снова запустили исследование русскоязычных продакт-менеджеров. Уже четвёртое! Люблю наблюдать за тем, как меняется наш продуктовый мирок.

Пройдите опрос до конца недели, если ещё не: https://survey.alchemer.eu/s3/90815016/dvcrowd-product-2025

Собрала сегодня MVP ассистента, который должен проверять домашки на нашем старом курсе Продукт и точка. Курс мы уже не проводим, но самостоятельный тариф иногда покупают — решать кейс без ментора сложно.

Собрала GPT для одного из заданий курса:
- Выбрала задание про подготовку исследования, чтобы не долбаться с цифрами
- Собрала несколько файликов из материалов курса по этой теме: презы, чек-листы. И даже вытащила транскрибацию записей с занятий, где студенты рассказывали свои решения, а преподаватели давали фидбэк — это можно использовать как хорошие примеры
- Написала промпт в GPT, подгрузила файлики и… всё. Фидбэк по заданию для кейса из курса работает хорошо ✨

Очень хотела превратить это в бота в телеге, но так и не смогла заставить Assistants API нормально искать по моим файликам. Зато поднять бота в телеге с вызовом GPT для меня теперь задачка на 2 минуты, кайф!

Напоследок, решила проверить, получится ли сделать GPT не только для одного задания из курса, а в целом вокруг исследований. Чтобы бот давал фидбэк на разные задачи: проверить гипотезы, проверить вопросы для интервью итд. И кажется, оно неплохо работает. Точно лучше, чем гпт из коробки. Можете потыкать и написать в комменты, че думаете.

GPT тут: https://chatgpt.com/g/g-67f8effc39cc8191b1ddaf86f2ff7f32-casemate-research

PS: да, когда-то один раз я оплатила аккаунт разработчика картой Кирилла, так что теперь GPT кричит, что я Кирилл. )

Познакомилась в отпуске с ребятами, которые сделали тг-бота с доступом к ChatGPT и другим моделям. Попробуйте угадать, какая у них месячная аудитория. 5000000. 5, КАРЛ, МИЛЛИОНОВ человек в месяц!

Сейчас сервисов с доступом к LLM много. Фишка в том, что они сделали быстро. Придумали, быстро разработали мвп (доступ к гпт через телегу), запустили. Всё.

Быстро тестировать гипотезы — база. Но эта история всё равно отрезвляет: а точно твой мвп — мвп? Точно нельзя запустить что-то быстрее, собрать фидбэк и понять, что на самом деле надо делать?

GPT из прошлого поста я собрала ровно на этой волне. Да, моя полноценная идея шире и сложнее, но захотелось собрать хоть что-то, что можно закинуть в канал и дать потыкать. Для меня — пара часов работы, для кого-то — уже полезный инструмент. Пусть и милипиписечный.

Короче, тестируйте быстро. И общайтесь с теми, кто это, по-настоящему, умеет делать.

Недавно мне написала Наташа Губарева: «Мы тут с классными девчонками задумали собрать папку».

Я редко соглашаюсь на взаимный пиар, папки, рекламу — мне тяжело писать посты, которые «надо», а не которые «хочу». Но в эту папку очень захотела. Посмотрите, на ряду с какими классными девчонками мне предложили быть:

Собственно, Наташа Губарева, Head of RnD Team в HR-маркетинге Яндекса.

Настя Карпова, главред журнала "Большие идеи" (ex-Harvard business review), создатель премии Forbes 30 under 30.

Аня Ковалева, кофаундер агентства подкастов Шторм, автор подкаста "Ковалева слушает".

Даша Лукина, brand marketing эксперт, ex. brand director SETTERS.

Аня Бичевская, основатель школы метанавыков HUMANITY.

И я.

Вау.

У нас разный бэкграунд. И мне особенно нравится, что мы объединись не вокруг него, а вокруг общих ценностей:
- Авторство — контента, проектов, бизнесов, собственных жизней. Мы постоянно придумываем, создаем, меняем и меняемся.
- Любопытство — мы много исследуем и пишем о собственных открытиях.
- Большой опыт и экспертиза в коммуникациях в широком смысле этого слова.

В ближайшие 3 недели в каждом из каналов планируем рассказать:
1. О главных проектах в своей жизни и что за каждым было скрыто от посторонних глаз
2. О главном "полезном пинке" в своей жизни — неприятном в моменте, но очень полезном вдолгую
3. О своей суперсиле в коммуникациях, и как ее можно развить другим

Ищите эти посты с хештегом #brilliantgirls и подписывайтесь на папку, чтобы следить за всеми классными девчонками сразу 🩷

когда заебала гпт настолько, что... 😅

Спасибо Т, было супер ❤️‍🔥

Перешла на электронную трудовую

Кайфовая команда — это когда почти во всех путешествиях за время работы в Т была с кем-то из коллег 💔

Сейчас на регате :)
А всем, кто не в отпуске, — лучи поддержки. Завтра выходные!