Определила для себя одну из метрик синьорности продакта: количество времени, которое способен самостоятельно ехать в нужном направлении. Не сворачивая «не туда».

«Не туда» — это, чаще всего, делать понятное вместо важного на текущем этапе развития продукта.

Например, летом я делала бота для подбора досуга на вечер: он расспрашивает про мои интересы и хотелки, а потом подбирает подходящий досуг. Представьте: я проверяю гипотезу, что под собранный контекст мой бот сможет подобрать такой досуг, в который пользователь реально впишется.
В процессе тестирования слышу от пользователей, что бот задает слишком много вопросов. И переключаюсь на решение этой проблемы.
Вроде все окей: слышу фидбэк -> делаю пользователям удобнее.
По факту: я ещё не проверила, что под контекст пользователя могу подбирать релевантный досуг, но уже пытаюсь меньшим числом вопросов собрать этот контекст. Если основная гипотеза не будет подтверждена, и продукт окажется нежизнеспособен, я просто потрачу силы на ненужные вещи. Бабки на ветер 🤷‍♀️

Мы с ProductDo решили запустить ещё один поток симулятора про создание LLM-продукта

Наполнение то же: как управлять качеством и безопасностью ллм-продукта, считать экономику, выбирать между качеством, скоростью и стоимостью.

На выходе у вас будет:
- Понимание, что вообще делать, чтобы запустить ллм-продукт и не облажаться
- Практический опыт работы с замером и улучшением качества (база, без которой не сделать ллм-продукт)
- Разбор ваших рабочих кейсов, если принесете их в чат или на Q&A. За последние пол года я поднакопила опыта, есть чем поделиться

Первый Q&A веду я — на следующей неделе, во вторник. Успевайте залететь заранее, подробности на лендосе

🥩 А завтра Андрей Менде (Senior ML PM в Букинге и соавтор этого курса) проведет бесплатный вебинар про RAG:
- Расскажет, как быстро оценивать точность работы LLM с помощью эвалов на своем датасете
- Соберёт простую RAG цепочку на платформе OpenAI
- Покажет, как анализировать и улучшать RAG с использованием трейсов (логов поиска и обработки запроса на каждом шаге)

4 дек 19:00
Онлайн
Всего 100 мест, сколько осталось - я хз (сори!)

Регайтесь в боте

Клод неплохо делает презы в pptx!

Чаще всего для рабочих задач я пользуюсь гпт. Иногда ещё клодом, потому что нравится интерфейс. Предполагала (сравнивала!), что различия между SOTA моделями для моих задач незначительные.

Ну и привыкла, что нормальные презы ллм делать не умеют. Сколько ни пыталась — каждый раз кринж.
Пару дней назад дала ещё один шанс клоду. Прикрепила 2 дока, из которых нужно было слепить презентацию, коротко объяснила принципы и ушла ждать. Он дооолго думал, но в итоге собрал неплохую презу: правильно выделил суть, коротко разложил по слайдам, терпимо расставил блоки на слайдах. А если попросить его воспользоваться скиллом для красивых презентаций (такой есть, да), то даже дизайн получается не всратым.

Короче, клод красавчики. Если не знали, делайте pptx-презы в клоде — реально экономит время.

Сделала игру БАНАН

Видела на редите игру «Hot or cold» — надо угадать слово дня. На каждую твою догадку пишут, насколько ты близок к слову дня. У игры есть костяк постоянных пользователей, а самый популярный комментарий стабильно: «Hate this game, see you tomorrow».

Я быстро втянулась в игру, но редитом не пользуюсь => место для меня неудобное. А ещё игра на английском, что иногда прикольно, но иногда не хочется сидеть со словарем. Ну я и решила по фану сделать точно такую же игру в телеге на русском. Гипотеза, что LLM с этим справится, быстро подтвердилась. Завайбкодила в lovable за пару вечеров простую версию, даже прикрутила аналитику и пуши. Довольна ппц! В основном тем, что от «захотела» до «сделала» прошло очень мало времени.

Разрешаю и вам потратить немного моих токенов 😁

Играть тут: @trybanana_bot

FAQ: почему банан?
На редите в инпуте для слова написано «Try banana» — надо же с чего-то начать угадывать. Мне показалось это забавным. Так и назвала игру ))

Буду пушом вместо неслучившегося пуша

На прошлой неделе была в отпуске. Встречалась с друзьями, разъехавшимися по разным странам. Один из них, разработчик в стартапе, поделился, что его очень бесит, когда его продакт оттягивает запуск, придумывая кучу правок, потому что боится узнать, что продукт провалится. “А я бы хотел как можно раньше узнать, что продукт провалится!” — говорит мой друг. И он прав: с первого раза редко получается идеально. С первого раза получается собрать фидбэк и сделать ещё одну итерацию.

Поэтому вчерашний банан я запустила быстро )) Накидали вы мне знатно в комментариях, но это и круто — сегодняшняя версия игры мне нравится больше. Она лучше показывает близость к загаданному слову, выдаёт не такие тупые подсказки, меньше багует.

Сегодняшние новички доигрывали лучше, чем вчерашние: 73% (66%-80%) против 45% (40%-50%). Конечно, я бы хотела посмотреть и сравнить ретеншн… Но некоторая криворукость затерла всю базу пользователей, так что пуши о новом слове почти никому не дошли :))

Сегодня я ваш пуш — в @trybanana_bot новое слово, играйте 😁

—

Отдельный прикол, что все правки я сделала с телефона, в полёте (!) с самолетного вайфая. Дивный дивный мир!

На этих новогодних каникулах училась кайтсерфингу. Пару раз хотелось всё бросить и пойти играть в волейбол ))

Первые два занятия я чувствовала себя соплей на парусе, потому что он дергал меня в разные стороны, и я не могла удержаться на месте. Стало лучше, когда снизила ожидания до минимума: «Я просто хочу встать на борд и не упасть в первую секунду». И что-то начало получаться!

На следующем же занятии встала и чуть проехалась. Ещё через два — достаточно уверенно каталась в обе стороны, останавливалась и захлебывала носом ведро воды, роняла и поднимала кайт, теряла и ловила борд. И честно говоря, была счастлива.

Самым сложным оказалось не управлять кайтом, а отъебаться от себя. В целом, хороший совет по жизни )

Где училась

Я училась в Занзибаре — хороший спот для новичков, очень теплая вода, зимой сезон. Классная школа — B4
Но! Zanzibar is not for the beginners — это об острове в целом ))

Ещё планировала в Египет — его часто советуют новичкам. Там тоже нашла классную школу и супер отель. Но зимой уже холодновато, а моя осенняя поездка сорвалась

Теперь советуют попробовать сноукайт в Строгино. Если пробовали, расскажите, как оно

СУПЕРИГРА!

Развлекаюсь на каникулах как могу. Загадала на завтра в банане слово сама. Игра такая: кто с меньшим количеством попыток и подсказок угадает слово, тот получит от меня секретный приз. Побороться стоит 😏

Игра начнётся в 00:00 по Мск 7 января и продлится сутки. Как угадаете, пришлите мне в личку скрин, на котором будет написано, что слово угадано (пример в треде).

Победителя объявлю послезавтра. Что за приз, тоже расскажу!

Начинаем в 00:00 по Мск: @trybanana_bot

Думала, сделаю банан по фану за пару часов и оставлю жить своей жизнью. Нифига. Затянуло конкретно! Постоянно хочется доделать ещё какую-то фичу, которую придумала сама или пишете вы в комментах.

К итогам вчерашней игры!

Загадано было слово КРИНЖ. Я была уверена, что его невозможно отгадать. Но победил человек, который сделал это за 12 попыток без единой подсказки. А самый усердный потратил 254 попытки. Тоже без подсказок 🤯

Победитель и близкие к нему получили промик в бренд одежды с тематической футболкой Cringe

Что нового в банане:
- ПЕРВЫЙ угадавший слово дня теперь загадывает слово на следующий день
- Слово обновляется в 12 дня по Мск, чтобы не ждать до полуночи
- После угадывания показывается ваш рейтинг за день
- Команда /myrank показывает ваш рейтинг в момент, когда её вызываете (можно написать, даже если в меню ещё не появилась)

Завтрашнее слово я сбросила. Так что, первый, кто после этого поста угадает сегодняшнее, — загадывает слово на завтра! @trybanana_bot

Надеюсь, ничего не сломается.
Хотя… кого я обманываю. Точно сломается — пишите баги в комменты ))

PS: на фото я сегодня на горе мучаю лавбл и добавляю фичи в банан ))

Опыт, который стоил мне 350€

Я хотела в одиночку завайбкодить и запустить мини-продукт. Критерий был один: продукт должен иметь потенциал 100+ пользователей и ретеншн — так интереснее.

Случился банан и бесценный опыт. Наслаждайтесь 😌

Дропнула базу в 500+ пользователей — разделила тест и прод
Как только пользователей стало больше 100, я поняла, что не могу тестить изменения на проде — в процессе что-то перестаёт работать, и это портит людям игру. Я быстро дошла до тестового бота, а вот разделить базы даных додумалась только после того, как дропнула продовую ))

Положила банан за 10 секунд — сделала кэши
Кто играл, наверняка, замечал, как банан лежал. Дело было в лимитах. В Lovable есть встроенная интеграция с ллм. Это удобно, но у них лимит ~50 запросов в минуту. Когда я сделала генерацию слов-подсказок в онлайне, у меня использовалось 11 запросов к ллм на каждую из них. Нехитрая математика подскажет вам, от какого количества пользователей банан умирал. Позже я пофиксила это кэшами и прогревом кэшей на завтра, но ачивку “Положить банан за 10 секунд” получила

Уговорила себя закрыть техдолг
Добавлять фичи мне нравилось, а вот убирать то, что я больше не использовала, — лень. Но чем дольше так продолжалось, тем сильнее тупил банан. Пришлось возвращать долги:
• Сгенерила документацию и попросила лавбл смотреть в неё, когда добавляла большие фичи. Так он меньше терял места, куда нужно внести изменения
• Попросила написать тесты, когда задолбалась играть в тестировщика
• Нашла на реддите промпт для оптимизации проекта и попросила найти всё, что можно удалить / упростить / из-за чего проект может развалиться

Итог — Minimum Lovable Product в Lovable.
Запустить в соло не так сложно, как кажется. Наоборот, весело и затягивает. Но проверять гипотезы стоит быстрее. До того, как закончатся деньги, отпуск или развалится продукт.

Yet another huinya

Случайно запланировали 2 параллельные инициативы в один и тот же ресурс разработки? Юристы не согласовывают критичный функционал перед релизом? Новый ключевой стейкхолдер предлагает переделать только что переделанную стратегию? Yet another huinya. Не такое вывозили — и это вывезем.

В детстве я вообще не понимала смысл эмоциональной реакции: “Проблема уже есть. Расстраиваться — не поможет. Надо просто решить проблему”. Сейчас я, конечно, понимаю, что эмоции важны, но они всё ещё не связаны с решением проблемы. Два процесса могут существовать параллельно: (1) да грустно и ебано, (2) давай придумаем варианты решений, пробуем первое по приоритету, а если не получается - пробуем другое.

Мне недавно дали фидбэк: “Ты всегда спокойна. Даже если происходит какая-то дичь, и все переживают, ты остаешься устойчивой и рациональной”. Мне было так приятно! На самом деле, я очень эмоциональна. Внутри часто происходит мыслительная буря. Но мне нравится, что это стало меньше просачиваться наружу. Тут как с детьми: ребёнок упал, и ты испугалась, — он тоже испугался и заплакал. Ты спокойна — он встаёт и идёт дальше.

Спокойствие — это не отсутствие эмоций. Это выбор не заражать ими других. Так что в следующий раз, когда всё пойдёт по одному месту — yet another huinya. Разберёмся.

Команда выкатила бомбу.

Продактов на рынке полно. А вот тех, кто умеет делать AI/ML продукты — мало. Потому что мест, где это вообще делают, тоже немного.

Мы делаем. Умеем. И решили научить.

Бесплатный курс для PM’ов, которые хотят стать AI/ML продакт менеджерами. Формат stage-gate на реальных кейсах — проходишь полный цикл от постановки задачи до запуска, как в настоящем продукте.

Опус, что ты со мной делаешь

Пытаюсь системно прокачать навык ведения переговоров. Как доносить свою позицию людям с другой картиной мира, слышать их, и находить решения, в которых выигрывают обе стороны.

Научиться вести переговоры (для меня) сложнее, чем прокачать харды. Как и любой навык, переговоры качаются на практике, — одной теории недостаточно. Вот только, чтобы прокачать хардовый навык, ты садишься дома и делаешь задачки. А тут единственный способ практиковаться — ошибаться на людях. В идеале ещё и разбирать ошибки с кем-то, кто шарит. Раньше у меня была возможность делать это в клубе по переговорам, но мне всегда было сложно косячить на глазах у кучи людей. Ещё и тех, чьё мнение не безразлично. Ещё и разбирать ошибки публично. Несколько раз начинала и бросала, потому что не вывозила давление.

Спасибо нашему времени, в котором существует Opus 4.6. Закидываю ему подробный контекст; разбираю, у кого какие картины мира и интересы; что я сказала; как на это отреагировали; почему не сработало и как можно было иначе. Сразу прошу войти в режим симулятора: он дает ситуацию, я отвечаю, он разбирает и дает несколько раз скорректировать ответ, потом показывает свой. А ещё я попросила его запомнить, что мне важно прокачать этот навык, и теперь он во всех диалогах замечает, если я снова скатываюсь в привычные паттерны. Как же это хорошо! И в отличие от гпт он не скатывается в "ты ЛУЧШАЯ, твоя позиция супер”. Работает с фактами и логикой. Оценка субъективная, но разница ощущается.

Хотела бы, чтобы за этот пост мне заплатили, но хах — где я должна жить для этого ))

Ты долго считала, что вырастешь и станешь крутой, уверенной, добьешься успеха, получишь признание. Правда в том, что с возрастом это состояние не приходит. Оно приходит с действиями. В любом возрасте.

Хочешь стать большим руководителем — не жди, что тебя заметят и назначат. Узнай, как становятся руководителями. И убедись, что тебе этого, действительно, хочется ) Если да, — учись тому, чего не хватает. Спойлер: недостаточно просто хорошо делать свою работу, нужно еще и отлично выстраивать связи, выравнивать картины мира, убеждать.
Хочешь стать известной — не жди, что умные люди, чей респект тебе важен, будут читать твой блог и находить в нём что-то новое. Известность — это масштаб, а масштаб строится от потребностей широкой аудитории. То, что для одних очевидно, может для других нести ценность. Придётся выбирать: масштаб или интерес для узкой аудитории.

Чтобы чего-то добиться, придется поработать с желанием быть правильной. "Маше повезло, потому что она красивая, и ей всё достаётся просто так. А Косте - потому что у него родители богатые и дали стартовый капитал. Я не такая. Я всем докажу, что можно чего-то достичь честно". Можно. Но зачем? Пока будешь кому-то что-то доказывать, Маша и Костя будут жить свою счастливую жизнь. И плевать им на мнение окружающих. Подумай, в чем твоя нечестность, и используй её.

Тебе нужна энергия. И это, наверное, самый важный пункт. Ты можешь ехать на силе воле и амбициозности — этого у тебя больше, чем у нескольких людей вместе взятых. Но бесконечно так жить не получится. Придётся от чего-то отказываться. А иногда — почти от всего, если вовремя не заметить, что энергия на нуле, и продолжать вывозить по инерции. Ищи любые способы поддерживать свою энергию на высоком уровне. Люди любят тебя за это. И тебе в этом состоянии многое дается легче. Не ведись на внутреннее желание "пострадать", потому что всем тяжело. Не всегда и не обязательно должно быть тяжело — это выбор. 

Верь в себя, всё получится. И с днём рождения ❤️

Чем быстрее появятся эти люди, тем быстрее у меня вернётся время писать в канал 😅

Пост с вакансиями к нам

Мы строим AI-ассистентов для B2C в Т-Банке. Не просто «прокси к чатгпт», а продукты, которые реально решают задачи пользователей. Под капотом LLM-агенты, разные модальности. Масштаб — аудитория банка и больше.

Мы вложили много сил, чтобы построить в команде культуру, которая позволяет нам реально быстро двигаться. Быстро проверяем гипотезы, быстро меняем что-то в продуктах, если об этом сигнализируют данные, жёстко отсекаем лишнее. А когда находим работающее решение, вкладываемся в надёжность для масштабирования.

Ищем таких же бодрых ребят, готовых врываться и помогать нам двигаться ещё быстрее:

Прожект. Мы запускаем продукты с нуля, поэтому помимо классического деливери нужно думать о юридических рисках, продвижении внутри экосистемы и снаружи, стыковке десятка людей из разных команд, чтобы все двигались в одну сторону. Ищем человека, который возьмёт эту координацию на себя, поможет держать высокий темп и превращать сложный запуск в понятный и управляемый процесс. Откликнуться: https://polls.tbank.ru/s/cmoa961xe008z0dw1eyti1qsz

Аналитики. Нам нужны и продуктовые, и дата-аналитики. Продуктовые отвечают за метрики бизнеса и продукта: формулируют, что мы вообще измеряем, дизайнят AB-тесты, считают эффекты, помогают команде принимать решения о том, куда двигаться дальше. Дата-аналитики отвечают за метрики модели: придумывают, как измерять качество, отвечают на вопрос, стала ли модель лучше для пользователей и продукта, находят инсайты из диалогов и гипотезы для экспериментов. В том числе ищем лида аналитики качества — человека, который выстроит этот процесс на уровне всего направления. Откликнуться: @pekaseee

Продуктовый дизайнер. Ищем человека, которому тесно в рамках «нарисовать экран». Нужно проектировать новый тип взаимодействия человека с AI: не просто чат, а продукт, который решает задачу целиком. Важно уметь быстро разбираться в сложных сценариях, работать с гипотезами, погружаться не только в интерфейсы, но и в поведение модели, доверие и ощущение контроля у пользователя. Откликнуться: https://tinkoff.ru/career/friends/58n7K21Vet7

ML-инженеры. Ищем людей с опытом разработки production-ready агентных и RAG-систем, тюнинга LLM (SFT, RL) и построения ML-инфраструктуры. Нужны специалисты, которые умеют быстро проверять гипотезы, работать на всех уровнях стека — от создания бенчмарков и evaluation пайплайнов до инференса, мониторинга и выкатки моделей в прод. Важно глубокое понимание оценки качества LLM: ассесорская разметка, LLM-as-a-judge, построение систем оценки и работа с метриками. Ищем людей, которым комфортно работать в условиях неопределённости и доводить решения от эксперимента до рабочего продукта. Откликнуться: @solemn_leader

Тимлид разработки. Нужен человек, который горит LLM-тематикой (пет-проекты, эксперименты, коммерческие проекты — неважно, главное чтобы по-настоящему интересовало). Умеет строить тандем с продактом и двигаться быстро. Не боится высокого темпа внутри большой компании. Из хардов: Python-стек и использование LLM в кодинге — обязательно. Собирать с нуля не придётся — нужно выстроить процесс и задать темп. Откликнуться: @voykovalexandr

Если узнали друга или знакомого в одном из этих описаний, перешлите ему/ей пост. Сделаете меня чуточку счастливее ))