Публичные уязвимости, уф

Добрались в некоторых ассистентах до того, что оценивать «точность» ответов нам недостаточно. Нужно ещё и уметь оценивать релевантность выдачи.

Для тех, кто пропустил: мы с командой делаем вселенную ассистентов на базе LLM. Почитать тут: https://ai.tbank.ru/assistants/

Например, помогаешь человеку подобрать отель. Недостаточно удовлетворить запрос: «светлая комната с большими окнами в отеле без детей». В идеале, показать те отели, которые зайдут именно этому человеку. Как измерить первое, понятно, — проверяешь, что все показанные отели светлые, с большими окнами и НЕ для отдыха с детьми. А вот как измерить релевантность?

Тут мы какое-то время поизобретали велосипеды. Доизобретались до существующих базовых метрик ранжирования. А когда поняли, что совсем упарываемся, пошли подтягивать матчасть. После ~часа залипания в статью на хабре, поняла, насколько ж всё просто, красиво и сто лет как придумано за нас. Если интересно, почитайте сами, там понятно.

К чему я это

Во-первых, просто поделиться детским восторгом, который испытала, когда мы нашли решение задачки, мучившей нас последнее время: «Как блин это измерить?». Ещё больший восторг, когда осознали метрики — они настолько логичные и учитывают всё, что хотелось учесть, что я прям пищала от кайфа!

Во-вторых, напомнить, что нормально чего-то не знать. И даже не сразу понять, что именно нужно знать. Я и раньше думала про эти метрики. Но поняла, что именно нужно искать, только после того как услышала странную аббревиатуру на встрече и записала её в заметку, чтобы потом погуглить.
Главное — уметь признаваться себе в том, что какой-то экспертизы может не хватать и не бояться её искать: в статьях, курсах или людях, имеющих нужный опыт.

Если вы чего-то не знаете, всё с вами нормально. Просто идите ботать 🙃

Ищу мэтч! Если ты работал с LLM / поисковыми / ML продуктами, напиши мне: @annapodobrazhnykh

Хотим усилить один из наших продуктов человечком с сильным техническим бэкграундом. В идеальном мире я вижу в команде продакта с опытом работы в поисковых / LLM / ML продуктах. В менее идеальном, это может быть не продакт — но именно такой экспертизы сейчас не хватает.

Если у тебя есть нужный опыт, напиши мне. Если знаешь человечка, у кого есть, — перешли ему этот пост. Если просто хочешь помочь — лайкни пост❤️

Почитать подробности в ноушн (пока ноушн не закрыли 🥲)
Откликаться мне: @annapodobrazhnykh

Нашла пользу в том, что считала бесполезным

Когда мы готовим новый спектакль (кого я обманываю, кто читает инструкции заранее) когда мне не нравится, как я играю роль, я беру текст пьесы, загружаю его целиком в GPTs и общаюсь со своей героиней.

——

Поболтать с персонажем из книжки — первое, что я сделала, когда появился GPTs. Загрузила Гарри Поттера и поболтала с Дамблдором. Ещё часто натыкалась на интервью с историческими личностями, созданными таким же образом. Всё это было просто прикольно и фаново, реальной ценности я в этом не видела.

Но как-то раз, исследуя Character.ai, попробовала создать своего персонажа. Первое, что мне пришло в голову, — описать героиню из спектакля. И это так круто сработало, что мне захотелось дать больше контекста (в character.ai можно описать всего пару абзацев). Тогда я зашла в GPTs, загрузила текст пьесы целиком и начала задавать миллион вопросов своей героине: о её детстве, характере, внешности, позах, способе выражать эмоции…

Это оказалось значительно более залипательно, потому что для меня в этом есть ценность. Мне это помогает понять персонажа => более точно сыграть роль. Конечно, и характер, и внешность персонажа можно придумать самой, но GPT ускоряет процесс — даёт скелет, поверх которого я уже меняю детали, которые хочется сделать по-своему.

Вот и получается — считала генеративных персонажей супер бесполезными, а теперь сама получаю от них пользу))

PS Если интересно поболтать с моей героиней, велком

Сколько я стою? ₽₽
Ну, не я лично, но каждый из нас))

Знакомые ребятушки запустили IT-сообщество getmatch (Glassdoor на минималках). Инсайдеры из российских IT-компаний анонимно рассказывают, сколько на самом деле платят, приходится ли перерабатывать, есть ли токсики в команде, есть ли шансы вырасти по зарплате в компании и что для этого делать.

Я так кайфанула с канала, что не смогла не поделиться. Ребята отслеживают реальные зарплаты продактов, разработчиков, дизайнеров, ML-щиков и легко отвечают на вопросы типа «Как выросла зарплата продактов за 3 месяца?» или «Кто зарабатывает больше продакты или проджекты?». Я даже особо не знала, где можно быстро посмотреть реальные рыночные вилки — «ну, посерчить вакансии или какие-нибудь свежие исследования», а тут все цифры на блюдечке.

Там же ребята делятся опытом прохождения собесов, рассказывают, что спрашивают на секциях…

Канал прям хорош, особенно если карьерный вопрос для вас сейчас стоит остро. Рекомендасьён.

@g_jobchannel

Собрались девочками из команды после работы... и дружно читаем про новую модельку от OpenAI, o1

Мой большой фокус сейчас на команде, но писать про это я почему-то… боялась? стеснялась? А вообще-то, эта часть работы мне очень нравится, и есть чем поделиться. Да, в воскресенье))

Хочу сегодня порефлексировать, кого я считаю классным продактом, какие качества ищу в людях, которых нанимаю, и чему стараюсь соответствовать сама.

Дисклеймер: за последний год активной работы с командой, наймов и увольнений, я убедилась, что волшебных таблеток ВООБЩЕ не существует:

- Мне казалось, что работать со стажерами сложно, потом поняла, что и с синьорами не всегда легко. А стажеры бывают покруче некоторых мидлов.

- Думала, софты прокачать сложнее хардов, поэтому на собесах больше внимания обращала на софты. Поняла, что бывают ситуации, когда на конкретную позицию нужен человек с конкретными хардами, чтобы не тратить время на изобретение велосипедов из-за отсутствия экспертизы.

Всё очень зависит от контекста, нельзя сказать «это всегда важно, а это всегда — нет». Но есть качество, которое мне неизменно нравится — умение взять ответственность и дотащить до результата. Каким способом — пятый вопрос: хочешь, — исследования проводи, хочешь — доставай инсайты из людей с нужным опытом.

Таких продактов видно в работе: даёшь им зону ответственности, и она расцветает; вкидываешь идею или вопрос — человек прорабатывает и возвращается сам. Не приходится напоминать несколько раз, принимать решение по каждому чиху… Человек сам задает нужные вопросы, сам находит нужных людей, не брезгует делать что-то руками, если нет времени ждать, когда, например, аналитик освободится. Не боится принимать решения и привносить своё видение. Проактивно рассказывает, что получается, и доводит до результата, даже если по дороге приходится разгрести кучу непонятного.

И да, бывают сложности: не хватает опыта, ресурса, не получается, но ты об этом тоже узнаёшь проактивно и можешь вовремя помочь.

Наверное, то, что я описала, — это иметь отношение к тому, что ты делаешь, и считать продукт своим. Это я ценю в людях, с которыми работаю. И постоянно перепроверяю в себе.

Делитесь, на что вы особенно обращаете внимание, интересно!

В кружочке ничего не слышно, но там что-то типа «это самый сложный яхтинг в моей жизни». Он оказался настоящей проверкой на прочность))

Я как-то спрашивала друга, который вырос из СРО в СЕО, что изменилось. Он сказал, что теперь некому пинать — либо ты сам ставишь себе цели, либо никто. Вот у меня сейчас похожие ощущения. Переложить ответственность не на кого.

Мы пошли одной лодкой, сами выбрали локацию, даты, маршрут. И представьте себе ситуацию: первый день путешествия, дует больше 20 узлов (это довольно много), волна 2-2,5 метра, и вы идете 10,5 часов. Новички в шоке, у меня ощущение, что я уже неделю в этом путешествии.

На второй день обнадеживающе кайфовая погода, солнышко; встаешь на якорь в красивом месте… А под вечер смотришь прогноз, и понимаешь, что ночью должен подняться ветер, и место, где ты стоишь, вообще не самое лучшее. Нужно решать, что делать. Ближайшие марины заняты — выбираешь более укрытое от ветра место для якоря на ночь. На новом месте получше, но волна всё ещё сильная. Расслабиться и поспать сложно — понимаешь, что, если что-то пойдет не так, разгребать тебе — больше некому. А ещё хочется не забывать про вайб и делать путешествие кайфовым для команды. Поэтому параллельно придумываешь и/или участвуешь в движухах с людьми, стараясь не подавать виду, что в этот момент перебираешь в голове миллиард стрёмных вариантов развития событий, и что делать в каждом из них.

Последний день случился на сутки раньше, чем должен был. Но и это было принятым решением. По прогнозу на следующий день должен был быть сильный штормовой ветер. Я не уверена в своих силах настолько, чтобы без опытных капитанов пришвартоваться в такой ветер. Это просто небезопасно для людей. Поэтому я решила пожертвовать одним днём в море… и точно никого не убить)))
Зато придумался новый план: поехать в освободившийся день в соседний город, походить по магазинчикам, отмокнуть в спа… Команда осталась довольна — это ли не главное.

Этот яхтинг оказался для меня про ответственность и принятие решений. Иногда непростых и «недвижовых», но взвешенных и, как мне кажется, правильных.

Снова есть о чём подумать, что перенести в рабочую и обычную жизнь. Иногда риск не стоит того, чтобы придерживаться намеченного плана — окей менять, даже если кому-то это покажется скучным.

Когда-то я не умела выступать. Я уже почти не помню это время, но! Я ужасно стеснялась говорить на публике, хотя с детства любила внимание, — ещё выступая на соревнованиях по фигурному катанию.

Именно публичные выступления давались мне сложно — была тихой и неуверенной. Всё поменялось, когда я устроилась на свою первую в жизни работу — преподавателем в учебный центр Maximum. Мы помогали школьникам подготовиться к ЕГЭ и ОГЭ. Перед началом преподавания у нас было обучение. До сих пор помню «базовую методику»: как смотреть в глаза людям, жестикулировать, перемещаться, менять интонацию. И кое-что посложнее: как взаимодействовать с людьми в зале; проверять, понимают ли они тебя; выходить из сложных ситуаций (сломался кликер, не работает микрофон); обрабатывать «набросы» («да это вы придумали ЕГЭ, чтобы брать с нас деньги за обучение»).

Сейчас у меня за плечами большое количество мероприятий, где выступала сама и помогала в качестве члена программного комитета. И чем больше я смотрю на свои и чужие выступления, тем больше понимаю, что базовая методика, работа с залом, фишечки — это важно… но гораздо важнее — ты. Иметь что-то, во что ты веришь, и доносить это до людей. Прямо или косвенно.

Например, я верю, что сложное может быть интересным. И часто эту мысль провожу в своих докладах. На ИТ пикнике у нас был обзорный доклад про LLM based продукты. Так я там Санта Барбару разыграла — показала, почему это мега интересно.

Когда мы собираем контент для какого-то мероприятия, у меня прям щелкает в голове — сюда этого человечка позвать, сюда этого. Потому что я знаю, чем эти люди горят. И мне нравится, когда они делятся тем, что им самим важно.

База ставится, а вот найти то, что хочешь «нести в мир», бывает непросто. Но именно таких людей я запоминаю. И именно такой человечек собрал папку со спикерами, которые выступают сами и помогают другим. Почитайте. Уверена, многие вам зайдут: https://t.me/addlist/_GomX6a-s44wOTBi

Ищу себе нового руководителя. Старый надоел, ха (шучу)

Нам нужен сильный СРО пользовательских AI продуктов. Строить будущее: ассистентов, умные камеры, поиски и другие AI В2С штуки.

Искренне считаю, что позиция топ:
1. Мы повёрнуты (в хорошем смысле) на том, чтобы строить лучший пользовательский опыт под воздействием технологий.
2. У нас много свободы: любые идеи возможны, масштаб приветствуется.
3. У нас оч заряженная команда, которой не всё равно.

А ещё вайб, от которого не кончается желание ходить каждый день в офис и тусить с командой. Уже 2 моих руководителя сгоняли со мной на регату, остался ты))

Нам нужны лучшие. Если это ты, приходи. Если знаешь такого, перешли пост.

Подробности тут

Писать напрямую Вите Тарнавскому: @the_real_jkee

Спишь?

Винтики и шпунтики

День i1: расстраиваюсь, что чувствую нехватку технических знаний в нужной для наших продуктов области

День i2: спорю с техлидом о техническом решении, которое мы строим 😅

Казалось бы, между i1 и i2 — вечность. На самом деле, меньше месяца. Я сама не заметила, как перешла из состояния «я почти ничего не понимаю» в состояние, когда понимаю практически всё, что говорят разработчики, и могу обсудить или даже предложить идеи технической реализации.

Продвинуться помогли 2 вещи:

1. Сильная внутренняя мотивация. Меня настолько задолбало, что я не разбираюсь, и вообще не могу помочь двигаться быстрее, что я начала жестко ботать всё, что не понимаю. Задавать миллион вопросов, читать кучу статей, разговаривать с умными людьми.

2. Винтики и шпунтики. Как-то я пришла к Альбине, своему лиду, и сказала, что чувствую, что мне и команде не хватает технических скиллов. Альбина организовала нам бивикли встречку, на которой технические ребята рассказывают базовые вещи, а мы закапываемся настолько глубоко, насколько нам нужно и интересно. Настоящее название этой встречки никак не запоминалось — «школа роботов и винтиков»… а вот «винтики и шпунтики» прижилось на ура))

К чему я это всё.
Уже писала, но повторюсь: не бойтесь чего-то не знать и начинать разбираться в этом. Во-первых, никогда не поздно начать. Во-вторых, при сильной внутреннней мотивации заботать можно гораздо быстрее, чем кажется.

Довелось мне пару раз выступить на конфе, где основная аудитория — разработчики. Сказать, что для меня это сложно, — ничего не сказать. Почти никого не знаю, переживаю, могу ли быть полезна этим людям — совсем не мой комфортный пузырик продактов.

Но страхи на то и страхи, чтобы их преодолевать. Недавно я согласилась прийти к Андрею Смирнову в подкаст. Андрей — руководитель клиентской разработки в X5 Tech. А подкаст называется Frontend Weekend))

«И что я там буду говорить», — не успокаивался мой тревожик. Но с Андреем мы расслабленно поболтали про мой карьерный путь, про любовь залезать в разное и непонятное, про всевозможные проекты и увлечения вне работы. Выпуск получился очень милым и простым — сама послушала на одном дыхании.

Если вы читаете меня не супер давно, и вам интересно познакомиться поближе, подсмотреть, как я строю карьерный путь, чем и почему занимаюсь, — выпуск вам зайдёт. Смотрите его здесь: https://t.me/itsmirnov/674

А если читаете давно и уже многое знаете, залетайте в канал к Андрею. Там не про разработку. Там про управление, коммуникации, личные мысли и выводы. Я читаю, мне нравится. @itsmirnov