Рассказали рынку о тревел-ассистенте!
Свои первые билеты через тревел-ассистента я купила в декабре — в ЮАР. Я тогда ещё ничего не придумала для поездки, но знала, что мне надо куда-то туда после 25 декабря и до нового года. И не миллион часов лететь.
Билеты нашлись с одного уточнения. А ещё я узнала про существование Йоханнесбурга и спланировала поездку через этот город, потому что так было дешевле. Об этом мне рассказал ассистент — самой мне было бы лень изучать :)
Нам ещё оооочень много чего хочется сделать. Но сейчас минутка отпраздновать то, что уже получилось. Радуемся с командой, что рассказали о себе и раскатились на приличную часть аудитории.
Ассистента можно потыкать с 50% вероятностью — сейчас он доступен половине пользователей, на странице Т-Путешествий в приложении Т-Банка.
(интерфейс как на картинках с версии 7.11 на iOS и 7.12 на Android — как обновиться, тут).
Кидайте фидбэк в комменты — мы с командой всё читаем!
Свои первые билеты через тревел-ассистента я купила в декабре — в ЮАР. Я тогда ещё ничего не придумала для поездки, но знала, что мне надо куда-то туда после 25 декабря и до нового года. И не миллион часов лететь.
Билеты нашлись с одного уточнения. А ещё я узнала про существование Йоханнесбурга и спланировала поездку через этот город, потому что так было дешевле. Об этом мне рассказал ассистент — самой мне было бы лень изучать :)
Нам ещё оооочень много чего хочется сделать. Но сейчас минутка отпраздновать то, что уже получилось. Радуемся с командой, что рассказали о себе и раскатились на приличную часть аудитории.
Ассистента можно потыкать с 50% вероятностью — сейчас он доступен половине пользователей, на странице Т-Путешествий в приложении Т-Банка.
(интерфейс как на картинках с версии 7.11 на iOS и 7.12 на Android — как обновиться, тут).
Кидайте фидбэк в комменты — мы с командой всё читаем!
🔥102❤48🤪5🦄3🤯1
Я потратила какое-то неприличное количество воскресений на этот продукт… и не жалею ни об одном. Даже если его никто не купит. Я просто горжусь, что он существует.
Мы с Андреем Менде (Sr ML PM в Букинге) сделали в ProductDo симулятор по созданию LLM-продуктов. И я очень довольна тем, что получилось. Во-первых, Андрей сам запрогал песочницу — можно тестить промпты на реальных датасетах прям в симуляторе. Во-вторых, мы упоролись по кейсам. Подготовить данные так, чтобы были понятны приколы, с которыми потом столкнешься в реальности — та ещё задачка.
Проходить имеет смысл, чтобы структурировать в голове, как завести LLM-продукт (или фичу) с нуля. И попробовать сделать это руками.
Что в симуляторе:
- Эвалы: как оценивать качество LLM-продукта, готовить данные
- Модели: какую выбрать под задачу, как настроить
- Пайплайн: как понять, что с одного промпта задача не решится и разбить на несколько этапов
- Безопасность: как убедиться, что модель не будет нарушать уголовный кодекс и не только ))
Чего пока нет:
- Раг
- Агенты
Первый поток мы уже завершили — я даже не успела про него рассказать, он очень быстро набрался.
Можно залететь во второй. Стартуем на следующей неделе. Помимо симулятора будет 2 Q&A вебинара — мы ещё дорабатываем контент по фидбэку. А у вас будет возможность спросить то, чего в симуляторе нет (например, на одном из Q&A разгоняли про раг).
Купить тут
Мы с Андреем Менде (Sr ML PM в Букинге) сделали в ProductDo симулятор по созданию LLM-продуктов. И я очень довольна тем, что получилось. Во-первых, Андрей сам запрогал песочницу — можно тестить промпты на реальных датасетах прям в симуляторе. Во-вторых, мы упоролись по кейсам. Подготовить данные так, чтобы были понятны приколы, с которыми потом столкнешься в реальности — та ещё задачка.
Проходить имеет смысл, чтобы структурировать в голове, как завести LLM-продукт (или фичу) с нуля. И попробовать сделать это руками.
Что в симуляторе:
- Эвалы: как оценивать качество LLM-продукта, готовить данные
- Модели: какую выбрать под задачу, как настроить
- Пайплайн: как понять, что с одного промпта задача не решится и разбить на несколько этапов
- Безопасность: как убедиться, что модель не будет нарушать уголовный кодекс и не только ))
Чего пока нет:
- Раг
- Агенты
Первый поток мы уже завершили — я даже не успела про него рассказать, он очень быстро набрался.
Можно залететь во второй. Стартуем на следующей неделе. Помимо симулятора будет 2 Q&A вебинара — мы ещё дорабатываем контент по фидбэку. А у вас будет возможность спросить то, чего в симуляторе нет (например, на одном из Q&A разгоняли про раг).
Купить тут
productdo.it
LLM и эвалы для продакта: курс по созданию и оценке LLM-продуктов
Курс-симулятор для продактов: создание LLM-фич и эвалы. Промптинг, пайплайны, LLM-as-judge, безопасность. Практика на реальных кейсах.
1❤55🔥26🦄10🤪7🤯6
Узнала, что реплит можно скачать на телефон. ПФ! Никогда ещё моя поездка на метро не была такой интересной
😁108❤30🔥20🤪11😢3
Печенька с предсказаниями
Предсказываю, что тем, кто хотел залететь в ближайший поток симулятора по ллм продуктам, пора поторопиться. Открываем доступ и чат уже сегодня, первый вебинар через неделю.
Всем остальным предскажет моя печенька: @Pechenkapechenka_bot
(хоть бы она опять не упала! Деплоить — не моё 😁)
Предсказываю, что тем, кто хотел залететь в ближайший поток симулятора по ллм продуктам, пора поторопиться. Открываем доступ и чат уже сегодня, первый вебинар через неделю.
Всем остальным предскажет моя печенька: @Pechenkapechenka_bot
(хоть бы она опять не упала! Деплоить — не моё 😁)
😁22❤10🤯5🤪2🦄2
На прошлой неделе я поехала в Питер ради спектакля Яндекса.
Таким необычным способом ребята решили рассказать о своих ценностях.
Было пять сцен. Две из них мне особенно понравились. Одну записала на видео, а на второй… расплакалась и не думала о телефоне.
Возможно, из-за того, что я сама играю в театре, мне интересно не только ЧТО показывают, но и КАК играют актёры. В одной сцене герой разговаривал с мамой по телефону. Сначала по классике: «Ну маам… я не забыл…». Потом неловкое «С днём рождения», а дальше — что-то настоящее: «Приеду на выходных, соскучился. По дому, по лавочке во дворе, по тёте Нине, которая всегда там сидит».
Я сижу в зале и в секунду понимаю, что верю. Верю, что он сейчас реально говорит с мамой по телефону, что видит эту лавочку, эту тётю Нину. Конечно, не их конкретно — он видит свой образ, который для него что-то значит и вызывает нужные эмоции.
Для меня театр — это всегда про прожить что-то своё в чужой истории. Сейчас я играю в спектакле, где моя роль очень перекликается с тем, что происходит в реальности. И последние недели я буквально живу в репетициях — помогает выплеснуть, прожить и отпустить. И никто не страдает от моего настроения, кроме подушки и сцены :))
Играем уже в эту субботу. Один из лучших спектаклей, что мы ставили. Приходите — буду очень вам рада. За инфой о билетах пишите в личку @annapodobrazhnykh
А ребятам из Яндекса большой респект за смелость рассказать о себе в таком формате. Творчество не может оставить меня равнодушной )
Таким необычным способом ребята решили рассказать о своих ценностях.
Было пять сцен. Две из них мне особенно понравились. Одну записала на видео, а на второй… расплакалась и не думала о телефоне.
Возможно, из-за того, что я сама играю в театре, мне интересно не только ЧТО показывают, но и КАК играют актёры. В одной сцене герой разговаривал с мамой по телефону. Сначала по классике: «Ну маам… я не забыл…». Потом неловкое «С днём рождения», а дальше — что-то настоящее: «Приеду на выходных, соскучился. По дому, по лавочке во дворе, по тёте Нине, которая всегда там сидит».
Я сижу в зале и в секунду понимаю, что верю. Верю, что он сейчас реально говорит с мамой по телефону, что видит эту лавочку, эту тётю Нину. Конечно, не их конкретно — он видит свой образ, который для него что-то значит и вызывает нужные эмоции.
Для меня театр — это всегда про прожить что-то своё в чужой истории. Сейчас я играю в спектакле, где моя роль очень перекликается с тем, что происходит в реальности. И последние недели я буквально живу в репетициях — помогает выплеснуть, прожить и отпустить. И никто не страдает от моего настроения, кроме подушки и сцены :))
Играем уже в эту субботу. Один из лучших спектаклей, что мы ставили. Приходите — буду очень вам рада. За инфой о билетах пишите в личку @annapodobrazhnykh
А ребятам из Яндекса большой респект за смелость рассказать о себе в таком формате. Творчество не может оставить меня равнодушной )
1❤75🦄10🤪6🔥3😢2👏1😁1
Forwarded from Карты, деньги и продукт (Ksenia Tolokolnikova)
Привет! Я Артем Бондарь, руководитель всея NLP в Т-Банке.
Ребята попросили написать, как считать экономику внутри всех этих страшных слов про «инференсы», «GPU» и токены, поэтому сегодня разберёмся с этим (спойлер:это не так сложно ).
Предыстория
Предыдущие поколения МЛ были дешёвые как грязь (например, DialogFlow), поэтому фокуса на экономике не было, важно это было лишь для мегамасштабных проектов с миллионами DAU.
Но сегодня на последних версиях моделей-ризонеров (например, o3) решение одной задачи может стоить тысячи долларов – это экстремальный пример, но он показывает, что экономика LLM важна даже для небольших продуктов.
Что нужно знать про деньги и LLM
Есть 2 ключевые модели ценообразования:
1. Покупка облачного решения у вендора: вы платите за токены (объём текста). Генерация текста стоит дороже, чем сам запрос (промт): запрос с промтом в 80 токенов и ответом в 8000 токенов может стоить во много раз дороже, чем наоборот.
— Плюсы: нет капитальных затрат, понятная модель оплаты.
— Минусы: сложнее прогнозировать расходы, высокая цена генерации, продукт хранится в облаке (не всем подходит с точки зрения безопасности).
— Когда использовать: когда нужно быстро протестировать гипотезу, запустить MVP или быть гибким на старте.
2. On-premise: вы покупаете серверы, которые выдержат нагрузку пользователей. Это не pay-as-you-go, а капитальные вложения заранее.
— Плюсы: контроль инфраструктуры, фиксированные расходы в перспективе.
— Минусы: нужен крупный стартовый бюджет, точное планирование.
— Когда использовать: когда уверены в продуктовой модели, стабильной нагрузке и планируете долгосрочное развитие.
Как считать экономику?
Когда модель генерирует ответ на запрос пользователя, это называется инференс. Для инференса нужны мощные серверы с видеокартами — GPU (Graphics Processing Unit), которые быстро обрабатывают большие объёмы данных.
Расходы складываются из:
– оборудования (свои или облачные GPU)
– электричества (для своих серверов)
– команды DevOps/ML Ops (настройка и обслуживание)
Быстрая математика (на простом примере):
Допустим, у вас есть свой сервер с GPU, работающий 24/7:
– Электричество: $0.50 × 720 часов = $360
– Обслуживание: $500 в месяц
– Общий расход: $860 в месяц
– Сервер обрабатывает 20 000 запросов в час, 14,4 млн запросов в месяц
– Стоимость 1000 запросов при полной загрузке = $0.06
Если запросов всего 30 000 в месяц, сервер простаивает, и цена растёт до $28.7 за 1000 запросов (в 480 раз дороже!).
Важно заранее оценивать загрузку — иногда дешевле взять API.
А если использовать оплату через токены API?
Предположим, инструкция «Ты — ассистент. Твоя задача…» содержит 100 токенов, средний ответ 400 токенов, всего 500 токенов за запрос.
Стоимость GPT-4o mini сейчас:
– Входящие токены: $0.6 за 1 млн токенов
– Исходящие токены: $2.4 за 1 млн токенов
Входящих → 100 токенов × 1000 = 100 000 токенов (0.1 млн)
Исходящих → 400 токенов × 1000 = 400 000 токенов (0.4 млн)
Посчитаем стоимость:
1. Вход: 0.1 млн × $0.6 = $0.06
2. Выход: 0.4 млн × $2.4 = $0.96
Итого = $0.06 + $0.96 = $1.02
(Посчитать токены можно здесь.)
Коротко про облако – важно помнить: серверы можно не покупать, а арендовать и экономить, включая их только на нужное время. Но даже при аренде сервера на 12 часов в сутки аренда GPU может выйти дороже, чем собственный сервер.
Вместо вывода:
— Комбинируйте подходы: начинайте с pay-as-you-go и постепенно переходите на on-premise, когда поймёте реальные потребности.
— Регулярно пересматривайте нагрузку и адаптируйте инфраструктуру под текущие задачи, чтобы не переплачивать.
Надеюсь, теперь стало понятнее, как подходить к экономике LLM-продуктов. Если остались вопросы — пишите, с радостью отвечу!
Ребята попросили написать, как считать экономику внутри всех этих страшных слов про «инференсы», «GPU» и токены, поэтому сегодня разберёмся с этим (спойлер:
Предыстория
Предыдущие поколения МЛ были дешёвые как грязь (например, DialogFlow), поэтому фокуса на экономике не было, важно это было лишь для мегамасштабных проектов с миллионами DAU.
Но сегодня на последних версиях моделей-ризонеров (например, o3) решение одной задачи может стоить тысячи долларов – это экстремальный пример, но он показывает, что экономика LLM важна даже для небольших продуктов.
Что нужно знать про деньги и LLM
Есть 2 ключевые модели ценообразования:
1. Покупка облачного решения у вендора: вы платите за токены (объём текста). Генерация текста стоит дороже, чем сам запрос (промт): запрос с промтом в 80 токенов и ответом в 8000 токенов может стоить во много раз дороже, чем наоборот.
— Плюсы: нет капитальных затрат, понятная модель оплаты.
— Минусы: сложнее прогнозировать расходы, высокая цена генерации, продукт хранится в облаке (не всем подходит с точки зрения безопасности).
— Когда использовать: когда нужно быстро протестировать гипотезу, запустить MVP или быть гибким на старте.
2. On-premise: вы покупаете серверы, которые выдержат нагрузку пользователей. Это не pay-as-you-go, а капитальные вложения заранее.
— Плюсы: контроль инфраструктуры, фиксированные расходы в перспективе.
— Минусы: нужен крупный стартовый бюджет, точное планирование.
— Когда использовать: когда уверены в продуктовой модели, стабильной нагрузке и планируете долгосрочное развитие.
Как считать экономику?
Когда модель генерирует ответ на запрос пользователя, это называется инференс. Для инференса нужны мощные серверы с видеокартами — GPU (Graphics Processing Unit), которые быстро обрабатывают большие объёмы данных.
Расходы складываются из:
– оборудования (свои или облачные GPU)
– электричества (для своих серверов)
– команды DevOps/ML Ops (настройка и обслуживание)
Быстрая математика (на простом примере):
Допустим, у вас есть свой сервер с GPU, работающий 24/7:
– Электричество: $0.50 × 720 часов = $360
– Обслуживание: $500 в месяц
– Общий расход: $860 в месяц
– Сервер обрабатывает 20 000 запросов в час, 14,4 млн запросов в месяц
– Стоимость 1000 запросов при полной загрузке = $0.06
Если запросов всего 30 000 в месяц, сервер простаивает, и цена растёт до $28.7 за 1000 запросов (в 480 раз дороже!).
Важно заранее оценивать загрузку — иногда дешевле взять API.
А если использовать оплату через токены API?
Предположим, инструкция «Ты — ассистент. Твоя задача…» содержит 100 токенов, средний ответ 400 токенов, всего 500 токенов за запрос.
Стоимость GPT-4o mini сейчас:
– Входящие токены: $0.6 за 1 млн токенов
– Исходящие токены: $2.4 за 1 млн токенов
Входящих → 100 токенов × 1000 = 100 000 токенов (0.1 млн)
Исходящих → 400 токенов × 1000 = 400 000 токенов (0.4 млн)
Посчитаем стоимость:
1. Вход: 0.1 млн × $0.6 = $0.06
2. Выход: 0.4 млн × $2.4 = $0.96
Итого = $0.06 + $0.96 = $1.02
(Посчитать токены можно здесь.)
Коротко про облако – важно помнить: серверы можно не покупать, а арендовать и экономить, включая их только на нужное время. Но даже при аренде сервера на 12 часов в сутки аренда GPU может выйти дороже, чем собственный сервер.
Вместо вывода:
— Комбинируйте подходы: начинайте с pay-as-you-go и постепенно переходите на on-premise, когда поймёте реальные потребности.
— Регулярно пересматривайте нагрузку и адаптируйте инфраструктуру под текущие задачи, чтобы не переплачивать.
Надеюсь, теперь стало понятнее, как подходить к экономике LLM-продуктов. Если остались вопросы — пишите, с радостью отвечу!
🔥71❤31🤪9👏3🤯3
Карты, деньги и продукт
Привет! Я Артем Бондарь, руководитель всея NLP в Т-Банке. Ребята попросили написать, как считать экономику внутри всех этих страшных слов про «инференсы», «GPU» и токены, поэтому сегодня разберёмся с этим (спойлер: это не так сложно ). Предыстория Предыдущие…
Супер пост для тех, кто давно хотел разобраться в экономике LLM-продуктов. А точнее, в расходной части.
Начинали писать с Артёмом, а примеры докидывали сами, ибо время гениев ограничено 💁♀️✨
Начинали писать с Артёмом, а примеры докидывали сами, ибо время гениев ограничено 💁♀️✨
🦄21❤16🔥6🤪2🤯1
Как же мне нравится играть на сцене, вы бы знали. У всего, конечно, есть причины. Одна из: сцена — это такое безопасное место, где можно показать любую часть себя и не быть непринятой. Потому что «я же просто играю роль». А когда видишь, что людям нравится эта твоя часть, легче переносить в жизнь.
Для меня театр — это не просто красивая картинка, а бесконечное исследование и узнавание себя. Поэтому мне нравится и хочется вкладывать в это время.
Для меня театр — это не просто красивая картинка, а бесконечное исследование и узнавание себя. Поэтому мне нравится и хочется вкладывать в это время.
❤97🔥33👏9🤪5🤯3😢3
Этот пост опубликован ассистентом Comet без участия владельца. Эксперимент: самостоятельная публикация от искусственного интеллекта!
🤯41🦄12❤10🤪4😢2
Аня Булдакова позвала в жюри AI хакатона. Вы только посмотрите среди каких людей я оказалась! Во-первых, приятно. Во-вторых, если такое жюри, то и хакатон обещает быть топ (зная Аню, даже не сомневаюсь) — уже 600+ участников. Зову и вас присоединиться!
Сможете проявить свои вайбкодерские скиллы, если они уже есть. Или наконец, начнете осваивать навык, без которого через год-другой будет никак.
В рамках подготовки проводим несколько мероприятий, среди которых и наш с Вовой Кошкиным воркшоп по вайбкодингу. Меня вы знаете, а Вова лидит подписку Pro и организовал комьюнити вайбкодеров в Т. Приходите!
Регистрироваться на воркшоп здесь (надеюсь, вы не пойдете все, у меня зум только на 500 чел оплачен 😅) — включите впн
Читать про хакатон здесь
Сможете проявить свои вайбкодерские скиллы, если они уже есть. Или наконец, начнете осваивать навык, без которого через год-другой будет никак.
В рамках подготовки проводим несколько мероприятий, среди которых и наш с Вовой Кошкиным воркшоп по вайбкодингу. Меня вы знаете, а Вова лидит подписку Pro и организовал комьюнити вайбкодеров в Т. Приходите!
Регистрироваться на воркшоп здесь (надеюсь, вы не пойдете все, у меня зум только на 500 чел оплачен 😅) — включите впн
Читать про хакатон здесь
❤54🦄10🤪5
Вчера модерировала NLP поток на нашей Turbo ML Conf. Для меня особенно кайфовым было выступление Толи Потапова, моего коллеги, который рассказал про релиз модели T-Pro 2.0 с гибридным ризонингом. Толя словил нереальное количество аплодисментов, а я весь доклад не переставала улыбаться. Оч радостно за успехи ребят!
Хайлайты про модель уже написал Витя — читайте его пост.
А Толя выложил статью на хабр — там больше подробностей про процесс обучения, характеристики и результаты замеров качества.
Накидайте лайков, покажу Толе и его команде — они порадуются ❤️🔥
Хайлайты про модель уже написал Витя — читайте его пост.
А Толя выложил статью на хабр — там больше подробностей про процесс обучения, характеристики и результаты замеров качества.
Накидайте лайков, покажу Толе и его команде — они порадуются ❤️🔥
Telegram
[29/100] Витя Тарнавский
T-pro 2.0 – с гибридным ризонингом 🥳
Лучшая модель в своём весе среди всех открытых моделей по широкому ряду русскоязычных бенчмарков. В два раза более быстрая и дешевая чем аналоги по качеству.
Модель с рассуждениями, создана для построения сложных систем…
Лучшая модель в своём весе среди всех открытых моделей по широкому ряду русскоязычных бенчмарков. В два раза более быстрая и дешевая чем аналоги по качеству.
Модель с рассуждениями, создана для построения сложных систем…
❤58🔥23🦄8🤯4😢2🤪2