ИИ для продакта & CPO | Влад Прошинский

Как встраивать ИИ в продукт

Полезно продактам, CPO и тем, кто сейчас автоматизирует команды и процессы.

1. ИИ может ухудшить ваш продукт. Он может быть медленным и ненадежным, или же решать проблему, которой ни у кого нет. Тот факт, что это ИИ, еще не означает, что его стоит разрабатывать.

2. Подумайте, нужно ли вам вообще разрабатывать ИИ. Зачастую лучше сначала создать что-то для ИИ, например, сервер MCP. Их проще создавать и поддерживать.

3. Ищите jobs to be done, а не демо. Лучшие возможности для ИИ — это задачи, выполнение которых занимает более 30 секунд, использующие код или интерфейсы, которые пользователи не знают (например, SQL), или задачи, которые пользователи повторяют более 20 раз

4. Онбординг — отличная первая цель. Визард установки с ИИ выполняет работу, занимающую два часа, за 8 минут.

5. Не спрашивайте: «Как добавить ИИ в это?» Спрашивайте: «Как выглядит agent-first-версия этого?» Такой вопрос заставляет переосмыслить jobs to be done для agent-first-будущего и помогает не быть разрушенным ИИ-native конкурентом.

6. Создание продуктов «формата 2030 года» может потребовать начать с нуля и отказаться от накопленных за годы UI-решений и допущений, которые больше не актуальны.

7. Следите за клиентами, которые пересобирают ваш продукт с помощью ИИ. Это показывает, какие функции им действительно нужны. Когда клиенты создают собственный прототип вашего продукта с помощью MCP и Claude Code, — нужно добавить в продукт больше настраиваемых «canvas»-артефактов.

8. Валидируйте ИИ-концепты также, как новые продукты. Запишите, по каким критериям будет оцениваться результат и какой runway у инициативы. Спросите, насколько команда будет разочарована, если её потеряет (PMF-опрос).

9. Опишите, как ваш продукт проигрывает ИИ-native угрозе, а затем профинансируйте собственную версию этого «атакующего». Даже лучший продукт поддержки проиграет продукту, где ИИ отвечает на все тикеты, — вероятно, поэтому Intercom так сильно развернулась в сторону Fin.

10. Ответьте на вопрос: чем это лучше Claude? Именно к нему люди обращаются по умолчанию. Ваш moat — это контекст: функциональность продукта, данные пользователей, а также инструменты и skills, которые вы построили.

11. Сосредоточьтесь на общей ИИ-инфраструктуре. Сделайте примитивы — промпты, стриминг, согласия, evals, задачи и аналитику, — которые продуктовые команды смогут расширять и встраивать в свои продукты. Выберите единый UX-паттерн, чтобы избежать «смерти от тысячи виджетов», а затем не мешайте командам. Продуктовые команды лучше знают своих пользователей, а не ИИ-команда.

12. Позвольте агентам запускать код. Исполнение кода даёт агентам возможности beyond predefined tools.

13. Позвольте агентам делать всё, что могут делать пользователи. Если есть инструмент создания эксперимента, но нет инструмента его запуска, агент сделает всё остальное и остановится, чтобы попросить вас кликнуть по UI. Это ограничивает возможности агентов.

14. Тестируйте продукт headlessly, чтобы развить «эмпатию к агентам». Проверяйте агентные фичи через CLI, чтобы сталкиваться с теми же точками трения, что и они.

15. ИИ не убивает ваш UI — он меняет его назначение. Меньше экранов для выполнения действий, больше — для одобрения, проверки и отмены действий агентов. Стройте UI, когда текста недостаточно.

16. Управляйте агентами на их уровне абстракции. Агенты работают лучше, если позволить им гибко писать и рассуждать. Перестаньте заставлять агентов использовать предустановленные query-инструменты и разрешили им писать собственный SQL.

17. Настройте ИИ-observability с первого дня:
- Трейсите LLM-вызовы: входы, выходы, latency и стоимость. Это выявляет ошибки и проблемы, исправление которых даёт быстрый рост качества.
- Отслеживайте использование агентами так же, как использование людьми. Агенты не генерируют pageviews или rageclicks, но можно отслеживать вызовы MCP-инструментов, запросы страниц и другое.
- Используйте evals, но начинайте с малого. Вручную читайте трейсы, чтобы найти места, где ИИ ошибается. Создайте eval для проверки этой проблемы и улучшайте продукт, чтобы улучшить результат eval. Даже небольшие golden- или синтетические датасеты давали огромный прирост качества по сравнению с обычным циклом разработки.

18. Изучите unit-экономику ИИ-продукта. Наш визард стоит $6,67 за запуск, но улучшенная активация и retention стоят дороже. Переход трейс-саммари со стандартного gpt-4.1-nano на flex-уровень gpt-5-nano вдвое снизил затраты.

19. Многие сбои агентов — на самом деле сбои контекста. Добавление агенту значительно большего объёма контекста улучшило эффективность визарда сильнее, чем улучшенное reasoning, многошаговое планирование, субагенты, pruning и compaction. И Сделайте так, чтобы люди могли легко создавать контекст, которого агент не знает.

20. Прозрачная компания полезна для агентов. Ваши Агенты и агенты клиентов могут смотреть в кодовую базу, handbook и документацию, чтобы лучше понимать, как работает ваш продукт.

🔥1

366 views15:49