Код — детерминирован, поведение ИИ-моделей — вероятностное, ИИ-продукт — условно-бесконечно-динамическая Система

Даже без изменений в коде поведение такой Системы может меняться из-за:

1) поведения и апдейтов ИИ-моделей;
2) пользовательского поведения;
3) дрейфа общих данных.

– ИИ-продукт ≠ фича в коде — каждое новое поведение в Системе способно порождать неожиданные последствия.

– Первые версии должны быть максимально контролируемыми, почти ручными, это снижает риски и помогает накапливать правильные данные.

– Циклическая калибровка — ключевое в разработке ИИ-продукта. Постоянное измерение и тестирование поведения системы через оценки, метрики и обратную связь. Если нет стабильного потока оценок для аналитики, вы не знаете, как реально работает ваша ИИ-система.

Плохая калибровка ИИ = плохой ИИ-продукт.

Даже гениальная модель без калибровки рушит доверие. Нельзя двигаться дальше, пока система не заслужила доверие на текущем уровне.

– Ошибки на ранних этапах всегда стоят дешевле. Чем позже замечаете баг поведения, тем глубже и сильнее ломается доверие.

– Развитие ИИ-Системы — это рост её автономии: «подсказчик под присмотром» → «самостоятельный исполнитель» → «независимый ИИ-агент»

Слишком быстрый рост ИИ-автономии = потеря контроля. Пользователь сталкивается с ИИ-хаосом, команда — с кризисом доверия к ИИ. Оба ведут к упадку продукта.

Калибровка → Разработка → Калибровка

– Поэтому калибровка требует качественных данных. Недостаточно просто собрать логи — нужны продуманные сценарии, use cases, edge cases, стресс-тесты.

Лучший инструмент для калибровки – human-in-the-loop.

– Масштабирование ИИ-продукта – это наращивание данных и доверия к ним. Чем надёжнее данные, тем смелее можно расширять использование.

В масштабировании важна не скорость релизов, а качество обучения ИИ. Чем быстрее вы/ИИ учитесь на поведении системы, тем быстрее ИИ-продукт становится полезным.

– Разработчики должны мыслить циклами доверия, а не циклами релизов/сроков (впрочем, не только в работе с ИИ).

Ключевой вопрос для всех — «насколько этой Системе можно доверять?»

Потому что главная валюта в мире/ИИ/продуктах — доверие.

ГИГА-ТРЕД: вайбы от сервисов разработки ИИ-агентов

На этот раз, Джон Раш делится собственным опытом разработки ИИ-агентов.

Я попробовал ВСЕ сервисы для разработки ИИ-агентов: Emergent, CodeRabbit, Anything, Zed, Factory, Cursor, Windsurf, Wrapifai, Copilot, Lovable, Bolt, v0, Replit, MarsX, Canva, Devin, Github Spark, Figma Make, Cline и другие.

Вот мой обзор 61 инструмента с демо и примечаниями: https://x.com/johnrushx/status/1958363431922500053

🤖🔨

💁‍♂️ Нет никакой «новой должности» под названием «AI Product Manager». Это хайп

Есть просто менеджеры по продукту, использующие ИИ-инструменты для оптимизации своей/командной работы.

Сами принципы управления продуктом не изменились: нам по-прежнему нужно проверять идеи перед их реализацией, релизить, снимать метрики и обратную связь и снова совершенствовать продукт и его фичи. Своей головой и ручками.

Термин «AI Product Manager» существовал и раньше, но его применяли к техническим специалистам, работавшим с LLM, системами компьютерного зрения или рекомендательными системами. Точно так же, как есть API Product Manager, который управляет продуктами, работающими с/через API.

Сегодня же, большинство должностей «AI Product Manager» наиболее правильнее описать как «продакт-менеджер с навыками работы с ИИ», в которых ИИ просто закрывает некоторую часть монотонных процессов продакта.

Основные принципы управления продуктом совершенно не изменились.

🤷‍♂️

Понедельники для совпадений

Совпасть у всех должно как можно больше: взгляды, смыслы, цели, мысли, планы, даже звёзды. Слова и действия сами собой должны совпасть.

Совпало всё – и всё идёт как надо.
Не совпадает что-то – и всё уже пойдёт не так.

Удачных совпадений Время

🕥

Советы по созданию своего первого ИИ-агента

1) Выберите маленькую и очень ясную задачу.

Забудьте о создании «агента общего назначения» прямо сейчас. Определитесь с одной конкретной задачей, которую должен выполнять ваш ИИ-агент.

Примеры:

– Запись на приём через сайт.
– Мониторинг вакансий и их отправка вам.
– Обзор и резюме непрочитанных e-mail.

Чем меньше и понятнее задача, тем проще её спроектировать и отладить для ИИ.

2) Не тратьте время на обучение собственной ИИ-модели в начале

Используйте то, что уже работает: GPT, Claude, Gemini или open-source типа LLaMA и Mistral.

Просто убедитесь, что модель может обрабатывать логические рассуждения и структурированные данные, поскольку именно на них лучше всего работают и полагаются ИИ-агенты.

3) Ключевой этап, который многие пропускают – как ИИ-агент будет взаимодействовать с внешним миром через API.

Веб-скрапинг или просмотр веб-страниц (Playwright, Puppeteer либо встроенные в сами модели); API Google; файловые операции (чтение/запись на диск, разбор PDF-файлов и т. д.) – всё это уже доступно и не требует разработки.

4) Создайте основу рабочего процесса, не углубляясь в сложные фреймворки.

Начните с основ:

– ввод данных от пользователя (цель + задача);
– передача данных через ИИ с инструкциями;
– возможность для ИИ определить следующий шаг;
– вызовы API, сбор данных;
– возвращение данных в ИИ для оценки;
– продолжение, пока задача не будет выполнена или пользователь не получит подходящий для него результат.

Сердце ИИ-агента – это цикл "ИИ → API → Данные → ИИ" 🔁

5) Добавляйте память с умом. Многие считают, что ИИ-агентам сразу нужны большие системы памяти. Это не так.

Начните с краткосрочного контекста (последние несколько сообщений). Если вашему агенту нужно запоминать данные между запусками, используйте базу данных или простой JSON-файл.

Добавляйте векторные базы данных или сложные функции поиска только тогда, когда они действительно нужны!

6) Оберните всё в удобный интерфейс. CLI поначалу будет достаточно. Как только всё заработает, создайте для него простой интерфейс:

– веб-панель управления (Flask, FastAPI или Next.js);
– бот для Slack/Discord;
– даже просто скрипт, работающий на вашем компьютере.

Суть в том, чтобы сделать его пригодным для использования за пределами вашего терминала, чтобы вы могли увидеть, как он ведёт себя в реальном рабочем процессе.

7) Итерируйте небольшими циклами. Не ждите идеальной работы с первого раза.

Запускайте реальные задачи, проверяйте, где что-то ломается, исправляйте и запускайте снова. Каждый ИИ-агент прошёл сотни таких циклов, прежде чем стать надёжным.

8) И снова контролируйте область применения

Возникает соблазн постоянно добавлять новые инструменты и функции. Не поддавайтесь этому. Один хорошо работающий агент, способный записать на приём или управлять электронной почтой, гораздо ценнее «универсального ИИ-агента», который может многое, но постоянно даёт сбои.

Самый быстрый способ научиться — это создать одного конкретного ИИ-агента полностью от начала до конца. Как только вы это сделаете, создание следующих станет в разы проще, потому что вы уже понимаете весь процесс.

Понедельник – день воспоминаний

Мы, как продакты, всегда на один шаг... позади мира (рынка). Просто потому что между нами и нашим продуктом всегда находится описание этого мира.

И как бы мы с этим не спорили, но наше восприятие этого мира всегда является лишь воспоминанием о его восприятии нами, в котором мы вспоминаем и оцениваем моменты, которые уже прошли: события, трафик, ивенты/лиды/конверсии, ретеншен, транзакции, вот-это-всё. Всё из прошлого.

В настоящем мы вечно вспоминаем прошлое, думая о будущем. Как это-всё, вообще, работает?

И осознание этого важнО не сколько с точки зрения нашего собственного восприятия, ведь мы по-прежнему всё вспоминаем прошлым, которое только что (уже?) прошло, а, скорее, с точки зрения... стороннего Наблюдателя, смотрящего на продукт из будущего.

Кто этот Наблюдатель?

Больше наблюдательности на неделе!

❤️‍🔥 Стадии любви к продукту:

0. "Я здесь работаю".
1. "Нашёл" боль пользователей.
3. Познал боль пользователей.
4. Чувствуешь боль сердцем.
5. Действуешь через него.
6. Видишь свой продукт повсюду.
7. Продукт становится как сердце.
8. Не можешь не использовать продукт.
9. "Что там у пользователей (в сердце)?".
10. Пользователи живут в твоём своём продукте.
11. "Они Я Жив благодаря ему".