Что такое хорошо, а что такое плохо в ответах ИИ (и как повысить их качество)

Оценки ответов ИИ — это то, как вы измеряете и влияете на качество и эффективность вашей системы ИИ

"Плохо" в ответах ИИ это:

– Частота галлюцинаций.
– Общий % фактических ошибок в ответе.
– Критические ошибки, делающие весь ответ бесполезным.
– Ответы, противоречащие ценностям исследователя.

"Хорошо" в ответах ИИ:

1) Релевантность и полнота ответа к запросу (соотношение полезной информации к общему объёму ответа).

2) Стабильность (повторяемость) правильных ответов при повторных запросах.

3) Проактивность (предвосхищение ваших следующих вопросов).

4) Конверсия в целевые действия исследователя после получения ответа от ИИ и влияние ответа ИИ на его метрики и KPI.

Как повысить качество ответов ИИ

1. Используйте стабильное "ядро знаний", основанное на верифицированных вами данных/сценариях/изменениях/обратной связи.

2. Создайте "библиотеку ментальных моделей" для рассуждений, обучив ИИ не просто отвечать на вопросы, а использовать конкретные образы для структурирования мышления, такие как MECE ("взаимно исключающие, совместно исчерпывающие"), Первые Принципы, Инверсия и т.д.

2. Внедрите модель "ответ-контр-ответ" или "каскадную детализацию" (уровни детализации для разных степеней погружения) и пусть ИИ сама помогает вам в поиске Истин.

3. Используйте "контрольные точки уверенности", дав себе и ИИ возможность оценивать собственную уверенность на разных этапах формирования ответа и помечать участки с низкой уверенностью. И не забывайте систематически проверять и калибровать эти "уверенности".

4. Используйте "доказательный поиск" вместо генерации ответа с нуля, настроив ИИ на поиск фрагментов доказательств из проверенных источников и их структурное объединение в ответе на запрос.

5. Внедрите цикл "ассоциативного развития" ответов, обучив ИИ анализировать последующие вопросы, которые вы обычно задаёте после ответов ИИ.

6. Внедрите "обратную связь", создав у ИИ сценарий, позволяющий ИИ уточнять вопросы, которые позволяют вам переформулировать ваши мысли после неудовлетворительных ответов.

Используйте эти переформулировки для обогащения изначальных промптов, чтобы ИИ с первого раза понимала, что вы на самом деле хотели узнать.

7. Используйте "ситуативное переключение моделей", помогая ИИ определять типы запросов и автоматически переключать её роли между разными агентами.

8. Вернитесь к п.№1 и обучайте ИИ на ошибках предыдущих версий, создав библиотеку типичных ошибок, сделанных ИИ в прошлом, обучая новые версии ИИ с фокусом на эти слабые места.

0. Чистите зубы после еды.
И никогда не ставьте брекеты!

Microsoft планирует сокращения менеджеров в мае

Дискуссии ведутся о снижении в командах «коэффициента PM», который представляет собой соотношение менеджеров по продуктам/проектам к инженерам.

Один из источников Business Insider сказал, что компания будет требовать от руководителей соблюдения бюджетов и этого соотношения на определённом уровне.

🎻🤏

💉 Прививка эффективных совещаний, встреч и коллов (шаблон)

0. Отменяйте встречу каждый раз, если у неё четких целей и измеримого результата. Если их не получается сформулировать или это "просто обсудить вопросики", такая встреча не нужна.

0. Либо проводите "встречу без решений" исключительно для обмена информацией, на которых запрещено принимать решения и ставить задачи, чтобы избежать поспешных выводов, решений и задач.

1. Практикуйте в команде "принятие решений в тишине", отправляя таску/доку с проблемой и вариантами решения заранее, в которых каждый участник может оставить свой комментарий и предложения.

Но самое важное – это то, с чем он не согласен в решениях, чтобы обсуждения на встрече фокусировались на этих расхождениях (причинах, а не следствиях).

И встреча снова будет нужна только если вылезают серьёзные расхождения.

2. "Правило потолка участников" — число ключевых решений × 2 человека. Если требуется больше решений-людей, разделите встречу на несколько или снова пересмотрите её а) актуальность; б) достоверность; в) необходимость.

3. Если за первые 20 минут встречи не удается достичь ощутимого прогресса, завершайте встречу досрочно и возвращайтесь к ней после дополнительной проработки и подготовки.

Либо делайте 20 минутные перерывы в середине сложных обсуждений, чтобы мозги могли переработать получаемую информацию в спокойной обстановке.

4. Проводя "встречи наоборот", вы сразу начинаете с решений и действий, а затем обсуждайте то, что необходимо для их реализации.

5. "Брейншторм наоборот" — когда вместо поиска решений проблемы, вы с командой обсуждайте то, как можно максимизировать и усугубить проблему, а затем инвертируете решения этих идей.

TLDR:

Встречи и созвоны нужно проводить только тогда, когда их повестка состоит из цепочки решений, связанных друг с другом настолько, что их неверная реализация несёт в краткосрочной или среднесрочной перспективе реальный риск для продукта/бизнеса

В большинстве других случаев, "один важный вопросик" можно не менее эффективно решить по почте или cлаку.

Когда уговорил разрабов добавить в идущий спринт всего одну задачку

Понедельник – день для взлётов

Взлетают миссии, задачи, планы, сроки, и с ними фичи и спринты. А продакт выступает и за диспетчера движения, и за пилота одновременно.

Кажущееся нагромождение ролей и обязанностей становится понятным и логичным, когда перед каждым взлётом экипаж проводит чек-лист миссии и цели предстоящего полёта плана/фичи/срока/и спринта.

С миссией приходит понимание маршрута. С маршрутом появляется понимание срока, скорости и высоты полёта. Cо скоростью и высотой станет понятно, способно ли ваше ВС взлететь и пролететь такое расстояние.

Что всегда главное – ради чего полёт и взлёт

В авиации есть шутка, что взлетевший самолёт всегда приземляется. Символично, что она идеально применима и работает в управлении продуктами.

Чтобы не запутаться в ролях, маршрутах и приборах, планируйте полёты на земле.

Мягких взлётов и приземлений на неделе!

🛬🍵

В пятницу основатель Product Hunt Райан Хувер провёл небольшой АМА на Farcaster.

Из интересного:

– Какие три ключевые вещи ты бы выделил в качестве основы для того, чтобы сделать продукт потенциально интересным для инвесторов?

№1. Уникальная идея, в идеале что-то, что противоречит интуиции большинства.

№2. Ясная причина, почему сейчас самое время для этого. Каждая идея уже была придумана раньше, так что что-то должно было измениться.

№3. И, конечно, тяга. Инвесторы не могут игнорировать рынок.

– У меня 2 вопроса: 1. Какой совет ты бы дал основателю сегодня, который пытается получить свою первую 1000 пользователей? 2. Новостная рассылка в наши дни — хорошая идея, или лучше Twitter и Farcaster?

№1. Выберите идею, клиентом которой вы хотите стать. Это упростит всё, включая распространение. №2. Делайте то, что вам нравится. Если вам это не нравится, у вас не будет выносливости, а это необходимо для создания аудитории.

– Ты запустил, инвестировал и поддерживал сотни продуктов. Что, по-твоему, основатели-новички постоянно недооценивают?

Создание продукта — это не то же самое, что создание компании

Как человек, в значительной степени сосредоточенный на продукте, я могу понять желание основателя потратить 95% своего времени на создание лучшего решения для пользователей.

Но успешным компаниям также необходимо уделять первостепенное внимание формированию команды, GTM/маркетингу/продажам, инвестициям, операциям и многим другим вещам.

– Как изменилась культура Кремниевой долины с тех пор, как ты основал Product Hunt?

Product Hunt стартовал в 2013 году. Это было идеальное время, когда мобильные устройства стали мейнстримом с массой неисследованных территорий. В сфере технологий было еще больше оптимизма, прежде чем они стали такими политизированными и горячими. К счастью, в прошлом году энергия сместилась в более позитивную сторону, но 2016–2020 годы были особенно жарким периодом.

Я думаю, что ядро ​​культуры Кремниевой долины осталось прежним. Она более эгалитарна, чем большинство отраслей, и привлекает некоторых из самых любопытных и оптимистичных людей в мире.

– Ты уже сдал квартиру в Сан-Франциско?
(Вопрос остался без ответа)

Стив Джобс о настоящем качестве продуктов

Кайдзэн (яп. 改善, "improvement") – японская философия и практика, которая фокусируется на непрерывном совершенствовании бизнес-процессов производства, разработки, управления, а также любых аспектов жизни.

Принципы Кайдзэн:

1. Встраивание качества в процесс как можно раньше.
2. Фокус на клиентах.
3. Непрерывные изменения.
4. Межфункциональные команды.
5. Поддерживающие взаимоотношения.
6. Пропаганда открытости и признания проблем.
7. Информирование каждого сотрудника.
8. Делегирование полномочий каждому сотруднику.
9. Развитие самодисциплины и самосовершенствование.
10. Устранение причин, а не последствий.
11. Управление начинающееся с планирования.

Приняв принцип Кайдзен, ваша команда должна стремиться вносить небольшие, непрерывные улучшения для достижения высочайшего качества продукта

Всё, что до PMF — это игра в стартап-притворство

И никто кроме вас и вашей команды не знает, "кем вам нужно быть и что cделать" чтобы найти PMF.

Именно поэтому, до PMF нет смысла идти в инкубаторы, на конференции, вкладываться в рекламу, тестить лендинги, и заниматься прочей стартап-ерундой. Всё это съедает время и энергию, в то время когда единственное важное – быстрее итерировать, чтобы найти PMF.

Измените свою парадигму мира на До и После PMF

👈 До PMF два самых важных навыка — это креативность и способность очень много работать при отсутствии обратной связи. Эти навыки позволяют тестировать множество идей, чтобы видеть, какие из них могут прижиться.

👉 После PMF необходимые навыки – немедленное переключение на расстановку приоритетов и выносливость в стрессовых ситуациях.

Как только достигается PMF, у компании(!) появляется гораздо больше идей для создания, чем времени для их создания, а расстановка приоритетов между тем, что "было бы здорово запилить" и что "необходимо запилить", представляет собой экзистенциальный риск на грани кризиса.

Научитесь отличать "клёвую фичу" от "необходимой фичи"

И одна из самых страшных ошибок команды в этом – недооценивание своей собственной экспертизы и опыта и переоценка экспертизы внешних консультантов, инвесторов и "экспертов".

Самые правильные и реальные выводы о том, "чего хотят ваши клиенты" можете сделать и всегда со временем сделаете только вы сами вместе со своими клиентами.

А ваш единственный верный помощник во всём этом – Время.

Figma says you can't use the word "dev mode", решив стать патентным троллем

И если в вашем сервисе используется фраза-режим Dev Mode, то вам стоит переименовать фичу, чтобы не получить иск, как вчера получил досудебное СЕО Loveble, узнав, что Фигма запатентовала слово "dev mode" в конце прошлого года.

В Твитторе уже хейтят и выяснили, что помимо режима разработчика юристы Фигмы запатентовали ещё и слово "Config" и "Schema".

Figma: мы не будем как Adobe. Мы будем хуже!

Плюсом, Фигма также подала документы, но уже в SEC и на IPO.

P.S. Founder Mode уже патентуется

P.S2 "Dev Mode" or "dev mode"? 🤔

Если совещание в вашей команде не похоже на это, даже не пытайтесь звать меня на собес

3 важных навыка для любого продакта

☝️ Инициативность

Инициативность продакта – его способность вести за собой идеи и мысли (и) команды.

И он либо устанавливает своей проактивностью темп для них и продукта, или же подаёт своей безинициативностью наглядный пример для подражания и бездействия для всех. Третьего не дано.

✌️ Эмоциональный контроль

Проактивность продакта не должна распространяться на эмоции (но на эмоцию), особенно в стартапах на стадии быстрого роста или поиска PMF, ибо неконтролируемые эмоции приводят к неконтролируемым результатам.

1) Первый поднавык контроля – это умение оставаться невозмутимым и рациональным перед лицом любых стрессов.

2) Второй поднавык – умение деэскалировать внутренние конфликты и своевременно устранять критические блокировщики в виде задач/процессов/экранов/действий/людей.

Зеркальное отражение эмоций людей (эмпатия) с ростом команды начинает работать с бóльшими ошибками, и продакт должен уметь контролировать желание чрезмерной эмпатии

3) Поэтому, третий поднавык – это бесстрастная эмпатия в виде способности логически разбивать и предвидеть то, что увидят:

а) ваши глаза;
б) глаза вашей команды;
в) глаза пользователей.

Всё вместе – это то, как вы будете реагировать на любые ситуации, оценивая их с разных точек зрения, не привязанных к каким-либо ранее заданным суждениям и стереотипам.

🤟 Долговеченость

Все великие продакты отличаются своей долговечностью – способностью не только управлять продуктом активностью, но и делать это постоянно в течение длительного периода времени, оставаясь при этом: №1) инициативными; №2) самоконтролируемыми.

И тогда долговечность начинает приближать к Бесконечности.

Продакты, которые являются постоянной силой оптимизма и спокойствия – вот два столпа, на которых держится общее состояние команды