Перевод курса “AI-грамотность” от Anthropic с дополнениями - часть 5

В этот раз у нас не такая длинная, но, тем не менее, важная тема - “Оценка и цикл оценка-описание при работе с ИИ”. Изначальный материал я дополнил своими примерами, а в конце привел ряд техник, которыми пользуюсь сам для того, чтобы оценивать результаты работы ИИ.

В тетрадку NotebookLM добавил несколько гайдов по техникам, которые могут быть полезны вам в оценке.

Мы движемся с вами к завершению курса. Следующая тема - последняя. Вместе с ней Anthropic дает возможность пройти викторину и получить сертификат (правда, не именной). Викторину я также переведу, чтобы у вас была возможность прикликать оригинальную в гугл форму и получить свой сертификат 🙂

👉🏻 Содержание лекции с моими дополнениями
🎧 Подкаст в NotebookLM
🔗 Ссылка на подкаст для тех, у кого не работает NotebookLM
✍️ Тетрадка NotebookLM
📄 Переведенные материалы и упражнения

📌 Предыдущие лекции курса:
1. Лекция 1 - Введение в ИИ-грамотность и фреймворк 4D
2. Лекция 2 - Погружение в генеративный ИИ и LLM.
3. Лекция 3 - Делегирование
4. Лекция 4 - Описание и эффективный промптинг

#обучающиематериалы@NGI_ru

@NGI_ru

Как использовать NotebookLM на полную на русском
Как вы могли заметить, при переводе курса Anthropic я активно кидаю вам ссылки на NotebookLM, при этом ранее я писал, что работа на русском языке оставляет желать лучшего: долгая скорость работы, в подкастах упускаются детали, а сами они короткие. И хоть мой основной режим работы там на английском, я таки разобрался, как заставить ее работать нормально на русском.

Вот мои советы:
1. Грузите первыми материалы на русском языке - я заметил, что если грузить сначала англоязычные материалы, оно почему-то работает хуже, видимо, первый попавший в тетрадку язык заставляет модель тянуться в его сторону, а не в сторону последующих материалов
2. Для настройки - десктоп, для работы - мобайл - недавно вышла апка на мобильные и планшеты. И хоть на первый взгляд она выглядит так же, но там отсутствуют важные функции: нельзя сделать контролируемую генерацию подкаста, нельзя выбрать язык взаимодействия. Все это доступно в десктопе, но отсутствует в мобилке
3. Не генерируйте подкасты в авторежиме - механизм Attention для русского языка какой-то сломанный в авторежиме. Неверно интерпретирует, скачет с темы на тему. Для того, чтобы сделать нормальный подкаст - используйте контролируемую генерацию

Как генерить нормальные подкасты:
Здесь у нас два сценария, когда у вас, как у меня, есть текст, на который надо опираться и когда текста нет, рассмотрим оба!

Шаг 0 - когда текста нет. Закидываем все тексты в NotebookLM, далее просим тетрадку сгенерить вам по ним урок. В промпте указывайте тему, какой из документов должен быть основным (ВАЖНО!), а также, какой вам нужен урок по формату. Все, у вас есть текст!

Шаг 1 - когда текст уже есть. Кидаем полученный текст в Gemini с таким промптом:

Как член команды NotebookLM напиши мне промпт, по которому я могу сгенерировать максимально качественный подкаст. Вот план подкаста [сюда пишем, что хотим узнать, на какие вопросы ответы получить]. Вот текст [сюда вставляем свой текст]. Дай только сценарий, без таймкодов.


В целом, этот промпт уже дает хорошие результаты, но если вы хотите сделать подкаст еще длинее, то делаем так:

Как член команды NotebookLM напиши мне промпт, по которому я могу сгенерировать максимально качественный подкаст.

Инструкции для генерации:
1. Запроси у меня пример промпта для генерации подкастов
2. После того, как получишь его - запроси у меня план и текст, по которому нужно осуществить генерацию.

Дай только сценарий, без таймкодов


Пример промпта берите по этой ссылке, за него благодарим @viktor_1820

Мы используем именно Gemini, потому что у моделей один токенизатор и работать оно будет лучше!

Шаг 3 - идем генерить кастомный подкаст. Копируем получившийся промпт, но не отправляем! Я рекомендую в нем еще ручками добавить, когда и к каким документам обращаться, если вы знаете примерное их содержание.

На выходе, если документов мало - получим подкаст длительностью 9-13 минут, который максимально покроет вашу тему, если документов больше - будет 20-30 минут, у меня пока рекорд 38.

#обучающиематериалы@NGI_ru

Про бизнес-обучение в России
Я уже как-то писал пост про то, где учиться AI, но в целом, вопрос “Где учиться” - довольно широкий. Сегодня пост про бизнес-образование. Как выпускник МГУ - я всегда буду топить за свой университет и эконом, но есть и другие места, где можно и нужно учиться бизнесу 😄

Лучшее сочетание - это когда у в универе дают хорошую академическую базу, есть преподы-практики, а программу проектировали при участии людей из бизнеса. Мне повезло, что на моей программе все это совпало, а сегодня я узнал еще про одну такую.

Кто знает Skyeng - знает имя Дениса Сметнёва, кофаундера компании. Когда я только пришел в компанию - я попал в бизнес-юнит, который был подотчетен как раз Денису. Мы делали много классных штук, пытались в международку, и делали в этом успехи. Подбор команды, руководителей, методы работы - скажу честно, это была лучшая версия Skyeng, в которой я работал, а сам Денис во все это очень сильно вовлекался.

Так вот, Денис недавно стал академическим директором в бизнес-школе МФТИ и теперь наводит интересную движуху и там. Сейчас они ведут набор в магистратуру с практической направленностью. Обучение по-классике длится 2 года и фокусируется на том, что студенты развивают свои проекты при поддержке бизнес-школы. Те, кто учится сейчас уже делают свои стартапы с реальными продажами на $1 mln в год. И я уверен, что с приходом Дениса программа станет еще круче.

В общем, очередная крутая инициатива, которую я всячески поддерживаю. И нет, это не реклама, ее у меня в канале нет и точно не будет в ближайшее время 🙂

Подать заявку множно в боте @bsmipt_bot до 27 июня.

Как получить себе бесплатный доступ практически к любому AI-инструменту
Заголовок не кликбейт, но есть нюанс 🙂 В общем, подавляющее большинство ИИ-сервисов сейчас - это обертки для LLM. Если инструмент обладает агентскими функциями, то LLM + Tool Caling, чтобы модель могла делать какие-то дополнительные операции. Сверху обычно лежит еще какой-то графический интерфейс, обычно чат + эмулятор и так далее.

То есть грубо говоря, Cursor, Bolt, Manus, Lovable и прочее - это просто запромптченые LLM-ки. А если это запромптченные LLM, значит у них есть системный промпт, который можно из них вытащить. Как бы авторы ни пытались защититься от этого, всегда есть какие-то бэкдоры и методы их извлечения. Либо целиком либо по частям. Для этого есть различные техники вроде инъекций, output2prompt и так далее.

Все это помогает вытащить системный промпт либо целиком либо по кусочкам. Сам промпт при этом будет необязательно 1 в 1 тот, что закладывали создатели. Чаще это семантически совпадающий с ним промпт, но так как модели работают на семантике - полученный промпт будет обладать 99% характеристик оригинала.

Лазая по github я наткнулся на интересный репозиторий, в котором лежат системные промпты Dia, Cursor, Lovable, Manus, Replit и других AI-тулов. На Reddit и в самом гитхаб пишут, что промпты настоящие. От авторов сервисов, естественно, никаких подтверждений или опровержений, иначе как им поднимать свои 900 млн инвестиций 🙂

Что это нам дает?
Довольно много! Мне, как продакту, интересно посмотреть на структуру промтов, какие стратегии там применяются, как, куда и зачем разработчики направляют модели, как организован тул-юз. Это один сценарий. Второй - берем любой системный промпт, идем в Google AI Studio, копируем его туда и получаем практические полный аналог всех инструментов из списка выше БЕСПЛАТНО.

Нюанс здесь в том, что у вас не будет графического интерфейса и инструментов, которые должны вызываться, будет только запромпченая LLM. Но если вы умеете вайбкодить, системно мыслить и хотите поупражняться в создании AI-продуктов, то и эту проблему можно решить 🙂 Берете Cursor, Stitch, системный промпт, например от Manus и пилите свой Манус.

Enjoy 😄

Открываю запись на индивидуальные консультации по AI

Одна из услуг, которую мы предлагаем в EAI - это стратегический консалтинг по внедрению AI. Параллельно с этим я периодически проводил собственные консультации за рамками агентства, где делился опытом по AI, продакт-менеджменту и внедрению AI в бизнес.

Канал растет и запросов на консультации становится все больше: «подсказать как собрать команду», «помочь с AI-стратегией», «накидать идей для AI-фичи». Последние месяцы я оставил только платный формат консультаций, и это дало отличный результат - люди приходят более подготовленными, мы глубже погружаемся в задачи и достигаем лучших результатов за время сессии.

Поэтому решил официально анонсировать возможность индивидуальных консультаций. Стоимость часовой сессии - $150.

📌 Чем я могу быть полезен

Запуск и стратегия AI-продуктов
Помогаю с полным циклом создания AI-продуктов: от поиска идеи и быстрой проверки гипотез до подготовки к выходу на рынок. За все время работы я запустил более 20 AI продуктов, как потребительских, так и внутренних. Подскажу, как формировать AI-стратегию для существующего бизнеса, выбирать подходящие решения под бизнес-задачи. Расскажу как собрать ваш MVP максимально дешево и быстро. В техническом плане поделюсь практическим опытом работы с GenAI: LLM (API, облачные решения, локальные модели), Text-to-Image (генерация изображений с нуля, генерация в стиле), Text-to-Speech (генерация и клонирование голоса), ASR (распознавание речи) и их интеграция в продукт или бизнес.

Управление AI-проектами и командами
Специализируюсь на практическом AI Product Management: как эффективно управлять AI-проектами, выстраивать процессы, проводить исследования, проектировать эксперименты, взаимодействовать с командой в специфике AI-разработки. Опыт в R&D и инновациях включает построение и лидирование R&D-команд (строил команды в Skyeng, Pearson, EAI), разработку R&D стратегий (Skyeng, клиенты EAI), построение и отладку процессов создания инноваций с нуля (Skyeng), переработку существующих процессов (Pearson) и многократное внедрение в рамках EAI.

Карьера и образовательные продукты по AI или с AI
Помогаю выстроить карьерный трек в AI PM, подготовиться к собеседованиям (успешно менторил ребят до офферов), развить навыки AI-продакта, поделюсь опытом консалтинга и спецификой работы в международных компаниях. Если вы хотите запустить свой курс или образовательный AI-инструмент, поделюсь опытом создания собственных тренингов и образовательных продуктов в рамках Skyeng и Pearson.

Что ожидать от сессии
За час мы глубоко погрузимся в вашу задачу, проанализируем ситуацию и вы получите конкретное понимание, что и как делать дальше. Это фокусированная экспертная сессия для получения четкого плана действий, а не полноценный проект, где и моя команда делаем что-то за вас.

Если задача объемная и требует более детальной проработки, можем договориться о нескольких сессиях.

Как мы будем работать:
1. Запрос: вы пишете мне в личку @vladkor97 с кратким описанием задачи.
2. Подготовка: если я понимаю, что могу быть полезен, вы присылаете мне необходимые материалы (презентации, документы, ссылки). Я изучаю их до нашей встречи, чтобы мы не тратили время на базовый контекст.
3. Сессия: Проводим часовую консультацию, где фокусируемся на решении вашей проблемы.

Уверен, будет продуктивно!

ИИ для собеседований: взгляд со стороны нанимающего и нанимаемого
Ни для кого не секрет, что одним из классных кейсов применения LLM является использование его для собеседований.

Причем делать это можно в разных сценариях (я пробовал все):
- когда ты нанимаешь и готовишь вопросы к кандидату
- когда ты хочешь подготовиться к собеседованию
- во время прохождения собеседования (для обоих)
- когда ты анализируешь результаты собеседования как нанимающий менеджер

Первые два кейса довольно прямолинейные
Даем модели как можно больше контекста о компании, позиции, резюме + обязательно указываем пожелания. Если нанимаем мы - просим модель добавить свои фирменные вопросы (они у всех есть) + кейсы. Если нанимают нас - просим кейсы, а также промптим модель быть максимально строгой и критичной. Самое главное в этом процессе сделать так, чтобы весь процесс был направлен на проверку релевантных навыков и командного фита.

Еще я рекомендую делать разные сценарии: когда интервьюер менеджер/HR/технический специалист, задавая модели роли. Классно работает управление контекстом: например, через добавление к промпту фразы:

“Представь, что у тебя уже есть человек, которого ты хочешь нанять, задавай такие вопросы, ответ на которые либо точно отсеет кандидата либо заставит тебя передумать в его пользу, если ответ корректен”.

Самый главный риск здесь - чрезмерно простые вопросы от AI из-за ограниченного контекста. Однако отмечу, что наниматель здесь находится в более выгодной позиции, так имеет больше информации. Однако и тем и другим поможет генерация фоллоу-ап вопросов, которые позволят копать глубже.

Во время интервью
Сторона нанимающего: на ключевые вопросы я заранее промпчу модель в разных окнах браузера и в момент ответа кандидата на них - включаю режим диктовки. Если я что-то упускаю сам - LLM помогает мне догнать кандидата доп вопросами или как-то скорректировать процесс интервью. А чтобы предотвратить использование кандидатом LLM для ответа на вопросы - я даю ему кейсы с ограниченным контекстом. Чем меньше мы даем контекста - тем лучше. Если передо мной опытный спец - он сразу это почувствует и задаст сначала более очевидные для его специальности вопросы для уточнения, а потом менее. Если человек использует LLM - моделька часто будет предлагать решение сразу, а если запромпчена задавать вопросы - глубоких будет не так много, ей будет достаточно ответов и на поверхностные. В процессе решения кейса кандидатом, я люблю добавлять ухудшающие и нестандартные условия, чтобы проверить кандидата на шаблонность мышления. Если человек полагается исключительно на LLM - у нее снова будет слишком мало контекста для ответа.

Сторона нанимаемого: самое важное - думать головой. Если вы не чувствуете контекста - LLM вам не поможет в тех условиях, что я описал. Никогда не отвечаем сразу, берем паузу. Не отправляем модели сразу промпт с кейсом. Задаем вопросы, добавляем их в контекст, просим покопать глубже. Модель советую использовать не для генерации ответов, а для генерации вопросов, которые натолкнут вас на решение. Очень поможет наличие второго экрана и режима диктовки. Определяем, для каких вопросов нужна модель, а на какие отвечать самим.

На этапе анализа
Мой метод - два окна с одинаковым контекстом. Но в одно я кидаю чисто транскрипт, который модель оценивает под ролью “сурового нанимающего менеджера”, а в другой - свою ОС и на что я обратил внимание, после чего - прошу вынести модель свой вердикт с учетом всех данных. В итоге помимо своего мнения я получаю два ответа модели: более нейтральный и предвзятый в мою сторону (из-за моих комментариев). После - взвешиваю все “за” и “против” и выношу решение.

А какой у вас опыт с обеих сторон? :)

Места в закрытом пуле AI-специалистов для выпускников моих тренингов

Друзья, небольшой анонс. Вы все знаете, что я много сил вкладываю в свои тренинги по AI для личной эффективности и AI продакт менеджменту.

Сотрудничество с Глебом позволило мне больше сосредоточиться на контенте и образовательном опыте и меньше думать о маркетинге. Но я не останавливаюсь и ищу новые сотрудничества. На этот раз - это партнерство с платформой Профессионалы 4.0.

Данная платформа - это маркетплейс проектов для специалистов, клиенты - крупные компании вроде Сибура, Росатома, EY, Газпрома и многие другие. Чек начинается по 500 000 рублей и доходит до нескольких миллионов. Проекты можно выполнять как соло, так и командой, если вы - ИП.

Так вот, ВСЕ выпускники любого из моих тренингов получают доступ к закрытому пулу специалистов с компетенциями в AI. На данную категорию большой спрос, а конкуренция довольно низкая, так как спецов мало. Так что, если вы - крутой специалист, вам хочется прокачать себя в AI и дальше работать в этой сфере, то данный бонус для вас.

Я продолжаю искать новые партнерства и делать свои тренинги полезными не только с точки зрения знаний, но и с точки зрения бонусов для выпускников.

Если вы хотите записаться на какой-то из них - это можно сделать по ссылке. Завтра стартует 4 поток по личной эффективности!

Годнота от моего коллеги, все как вы любите 🙂 Кстати, очередной повод подписаться на Рефата.

Собрал официальные гайды по промтоинжинирингу от OpenAI, Anthropic и Google в один NotebookLM

Можно чатиться с этой базой знаний, задавать вопросы и получать ответы на основе официальных источников. Делал для себя, делюсь.

Ссылка: https://notebooklm.google.com/notebook/3e7759a8-ec71-4867-9a1f-41344a0ff498

Просто кидаешь вопрос в ноутбук типа "как настроить temperature для креативных задач" или "покажи пример few-shot промта для классификации" - и получаешь конкретный ответ со ссылками на источники.

Пользуйтесь, копируйте себе, делитесь своими ссылками в комментах, буду дополнять.

Перевод курса “AI-грамотность” от Anthropic с дополнениями - часть 6

Финальная лекция курса! Последняя тема - “Добросовестность”. Здесь все про этику, безопасность данных и ВАШУ ответственность за результат работы с ИИ.

Очень много примеров и деталей в NotebookLM, поэтому рекомендую ознакамливаться именно с подкаста. Текст в этот раз скорее конспект 🙂

Позже выложу итоговый пост со всеми лекциями и викториной, пройдя которую вы сможете получить сертификат от Anthropic. Пост уйдет в закреп и его можно будет пошарить)

👉🏻 Содержание лекции с моими дополнениями
🎧 Подкаст в NotebookLM
🔗 Ссылка на подкаст для тех, у кого не работает NotebookLM
✍️ Тетрадка NotebookLM
📄 Переведенные материалы и упражнения

📌 Предыдущие лекции курса:
1. Лекция 1 - Введение в ИИ-грамотность и фреймворк 4D
2. Лекция 2 - Погружение в генеративный ИИ и LLM.
3. Лекция 3 - Делегирование
4. Лекция 4 - Описание и эффективный промптинг
5. Лекция 5 - Оценка и цикл оценка-описание при работе с ИИ

#обучающиематериалы@NGI_ru

Мой опыт использования DeepSeek для серьезных задач и в проектах

Когда в начале этого года вышла DeepSeek R1, многие радовались выходу этой модели, говоря, что “вот она, замена GPT o1” в бенчмарках работает наравне и вообще классная модель. Изначально я отнесся к таким заявлениям скептически.

Сам DeepSeek я использовал от силы две недели, и модель меня вообще не удовлетворила. По уровню ответов модель отставала в моих задачах от Gemini и GPT года на полтора, плюс к этому, сама скорость ответа меня не удовлетворяла из-за очень долгих размышлений, бонусом к этому шли рандомные иероглифы. И если с точки зрения вклада в развитие AI и новых методов обучения DeepSeek делает реально крутые штуки, то с точки зрения реального пользования модель оказалась для меня бесполезной. Просто потому что я привык использовать лучшее и у меня есть доступ к этому лучшему.

Однако, это были мои личные задачи, и наиболее объективно на места все расставляет все же время. Прошло уже полгода с момента выхода R1, и что мы видим?
- Трафик у DeepSeek ожидаемо пошел на спад;
- Cкорость ответа из-за нагрузки в сервисе еще дольше;
- Часть сложных запросов заканчиваются ошибками.
- Кроме того, модель является самой цензурированной. Попробуйте спросить у нее, чей Тайвань или другая спорная территория 🙂

Но модель же OpenSource, скажете вы. Действительно. DeepSeek можно развернуть у себя на сервере, но много ли вы видели кейсов? Мне известен только один - Perplexity на волне хайпа в начале года очистили от цензуры захостили модель у себя, после, выложив ее в опенсорс. Много ли вы ей пользуетесь? Уверен, что большинство использует либо DeepResearch либо предпочитает другие модели, вроде Claude и Gemini, ибо зачем выбирать то, что работает хуже?

В остальных случаях я вижу просто повальное доминирование QWEN. У себя в проектах мы используем QWEN, Тинькофф Банк использует QWEN, в Avito - QWEN. Никто не использует DeepSeek, потому что в малой размерности эта модель оказывается еще тупее, а ее Reasoning нельзя отключить. В итоге, на выходе мы получаем тупую модель, которая спамит иероглифами, и к тому же, нереально долго отвечает.

Может быть, DeepSeek лучше работает с задачами для Китая?
Ко мне попал проект, тесно связанный с китайской культурой, и логично было предположить, что вот тут-то DeepSeek преуспеет. Но нет, проблема не в языке. Эту модель нереально сложно промптить. Чтобы создать ассистента на базе нее и добиться выполнения определенных флоу - ей нужно писать просто ОГРОМНУЮ, максимально подробную инструкцию. Если не прописать детали - она просто ей не следует нормально. Также, в процессе модель путает языки. Ситуация становится чуть лучше, если писать промпт на китайском, но даже тогда, в выдаче она периодически выдает символы и фразы на английском. Модель ужасна в плане следования инструкциям. Я не помню, чтобы писал такие подробные инструкции со времен GPT 3.5, и то, она мне казалась умнее. В данном проекте в итоге мы частично заменили DeepSeek на QWEN, дальше планируем окончательно выпилить DeepSeek оттуда.

В общем, вся история с DeepSeek с точки зрения практического использования оказалась просто хайпом. Если у вас нет доступа к нормальным LLM, то да, это лучше, чем ничего, хотя я настоятельно рекомендую попробовать QWEN, по моим ощущениям, она отстает от западных аналогов где-то на 8 месяцев, а не на 1.5 года. Но если у вас есть доступ к топовым моделям, вы просто не захотите возвращаться к китайским моделькам.

Умрет ли Perplexity?
В последнее время я все чаще вижу мнение о том, что время Perplexity прошло. Сторонники этой позиции аргументируют все тем, что функции AI-поисковика уже интегрированы в LLM, при этом качество поиска в Perplexity местами проигрывает LLM, а ссылки на первоисточники сервис выдает некорректные. Другой популярный аргумент, говорящий о том, что “компания нездорова” - это количество бесплатных подписок, раздаваемых на сервис в рамках разных кампаний, мол, у ребят настолько все плохо, что люди будут пользоваться их продуктом либо за дешево либо бесплатно. На другой чаше весов - продолжающиеся раунды инвестиций и куча восторженных отзывов от простых пользователей (посмотрите в том же App Store). Но будет ли Perplexity жить?

На мой взгляд - да. И первая причина - диверсификация. Perplexity постепенно отходят от концепции просто умного поиска. Недавно анонсированный агентский режим Labs - тому подтверждение. А ведь есть еще крутой голосовой режим, Spaces и куча других функций. Помимо этого, у компании есть планы по выпуску собственного ультра-персонализированного AI-браузера.

Вторая причина - помощь регуляторов. Уже сейчас тех же Google они довольно активно жмут. Монополизация поиска, околомонопольная ситуация с браузерами и попытки заставить компанию продать Chrome, вместе с наличием у Perplexity альтернатив по обоим фронтам, дают компании шансы отхватить свою долю рынка.

Третья причина - хороший UX. В плане UX, на мой взгляд, Perplexity сейчас делают наиболее удобный продукт. То же наличие приложение для ПК - очень жирный плюс, сюда же идут голосовой режим и особенности организации рабочего пространства против просто списка чатов у той же Gemini. При всей моей любви к Gemini, Perplexity для меня тупо удобнее, в том числе, благодаря шорткатам.

Четвертая причина - потенциальные партнерства. В последнее время мне все чаще попадается информация о возможном сотрудничестве Perplexity с Samsung и Apple. У компании есть потенциал захватить весь рынок яблочных устройств и довольно жирную долю Android и Windows, если это случится. Кроме того, отставание Apple в AI гонке может вообще побудить компанию к покупке Perplexity, чтобы предлагать лучший опыт своим пользователям эксклюзивно.

Пятая причина - выбор делают пользователи. Обычно Perplexity ругают те, кто разбирается в AI, но что покупать решает всегда конечный пользователь. Для простого пользователя неважно, какие у моделей метрики, сколько ссылок модель дала лишних. Им важны их пользовательские сценарии. В Perplexity вы без ограничений можете использовать модели от OpenAI, Anthropic, Google, DeepSeek, когда надо - вызвать на помощь агента из Labs, использовать Voice Mode в качестве голосового ассистента на своем смартфоне, организовывать командные проекты в Spaces и так далее, и компания не планирует на этом останавливаться

Поэтому, на мой взгляд, у Perplexity довольно светлое, хоть и не безоблачное будущее :)

Как написать промпт для LLM, когда вам нужен ответ по определенному формату

Промпт инжиниринг - не самая простая штука. Если вы хотите сделать какой-то продукт - вам все равно придется погружаться в тонкости работы LLM и различные стратегии.

Но давайте признаем: не каждый из нас здесь будет сам писать промпты для какого-либо AI продукта, гораздо чаще встречается сценарий, когда мы пишем промпты для каких-то своих повторяющихся операций (делаем ИИ-ассистентов). Сегодня я поделюсь с вами тем, как оптимизирую данный процесс.

Одна из базовых стратегий промпт инжиниринга, которую должен знать каждый - это Few-Shot промптинг, когда мы даем модели несколько примеров того, что мы хотим получить, а потом она отвечает нам по заданному формату. Однако кто много работал с LLM - знает, что даже при качественном Few-Shot - модель может отклоняться от формата. Связанно это с тем, что LLM по своей природе недетерминированны. Чтобы бороться с этим можно замиксовать Few-shot с другими стратегиями, поиграться с примерами, а можно сделать проще.

Reverse Prompt Engineering - мой первый выбор, когда мне нужен результат по определенному формату. Данная стратегия предполагает, что хоть мы и воспринимаем LLM как черный ящик, за кулисами все равно имеется какая-то логика, по которой модель принимает и обрабатывает наши запросы. В процессе ответа она ищет семантически наиболее вероятный ответ. На это мы и будем делать упор.

Вам понадобится:
1. LLM
2. 3-5 примеров выхода модели
3. 5 минут вашего времени

Алгоритм действий:
1. В LLM закидываем следующий промпт:

Ты - первоклассный специалист по написанию промптов. Мне нужно написать промпт для ИИ-ассистента, который будет помогать мне с [вписать вашу задачу], он должен принимать на вход следующие данные [сюда вписывайте, что будете скармливать LLM]. Вот пример желаемого ответа: [сюда вставляете свой пример]. Напиши 5 вариантов промптов, которые могли бы использоваться для такого ассистента. 

2. Получив свои 5 вариантов, закидывайте в LLM следующий пример с вот таким промптом:

Вот еще один пример ответа [сюда вставить пример]. Из тех 5 промптов, что ты сгенерил, оставь только те, которые подходят и для предыдущего ответа и для текущего. 

3. Повторяем операцию #2 с оставшимися примерами. Полученные промпты пробуем использовать для решения своей задачи в новом окне. Если вам что-то не нравится - возвращаемся с обратной связью в то окно, где создавали промпты и просим доработать
4. Полируем финальный промпт руками (опционально).

Почему это работает?
Давая модели больше вариантов ответа постепенно, мы сокращаем наименее вероятные промпты, чем больше примеров дадим - тем точнее будет финальный промпт. В процессе можно еще просить его доуточнять после нескольких итераций. Почему не кинуть все примеры сразу? Потому что COT-промптинг работает лучше zero-shot-а :)

Данная стратегия может использоваться и как стартовая точка в промптинге ИИ-ассистента для вашего AI-продукта, но это уже другая история :) Пользуйтесь!

Перевод всех лекций курса Anthropic по ИИ-грамотности с моими дополнениями и бесплатный сертификат

Как и обещал, пост с оставшимися материалами и сертификатами по результатам его прохождения.
В последней лекции Anthropic дают довольно большой набор упражнений. PDF-файл с ними вы можете найти по следующей ссылке. В этом посте решил собрать сразу все + добавил небольшой бонус от себя.

🎓 Лекции
Лекция 1 - Введение в ИИ-грамотность и фреймворк 4D
Лекция 2 - Погружение в генеративный ИИ и LLM.
Лекция 3 - Делегирование
Лекция 4 - Описание и эффективный промптинг
Лекция 5 - Оценка и цикл оценка-описание при работе с ИИ
Лекция 6 - Добросовестность при использовании ИИ

📄 Сертификаты
Сертификат от Anthropic - для того, чтобы получить сертификат от самих Anthropic вам достаточно будет заполнить эту форму. Форма на английском, поэтому я сделал для вас переведенную версию в Perplexity Labs. Если вы не знаете английского, то можете предварительно протыкать русскоязычную версию, в ней точно такой же порядок вопросов и вариантов ответов. Единственный минус сертификата то, что он не является именным, но мы это исправим 🙂

Сертификат от меня - в комментариях и в личке вы просили, чтобы я сделал сертификат еще от себя, поэтому пройдя этот курс, вы можете получить сертификат от NGI Academy. Все, что для этого нужно сделать - запустить вот этого бота @NGI_Anthropic_bot и пройти более сложную версию квиза. В боте более 200 вопросов по всем материалам, включая дополнительные, вам нужно будет ответить на 20 случайных, если наберете 16 баллов - получаете именной сертификат.

Как обычно, просьба одна: делитесь данным постом со знакомыми, сохраняйте себе, ну и пользуйтесь полученными знаниями 🙂 В будущем планирую публиковать больше контента

#обучающиематериалы@NGI_ru

Кейс: как Cursor облажались с выбором бизнес-модели и ее трансформацией

Среди AI-тулов сегодня очень популярна модель "заплати 20 баксов и получи Х быстрых запросов и безлимит на медленные". Это понятная для конечного пользователя формула, которая неплохо помогает расти, пусть для самих компаний она явно убыточна.

Большинство ИИ-стартапов просто прожигают инвестиционные деньги с целью захвата доли рынка и увеличения пользовательской базы. Такое не могло продолжаться бесконечно и должен был найтись кто-то, кто покажет "как правильно начать генерировать прибыль". Вместо этого - нам показали "как делать не надо" :D

Что произошло?
У Cursor - самого популярного ИИ-редактора кода пару недель назад сменилась бизнес-модель. Если раньше давали 500 быстрых запросов и безлимит на медленные, то сейчас компания сказала, что лимиты будут динамическими. В первичном сообщении говорилось, что для конечного пользователя такая формула даже лучше. Помимо этого, компания убрала ограничение на 25 вызовов инструментов за один запрос.

В итоге, спустя неделю многие пользователи начали сообщать, что получают сообщения о том, что их лимит выгорел за неделю, а у кого-то осуществился даже перевод на тариф Pay As You Go, где оплата идет по количеству запросов.

4 июля компания выпустила пост с извинениями, где пояснила: теперь вам дается 20$ на запросы по цене API и этого хватит 225 запросов к Sonnet 4, 550 Gemini и так далее. Но лучше от этого не стало :)

В чем проблема?
Говоря прямым языком - Cursor жестко обосрались, наступив на типичные AI-грабли!

Помимо кривой коммуникации и сложности понимания новых тарифов для пользователя (они даже сейчас не так прозрачны), были вещи куда хуже.

Ошибка 1: они сформировали у пользователей губительную для себя модель поведения. Мол, ты задавай сколько угодно запросов, исчерпаешь - не парься. Люди ПРИВЫКЛИ к халяве, сформировав паттерн поведения, а теперь у них начали просить деньги за то, что раньше было бесплатно. Усугубило ситуацию отключение лимита на вызовы инструментов, Sonnet теперь может прожечь ВЕСЬ ВАШ ЛИМИТ за ОДИН ПРОМПТ!

Ошибка 2: они не образовывали свою аудиторию. Объективно говоря, их ключевая ЦА - разработчики, а разработчики в абсолютном своем большинстве не умеют писать промпты, просто потому что для этого нужны менеджерские навыки. Второй их сегмент - вайбкодеры, которые пишут код "тупо на вайбе" и не парятся с запросами. В итоге в лимиты уперлись ВСЕ! Гайды по промтингу, написанию Rules и стратегиям экономии на сайте найти ОЧЕНЬ СЛОЖНО. Вот и результат!

Ошибка 3: неверно выбранная бизнес-модель. В сочетании с ошибками выше просто нельзя было так сильно резать базовый тариф. Гораздо лучше сработало бы ограничение по моделям, например, ограничить использование Sonnet, убрать условный безлимит, оставив 500 запросов и делать это постепенно. Либо можно было изначально работать исключительно по модели токенов, как это делают Bolt, где подписка дает тебе определенное количество токенов, если исчерпал - можешь докупить. Кстати, Bolt еще хорош тем, что у него просто куча инструкций и гайдов по промптингу, в отличие от Cursor.

Все перечисленное привело к оттоку юзеров и куче возмущений. И теперь интересно две вещи: будут ли Cursor делать что-то еще и научатся ли другие на их горьком опыте?

Друзья, вижу поддержку с вашей стороны в конкурсе, хотя я даже не говорил о начале головования 😅 Оказалось, что я сейчас лидирую, благодаря вам!

Нужно удержать лидерство 🙂 Победа даст мне прирост трафика в канал, а вам - больше контента.

Как меня поддержать всего в два действия:
1. Подписаться на канал конкурса https://t.me/tg_contest_main и быть подписаным на мой канал
2. Заполнить форму, выбрав в списке “NGI | Влад Корнышев про AI и создание AI-продуктов” и указав свой ник в telegram обязательно через @, вот так @vladkor97.

Буду очень благодарен каждому. Конкурс продлится до 14 июля!

🔥 Итоги первого дня голосования! 🔥

Гонка началась, и сразу видно — у некоторых каналов очень активная и лояльная аудитория. Вот номинации, где уже вырвались уверенные лидеры:

Карьера — @fearstop
Образование и книги — @voice_and_life
Юмор — @bogdan_e
Психология и саморазвитие — @molodayamat50
Дизайн — @AngelTDesign
AI и инновационные технологии — @NGI_ru
Разработка и управление командой — @teamlead_stories
Продажи и маркетинг — @ignatova_mr_protexti

В остальных номинациях пока идёт плотная борьба — голоса распределяются равномерно или их ещё недостаточно, чтобы выявить явного лидера.

💡 Обратите внимание: в лидерах не самые крупные каналы, а те, чья аудитория действительно готова голосовать и поддерживать. Лояльность решает!

🖱 Теперь на сайте конкурса можно кликнуть по названию номинации и сразу перейти к списку каналов и форме голосования. Удобно!

⏳ До конца голосования — ещё 6 дней. Всё может поменяться. Вперёд за победой!