ИИ для продакта & CPO | Влад Прошинский
1.41K subscribers
748 photos
155 videos
11 files
1.03K links
Авторский блог об ИИ

Обо мне: https://t.me/AImademyday/4

Сайт: https://proshinsky.com

Для связи: @asmadeyi
Download Telegram
4 ИИ, чтобы управлять деньгами

Planwell.ai – загружаете доходы, кредиты и цели, а он считает разные сценарии: что гасить первым, потянете ли квартиру и сколько останется после покупки.

Boldin AI – вводите доходы, накопления и расходы, а ИИ рассчитывает, когда вы сможете выйти на пенсию и сколько для этого нужно откладывать.

PocketSmith – загружаете историю расходов и спрашиваете её как человека: где стали тратить больше, какие платежи выросли и что будет с деньгами через пару лет.

Fiscal.ai – для акций. Пишете название компании, а ИИ простыми словами разбирает, как у неё идут дела и насколько адекватно сейчас оценена акция.
👍4🤩2
The Agentic OS & Skill Ecosystem

Выложил свою экосистему для ИИ агентов

Здесь собраны фреймворки и скиллы:

1. Разработка и Инженерия
2. Автоматизация процессов
3. Личная продуктивность и База знаний
4. Продуктовый менеджмент
5. UI/UX и Дизайн-системы
6. Тексты, Копирайтинг и Де-слоппинг
7. Исследования, Анализ и SOTA
8. Бизнес, Стратегия и Продажи
9. Маркетинг, SEO и Аналитика
10. Операционка и Делегирование
11. ИИ-оптимизация и Безопасность
12. Мета-навыки и Аудит

А также фреймворки для разработки продуктов:
1.Git. Ship. Done
2. Superpowers
3. Autonomous Dark Factory
4. Arscontexta

==

🔗 https://github.com/Asmadey/skills
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🎉2👍1
Forwarded from Ivan Zamesin
Обновил Next Move Theory до 0.6.18 — большой апдейт скиллов и правки канона.

Что изменилось в скиллах

1. Пакет против плохих дорог галлюцинаций во всех скиллах:
• Каждое утверждение помечено, откуда оно: подтверждено цитатой или цифрой из источника, выведено из данных (сказано, из чего) или гипотеза модели.
• У любого обобщения есть счётчик и ссылки: «сказали 7 из 22 интервью: #3, #7, #9…». Утверждение с одним источником не может стать выводом про сегмент — оно уходит в отдельный список «Single signals». Одна яркая цитата больше не становится «главной болью сегмента».
• Цифра, которую сказал респондент («60–70% сделок через тендеры»), помечается как его мнение, а не как факт о рынке.
• Идеи, которых нет ни в одном источнике, живут только в разделе «Hypotheses to validate», а не внутри сегментов, сайзинга или вердикта.
• Уверенность масштабируется под входные данные: если на входе только описание идеи — в шапке предупреждение «Thin input», все числа диапазонами, сегменты помечены как гипотезы, плюс топ-3 входа, которые сильнее всего улучшат ответ.

2. Защита сегментации. Перед выдачей любого сегмента скилл проверяет три анти-паттерна: канал покупки (тендеры, маркетплейс, реселлер) — не сегмент; отрасль — не сегмент, если Core Jobs и критерии успеха совпадают; сегмент всегда определяется через Core Jobs + критерии успеха + их приоритет.

3. Рынок и язык всегда спрашиваются в начале. Примеры, конкуренты, каналы, ценовые якоря, валюта и тон копирайта берутся из вашего рынка. Больше никаких американских каналов и цен для проекта в Казахстане. Язык аудитории и язык документа — отдельные вопросы.

4. Файлы внутри проекта читаются только с разрешения пользователя. Скилл перечисляет, какие файлы с контекстом нашёл в папке (README, выгрузки опросов, отзывы, транскрипты), говорит, что они обрабатываются локально и никуда не отправляются, и ждёт «да». Секреты и личные заметки не открывает даже при общем «да».

5. nmt-analyze-interviews — самый большой апдейт. Новые разделы отчёта: «Single signals», «Hypotheses to validate», карта источник → сегмент с приложением по каждому интервью, пробелы и кого интервьюировать дальше. Транскрипты обрабатываются волнами по 4–6 штук с записью в файл после каждой волны, поэтому большие наборы интервью не переполняют контекст.

6. Читаемость. В HTML-выводе каждая аббревиатура и термин методологии получает всплывающую подсказку при первом упоминании. Любая строка отчёта должна быть понятна человеку без знания методологии.

7. Проверка обновлений стала прозрачной. Идёт в конце прогона, отправляет только имя скилла и установленную версию, ничего из проекта. Выключается одной строкой update-check: off в файле .nmt-config или переменной DO_NOT_TRACK=1. Установка и обновления идут напрямую с GitHub.

8. /nmt-upgrade переименован в /nmt-update. Инсталлятор сам удаляет старую папку и ставит новую.

9. Блок правил, который инсталлятор вписывает в ваш CLAUDE.md и AGENTS.md, сократился до пяти строк. Ваши собственные правила вне маркеров не трогаются.

10. nmt-chat и nmt-diagnose: предлагают прочитать контекст из папки проекта вместо расспросов, спрашивают рынок один раз перед любым рыночным советом, помечают источник каждого утверждения (в каноне / выведено из сказанного / гипотеза).

Что изменилось в каноне

• Цепочка к прибыли переписана в две фазы: исследование и проверка (рынок с деньгами → сегмент + Job → три условия сходятся в теории → доказательство ценности, клиенты покупают) и масштабирование (те же три условия сходятся по факту на реальном потоке → целевая прибыль).
• Critical Chain of Jobs: узлы цепочки — концы веток на любой глубине, потому что реальный Job Graph несбалансирован. Правило корректности: ни один узел на линии не может быть предком другого.

Обновиться: /nmt-update в Claude Code или $nmt-update в Codex. Полный список изменений: https://nextmovetheory.com/changelog
🔥1
Скиллы для продактов от Lenny Rachitski

🔗 Lenny's Product Skills for Claude Code 2.0

76 навыков управления продуктами и инженерии собранных из полного архива подкаста и рассылки Ленни: 597 эпизодов и публикаций, 4019 подтвержденных источников, каждая цитата проверена дословно по первоисточнику.

Cтруктура сгруппирована по областям: стратегия, планирование, исследование, разработка, запуск, рост, команда и ops, а также вертикальные руководства и карьерный путь.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Как повысить эффективность разработки проектов с ИИ?

Эта Надстройка над вашим кодинг-агентом делает агента в 4 раза дешевле и в 3 раза быстрее , при этом точность работы практически не снижается.

Graft строит актуальную структурную карту репозитория:
- где находится нужный код;
- какие функции что вызывают;
- какие файлы связаны;
- что может сломаться от изменения;
- как выглядит текущий код, включая незакоммиченные изменения.

Метрики:
Сокращение Tool Use +46%
Токен экономия +42%
Экономия времени +60%
Правильность +12


Граф представляет собой локальный, возобновляемый кэш
👍4
Создаем кодинг-оркестратора

Оркестратор = ИИ менеджер, с которым вы контактируете — главная модель делегирует другим LLM / спавнит субагентов и деплоит в main

Я долго откладывал это (всегда приятно идти проторенным путем 😁), но объемы растут, хочется быть ближе к полной автономии (спишь → агент работает). Тем более есть gnhf для длительных автономных ночных сессий.

НО!

Это очень дорого.
Я когда слышу про "я трачу токенов на $1000+ в мес." — мне становится страшно за их неграмотность кошелек 😁

Сейчас у меня по подпискам x2 Ollama, хClaude, x2 Antigravity (с годовыми Google AI PRO), х5 NVIDIA NIM (на все мои Google аккауны), х1 ChatGPT, и всё разрозненно. Ну да, есть QA с Кодексом, который спавнится клауд кодом, но это всё равно не уровень 😁

Тру чуваки юзают 60 подписок, сетап их харнессов, у этого парня ротатор ключей (закончился 1 → следующий).

Короче..

Цель: многопоточность, не читать что пишет, коммуникация через ИИ менеджера, для каждого агента - свой github work-tree, авто-рулы, авто-ревью+QA.

Сейчас задача это всё подружить через CLI + OAuth + harness-ы + API key-ротаторы + skills + plugins + второй мозг, апдейт дневных / недельных лимитов и чтобы это всё было нативно на MacOS (пока что, а потом на линкус в облако и ставить задачи из тг войсов)

За основу сначала взял OrchestrationEngine (а потом увидел на ProductHunt как поляк релизнул на Go производительное решение)

Что ещё:
- Git workflow (каждый агент пишет в своей ветке, а не в main)
- CLIProxyAPI (вызовы провайдеров)
- нативный UI под macOS UI
- pi-openai-server-compaction для длинных сессий Pi лучше юзать кусок харнесса кодекса (лучше сжимает контекстное окно)
- firstmate — готовый сетап из скиллов, agents.md, hooks, plugins (ещё как вариант — dark-factory)
- lavish — чтобы не читать чат, LLM сразу создает HTML для ревью

Можете выбрать что-то из списка (см. скрин) или взять готовый Ruflo (Swarm, память, сотни инструментов и агентов, Claude/Codex)

Stay tuned!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Live trending repositories

Отслеживайте рост репозиториев: как только их популярность растёт, а не после достижения пика.

На ресурсе представлено много полезных репозиториев, в которых можно использовать. один из них: AutoResearch (сам находит идею, сам её запускает, анализирует логи и итерирует).

https://trendshift.io/

Альтернатива GitHub Trending.
💯2
Как выбрать модель под задачу и не переплачивать?

Ori Eval
— это инструмент от OpenRouter для автоматического подбора и тестирования LLM‑моделей под конкретный проект/агента. Он не про «оценку контента», а про benchmarking моделей на ваших реальных промптах и задачах

Как работает Ori Eval:
Вы говорите агенту (в редакторе / MCP):
run curl -fsSL https://openrouter.ai/skills/spawn-ori-eval
и описываете задачу словами: «Какая лучшая модель для поддержки клиентов?»


Ori сканирует проект, находит: промпты, тулы, данные (.jsonl, .csv, логи чатов), известные правильные ответы (если есть) → Задаёт уточняющие вопросы → генерирует eval-ы и запускает тесты на живом каталоге моделей OpenRouter с ограничением по цене → выдаёт рекомендацию + метрики: score, latency, cost per task.

Результат: вы получаете ранжированный список моделей с цифрами

Второй сценарий: регрессионное тестирование агентов (bug → eval → CI): вы обнаружили баг в поведении агента (например, неправильно классифицирует тикеты, забывает вызвать инструмент, галлюцинирует).
- Описываете баг Ori Eval обычными словами
- Ori пишет eval, который падает (доказательство наличия бага)
- Вы чините агента → eval начинает проходить
- Этот eval остаётся в тест‑сьюте и дальше защищает от регрессий
- Добавляете ori eval в GitHub Actions → баг больше не попадает в прод

Третий сценарий: сравнение моделей по трём осям: качество / цена / задержка
- Запускает один и тот же harness на нескольких моделях
- Для каждой модели собирает: качество (LLM‑judge / детерминированные проверки), стоимость за завершённую задачу, latency
- На выходе — данные для решения:
«модель A дешевле и быстрее, но чуть хуже на сложных тикетах»,
«модель B идеальна для VIP‑клиентов, модель C — для массовых»

Четвертый: построение первого eval «с нуля» без ручного написания тестов — вы никогда не писали eval‑фреймворк, но хотите начать тестировать агента системно
- описываете задачу/фичу словами.
- Ori: находит тестовый материал в репозитории, интервьюирует вас, генерирует eval-ы, запускает кандидаты и рекомендует модель
(идеально для CPO / head of AI, чтобы быстро «материализовать» требования к агенту)
👍3❤2
Любой софт теперь стоит 20$

или цена подписки на CC / codex

Например, вот этот парень скопировал ВСЕ продукты Adobe (photoshop, Lightroom, premier, acrobat, after effects, illustrator) на Rust:

PhotoCraft GitHub / Website
VectorCraft GitHub / Website
FilmCraft GitHub / Website
LightCraft GitHub / Website
PdfCraft GitHub / Website
EffectCraft GitHub / Website
DesignCraft GitHub / Website

Вчера за 30 мин. я собрал аналог SuperWhisper, за который платил 24 мес. по 7$. Моя лень стоила 150$

Осталось заменить Todoist

↓
ИИ для продакта & CPO | Влад Прошинский
Любой софт теперь стоит 20$ или цена подписки на CC / codex Например, вот этот парень скопировал ВСЕ продукты Adobe (photoshop, Lightroom, premier, acrobat, after effects, illustrator) на Rust: PhotoCraft GitHub / Website VectorCraft GitHub / Website FilmCraft…
↓↓

На днях Microsoft выкатил стриминговый STT и 2 синтезатора речи MAI-Transcribe-2-Streaming и MAI-Voice-2.1 с поддержкой 60 языков:
• стриминговая транскрибация за 100 мс.
• непрерывное автоопределение языка
• один виртуальный голос на всех языках с родным произношением, без акцента
• клонирование голоса по нескольким секундам образца
• диаризация

Я в итоге решил переехать с SuperWhisper за 7$/mo. на условно бесплатный и более шустрый вариант.

За основу решил взять 2 opensource решения: Handy, Pipit. Остановился на Handy, т.к. он уже написан на любимом Rust + открытое ядро + встроенный VAD (для удаления тишины) + поддержка streaming.

Я сделал 3 доработки:
- стриминг STT через Azure Voice Live
- OpenRouter как запасной провайдер (без стриминга)
- TTS выделенного текста (такого не было в исходнике), который озвучивает выделенный текст. Я не видел чтобы такой сценарий где-то использовался, но думаю, если добавить сохранение озвучки в mp3, то что в целом такой сценарий мог бы оказаться полезным.

Качество лучше, ошибок меньше и быстрее на 30-40%.
👍3
AI LEAD — новый тренд?

На днях проскочила новость: сколково запустил программу AI mini MBA, разработчик Павел Розов сделал фокус на улучшение P&L за счет ИИ-инициатив (расчет фин.эффектов, защита бюджета, питчи и вот это всё, чем занимается любой топ).

На практике, что интересно, недавно «Детский мир» ввел должность директора по внедрению ИИ, наняли Па­вла Лат­ве­наса, а сейчас на hh ДетМир ищет тимлида AI-автоматизаций. На практике считать P&L ≠ внедрять AI.

Где подвох?

Традиционно топ-менеджер по ИТ/ИИ это не про процесс, а про результат (ответственность за рост): защиту бюджета, красивые графики, ROI, лидерство и найм, а делают проекты — лиды направлений.

Поэтому в AI трансформациях (как и в digital) это разные роли, а не одна, как учит Сколково на программе Директор по ИИ

Давайте разбираться на реальных данных в чем разница.

Спрос на роль, по ощущениям, вырос в 2-3 раза.
По факту — соотношение 3.6 : 1 (анализ вакансий hh.ru с «ИИ»), в опросе сколково - 79% участников столкнулись с дефицитом

Мой агент проанализировал вакансии с 01.08 до 08.10, что я для себя выделил:

1️⃣ Локальна автоматизация = Профиль работодателей у всех разный, соответственно чаще и бОльше вакансий ищут специалиста (чтобы и аудит провел, сам прототип запустил с eval-ами, людей обучил). Поэтому «Собирать руками / играющий тренер» — 50%, это второе по частоте требование после архитектуры.

2️⃣ Осмысленная автоматизация = Определить ЧТО и КАК автоматизировать. Такой специалист (иногда менеджер, играющий тренер) в 38% вакансиях должен уметь определить бэклог ИИ-инициатив и приоритизировать. Я разделяю здесь: 100% автоматизируемые процессы / частично автоматизируемые с HITL / ко-пилоты, которые помогают человеку. Это не совсем про AI-native, т.к. компании стремятся к текущим процессам прикрутить AI, а не полностью переосмыслить процессы и, возможно, даже убрать их и полностью заменив AI агентами (боятся паники на корабле).

3️⃣ Автоматизация с гарантией = Способность дать импакт на Бизнес за счет ИИ в 52% вакансиях — это уже не про пилоты где 1 из 10 дает фин. эффект, а про коммерческую выгоду, должен быть опыт / наличие кейсов в с пруфами. Такой опыт ценится, т.к. эксперт понимает как показать фин. эффекты. По BPR фреймворку обычно это значит, что ты уже неоднократно прошел путь: аудит → запуск прототипа/PoC → MVP → прод. решение → провел обучение/воркшопы с сотрудниками (по сути отчасти ф-ционал проджекта и консультанта).

4️⃣ Автоматизация которая обеспечит лидерство в нише/индустрии = ИИ-стратегия встречается в 43%, что под ней понимается в каждой вакансии — вопрос хороший (часто там кроется Roadmap, иногда обучение, иногда с расчетом PnL и ROI, иногда всё сразу). По сути стратегия это КАК бизнес сможет БОЛЬШЕ зарабатывать с применением ИИ в разных его вариациях использования.

5️⃣ Ускорение автоматизации за счет обучения других = Обучать других нужно в 47% вакансиях, и это самое важное на мой взгляд, т.к. нужен кто-то будет постоянно в тренде, ибо скорость изменения в индустрии — самая быстрая, и не достаточно что-то знать в моменте, что завтра уже устрареет, поэтому я бы добавил что важно не само обучение, а нужен постоянно свежий взгляд, понимание новых технологий, желание исследовать новые подходы/инструменты. По сути ключевое здесь — soft skills любознательного исследователя, который не боится эксперементировать→учиться и передавать полученный опыт коллегам в формате воркшопа.

ЗП по таким обязанностям от 100 до 300 тыс.

Дальше уже более масштабные инфраструктурные изменения в крупном бизнесе:

6️⃣ Автоматизация агентами вместо людей = Агенты (agentic / multi-agent) — 47%, здесь хотят видеть опыт внедрения агентов на масштабе (банки, корпы), как правило на базе LangGraph (уже стандарт) с observability этих агентов (с опыт использования LangFuse/LangSmith — мониторинг как функция: оценка качества, анализ ошибок, галлюцинаций, расходы, точность, ложные срабатывания) и Guardrails (PII, 152-ФЗ/ПДн)

7️⃣ Устойчивый фундамент автоматизации:
Архитектура / system design — 52.4%: выбор модели, схема размещения (on-prem / private / public / hybrid), отказоустойчивость, масштабируемость, проектирование API-интеграций. Без этого «AI Lead» не читается — читается «продакт, который разобрался в агентах».

Инфра
— 21.4% это про tech-экспертов, нужно уметь развернуть on-prem (vLLM, Docker Sandbox, Kubernetes, Git), определить какое железо нужно, какой инференес может дать, заказать CPU/GPU, стойки и всё это настроить «чтоб работало», организовывать dev и prod контуры
(индекс готовности ИИ-инфраструктуры российских компаний по методике Orion soft = 38 из 100 баллов)

8️⃣ Обучение — 15% (менторство / skill sharing — 19%, обучить C-level — 14.3%)

9️⃣ Стандарты, регламенты — 21.4%: разработка методологии, управления изменениями или орг. развития, единые стандарты разработки моделей, политик и процессов, методология оценки AI Maturity Index. На head-уровне это половина работы: не делать самому, а задавать стандарт для чужих команд.

🔟 Найм и построение команды — 19% дословно, 26.2% управление людьми, 40.5% агрегированно.

===

Вывод: Head of AI / AI Transformation Lead, и «AI Lead» — про разное.
- Head of AI – про бизнес и как с ИИ заработаем.
- AI Lead – как и на чем это будет работать + орг. слой (команда, методология, вендоры)
- Руководитель внедрения ИИ – MVP руками, интеграции с системами, автоматизация процессов, агенты
- AI Product – P&L digital-каналов + запуск ИИ-продуктов, метрики продукта

Разброс по рынку кого ищут:
lead — 29, head — 12, middle — 1
Опыт: 3–6 лет — 23, 6+ — 13, 1–3 года — 6 (медиана — 3–6 лет.)
Зарплата указана только в 26% вакансиях ср. уровня от 100 до 400 gross
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Как встраивать ИИ в продукт

Полезно продактам, CPO и тем, кто сейчас автоматизирует команды и процессы.

1. ИИ может ухудшить ваш продукт. Он может быть медленным и ненадежным, или же решать проблему, которой ни у кого нет. Тот факт, что это ИИ, еще не означает, что его стоит разрабатывать.

2. Подумайте, нужно ли вам вообще разрабатывать ИИ. Зачастую лучше сначала создать что-то для ИИ, например, сервер MCP. Их проще создавать и поддерживать.

3. Ищите jobs to be done, а не демо. Лучшие возможности для ИИ — это задачи, выполнение которых занимает более 30 секунд, использующие код или интерфейсы, которые пользователи не знают (например, SQL), или задачи, которые пользователи повторяют более 20 раз

4. Онбординг — отличная первая цель. Визард установки с ИИ выполняет работу, занимающую два часа, за 8 минут.

5. Не спрашивайте: «Как добавить ИИ в это?» Спрашивайте: «Как выглядит agent-first-версия этого?» Такой вопрос заставляет переосмыслить jobs to be done для agent-first-будущего и помогает не быть разрушенным ИИ-native конкурентом.

6. Создание продуктов «формата 2030 года» может потребовать начать с нуля и отказаться от накопленных за годы UI-решений и допущений, которые больше не актуальны.

7. Следите за клиентами, которые пересобирают ваш продукт с помощью ИИ. Это показывает, какие функции им действительно нужны. Когда клиенты создают собственный прототип вашего продукта с помощью MCP и Claude Code, — нужно добавить в продукт больше настраиваемых «canvas»-артефактов.

8. Валидируйте ИИ-концепты также, как новые продукты. Запишите, по каким критериям будет оцениваться результат и какой runway у инициативы. Спросите, насколько команда будет разочарована, если её потеряет (PMF-опрос).

9. Опишите, как ваш продукт проигрывает ИИ-native угрозе, а затем профинансируйте собственную версию этого «атакующего». Даже лучший продукт поддержки проиграет продукту, где ИИ отвечает на все тикеты, — вероятно, поэтому Intercom так сильно развернулась в сторону Fin.

10. Ответьте на вопрос: чем это лучше Claude? Именно к нему люди обращаются по умолчанию. Ваш moat — это контекст: функциональность продукта, данные пользователей, а также инструменты и skills, которые вы построили.

11. Сосредоточьтесь на общей ИИ-инфраструктуре. Сделайте примитивы — промпты, стриминг, согласия, evals, задачи и аналитику, — которые продуктовые команды смогут расширять и встраивать в свои продукты. Выберите единый UX-паттерн, чтобы избежать «смерти от тысячи виджетов», а затем не мешайте командам. Продуктовые команды лучше знают своих пользователей, а не ИИ-команда.

12. Позвольте агентам запускать код. Исполнение кода даёт агентам возможности beyond predefined tools.

13. Позвольте агентам делать всё, что могут делать пользователи. Если есть инструмент создания эксперимента, но нет инструмента его запуска, агент сделает всё остальное и остановится, чтобы попросить вас кликнуть по UI. Это ограничивает возможности агентов.

14. Тестируйте продукт headlessly, чтобы развить «эмпатию к агентам». Проверяйте агентные фичи через CLI, чтобы сталкиваться с теми же точками трения, что и они.

15. ИИ не убивает ваш UI — он меняет его назначение. Меньше экранов для выполнения действий, больше — для одобрения, проверки и отмены действий агентов. Стройте UI, когда текста недостаточно.

16. Управляйте агентами на их уровне абстракции. Агенты работают лучше, если позволить им гибко писать и рассуждать. Перестаньте заставлять агентов использовать предустановленные query-инструменты и разрешили им писать собственный SQL.

17. Настройте ИИ-observability с первого дня:
- Трейсите LLM-вызовы: входы, выходы, latency и стоимость. Это выявляет ошибки и проблемы, исправление которых даёт быстрый рост качества.
- Отслеживайте использование агентами так же, как использование людьми. Агенты не генерируют pageviews или rageclicks, но можно отслеживать вызовы MCP-инструментов, запросы страниц и другое.
- Используйте evals, но начинайте с малого. Вручную читайте трейсы, чтобы найти места, где ИИ ошибается. Создайте eval для проверки этой проблемы и улучшайте продукт, чтобы улучшить результат eval. Даже небольшие golden- или синтетические датасеты давали огромный прирост качества по сравнению с обычным циклом разработки.

18. Изучите unit-экономику ИИ-продукта. Наш визард стоит $6,67 за запуск, но улучшенная активация и retention стоят дороже. Переход трейс-саммари со стандартного gpt-4.1-nano на flex-уровень gpt-5-nano вдвое снизил затраты.

19. Многие сбои агентов — на самом деле сбои контекста. Добавление агенту значительно большего объёма контекста улучшило эффективность визарда сильнее, чем улучшенное reasoning, многошаговое планирование, субагенты, pruning и compaction. И Сделайте так, чтобы люди могли легко создавать контекст, которого агент не знает.

20. Прозрачная компания полезна для агентов. Ваши Агенты и агенты клиентов могут смотреть в кодовую базу, handbook и документацию, чтобы лучше понимать, как работает ваш продукт.
Битва скиллов

🔗 https://github.com/Jakeschincariol/arena-skill

Создает команду /arena которая запускает турнир на вашей библиотеке установленных навыков и открывает три мощных практических сценария:

1️⃣ Сценарий 1. «Битва титанов» (Skill vs Skill Benchmark)
Актуально если у вас установлены альтернативные или пересекающиеся скилы. Можно стравить их в соревновании на решение одной сложной практической задачи, чтобы объективно определить сильнейший подход или скомбинировать их сильные стороны.

В моем случае 1я дуэль была по Аудиту безопасности
Участники: claude-security против security-audit-skill (Cloudflare).
Задача: Провести аудит критического модуля (например, auth-сервиса или парсера).
Судейство: Кто найдет более глубокие граничные уязвимости, допустит меньше false-positives и предложит более надежный патч.

Дуэль 2: Фронтенд-архитектура
Участники: scroll-craft против компонентов magicui / shadcn
Задача: Спроектировать архитектуру и интерактивный прототип высоконагруженного лендинга.


Дуэль 3: Мобильный стек

Участники:  react-native-skills против expo .


2️⃣ Сценарий 2. Эволюционная прокачка конкретного навыка
Запускает турнир из 16 агентов (--quick) с задачей:
«Переписать архитектуру навыка X: убрать воду, внедрить строгие анти-AI-slop правила, структурировать вызовы L1/L2/L3, добавить четкие триггеры и скрипты верификации под стандарты PersonalOS».

16 субагентов с разными стратегиями (First Principles, Speed-focused, Adversarial, Academic, Pragmatic) создают свои варианты реализации.
- В раундах атак они вскрывают слабые места в формулировках друг друга (галлюцинации путей, избыточность токенов, двусмысленность инструкций).
На выходе получается единственный, максимально отточенный и выживший вариант SKILL.md.

3️⃣ Сценарий 3. Стресс-тестирование надежности навыка
Проверка того, насколько установленный навык устойчив к сложным граничным условиям:
- Агенты Арены выступают в роли «атакующих клиентов» с противоречивыми, сложными или вредоносными запросами.
- Оценивается, насколько строго целевой навык удерживает контракт, не сваливается в ленивые ответы и соблюдает безопасность.

===

запустил свои и получил эталонный синтезированный пайплайн аудита по безопасности: 5-фазный регламент для аудита любого проекта в PersonalOS:
1. Recon & Ledger: Фиксация git-ревизии, подсчет файлов и генерация coverage-ledger.json.
2. Sandboxed Hunting: Запуск параллельных исследователей в изолированной среде без внешней сети.
3. 3-Lens Panel: Обязательная тройная верификация (Reachability, Impact, Defenses) перед признанием проблемы реальной.
4. Patch Specification: Генерация минимального атомарного патча.
5. Delivery: Формирование отчета REPORT.md и экспорта в SARIF.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Мультиагентный мультимодальный пайплайн

Как оценивать видео-контент синтетическими персонами?

🎞 в ролике показал пайплайн на базе мультимодальной видеомодели Qwen3 VL 30B и Qwen3.6-35B-A3B.

Решение классической проблемы долгих и дорогих фокус-групп: видеоролик нарезается на сцены, анализируется моделью Qwen3 VL, транскрибируется с диаризацией по спикерам, после чего репрезентативная синтетическая аудитория (с профилями «Большой пятерки» и социодемографией) отвечает на вопросы из анкеты с оценкой NPS, досматриваемости и восприятия смыслов.

Качество ответов контролируется независимым контуром валидации (LLM-as-a-Judge), а весь агентный граф оркестрируется через LangGraph + трейсинг через Langfuse.

Тайм-коды
00:00 — Архитектура (Redis, Mongo, S3)
00:31 — Концепция: оценка видео
01:06 — Пайплайн: VAD, STT и Qwen3 VL
02:00 — Аудитория, параметры и анкеты
02:22 — AI Cтек
03:45 — Аудитории на базе датасета
04:14 — Конструктор анкет
04:48 — Запуск и мониторинг пайплайна
05:55 — Результаты: таймлайн, ответы
06:35 — Метрики исследования
07:20 — Сегменты, аналитика
07:55 — Карточка персоны
08:48 — Версионирование и Настройки
09:14 — Prompt Studio
10:15 — LLM-as-a-Judge
11:00 — Биллинг токенов и OpenAPI
11:32 — Экспорт отчетов
11:35 — Интерактивный чат с персонами
12:08 — Шеринг отчета исследования
12:30 — Observability в Langfuse
13:35 — Планы: RAG и векторная БД


Стек: LangGraph, FFmpeg, Qwen3 VL 30B, Qwen3.6-35B-A3B, Silero VAD, STT GigaAM / Parakeet / Whisper. Observability: Langfuse. Backend & Data: FastAPI, PostgreSQL, Valkey (Redis), MongoDB, S3
Please open Telegram to view this post
VIEW IN TELEGRAM
Claude Mod для ускорения разработки

В 🎞 видео показал как использую новый плагин Mod для CC

- контроль кэша чтобы не терять контекст при простое сессии
- предлагает next steps
- интеграция с claude-mem
- расчет стоимости сессии в $ и токенах
- контроль дневных и недельных лимитов
- хоткеи: handoff summary и enhance prompt
- контроль допущений агента перед PR
Please open Telegram to view this post
VIEW IN TELEGRAM