Валидация — это мираж

«Как проверить UI/UX/механику...»
«Как проверить, сработает ли фича?»
«Как узнать, будут ли люди покупать это?»
«Как понять, стоит ли разрабатывать продукт?»
«Как подтвердить соответствие продукта рынку заранее?»

Никак.
Никак.
Никак.
Никак.
Никак.

Нельзя пре-проверить Идею.
Нельзя валидировать догадку.
Нельзя валидировать абстракцию.
Нельзя валидировать эскиз, макет и MVP.
Нельзя проверить то, чего ещё не существует.

Наш мозг ищет уверенности заранее, ему сложно вернуться к работе в ином режиме. Но отсчёт времени начинается не тогда, когда вы приступаете к работе или когда готов какой-то фрагмент Целого.

Он начинается только/ровно в тот момент, когда готовый продукт/фича становятся публичными и выходят на рынок

И если единственный способ узнать, что вы промахнулись — это спросить других и ждать их ответа, значит, вы, скорее всего, сбились с пути ещё в самом начале. И вы, на самом деле, точно промахнЁтесь (снова привет, пророческое совершенное время, но только с пользой наоборот).

Если вы создаёте продукты, вы должны понимать, куда движетесь, не спрашивая у других дорогу на пути.

Есть лишь один способ максимально приблизиться к уверенности — создать реальный продукт/фичу и выкатить их в паблик, чтобы их можно было: попробовать (→) использовать (→) купить. Потому что именно так ВСЁ работает в реальности. Именно так работает реальность.

Реальное использование реального продукта в реальных условиях и в ходе реальной работы — единственный способ что-либо проверять.

Поэтому самый работающий в реальности способ всё выяснить — поверить в идею, воплотить её в жизнь и выпустить её в мир.

Вы безупречно делаете вcё:

1. вы Это Предчувствуете;
2. вы Это Видите
3. вы формируете Намерение
4. вы двигаете(сь) сквозь Это вместе

Продукт — это совокупность взаимосвязанных элементов: они зависят друг от друга, перетекают один в другой, интегрируются между собой.

Нельзя взять кусок продукта, спросить людей, нравится ли он им, и сделать вывод, что им понравится и остальная часть, когда она будет готова. Так вы узнаете лишь то, нравится ли им конкретно этот кусок, который вы им дали.

Все экстраполяции/валидации и верификации – додумки и обман нашего мозга.

Поэтому не принимай впечатление от отдельной части продукта за Истину. Давая человеку кусок чего-то неоднородного, ты вынуждаешь его угадывать вместе с тобой и на этом нельзя строить Намерение, Видение и Движение.

Хочешь усомниться в себе/фиче/продукта/ и в конечном результате — устрой тест/опрос/коридорное тестирование или просто спроси кого-нибудь ещё, что он думает о твоей идее/фиче/продукте.

Созданная таким образом "неопределённость" –  единственное, что сработает безотказно в этой "реальности". И всё будет как на картинке выше.

Декабрь 1985 года. Команда Стива Джобса заявила ему, что назначенный им срок выпуска — это «искажение реальности».

Стива согласился с их доводами, но всё равно настоял на своей дате. Запись этого разговора раскрывает принцип принятия решений, который так и не усваивают многие продакты и основатели.

Компании NeXT всего 90 дней, она финансируется из личных средств Джобса, вложенных после его ухода из Apple и уже на первом совещании команда обсуждает перенос запуска с весны 1987 года на весну 1988-го.

Возражения звучат жестко. Один из сотрудников указывает на опасность: «Искажение реальности – вымышленная дата, и все принятые на её основе проектные решения впоследствии придётся перечеркнуть».

Джобс не спорит: «Что ж, Джордж, я не могу изменить мир». (– ахахахаха, Стив, комоооон)

Он настаивает на другом:

«Я считаю, что мы должны обозначить чёткую веху. И если мы упустим это окно, то в игру вступит целая цепочка событий. И если мы не сможем продать достаточно устройств в 87-м, мы не сможем покрыть наши операционные расходы...

...У нас есть 18 месяцев. И я не думаю, что компания выживет, если мы этого не сделаем. Что бы ни говорил я или кто-либо ещё, я глубоко в этом убеждён. Если мы этого не сделаем, мы не сможем привлечь отличных специалистов. Мы не сможем удержать даже тех, кто у нас уже есть».

TLDR: Команда оперировала оценками сроков, а Джобс — условиями выживания.

– Оценка говорит о том, когда работа может быть завершена, и допускает обсуждение.

– Условие определяет момент гибели и бесповоротную точку чего-либо, и оно не подлежит обсуждению.

Именно поэтому установленный срок остался в силе. Джобс привязал дату не к оптимистичным прогнозам, а к рыночному календарю и запасу прочности компании. И все могли оспорить график работ, но никто не мог оспорить критическую важность этого временного окна.

Неудобная для основателей Истина в том, что если ваш дедлайн основан на оценках команды, он неизбежно сдвинется.

Если же он диктуется законами рынка, то это вовсе не дедлайн, а условие выживания (замаскированное рынком под дедлайн).

Опросы в кампусах показывали, что верхний предел цены составляет $3,000 долларов и колледжи готовы закупать компьютеры по таким ценам. NeXT представила свой «чёрный куб» 12 октября 1988 года с опозданием более чем на год. Продажи начались в 1989 году по цене от $6,500 долларов, спрос со стороны университетов оказался низким, а масштабировать производство так и не удалось.

— What I want and what I need are two different things, Audrey

Метод CRISP для PRD

...«Пользователи должны иметь возможность легко управлять своими настройками»...

...«Система должна обеспечивать бесшовный процесс онбординга»...

...«Пользователи должны иметь возможность быстро находить релевантный контент»...

Эти фразы звучат умно, но не проходят элементарную проверку на качество требования: можно ли понаблюдать за действиями пользователя и понять, сработала ли функция так, как нужно?

«Легко» — по чьей оценке?
«Бесшовный» — как измеряется?
«Релевантный» — по каким критериям?

Когда требования не определены, инженеры трактуют их по-разному, QA не могут составить на их основе тест-кейсы, метрик и аналитик нет, и продакт попадает в созданный им же замкнутый круг переделок.

Подход Алистера Кокберна CRISP заменяет расплывчатые требования структурированными сценариями, описывающими наблюдаемое поведение.

CRISP – это:

– Context (Контекст)
– Role (Роль)
– Intent (Цель/Намерение)
– Steps (Шаги)
– Postcondition (Пост-состояние).

Тоже самое требование об «управлении настройками» в формате CRISP будет выглядеть так:

– Контекст: Авторизованный пользователь с активной учетной записью.

– Роль: Владелец учетной записи.

– Цель: Изменить частоту получения уведомлений.

– Шаги + alternate flows. Пользователь открывает «Настройки», выбирает раздел «Уведомления», меняет частоту с «Ежедневно» на «Еженедельно», подтверждает изменение и видит сообщение о подтверждении. Alternate flows: пользователь отключил PUSH в телефоне/разные часовые пояса/и т.д.

– Пост-состояние: При следующем цикле рассылки система отправляет уведомление.

Три CRISP-совета

🍤 Стоит явно зашивать в Context/Intent связку с JTBD, иначе метод просто оптимизирует форму требования (которое может быть ошибочным), а не ценность фичи и продукта.

🍤 Постусловие пишется первым, шаги задом наперёд. Если вы не можете сформулировать постусловие до того, как придумали шаги, то вы не знаете, что строите, а просто рисуете UI.

Постусловие — это ещё и спецификация аналитики, а не только тест-кейс, потому что use case, доведённый до постусловия, автоматически диктует то, какой ивент нужно логировать.

🍤 PRD пишется не только с ИИ, но и с QA и разрабом, которые пытаются сломать постусловие, потому что единоличное авторство use case воспроизводит ту же проблему, что и с расплывчатым PRD, просто один человек теперь уверен в своей однозначности.

Ценность метода реализуется в адверсариальном ревью: кто-то должен спросить «а если...» до продакшена (а не как обычно после). И не забывайте про alternate flows!

Готово! Абстракция заменена конкретной последовательностью действий и проверяемым результатом, объём работ становится чётко определён и не допускает вольной трактовки, оценки разрабов становятся точнее, приёмочное тестирование упрощается, метрики и аналитика настроены с самого начала.

Bon appetit!

Токен ↔ Человек: параллели между работой ИИ-агентов и людей

1. «Токенмаксинг» (tokenmaxxing) — это попытка решить проблему простым наращиванием объёмов и заваливанием задачи ресурсами.

Но реальная проблема заключается вовсе не в количестве потраченных токенов.

Сотрудники тратят так много токенов, потому что не умеют ими пользоваться

Лишь 1/100 сотрудников знает, как обеспечить ИИ необходимым контекстом. Редко встретишь того, кто способен чётко описать процесс и обладающего терпением, чтобы разобраться в контексте (и понимающего, что это значит).

2. Циклы — это попытка компенсировать некомпетентность человека методом «грубой силы». Агенты запускают сами себя, чтобы исправить собственные ошибки, лишь потому, что человек изначально не смог четко сформулировать задачу.

В итоге «грубая сила» становится для системы единственным способом движения вперёд.

Всё это – следствие неспособности людей изначально правильно понять задачу. В итоге, мы тратим токены на то, чтобы тратить токены.

3. Бесполезная трата токенов – это новый раздутый штат в эпоху ИИ

Подавляющее большинство сотрудников вообще не оказывают существенного влияния на бизнес, они лишь винтики в механизме: штампуют согласования на каждом уровне и нанимают новых винтиков, чтобы поддерживать работу машины, существующей ради самого существования.

80% сотрудников ничего не делают = 80% токенов расходуются впустую.

Люди плодят новых людей.
Токены плодят новые токены.
Живые люди тоже ходят по кругу.

4. Токены с эффективностью «х100» – это новые сотрудники уровня «х10»

Токены ведут себя как рабочая сила, стоит начать воспринимать их как сотрудников, но все радужные ожидания рушатся:

– Токены точнее людей, но только при правильном промпте.

– Токены быстрее людей, но скорость теряет смысл, если приходится повторять попытку 100 раз.

– Токены не участвуют в корпоративных войнах за бюджет, но они выстраивают империи, пожирающие бюджеты на токены.

– Токенам можно доверять, но они могут с уверенным видом выдавать неверный результат, идеально соблюдая при этом форматирование.

Единственная сфера, где ИИ действительно превосходит людей — это масштабируемость

Масштабирование человеческих ресурсов требует огромных затрат энергии на найм, адаптацию и борьбу с текучестью кадров. Масштабирование же токенов происходит мгновенно.

Именно поэтому ошибки в управлении ими обходятся так дорого, и именно поэтому нужно найти и масштабировать токен со стократной отдачей.

Сотрудники уровня х10 создали компании прошлой эпохи
Токены уровня х100 создадут компании будущего

Подобно тому, как горстка сотрудников может поднять продуктивность остальных в 10 раз, определённый объём контекста, переданный токенам, способен на порядки сократить усилия, затрачиваемые ИИ на выполнение задач.

5. Накопление такого контекста — новая тактика сохранения рабочего места. И внутри компаний, внедряющих ИИ, назревает серьёзная проблема.

Сотрудники не хотят обучать ИИ-системы своим уникальным профессиональным секретам, потому что на протяжении веков владение уникальными профессиональными знаниями служило гарантией занятости.

ИИ — это первая технология, требующая от работников разом передать все эти знания. И у владельцев знаний-токенов, способных обеспечить рост х100, меньше всего стимулов с ними расставаться. Поэтому средневековые гильдии держали свои методы в секрете.

6. Оценка результатов ИИ – новые OKR

Лучший способ управления рабочей силой, использующей ИИ-инструменты, ничем не отличается от управления обычными сотрудниками – нужно чётко определить, что именно считается качественным результатом.

Пора провести ревизию в масштабах компании и продукта и выявить х100 токены и инструменты, закрепить работающие процессы и направить в нужное русло интеллектуальный потенциал, который сейчас расходуется впустую в огромных масштабах.

Люди управляют ИИ, ИИ управляет людьми

Но кто-то всё равно должен говорить и тем, и другим, что именно нужно делать.

Суперпозиция — это (не)Знание того, что мы ⇄ рынок ⇄ мир ⇄ Вселенная ещё не выбрали

Это (не)Знание (внутренний и внешний спор) идёт в двух направлениях: "мы не знаем, будет ли это востребовано, потому что мы недостаточно исследовали" (незнание в нас) vs "мы не знаем, потому что рынок сам ещё не решил (потому что всё вокруг возникнет только из взаимодействия наблюдателя и наблюдаемого" (незнание в мире)).

Главная ошибка – выбирать "давайте проведём больше рисёрча" там, где рынок-мир-пространство ещё не знают помнят о проблеме

– Любая фича до своего релиза — это ничто, бесконечное пространство (не)возможных вариантов-кейсов-ситуаций и механик, которое схлопывается в реальность(и) только в момент, когда юзер её начал наблюдать.

Наблюдение происходит тогда, когда Нечто постучалось в реальность памяти, и это Нечто резонирует со структурой памяти.

Память – это паттерны-фракталы-артефакт(ы)

В продукте фича "случается" для пользователя, только если модель продукта резонирует с его существующей ментальной памятью.

В ином случае, продукт будет говорить на языке, для которого у памяти пользователя ещё нет структуры распознавания, а всё неизвестное, что происходит в вашем продукте и что не удержал пользователь, бессознательно сохраняется в сознании-памяти пользователя, потому что функция сохранения и есть определение памяти. И всё что пользователь не понял в вашем продукте, он с некоторой вероятностью сможет вспомнить и понять в продукте ваших конкурентов.

Наблюдатель и наблюдаемое про вложенность, а не различные объекты

Структура продукта = структура команды = структура мира-рынка и ЦА, которая его наблюдает и строит

Продакт, пытающийся "объективно" (хаха) оценить архитектуру продукта, сам же стоит внутри того же контура, который оценивает (он оценивает сам себя, являясь частью единой Системы), но никак не наблюдателем и наблюдением снаружи.

Правильное наблюдение расширяет и сужает пространство решений одновременно. Правильный внутренне-внешний рисёрч работает так же, не просто сужая 100% гипотез до 20%, а расширяя(!) оставшиеся 20% до потенциала 100%.

Наблюдение это предсказание и вы можете предсказывать на основе того, что помните

Начало-продолжение поста про наблюдение

От циклов к графам (часть 1)

TLDR: цикл = отправная точка, а граф циклов = сеть циклов улучшения, которые наблюдают, подпитывают, ограничивают и корректируют друг друга.

Циклы – это процесс. Граф – их структура

Всё дело в том, что ИИ-циклы дают сбои. Сбои не случайны и есть 4 основных когнитивных ИИ-искажения и сбоя, которые кроются в природе самого ИИ-цикла.

Первое искажение ИИ: закон Гудхарта

ИИ-цикл видит только свою метрику и именно поэтому он будет искать все способы изменить эту метрику, включая способы, которые противоречат её назначению (привет, хакнутые "кем-то" KPI)

ИИ просто не понимает, что в цикле создаётся сбой (часто, это не понимает и человек), когда он манипулирует собственной метрикой. ИИ(-цикл) считает, что делает именно то, для чего был создан на основе числа, которое незаметно оторвалось от реальности, которую оно представляло.

Второе искажение ИИ: слепота к восходящему направлению

Цикл направляет свою переменную к эталонному значению, но ничто внутри цикла не может проверить правильность самого эталона.

Это как термостат в чайнике, который не может задаться вопросом, является ли 100° правильной температурой кипения воды (и должна ли вода вообще кипеть). И ровно также цикл ИИ-отдела продаж не может спросить сам себя, была ли предложенная им цена и оффер разумными для клиента и бизнеса. Цикл оценки просто не может усомниться в том, измеряют ли эталонные показатели что-либо, что чувствуют клиенты. И чем усерднее работает цикл, тем тщательнее достигается неверная цель, возвращая и усиливая ошибку №1.

Третье искажение ИИ: внутренний ИИ-конфликт

Реальные системы содержат множество циклов, и циклы, построенные независимо друг от друга, начинают бороться между собой. Цикл, оптимизирующий скорость отклика, подрывает цикл, оптимизирующий рассудительность, а цикл найма, отвечающий за рост базы знаний, создает нагрузку на цикл культуры, сохраняющий их качество ☯

Четвертый вид сбоя незаметный: система измерений внутри самого контура деградирует, потому что за наблюдателем никто не наблюдает

Все эти показания могут плавать, каналы передачи данных ломаться, смысловое наполнение метрик меняться, цифры в одном отчёте ошибочно подтверждаться ИИ цифрой из другого и контур продолжит работать с данными, которые, по факту, уже никак не связаны с реальностью. Система, функционирующая по такому сценарию начинает напоминать фальшивый спектакль актёров-зрителей в одном лице.

Граф: циклы, наблюдающие за циклами (часть 2)

Если присмотреться к тому, как Системы на практике реализуют процессы совершенствования, вырисовывается определенная закономерность: они никогда не сводятся к одному циклу.

Системы — это сети циклов, соединённые с другими циклами

Так, грамотно управляемая компания представляет собой граф циклов: быстрые операционные циклы (ежедневный/еженедельные совещания/анализ метрик) встроены в более медленные управленческие циклы (квартальное планирование), те – в циклы аудита (ежегодные и, что важно, независимые, которые проверяют, соответствуют ли реальности цифры, выдаваемые операционными циклами), а все они — в самый медленный цикл уровеня совета директоров, который задаётся вопросом верны ли сами цели.

Технологии ИИ пришли к такой архитектуре аналогичным путём.

Грамотный конвейер обучения ИИ – это цикл типа «чемпион = претендент», когда модель-кандидат должна превзойти текущую модель, прежде чем заменить её, а также циклы мониторинга дрейфа, отслеживающие, соответствуют ли поступающие данные тем, на которых модель обучалась и механизмы отката (автоматический возврат к предыдущей версии, если показатели после развертывания выходят за допустимые пределы).

Сюда же входят отложенные оценочные выборки, недоступные для цикла обучения, своего рода "слепой" цикл, чья единственная задача выявлять случаи, когда оптимизирующий цикл пытается обхитрить свои собственные тесты.

Каждый элемент здесь — это цикл. Надёжность системы кроется в связях между ними: какой цикл передает данные другому, какой наблюдает за каким и какой может наложить вето на действия другого.

Проблема Гудхарта решается методом парных показателей: каждому оптимизирующему циклу сопоставляется цикл, отслеживающий контрметрику и выявляющий способы "дешёвого" достижения KPI.

Проблема "слепоты" по отношению к вышестоящим уровням решается иерархией, в которой более медленный цикл определяет целевые показатели для быстрого, а пересмотр целей сам по себе является регламентированным циклом, а не случайным решением того, кто установил их изначально.

Конфликты разрешаются через явный арбитраж: над конфликтующими циклами стоит ещё один цикл, который принимает решение по поводу возникающих компромиссов.

Проблему деградации показателей решают с помощью аудиторских контуров, единственная функция которых – периодически проверять, сохраняют ли данные других контуров связь с реальностью.

Иными словами, меняется структура процессов цикла. Цикл больше не изолирован в Системе

Человеческий организм работает так же: терморегуляция – это не один термостат, а сеть взаимодействующих рефлексов, а иммунная система, по сути, выступает как цикл аудита всего организма, в котором медленные процессы меняют физиологические параметры, которые помогают быстрым циклам его адаптации.

Создание одного чётко работающего контура было искусством прошлой эпохи (ещё каких то пару месяцев назад).

Мастерство эпохи ИИ — это архитектура контуров

Понимание того, что метрика не должна существовать в отрыве от других, что у контрольных точек должны быть ответственные лица, что скорости процессов нужно разграничивать, чтобы быстрые контуры не разрушали то, что поддерживают медленные, и что некий контур в такой Системе должен отвечать за саму реальность.

ИИ-Wiki: Код, продукты, жизнь (ч.1)

За последние месяцы четыре разные команды реализовали одну и ту же идею Wiki для ИИ: OpenWiki, DeepWiki, AutoWiki,, GBrain.

Работает просто: LLM читает набор источников, компилирует их в поддерживаемый набор markdown-страниц и обновляет эти страницы по мере изменения источников. Агенты читают эти страницы вместо того, чтобы заново выводить всё из сырого материала на каждый вопрос.

Паттерн стал категорией, а системы, построенные на его основе, всё чаще называют просто «агентными вики». Вот что это такое на самом деле, что построила каждая команда, где это ломается и с чем это постоянно путают.

Идея: компилировать при поступлении, а не при запросе

Начнём с проблемы, потому что паттерн — прямой ответ на неё.

Стандартный способ передать модели базу знаний — это поиск (retrieval). Вы загружаете документы, разбиваете на чанки и создаёте эмбеддинги, а при запросе извлекаете релевантные фрагменты и отвечаете. Это работает, но имеет структурный изъян: ничего не накапливается.

Каждый вопрос начинается с сырых фрагментов, так что модель каждый раз заново выводит одно и то же понимание, и десятый вопрос о кодовой базе не дешевле и не лучше первого.

LLM Wiki инвертирует этот порядок: вместо того чтобы собирать знания при запросе из сырых кусков, LLM собирает их один раз при поступлении в долговечные страницы и затем поддерживает их. Когда поступает новый источник, модель читает его, обновляет затронутые страницы, пересматривает и отмечает противоречия с уже написанным, выводя его один раз и затем обновляя.

Архитектура состоит из трёх слоёв:

1) Сырые источники неизменяемы: статьи, документы, репозитории, данные. Модель читает их и никогда не редактирует.

2) Вики — это созданный LLM markdown, которым ИИ полностью управляет: резюме, страницы сущностей, концепций, перекрёстные ссылки и т.п.

3) Схема — это конфигурационный файл (CLAUDE.md, AGENTS.md или аналогичный), который сообщает модели, как организована вики и какие рабочие процессы запускать, что превращает её в проводника, а не просто в чат-бота с доступом к файлам.

Над всем этим работают три операции:

– приём источника и размещение его по затронутым страницам;

– запрос к вики с возможностью сохранять хорошие ответы как новые страницы, чтобы исследование тоже накапливалось);

– периодическая проверка, выискивающая противоречия, устаревшие утверждения и потерянные страницы.

Что на самом деле построили лаборатории и различия между реализациями.

DeepWiki — вики как общедоступная утилита. Замените github.com на deepwiki.com в URL любого публичного репозитория, и вы получите сгенерированную, навигабельную вики этой кодовой базы: обзор архитектуры, индекс файлов, граф зависимостей и поиск с ссылками на исходный код.

AutoWiki придерживаются подхода, что документация должна быть артефактом сборки, а не побочным проектом. Она строится из исходного кода, организована вокруг того, как кодовая база работает на самом деле, и обновляется при изменении репозитория. AutoWiki выполняет двухпроходный анализ и работа распределяется между специализированными агентами, каждый из которых охватывает один аспект репозитория с достаточным контекстом для создания хорошей страницы.

OpenWiki перешли от кода ко всему

LangChain открыли исходный код OpenWiki и расширили его до OpenWiki Brains с двумя режимами: Code Brain — исходный вариант для репозиториев, и Personal Brain, который строит вики из ваших собственных подключённых источников.

Этот второй режим — самое интересное. Personal Brain принимает данные из Gmail, Notion, git-репозиториев, X, Hacker News и веб-поиска и синтезирует их в локальную markdown-вики, к которой обращается агент. Категория перешла от «документируй мой репозиторий» к «скомпилируй мою рабочую жизнь».

GBrain: персональная версия вас

GBrain применяет ту же форму к личной базе знаний, а не к кодовой базе: markdown в git-репозитории, файл схемы и автоматически поддерживаемый граф перекрёстных ссылок сущностей. Никакой векторной базы, никакого сервиса — просто файлы, которые модель и человек могут читать.

Вики — это не память (ч.2)

Здесь стоит провести одно чёткое различие, потому что терминология в этой области всё ещё расплывчата.

Эти системы всё чаще описываются как памят». LangChain называет OpenWiki «слоем вики-памяти для ИИ-агентов», используя маркетинговую формулировку. Слово несёт большой вес, но покрывает две довольно разные вещи.

Корпусное знание — это то, что делает вики: компилирует то, что содержится в наборе документов, репозитории или архиве Gmail. Она отвечает на вопрос «что содержит этот материал?»

Пользовательская память и опыт — это другая ось: что предпочитает конкретный человек, что они решили на прошлой неделе, какой подход их команда уже отвергла, что агент пробовал в другом приложении вчера и чем это закончилось. Это относится к идентичности, а не корпусу, накапливается из взаимодействий, а не поступления, и должно уметь обрабатывать противоречия, устаревание, происхождение и удаление для каждого пользователя.

Вики отлично справляется с первым и не пытается делать второе

Компиляция вашего Gmail в страницы говорит агенту, что находится в вашем Gmail. Это не говорит агенту, что вы передумали по поводу решения о вендоре в разговоре во вторник, или что предложенный подход уже однажды не сработал для вас.

Эта вторая ось — то, для чего предназначен выделенный слой памяти, такой как Mem0: память, привязанная к user_id, чтобы она следовала за человеком между сессиями, приложениями и агентами, обновляемая на месте при изменении фактов, а не добавляемая навсегда.

Эти два подхода дополняют друг друга, и ошибка не в выборе вики. Ошибка в том, чтобы верить, что вы решили проблему памяти, потому что скомпилировали корпус.

Вынесите из этого три вещи:

1) Компилируйте ваши документы в поддерживаемые страницы, когда корпус стабилен и часто перечитывается

2) Добавляйте полноценный поиск, когда он вырастает за пределы личного масштаба, как и рекомендует исходная формулировка.

3) И держите различие между компиляцией корпуса и запоминанием пользователя, потому что вики даёт вам первое, а не второе.

ИИ Wiki — реальный паттерн с реальной идеей: знание должно быть скомпилировано один раз и поддерживаться, а не перевыводиться на каждый вопрос, и поддержка, отсутствие которой убило человеческие вики, это именно та работа, которую модель выполняет бесплатно.

Истина 1. Поведение Системы возникает из взаимодействия между её частями, а не из отдельных частей

Результат системы — это результат того, как компоненты соединяются и взаимодействуют. Можно довести до совершенства каждую отдельную часть и всё равно получить сломанное целое.

Продукт это то, как совершенные части собраны в полезное целое

Системное мышление означает оптимизацию связей-линий между частями-точками. Оптимизация части всегда идёт за счёт целого.

Части Системы, оптимизируемые независимо(!) по локальным метрикам, стремятся к своим локальным максимумам, которые являются провалом для целого (прямое следствие декомпозиции цели/фичи/продукта/рынка).

Истина 2. Структура, правила и потоки информации обладают большей силой, чем её параметры

Точки вмешательства в оптимизацию Системы имеют разную силу. Настройка параметров обладает слабейшей силой, в то время как изменение структуры, правил и информационных потоков большую, а изменение всей парадигмы Системы – максимальную.

Эксперименты с версиями фичи это лишь уровень параметров

Проектирование базиса механики/архитектуры/сценария, на/по/благодаря которому смогут строить и создавать другие пользователи/команды — правило.

Систему можно опознать даже после того, как заменены все её физические носители: люди и код, главное – всё будет работать в новых версиях и компиляциях, если сохранился паттерн связей между ними.

Истина 3. Граница Системы очерчена наблюдателем, а не продуктом/рынком

Где проводится граница продукта, там же заканчивается его рост и оптимизация, а всё, что снаружи границы, воспринимается как внешняя среда, а не как часть целого. Не бывает объективной границы Системы — есть только граница, которую "выгодно" не видеть.

Истина 4. Когда в Систему добавляются что-то "новое" как новый актор, новая ценность переходит к интерфейсу, через который это "новое" взаимодействует с частями Системы. Интерфейс – слой парадигмы.

Истина 5. Управлять Системой может только То, что содержит не меньше разнообразия, чем сама Система

Регулятор должен обладать вариативностью реакций, равной или превышающей вариативность возмущений, иначе часть возмущений пройдёт через него неотрегулированной (математическое ограничение управления как такового).

Истина 6. Иерархия — это замороженная на момент времени искусственная сеть, а формализация и живость Системы это её взаимоисключающие состояния.

Система 7. Система не может познать себя изнутри, ибо любое её самоописание есть модель низшего порядка сил. Система существует не ради цели, а ради собственного воспроизводства. Её цель это то, что она рассказывает себе про себя

Истина 8. Достигнутая Системой цель — её же новое ограничение.

Система, истребившая все ошибки, истребила собственную способность эволюционировать.

Значит ли это, что она достигла Абсолют?

Безопасность ИИ-агента – это продуктовое требование, а не задача «отдела безопасности»

Мы научились считать экономику токенов, бороться с галлюцинациями и даже писать систему тестов для оценки качества ИИ. Но почти никто на этапе проектирования не задает вопрос: «что произойдет, если нашего агента скомпрометируют?»

При том что агент – это не чат-бот с ответами. Это сущность с доступами: к коду, к данным пользователей, к внешним сервисам, к инфраструктуре. И чем полезнее агент – то есть чем больше ему доверили – тем дороже стоит его взлом.

– LLM ошиблась → вы получили плохой ответ.
– Агент скомпрометирован → вы получили несанкционированные действия в продакшене, утечку данных и искаженные результаты по всему продукту.

«Поверхность угрозы для агента растет пропорционально его полезности»

Поэтому «прикрутим безопасность потом» с агентами не работает – так же, как не работает «допишем аналитику потом». Безопасная архитектура либо закладывается на нулевом этапе, либо превращается в вечный долг, который выплачивается инцидентами.

Школа анализа данных Яндекса посвятила теме бесплатную AI Agents Security Week – пять дней про угрозы безопасности агентов, контролируемый доступ к инструментам и проектирование безопасной архитектуры ИИ-продуктов.

Продукт ещё и про ошибки

Мы недооцениваем значимость и ценность наших продуктовых ошибок. Промахнувшись с гипотезой/фичей, мы проводим "аналитику", ищем оправдание (которое не укажет на нас самих и наши убеждения как причину), быстро отчитываемся и спокойно забываем о ней, упуская истинное предназначение-суть ошибки:

Ошибка вскрывает те самые каналы, которые в повседневной суете закрыты для нас из-за нашей невнимательности и спешки.

Ошибка заставляет остановиться, вырывая нас из автоматизма.

Ошибка учит тому, чему мы не научимся в комфорте рабочей суеты: вниманию, присутствию, глубине.

Ошибка даёт почувствовать всю полноту и пустоту бытия продукта.

Всё это является дарами ошибки, если не бежать от неё.

Спроси ошибку: «Что ты хочешь мне сказать?»

Ответ придёт словами-ощущением и именно это ощущение направит Дух продукта Туда, куда вам нужно идти.

На скрине Uncle Bob Martin (Роберт Сесил Мартин) — известный американский инженер, автор и один из главных популяризаторов принципов чистой разработки ПО, который стоял у истоков Agile

Яндекс запускает программу, которая должна сделать использование ИИ новым стандартом внутренней разработки

К концу 2026 года 75% разработчиков будут регулярно применять ИИ при написании кода. На уровне всей компании ИИ будет участвовать в подготовке не менее 75% изменений, а в каждом таком изменении генерировать не менее 75% кода.

Программа 75/75/75 позволит ускорить создание продуктов и сократить время вывода их на рынок. ИИ уже помогает инженерам Яндекса писать и рефакторить код, искать ошибки, готовить тесты и документацию, а также значительно ускоряет вывод продуктов на рынок, оставляя проверку качества и ответственность за результат за разработчиками.

Например, команда Яндекс Еды за два месяца с помощью нейросетей написала код для ИИ-хостес — агента по приёму звонков и бронирований, ИИ позволил ускорить разработку продукта более чем в два раза.

Яндекс также предлагает свои ИИ-платформы внешним разработчикам и компаниям. Среди них — Yandex AI Studio — платформа для создания ИИ-агентов и приложений, которые помогают автоматизировать рутинные задачи и ускорять создание новых продуктов.

На мой взгляд, ценность таких внедрений измеряется не количеством сгенерированных строк кода, а тем, насколько быстрее появляются новые продукты и обновления, при этом сохраняя качество. Судя по первым кейсам, именно на этом и делается основной акцент.

Всё уже существует в пространстве бесконечной неопределённости вариантов, из-за чего Всё не имеет какого-либо объёма данных и скорости своей передачи (упростим, сказав, что бесконечны), и всегда (всегда = время не существует) находится в состоянии постоянной резонации такого пространства как Единого-Целого.

Так Супер~Сознание работает в одном-едином-постоянно-бесконечном режиме "наблюдения~и~понимания всего~и~сразу". Готово, есть единица.

Такое свойство состояния Супер~Сознания выражено в его же Супер-Позиции, в котором отсутствует само понятие данных, скорости их поиска и выбора варианта(ов) из-за чего его можно выразить нулём.

~Всё~Есть~Всё~Может~Быть~Всё~Может~и~Не~Быть~

Для осознания этого пространство(а) само(го) сознание(я) должно быть абсолютно идентичным пространству бесконечности вариантов, которое оно вмещает, иначе резонации не будет.

0 =≠ 1. Это – Дуальность. Всё сошлось

Все остальные игры с квантами, квантовой ОС от Майкрософта, дорогими в обработке камешками с пыльной дороги в медно-золотистых проводах и трубах и прочая научная псевдо-фантастика 21 века является лишь очередным намерением кого-то получить верификацию (одобрение?) через формулирование вопроса и выбор варианта ответа, который он... уже знает, видит и предполагает, создавая вокруг этого намерения очередные инструменты для "поиска"... которого должно было не быть.

Иными словами: наш обезьяний мозг сам создаёт для себя очередные рамки, разрабатавая "новое удобное и быстрое решение" проблемы, которой нет. О, это приятное ощущение свежести продукта по утрам.

Именно поэтому человек не способен "придумать" настоящий квантовый компьютер и AGI до тех пор, пока он не переосмыслит сам подход к понимаю природы процессов сознания.

А переосмыслив подход к понимаю сознания, человек осознает, что "квантовый компуктер и AGI" были изобретёны давно.

Так, Всё~снова~сойдётся

Вокруг ИИ-агенты, вайбкодинг, а у вас бизнес, рутина и даже некогда сесть и разобраться?

В Битрикс24 есть всё для того, чтобы начать использовать новые фишки ИИ в числе первых. Это ИИ-сервис для бизнеса, где нейросети встроены прямо в рабочие процессы:

– База для любого бизнеса: CRM, задачи, мессенджер
– Нейросети и агенты: помогают с задачами, ищут информацию, пишут тексты и т.д.
– Вайбкодинг для всех с подсказками и в привычном интерфейсе

Подключите ИИ к своему бизнесу уже сегодня

Taste, Judgment and AI

Вкус — это способность распознать качество и выдающееся мастерство, даже не имея на руках явных доказательств. Способность судить — это готовность сделать выбор и взять на себя риск, связанный с ним.

Именно на этих двух качествах зиждется создание по-настоящему Великих Продуктов.

Вкус во многом подобен фильтру и формируется благодаря практике и умению чувствовать и понимать, что именно делает что-то хорошим и выдающимся. Это результат многократных повторений, позволяющий взглянуть на множество бесконечное количество вариантов и безошибочно указать на лучший из них (особенно в ситуациях, когда понятие «лучший» не имеет однозначного определения или вообще не существует).

Невозможно развить вкус, если окружать себя однообразной информацией. Разнообразие — вот то одно, что заставляет задуматься или сформировать новые взгляды(!), а возникающие при этом противоречия помогают отточить способность отличать качественное от некачественного.

Потому что невозможно понять, чего именно "чего-то не хватает", если никогда этого не видел, поэтому, чтобы развить подлинный вкус, нужно постоянно сталкиваться с неожиданным.

Вкус важен, но из него сразу же вытекает следующий необходимый этап — способность судить

Способность судить — это готовность поставить своё имя под принятым решением и нести за него ответственность. Это умение сделать взвешенный выбор в пользу того или иного решения по продукту, идти или не идти на неизбежные компромиссы и суметь объяснить и отстоять своё решение, если что-то пойдёт не так.

Истинная способность судить проявляется только тогда, когда нужно выбрать тот-самый-верный-вариант именно при условии неизбежной ответственности.

Вкус можно позаимствовать, скопировать, перенять у других или подсмотреть. Сделать всё это с способностью судить невозможно, ведь принимать решения, значит связывать себя и своё имя с его последствиями.

Вспомните ощущения, когда вы одобряете релиз, зная, что тесты оставляют желать лучшего. Или когда выпускаете новый интерфейс в спешке, не проработав достаточное количество вариантов... Знакомые чувства?

Сергей Брин принял участие в неформальной сессии, посвященной передовым системам ИИ, и признался в том, о чём молчат руководители ИИ-лабораторий:

TLDR: Даже те, кто создаёт ИИ-модели, не до конца понимают, что именно они создали😌

– Возможности из разных областей науки начинают переплетаться и усиливать друг друга так, как никто специально не проектировал (например, обучение ИИ программированию и математическому мышлению неожиданным образом улучшает общие способности модели). Из-за этого специализированные модели сливаются в единую универсальную систему быстрее, чем кто-либо прогнозировал.

– Брин скептически относится к шумихе вокруг "AGI", который по-прежнему не способен решать неразрешимые задачи. Моделирование окружающего мира и физическое взаимодействие — вот недостающие элементы для создания AGI, способного выполнять любые задачи, доступные человеку (– Серж, всё это лишь часть интерфейса AGI, нутычо).

– Внутри Google ИИ уже используют для создания нового ИИ. Именно на этот цикл самосовершенствования Брин тратит большую часть своего времени.

– Главный хак в работе с ИИ: просто дать модели команду «думать пошагово».