Оптимизация размышлений ИИ на примере мультиагентного фреймворка MindSearch.

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher наглядно демонстрирует работу многоагентной LLM-структуры, которая объединяет "ИИ + Web Search" для обработки запросов и расширенного поиска данных.

Мультиагентные связки структурируют работу ИИ и распределяют задачи "рассуждения-поиска" между специализированными ИИ-агентами (привет, социальные сети для ИИ):

1) WebPlanner моделирует многошаговый поиск информации как процесс построения динамического графа: он разбивает запрос пользователя на атомарные подвопросы в качестве нод в графе и постепенно расширяет этот граф на основе результатов поиска от WebSearcher.

2) WebSearcher, которому поручен каждый подвопрос, выполняет иерархический поиск информации с помощью Google и собирает ценную информацию для WebPlanner.

Подобные ИИ-конструкции не только повышают качество и релевантность ответов ИИ, но и позволяют всей Сети ИИ-Агентов искать и обрабатывать информацию параллельными и масштабируемыми потоками.

👁️ - Orchestration

Больше деталей: https://arxiv.org/abs/2407.20183

Продолжаем разбираться в особенностях UX при работе с ИИ.

Главная проблема работы с интерфейсами ИИ — людям сложно излагать идеи в письменной форме и половина населения просто не может этого сделать – (с) Jakob Nielsen

Причины: размытые и плохо сформулированные цели, недостающие детали и... ограниченный словарный запас.

– ИИ-агенту приходится выбирать между тем, насколько важно прояснить ситуацию у пользователя и насколько рискованно предполагать и приписывать недостаточно определённые или отсутствующие детали от пользователя.

Ключ к эффективному взаимодействиию с ИИ — баланс между запросами пользователя и предположениями ИИ

Зондирующие вопросы, интерактивное уточнение, расширенные подсказки и прочие множественные ИИ-интерпретации в материале на Smashing Magazine.

Расширяем кругозор с GOAP (Goal-Oriented Action Planning) – методикой и фреймворком проектирования ИИ в играх, при котором цепочки поведений и действий агентов (NPC, абстрактных сущностей, "живых" препятствий) моделируют игровые миры и события в режиме live.

+ Часть 2: Непредсказуемый ИИ: интеллект толпы

Погружение в GOAP:

– Extending Behavior Trees with Classical Planning
– Three States and a Plan: The A.I. of F.E.A.R.
– AI in Games: Automated Planning (lecture 5)

Есть два(?) момента:

1) Каждое состояние должно реализовывать метод «Evalute», который оценивает себя относительно мира и/или агента;

2) Каждое действие должно реализовывать метод Execute, который занимается своим выполнением в игровом мире.

Обо всём остальном должен заботиться фреймворк.

Как определить фичи с наибольшей ценностью для пользователей?

Простой шаблон аудита функций поможет расставить приоритеты в соответствии с частотой использования функций среди ваших пользователей.

Шаблон аудита имеет два измерения:

– На шкале X сколько людей используют фичу (несколько человек, некоторые люди, большинство людей и все люди).

– На шкале Y частота использования фичи (никогда, некоторое время, большую часть времени и всё время).

В идеале, все функции продукта должны быть расположены в правом верхнем углу шаблона (все пользователи постоянно ими пользуются).

1) Определите функции, которые, по вашему мнению, представляют ценность для ваших пользователей.

2) Отслеживайте использование функций с течением времени, чтобы понять частоту и скорость их принятия.

3) Используйте качественные и количественные данные, чтобы понять, как пользователи на самом деле используют ваш продукт и какие функции они считают ценными.

4) Размещайте функции в нужные квадраты в шаблоне.

5) Систематически анализируйте и актуализируйте этот шаблон.

🩻 Шаблон в Miro

LLM-модели пока не всесильны.

Согласно недавнему исследованию, проведенному учеными из Суперкомпьютерного центра Юлиха, Бристольского университета и лаборатории LAION, даже самые продвинутые модели искусственного интеллекта для обработки естественного языка (LLM) демонстрируют серьезные проблемы с простейшими логическими задачами.

В своей работе "Алиса в Стране чудес: простые задачи, выявляющие полный крах рассуждений в современных крупных языковых моделях" исследователи обнаружили "резкое нарушение функций и способностей к рассуждению" у тестируемых LLM. Они предполагают, что хотя у моделей есть потенциал для базовых рассуждений, они не могут стабильно его реализовать.

Авторы призывают научное сообщество срочно пересмотреть заявленные возможности современных LLM и разработать новые стандартизированные тесты для выявления недостатков в их базовых навыках рассуждения.
Исследование сосредоточилось на простой задаче, названной "проблемой AIW": "У Алисы N братьев и M сестер. Сколько сестер у брата Алисы?". Несмотря на простоту задачи, которую легко решит ребенок младшего школьного возраста, языковые модели справлялись с ней лишь эпизодически.

Модели часто давали неверные ответы, сопровождая их псевдологичными объяснениями. Даже попытки исследователей побудить ИИ пересмотреть свои ответы не приводили к улучшению результатов.

В среднем частота правильных ответов у LLM была значительно ниже 50%. Более крупные модели, такие как GPT-4, показывали лучшие результаты (около 60% правильных ответов), но все равно недостаточные для модели с надежными базовыми навыками рассуждения.

Исследователи отмечают, что многие протестированные модели, несмотря на высокие результаты в стандартных тестах на рассуждение, не справились с простой задачей AIW. Это ставит под сомнение адекватность существующих методов оценки возможностей языковых моделей. Оригинальная статья