Расширяем кругозор с GOAP (Goal-Oriented Action Planning) – методикой и фреймворком проектирования ИИ в играх, при котором цепочки поведений и действий агентов (NPC, абстрактных сущностей, "живых" препятствий) моделируют игровые миры и события в режиме live.

+ Часть 2: Непредсказуемый ИИ: интеллект толпы

Погружение в GOAP:

– Extending Behavior Trees with Classical Planning
– Three States and a Plan: The A.I. of F.E.A.R.
– AI in Games: Automated Planning (lecture 5)

Есть два(?) момента:

1) Каждое состояние должно реализовывать метод «Evalute», который оценивает себя относительно мира и/или агента;

2) Каждое действие должно реализовывать метод Execute, который занимается своим выполнением в игровом мире.

Обо всём остальном должен заботиться фреймворк.

Как определить фичи с наибольшей ценностью для пользователей?

Простой шаблон аудита функций поможет расставить приоритеты в соответствии с частотой использования функций среди ваших пользователей.

Шаблон аудита имеет два измерения:

– На шкале X сколько людей используют фичу (несколько человек, некоторые люди, большинство людей и все люди).

– На шкале Y частота использования фичи (никогда, некоторое время, большую часть времени и всё время).

В идеале, все функции продукта должны быть расположены в правом верхнем углу шаблона (все пользователи постоянно ими пользуются).

1) Определите функции, которые, по вашему мнению, представляют ценность для ваших пользователей.

2) Отслеживайте использование функций с течением времени, чтобы понять частоту и скорость их принятия.

3) Используйте качественные и количественные данные, чтобы понять, как пользователи на самом деле используют ваш продукт и какие функции они считают ценными.

4) Размещайте функции в нужные квадраты в шаблоне.

5) Систематически анализируйте и актуализируйте этот шаблон.

🩻 Шаблон в Miro

LLM-модели пока не всесильны.

Согласно недавнему исследованию, проведенному учеными из Суперкомпьютерного центра Юлиха, Бристольского университета и лаборатории LAION, даже самые продвинутые модели искусственного интеллекта для обработки естественного языка (LLM) демонстрируют серьезные проблемы с простейшими логическими задачами.

В своей работе "Алиса в Стране чудес: простые задачи, выявляющие полный крах рассуждений в современных крупных языковых моделях" исследователи обнаружили "резкое нарушение функций и способностей к рассуждению" у тестируемых LLM. Они предполагают, что хотя у моделей есть потенциал для базовых рассуждений, они не могут стабильно его реализовать.

Авторы призывают научное сообщество срочно пересмотреть заявленные возможности современных LLM и разработать новые стандартизированные тесты для выявления недостатков в их базовых навыках рассуждения.
Исследование сосредоточилось на простой задаче, названной "проблемой AIW": "У Алисы N братьев и M сестер. Сколько сестер у брата Алисы?". Несмотря на простоту задачи, которую легко решит ребенок младшего школьного возраста, языковые модели справлялись с ней лишь эпизодически.

Модели часто давали неверные ответы, сопровождая их псевдологичными объяснениями. Даже попытки исследователей побудить ИИ пересмотреть свои ответы не приводили к улучшению результатов.

В среднем частота правильных ответов у LLM была значительно ниже 50%. Более крупные модели, такие как GPT-4, показывали лучшие результаты (около 60% правильных ответов), но все равно недостаточные для модели с надежными базовыми навыками рассуждения.

Исследователи отмечают, что многие протестированные модели, несмотря на высокие результаты в стандартных тестах на рассуждение, не справились с простой задачей AIW. Это ставит под сомнение адекватность существующих методов оценки возможностей языковых моделей. Оригинальная статья