Ричард Фейнман обсуждал проблемы ИИ ещё в 1985 году. И сегодня это звучит удивительно знакомо

В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?

Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.

Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.

Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.

Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?

https://www.youtube.com/watch?v=ipRvjS7q1DI