Учёные провели пять экспериментов с 3132 участниками, чтобы проверить, как наличие языковой модели меняет отношение человека к неопределённости. Вывод: одна лишь возможность спросить ИИ почти полностью уничтожает готовность признать, что ответа нет.
Вопросы подбирали так, чтобы модель Step 3.5 Flash почти всегда ошибалась - мелкие визуальные детали из фильмов, которые редко встречаются в интернет-текстах и потому провоцируют галлюцинации. В контрольной группе без ИИ участники воздерживались от суждения в 36 и 44% случаев, с доступом к ИИ - в 6 и 3%. Уверенность выросла с 29,6 до 75,9 балла из 100, а доля правильных ответов упала с 27,6 до 10%. Суммарно 9,2% верных ответов с ИИ против 27,5% без него: отвечали чаще, а ошибались примерно втрое больше.
Денежные стимулы (10 центов за верный ответ и штраф за ошибку) снижали частоту обращений к модели, но эффект остался скромным и статистически не сочетался с доступом к ИИ. Когда ответ показывали автоматически, без запроса, картина почти не менялась: отказ от суждения падал с 35% до 1%. Авторы связывают это с «Epistemia» - склонностью принимать убедительно звучащий ответ ИИ, не проверяя его. Обычно люди недооценивают чужие советы, здесь вышло наоборот.
#AI #Social #Research #Science #Hallucinations #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1🤯1
В Wired вышёл отрывок из книги «The Last Best Place on the Internet», посвящённый тому, как большие языковые модели изменили Wikipedia. В эпоху AI Overviews трафик энциклопедии падает - но, как отмечает автор, реальная потеря для проекта может оказаться куда серьёзнее, чем просадка посещаемости.
В Wikimedia Foundation готовились к этому заранее: википедисты «задраивали люки» и уверенно предсказывали, что волна ИИ накроет, но отступит. Звучали версии, что LLM даже помогут - автоматизируют рутину: форматирование, простановку источников и сносок, битых ссылок, - освобождая людям время на творческую работу. На практике всё оказалось сложнее.
Ещё в 2019 году тогдашняя глава Wikimedia Foundation Кэтрин Маэр писала в The New York Times: ИИ слишком часто подают как всемогущее решение и масштабируемую замену людям. По её словам, ключевая задача Wikipedia - сохранить человеческий контроль над машинами - вскоре встала перед всеми. Для энциклопедии, которую пишут и вычитывают вручную, потеря живых редакторов означает не просто падение метрик, а угрозу самой модели создания знаний.
🎨 qvabo.studio/tg · картинки и видео
#AI #Media #Wikipedia #Wired #Internet #Social
Please open Telegram to view this post
VIEW IN TELEGRAM
😭1🤓1