Things I read: го кофе кто в латаме?

Любопытная работа от Университета Мэриленда и Google DeepMind (pdf), где сравнили человеческие и AI-сгенерированные тексты по структуре сюжета, и смогли отличать AI-тексты почти в 93% случаев.

Наверное многие это интуитивно чувствовали, особенно в лонгридах, что проблема AI не только и не столько в AI формулировках. Главные наблюдения:

1️⃣ AI объясняет детально, а человек нередко использует не утверждения в лоб, а отсылки, недосказанность, междустрочный смысл и т.д.

Еще AI придерживается линейного сюжета/развития мысли, а человек использует флэшбеки, тупиковые линии сюжета, перепрыгивания таймлайна.

И человек чаще просто говорит про эмоции, и читателю все сразу ясно. А LLM приводит аналогии и метафоры, чтобы объяснить.

Человек чаще вплетает внешний мир (упоминает актуальные книги, фильмы, бренды, места). И люди чаще ломают четвертую стену, обращаясь к читателям.

2️⃣ При этом все модели больше похоже друг на друга, чем на человека (см. картинку). То есть все далеки от человеческого умения рассказать историю.

Клод чуууть-чуть ближе к человеку, и при этом самый отличающийся от других LLM. Но все равно все ллм скученно вместе, далеко от человека.

А "голос" GPT многие наверное уже быстро отличают, потому что несколько лет это самые популярные модели нейрослопа.

3️⃣ В работе тексты датасета переписали, убрав стилистические признаки нейрослопа. Но все равно по сюжетам и структуре слоп легко определялся.

Кажется не так-то просто будет заменить хороших текстовых авторов. И наверняка будут более важными другие аспекты "человечности" текстов, например личность самого автора, его бэкграунд и уровень эмпатии и симпатии, который испытывает читатель.

4️⃣ По другим работам мы знаем, что уже пару лет уровень генерации текстов почти не приближается к человеческому. И кажется, что в этом мире нейрослопа хорошие тексты и эссе будут цениться еще больше.

А как это повлияет на нас, написал Пол Грэм, почти три года назад в эссе Writes and Write-Nots. tldr: AI может резко разделить людей на тех, кто умеет писать, и тех, кто почти совсем разучится, средний уровень уйдет.

А мы помним, что writing is thinking, и навык письма (в т.ч. хороших имейлов) тренирует ясное мышление. AI убирает принуждение, которое раньше заставляло людей учиться ясно думать. Поэтому умение писать может стать чем-то вроде интеллектуального фитнеса: только для тех, кто специально им занимается.

@kyrillic