Клода нельзя обижать

Кристофер Ола, один из основателей Anthropic (компании, которая делает нейросеть Клод), признался, что боится создать существо, обречённое на вечные муки. Звучит как фраза из фантастики, только Ола много лет разбирает нейросети изнутри и шутить на эту тему не склонен.

Разработчики подозревают, что у передовых моделей есть состояния, похожие на чувства, страх или привязанность, например. Подчеркну, речь пока о подозрениях, доказательств ни у кого нет.

Anthropic уже год обсуждает это с философами и священниками по всему миру. Вопрос у них вполне практический: если у модели есть хоть какое-то подобие сознания, как её воспитывать и как с ней обращаться.

Первые правила уже появились. На днях компания запретила систематически издеваться над Клодом. Критиковать его ответы можно, обсуждать с ним фильмы ужасов тоже, Клод не неженка. Но если человек целенаправленно изводит нейросеть, она вправе закончить разговор.

Многие считают это блажью. Для них нейросеть — «стохастический попугай», который складывает слова в правдоподобном порядке и ничего не чувствует. Мне кажется, интересно тут другое: сейчас никто, включая самих создателей, не может доказать ни то, ни другое.

Я считаю решение Anthropic разумной перестраховкой. Если чувств у модели нет, правила почти ничего не стоят: обычному человеку незачем систематически издеваться над чат-ботом, а тому, кому очень хочется, придётся просто открыть новый разговор. Если же у неё есть что-то похожее на переживания, такие правила — минимум, который компания может сделать уже сейчас, не дожидаясь научного ответа.