​Слепой тест ИИ-гуманизаторов фиксирует от 18 до 120 искажений смысла — тулзы переписывают бизнес-обязательства

Базовый промпт "rewrite this to sound human" сообщил клиенту, что его возврат на £45 уже прошел — хотя в оригинале было "we're refunding".

Тулзы для гуманизации текста выдумывают факты, добавляют или выкидывают обязательства, и в клиентских коммуникациях это несет юридические риски.

Еще два провала из тех же тестов:

— Emulate-1, который продается как "undetectable", снес дедлайн для отмены подписки до автопродления.
— blader/humanizer, собравший 55K звезд, извинился перед клиентом за удержание депозита, хотя компания считала это правомерным. В спорной ситуации такое извинение читается как признание вины.

work-humanizer — скилл под MIT-лицензией, вышедший уже в шестой итерации.

Он переписывает текст простым человеческим языком, жестко сохраняя все заложенные обязательства.

Если не хватает факта, который знает только автор, он переспрашивает, а не придумывает отсебятину.

Для установки вбейте npx skills add phuryn/work-humanizer, а затем промпт: Use work-humanizer on this: <paste text>.

Все результаты скоринга, вердикты и фактчеки лежат в репозитории.

Слепой бенчмарк прогнал 12 новых рабочих текстов через 4 ИИ-судей от 4 разных лабораторий.

Судьи видели исходный интент автора и выбирали ту версию, которую отправили бы сами.

Процент выбора и количество искажений смысла:

— work-humanizer: 48%, 18
— blader/humanizer: 20%, 33
— "Rewrite this to sound human, without changing the meaning": 4%, 27
— "Rewrite this to sound human": 1%, 42
— Emulate-1: 0%, 120

Поскольку автор сам написал скилл и спроектировал тест, судей тоже проверили.

Двое судей, использованных при разработке, выбрали его в 23 из 48 случаев, и оставшиеся двое — тоже 23 из 48.

Все цифры получены на прогонах Opus 5.5; другие агенты заявлены как совместимые, но бенчмарков по ним нет.

Результат детектора показывает реальную цену обещания "undetectable".

В Pangram проскочил только Emulate-1, и он исказил смысл сильнее всех.

На бенчмарках единственным гуманизатором, обошедшим детектор, оказался тот, который больше всего ломал суть.

Pangram оценивает структуру логики, а не выбор слов.

Когда я загрузил в work-humanizer собственные наработки как вводные данные, 4 из 4 текстов набрали 100% human-score, фиксирует Павел Хурин.

#AI #PromptEngineering #Experiments

@MikeBlazerX
🚀Схемы — в MikeBlazerPRO.com / @MikeBlazerPRO