📖 LLMs Are Bad Judges

Опубликована новая статья исследователей из Гарварда и Чикагского университета под названием "LLMs Are Bad Judges. So Use Our Classifier Instead". В статье ставится под сомнение оптимизм вокруг использования больших языковых моделей в юриспруденции. Авторы полагают, что LLM страдают от "вариативности ответов", то есть делают разные юридические выводы при одних и тех же фактах в зависимости от формулировки вопроса.

Исследователи утверждают, что будущее юридического ИИ не за чат-ботами, а за "узкоспециализированными классификаторами", например, такими как их система "Arbitrus", являющаяся полностью последовательной и работающая с нулевым уровнем "галлюцинаций". Основной тезис статьи заключается в том, что "последовательность, а не креативность — главное качество судьи", и именно эту планку должен преодолеть любой ИИ, претендующий на применение в юридической сфере

#ИИ #LegalAI #LLMs #LegalTech #PromptVariance