🔬 Сравнение LLM: Gemini 2.5 Pro и DeepSeek R1 точнее следуют онкологическим рекомендациям

Исследователи из Университета Мансуры (Египет) провели первое сравнительное исследование пяти ведущих языковых моделей (ChatGPT 4.1, ChatGPT 5, Gemini 2.5 Pro, Claude Sonnet 4 и DeepSeek R1) на предмет их соответствия клиническим рекомендациям по лечению анапластического рака щитовидной железы (ATC). Работа опубликована в Scientific Reports.

Методология включала 70 клинических вопросов разной сложности, разработанных на основе трех международных гайдлайнов (ATA, NCCN, ESMO). Три эксперта-хирурга независимо оценивали ответы моделей по шкале от 1 до 5 по четырем критериям: точность, полнота, ясность и релевантность. Gemini 2.5 Pro показал наивысшую медианную точность (4.5), за ним следует DeepSeek R1 (4.4). ChatGPT 4.1 показал наихудший результат (4.0). ChatGPT 5 и Claude Sonnet 4 заняли промежуточное положение (4.2).

Статистически значимые различия между моделями были зафиксированы по всем четырем метрикам. Наибольший разброс наблюдался в домене хирургического лечения, где Gemini 2.5 Pro достиг медианы 4.7. Интересно, что все модели генерировали развернутые ответы на все вопросы, ни разу не воспользовавшись опцией «я не знаю», хотя промпт это явно разрешал. Анализ чувствительности, исключивший ChatGPT 5 из-за отсутствия ослепления, подтвердил иерархию производительности.

Авторы подчеркивают, что ни одна из текущих LLM не является достаточно надежной для самостоятельного клинического использования. Модели должны применяться строго как вспомогательные инструменты под контролем эксперта, особенно в хирургических вопросах, где вариативность ответов максимальна.

#Ai #LLM #Medicine #Oncology #ClinicalGuidelines