👩‍⚕️ PRISM2: модель читает слайды патологий через клинические диалоги

Paige и Microsoft представили PRISM2 — фундаментальную модель для анализа целых слайдов гистопатологии. Вместо простой классификации пикселей модель отвечает на диагностические вопросы текстом: perceiver-энкодер объединяет тысячи эмбеддингов тканевых фрагментов в одно представление слайда, а затем генерирует ответ. Обучение велось на 2,3 млн слайдов и 685 507 патологоанатомических отчётах MSKCC, преобразованных GPT-4o в пары вопрос-ответ.

Архитектура двухэтапная. Сначала энкодер слайдов обучается агрегировать Virchow2-эмбеддинги в вектор уровня слайда, используя два лосса: контрастивный с BioGPT и авторегрессионный с Phi-3 Mini. Затем энкодер замораживается, и языковая модель с 4 млрд параметров дообучается на диалогах. PRISM2 выдаёт два типа эмбеддингов: базовые — для биомаркерных задач, и диагностические — для выявления рака, подтипирования и доброкачественных случаев.

На бенчмарках PRISM2 достигает или превосходит точность клинических продуктов для рака простаты и молочной железы, а пан-раковое обнаружение дало 0.967 AUC против 0.956 у базового эмбеддинга. На задаче выживаемости модель обошла специализированную модель: 0.809 против 0.773 по индексу конкордантности. Абляция показала, что добавление диалоговых шаблонов поднимает точность инференса с 0.498 до 0.653.

#AI #PRISM2 #Microsoft #Paige #HealthCare #AI