🌟 MIT CSAIL опубликовала модель разметки анатомии на рентгеновских снимках

MIT вместе с коллегами из Массачусетской больницы общего профиля и Гарвардской медицинской школы сделала модель FleXray, которая находит и выделяет на снимке 60 анатомических структур, от рёбер и позвонков до костей таза и конечностей.

Модель работает с разными областями тела, стандартными и косыми проекциями, кадрами рентгеноскопии во время операций, снимками взрослых и детей.

На размеченных структурах можно автоматически делать измерения, например угла искривления позвоночника при сколиозе, или сопоставлять кадры рентгеноскопии с трёхмерной КТ для навигации во время вмешательств.

Патологии модель не ищет, только анатомию, и правую сторону от левой не отличает.

Внутри свёрточная сеть U-Net, снимок перед обработкой приводится к размеру 256 на 256 пикселей. Для максимального качества пять таких сетей работают ансамблем.

🟡Тесты

На восьми наборах реальных снимков с разметкой FleXray набрала в среднем 0,875 по коэффициенту Dice, который показывает, насколько выделенная область совпадает с эталонной, от 0 до 1.

Универсальные PAXray, TotalSegmentator2D и FluoroSAM она обошла на семи наборах из восьми.

Сети nnU-Net, которые обучали отдельно под каждый набор, набрали в среднем 0,914.

В оценке сколиоза средняя ошибка в угле искривления составила 5,13 градуса против 6,38 у TotalSegmentator2D.

При совмещении кадров рентгеноскопии с КТ медианная ошибка снизилась с 335 до 1,2 мм.

Попробовать FleXray можно в браузерной демоверсии, которая работает локально через WebGPU.

📌Лицензирование: CC-BY-NC-4.0


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #Medical #Segmentation #FleXray