인간 수준의 유창함으로 자연어 지시를 따르는 대규모 언어 모델(LLM)의 능력은 의료 분야에서 관리 부담을 줄이고 치료의 질을 개선할 수 있는 많은 기회를 제시합니다. 하지만 의료 분야의 실제 텍스트 생성 작업에서 LLM을 평가하는 것은 여전히 어려운 과제입니다. 기존의 전자 건강 기록(EHR) 데이터에 대한 질의응답 데이터 세트는 임상의가 경험하는 복잡한 정보 요구와 문서화 부담을 포착하지 못합니다. 이러한 과제를 해결하기 위해, 저희는 EHR 데이터에 대한 983개의 자연어 지침으로 구성된 벤치마크 데이터 세트인 MedAlign을 소개합니다. MedAlign은 15명의 임상의(7개 전문 분야)에 의해 큐레이션되었으며, 303개의 지침에 대한 임상의가 작성한 참조 응답을 포함하고, 지침-응답 쌍의 근거를 위한 276개의 종단적 EHR을 제공합니다. MedAlign을 사용하여 6개의 일반 도메인 LLM을 평가하고 임상의가 각 LLM 응답의 정확성과 품질에 순위를 매기도록 했습니다. 그 결과 35%(GPT-4)에서 68%(MPT-7B-Instruct)에 이르는 높은 오류율과 GPT-4의 경우 컨텍스트 길이가 32k에서 2k로 이동하면서 8.3%의 정확도 저하를 발견했습니다. 마지막으로, 사람의 검토 없이 LLM의 순위를 매기는 방법으로 임상의 순위와 자동화된 자연어 생성 메트릭 간의 상관관계를 보고합니다. 연구 데이터 사용 계약에 따라 MedAlign을 제공하여 임상의의 필요와 선호도에 맞는 작업에 대한 LLM 평가를 가능하게 합니다.

Lots of hype around #LLMs in healthcare. What do clinicians really want from an #LLM? We asked them! Introducing #MedAlign, the first dataset of clinician-generated instructions + responses for EHRs 🏥🤖

📄Paper: arxiv.org/abs/2308.14089
🌐Website: medalign.stanford.edu