대화형 인공지능 기반 뇌졸중 환자 퇴원 후 자가관리 정보의 사용성 평가

초록

본 연구는 뇌졸중 환자의 퇴원 후 자가관리 지원을 위한 대화형 인공지능의 사용성을 평가하였다. 특히 한국 뇌졸중 환자들이 궁금해 하는 질문에 대한 제공 정보를 대상으로 하기 위해 국내 상급종합병원 및 주요 뇌졸중 관련기관 교육사이트에 소개된 자주묻는 질문 155개를 취합하여 주요 대화형 인공지능(ChatGPT, Perplexity, Gemini)에 155개 질문을 묻고 답변을 수집하였다. 수집된 답변 리스트를 의학, 간호학, 보건학 전문가에게 평가 의뢰하여 3개 사이트의 답변들에 대하여 정확성, 안전성, 가독성, 유용성을 분석하였다. 한편, 전문가의 평가점수가 낮게 나타난 문항을 선별하여 주제분석을 실시하여 어떤 질문에 대한 답변에 수정이 필요한지 파악하고자 하였다. 분석 결과 정확성은 ChatGPT와 Gemini가 각각 3.7점(SD=0.13; SD=0.31)으로 높게 평가되었으며 가독성은 ChatGPT가 3.84점(SD=0.15)으로 가장 높게 나타났다. 안전성은 Gemini가 3.58(SD=0.35)점으로 높게 나타났으며 유용성 또한 Gemini가 3.61(SD=0.13)점으로 높은 평가를 받았다. 또한 주제 분석 결과 ChatGPT는 생활습관과 약물 관련 정보에 대해 근거 기반 설명이 부족하게 나타났고 Perplexity는 후유증 및 대체의학 영역에서 임상적 전문성이 미흡하게 나타났다. Gemini는 진단 및 검사해석에서 의학적 근거가 불충분한 것으로 확인되었다. 이러한 결과를 통해 상용화된 대화형 인공지능이 뇌졸중 환자에게 건강정보의 취약점을 제시하였고 검색증강생성 기술을 통해 국내 뇌졸중 환자들에게 안전성과 유용성을 강화하고 임상적 중요도가 높은 정보로 보완할 수 있는 방안을 제안하였다.

키워드