“치과차트 AI 해석 능력, 전공의에 못미쳐”

  • 동아일보

서울대 연구팀, 국제학술지에 논문
단순 판독 능력은 치대 학생 수준
기록 종합-판독은 전공의가 우위
함정문제선 없는 정보 지어내기도… “복잡한 임상판단땐 AI 의존 안돼”

서덕규 교수
서덕규 교수
생성형 인공지능(AI)이 치과 진료기록(차트)을 읽는 능력은 치과대학 학생 수준까지 올라왔지만, 여러 기록을 엮어 해석하는 능력은 아직 전공의에 못 미친다는 연구 결과가 나왔다.

박사과정 조아영 씨
박사과정 조아영 씨
임정준 부교수
임정준 부교수
10일 서울대는 서덕규 치의학대학원 교수팀이 이 같은 내용의 논문을 국제학술지 ‘JMIR 메디컬 에듀케이션’에 게재했다고 밝혔다. 연구에는 같은 대학원 치과보존과전공 박사과정 조아영 씨가 제1저자로, 임정준 부교수가 공동저자로 참여했다.

연구팀은 서울대치과병원 치과보존과 환자 15명의 차트에서 개인정보를 지운 이미지 154장으로 질문 360개를 만들었다. 치과 차트는 치아별 상태와 검사·치료 내역을 적은 기록이다. 질문은 △첫 방문일 등 단순 사실 △특정 치아의 치료 내역 △여러 기록을 종합해야 답할 수 있는 해석 △차트에 없는 내용을 묻는 ‘함정 문제’ 등 4가지 유형으로 나눴다.

연구팀은 차트 이미지를 챗GPT에 그대로 입력해 답하게 한 뒤 치대 본과 3학년생 2명, 1년 차 전공의 2명의 답과 비교했다. 차트를 글로 옮기지 않고 이미지째 넣은 건 치아 그림(치식도)과 치아 번호 격자처럼 글로는 담기 어려운 정보가 많아서다.

그 결과 가장 성적이 좋은 추론형 모델 ‘GPT-5 싱킹’은 대부분 유형에서 학생들과 통계적으로 의미 있는 차이가 없었다. 차트에서 필요한 정보를 찾아 읽는 기본 과제는 AI가 실습을 막 시작한 학생 수준에 이르렀다는 뜻이다.

승부는 ‘왜 이 치료를 했는지’처럼 여러 기록을 연결해 읽어야 하는 해석 문제에서 갈렸다. 답변이 정답과 뜻이 얼마나 비슷한지를 0∼1점으로 매긴 점수(중앙값)는 전공의가 0.64∼0.69점으로 AI(0.56점)보다 유의하게 높았다. 학생은 0.41∼0.48점이었다. 연구팀은 “임상 경험이 뒷받침돼야 하는 해석과 판단은 여전히 사람의 영역”이라고 했다.

함정 문제에선 AI의 고질적 약점인 ‘환각’도 드러났다. AI가 없는 정보를 그럴듯하게 지어내는 현상이다. GPT-5 싱킹은 함정 문제 90개 중 4개에서 차트에 없는 내용을 만들어냈다. 성능이 낮은 ‘GPT-4.1 미니’는 이 비율이 46.7%에 달했다. 반면 전공의 등은 모두 함정에 빠지지 않았다.

연구팀은 복잡한 임상 판단을 할 때 AI에만 의존해서는 안 된다고 결론 내렸다. 서 교수는 “실제 치과 차트 이미지를 입력해 AI의 판독 능력을 학생·임상의와 직접 비교한 첫 연구”라며 “AI를 임상 전문성의 대체재가 아니라 차트 판독을 연습하고 검증하는 도구로 써야 한다는 근거를 제시했다”고 밝혔다.

놓친 뉴스와 그 맥락까지, 종이신문으로 읽어보세요.

동아일보 구독 신청
#생성형 인공지능#치과 진료기록#차트 판독#치과대학 학생#전공의#임상 판단#GPT-5 싱킹#환각 현상#치과보존과#서울대 연구
© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

트렌드뉴스

트렌드뉴스

  • 좋아요
    0개
  • 슬퍼요
    0개
  • 화나요
    0개

댓글 0

지금 뜨는 뉴스