행안부, AI 딥페이크 분석모델 개발…“데이터 231만건 학습”

“나도 바로 계엄령 선포할 겁니다.”

유튜브 등 소셜네트워크서비스(SNS)에는 6·3 대선을 앞두고 마치 이재명 당시 더불어민주당 후보가 이렇게 발언한 것처럼 악의적으로 합성한 영상이 올라왔다. 이 후보가 “대한민국을 신(新)전체주의로 만들겠다”, “시진핑 형님께 속국 하나 추가했다”라고 말하는 모습도 퍼졌다. 전부 인공지능(AI) 기술로 이미지를 합성한 딥페이크 영상이었다. 김문수 당시 국민의힘 후보가 다른 의원에게 욕설하며 고함을 지르는 내용의 가짜영상도 올라왔다. 이처럼 대선 후보의 음성과 표정을 악의적으로 조작한 영상은 SNS에 수십 건이 올라와 유권자를 혼란스럽게 했다.

딥페이크 기술로 가짜 영상을 만들어 온라인에 유포해 특정인을 비방하거나 대중에게 혼란을 주는 사례들이 사회적 문제로 떠오른 가운데, 정부가 영상 진위를 판별하는 기술을 내놓았다. 30일 행정안전부는 국립과학수사연구원과 공동 개발한 ‘AI 딥페이크 분석모델’의 구축 과정과 적용 성과를 공개했다.

행안부에 따르면 해당 모델은 올해 4월 개발과 검증을 마치고, 5월부터 6월까지 경찰청 등 수사기관에 시범 적용돼 총 15건의 딥페이크 감정 작업에 활용됐다. 특히 대선 기간 중앙선거관리위원회와 협조해 유튜브 등 온라인 사이트에 올라온 불법 딥페이크 콘텐츠 1만508건을 탐지하고 삭제하는 데 쓰였다.

분석모델은 영상 속 인물의 눈·코·입 등 주요 신체 부위 변조 여부와 시간대별 합성 확률을 자동 추출해 판단한다. 이를 위해 영상 69만 건과 음성 162만 건 등 약 231만 건의 데이터를 딥러닝 기술로 학습했다. 탐지 정확도는 영상 95%, 음성 86%로 높은 수준이다.

정부는 해당 모델이 정치인 허위 비방뿐 아니라 유명인 사칭 사기, 성착취물 유통 등 나날이 늘어가는 딥페이크 관련 디지털 범죄에 대한 수사와 예방에도 효과를 보일 것으로 기대한다. 수사기관 이외에도 여성가족부와 방송통신위원회 등 관련 기관에 도입해 딥페이크 대응 역량을 지원할 방침이다.