“벤치마크 1등인데 탈락”…모티프, 독파모 평가에 이의제기

  • 동아일보
  • 입력 2026년 8월 27일 17시 17분


배경훈 부총리 겸 과학기술정보통신부 장관이 27일 오전 서울시 중구 을지로 프레지던트호텔에서 열린 제2차 과학기술·인공지능 미래전략회의에서 인사말을 하고 있다. 2026.8.27 ⓒ 뉴스1
배경훈 부총리 겸 과학기술정보통신부 장관이 27일 오전 서울시 중구 을지로 프레지던트호텔에서 열린 제2차 과학기술·인공지능 미래전략회의에서 인사말을 하고 있다. 2026.8.27 ⓒ 뉴스1
정부의 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 2차 평가에서 탈락한 AI 스타트업 모티프테크놀로지스(모티프)가 평가 결과에 공식 이의를 제기했다. 1차 평가에서 모델 ‘독자성’ 논란이 불거진 데 이어 2차에서는 평가 기준과 점수 공개를 둘러싼 잡음이 이어진 것이다. 정부가 이날 뒤늦게 세부 점수를 공개했지만, 대규모 AI 지원 사업이 잇따르는 만큼 세부 평가 결과와 선정 근거를 처음부터 보다 투명하게 공개했어야 한다는 목소리가 나온다.

●벤치마크 1위가 탈락…뒤늦은 점수 공개

모티프는 27일 임정환 대표 명의로 입장문을 내고 과학기술정보통신부에 독파모 2차 평가 결과에 이의를 제기하는 한편 업체별 세부 점수와 재심의를 요구한다고 밝혔다. 이 회사는 이번 이의제기 결과에 관계없이 독파모 3차 단계에는 참여하지 않겠다고 밝혔다.

18일 발표된 독파모 2차 평가에서는 AI의 성능평가 지표인 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합산해 LG AI연구원과 SK텔레콤, 업스테이지 3곳이 다음 단계에 진출했다. 모티프는 글로벌 AI 성능지표인 ‘아티피셜 애널리시스 인텔리전스 인덱스(AAII)’에서 참여 모델 중 최고점을 받았지만, 종합평가에서는 최하위 탈락했다.

정부는 당시 벤치마크·전문가·사용자 평가별 평균과 1·4위 간 점수 차만 공개했다. 탈락 업체의 ‘낙인 효과’를 막기 위해서였다. 하지만 1차보다 공개 범위가 줄었다는 지적이 이어졌고, 모티프가 이날 세부점수 공개를 요구하자 다른 참여팀의 동의를 받아 전체 점수를 공개했다. 과기정통부는 “평가 과정·결과의 공정성과 투명성이라는 가치도 균형 있게 고려했다”고 설명했다.

공개된 점수를 보면 모티프는 벤치마크 평가에서 24.6점으로 1위였지만 전문가 평가(27.1점)와 사용자 평가(14.1점)는 모두 4위였다. 총점은 SK텔레콤이 70.6점으로 1위를 차지했고, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점이 뒤를 이었다. 특히 사용자 평가에서는 전문 사용자와 일반 국민 평가 모두 모티프가 가장 낮은 점수를 받았다.

앞서 모티프는 벤치마크와 전문가 평가 결과가 크게 엇갈린 데 문제를 제기했다. AAII 원점수는 모티프 47.4점, 업스테이지 37.4점, SK텔레콤 35.0점, LG AI연구원 31.0점이었다. 모티프는 “모델 간에 상당한 성능 차이가 있는데도 전문가 평가가 상반된 결과를 낸 이유와 배경을 구체적으로 설명할 필요가 있다”고 주장했다. 과기정통부는 전문가 평가를 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명으로 구성해 진행했다고 밝혔다.

과기정통부는 평가 기준과 방식은 참여팀들과 수차례 협의해 마련했고 평가 전 최종안에도 이견이 없었다고 밝혔다. 모티프의 이의제기에 대해 김경만 과기정통부 인공지능정책실장은 “규정에 따라 15일 이내 검토를 거쳐 전담 기관 등을 통해 최종 결정을 내릴 것”이라고 말했다. 모티프 관계자는 “단순히 점수를 공개해달라고 이의제기를 한 것이 아니기 때문에 정부의 답변을 기다리겠다”고 말했다.

●세부점수 공개했지만…평가 투명성 과제

독파모는 올해 1월 1차 평가 때도 논란을 겪었다. 당초 1곳만 탈락할 예정이었지만 네이버클라우드가 독자성 기준을 충족하지 못하면서 NC AI까지 2곳이 탈락했다. 당시 외부 기술을 어디까지 활용해야 독자 모델로 인정할지를 두고 독자성 기준의 해석과 적용을 둘러싼 논란이 일었다.

정부가 이번에 기업별 세부 점수를 공개하면서 점수 자체를 둘러싼 논란은 일부 해소됐지만, 어떤 전문가가 어떤 근거로 판단했는지 등 정성평가의 투명성을 둘러싼 쟁점은 남아 있다. 이경전 경희대 빅데이터응용학과 교수는 “공정하고 투명한 평가가 이뤄지려면 전문가 평가위원과 평가 근거 등을 가능한 범위에서 공개할 필요가 있다”고 말했다.

놓친 뉴스와 그 맥락까지, 종이신문으로 읽어보세요.

동아일보 구독 신청
#독파모#모티프
© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

트렌드뉴스

트렌드뉴스

  • 좋아요
    0개
  • 슬퍼요
    0개
  • 화나요
    0개

댓글 0

지금 뜨는 뉴스