매개변수 340억개, 수학성능 향상
SK텔레콤이 독자 구축한 거대언어모델(LLM)인 ‘A.X(에이닷엑스) 3.1’을 오픈소스 커뮤니티 허깅페이스에 공개했다.
24일 SK텔레콤에 따르면 이번에 공개한 에이닷엑스 3.1은 한국어 대화 성능에 집중했던 에이닷엑스 3.0을 개선한 버전이다. 특히 추론모델로의 확장 가능성을 고려해 코드와 수학 성능을 대폭 향상시켰다. SK텔레콤 관계자는 “에이닷엑스 3.1은 340억 개의 매개변수를 기반으로 한다”며 “SK텔레콤이 모델의 맨 처음 단계부터 모두 직접 구축하는 ‘프롬 스크래치’ 방식으로 모델 구축과 데이터 학습 등 전 단계를 직접 진행했다”고 밝혔다.
에이닷엑스 3.1은 720억 개의 매개변수를 기반으로 하는 에이닷엑스 4.0과 비교할 때 절반 이하의 매개변수로 구성됐다. 하지만 같은 한국어 서비스에 적용될 경우 약 90% 수준의 성능을 발휘한다. 사용자들은 두 버전 중 사용 환경에 더 적합한 성능과 효율을 고려해 선택하면 된다.
에이닷엑스 3.1은 한국어 능력 평가 벤치마크인 KMMLU에서 에이닷엑스 4.0 대비 88% 수준의 성능을 기록했고, 한국어 및 한국 문화 벤치마크인 CLIcK에서는 90% 수준의 성능을 기록했다.
한편 SK텔레콤은 최근 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델 사업’에 지원했다. SK텔레콤 컨소시엄에는 △크래프톤 △포티투닷 △리벨리온 △라이너 △셀렉트스타 등 다양한 분야를 아우르는 회사들과 학계를 대표하는 서울대 연구실, KAIST 연구진 등이 참여한다. SK텔레콤 컨소시엄은 에이닷엑스와 각 참여사가 보유한 자체 LLM 및 데이터 등을 기반으로 독자 파운데이션 신규 모델을 만들어갈 계획이다.
김하경 기자 whatsup@donga.com
© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지
댓글 0