LG CNS, GPU 2장만으로 ‘추론형 LLM’ 구동

동아일보
입력 2025년 7월 11일 03시 00분

김하경 기자

코멘트: 개

좋아요: 개

코멘트: 개

AI기업 ‘코히어’와 공동 개발
세계적 모델들에 성능 앞서

LG CNS가 글로벌 인공지능(AI) 유니콘 기업 ‘코히어’와 함께 1110억 파라미터(매개변수)를 갖춘 추론형 거대언어모델(LLM)을 개발했다고 10일 밝혔다. 한국어와 영어 등 23개 언어를 지원하는 이번 LLM은 추론 등 핵심 성능에서 글로벌 상위 모델을 뛰어넘는 결과도 냈다.

LG CNS는 이번 LLM 개발을 위해 코히어의 기업용 LLM인 ‘커맨드’ 모델에 그동안 LG CNS가 축적해 온 정보기술(IT) 전문성과 AI 기술력을 결합했다. 이번에 개발한 LLM은 온프레미스(On-premises·서버에 직접 설치해 운영) 방식으로 제공해 고객사들이 민감한 데이터를 외부로 유출하지 않고 자체 인프라 안에서 안전하게 처리할 수 있도록 할 계획이다.

LG CNS에 따르면 이번 LLM은 한국어와 영어에서 우수한 추론 능력을 보였다. 양사가 자체 테스트한 결과 대표적인 추론 능력 검증 테스트인 ‘매쓰(Math)500’과 ‘미국초청수학시험(AIME) 2024’에서 한국어 및 영어 모두 GPT-4o, GPT4.1, 클로드 3.7 소넷 등 글로벌 LLM보다 높은 점수를 기록했다.

이번 LLM의 또 다른 장점은 모델 압축 기술을 이용해 두 장의 그래픽처리장치(GPU·한 장당 80Gb 데이터 처리)만으로 구동할 수 있다는 점이다. 통상적으로 파라미터 1000억 개 이상의 LLM에는 최소 네 장의 GPU가 필요하다. LG CNS 관계자는 “코히어와 지속적으로 협력해 LLM의 성능을 고도화해나갈 계획”이라고 밝혔다.