‘최대 성능, 최소 컴퓨팅’ 코히어 “GPT-4 수준을 GPU 2개로 운영, 韓시장 공략 본격화”[최중혁의 월가를 흔드는 기업들 - 창업가편]

AI 스타트업 ‘코히어’ 공동창업자 에이든 고메즈-닉 프로스트 인터뷰

최중혁 팔로알토캐피탈 대표

인공지능(AI) 산업은 오픈AI, 구글, 마이크로소프트(MS) 등 빅테크의 각축장이다. 그러나 이들 사이에서도 뚜렷한 차별화 전략으로 기업용 AI 시장에서 두각을 나타내는 스타트업이 있다. 바로 캐나다 토론토에 본사를 둔 코히어(Cohere)다.

코히어는 2019년 캐나다 토론토에서 에이든 고메즈, 닉 프로스트, 이반 장이 공동창업한 AI 스타트업이다. 구글 브레인 출신 연구자들이 모여 트랜스포머 기반의 대규모 언어 모델(LLM)을 기업 고객에 맞춰 제공하는 데 집중한다. 본사는 토론토와 미국 샌프란시스코에 있으며, 영국 런던과 미국 뉴욕에도 사무실을 두고 있다. 엔비디아, 오라클, 세일즈포스, 시스코 등이 이 회사에 투자했다. 회사의 기업가치는 2024년 7월 기준 55억 달러다.

코히어는 오픈AI, 구글, MS와 달리 ‘엔터프라이즈 특화’라는 뚜렷한 포지셔닝을 내세운다. 특히 주목할 점은 창업진의 배경이다. 최고경영자(CEO)인 에이든 고메즈는 현재 AI 혁명의 기반이 되는 트랜스포머 기술을 개발한 ‘어텐션 이즈 올 유 니드(Attention Is All You Need)’ 논문의 공동 저자다. 이 논문은 챗GPT를 비롯한 모든 현대 대화형 AI의 기술적 토대가 됐다.

공동창업자 닉 프로스트는 토론토 구글 브레인 설립을 도우며 ‘AI의 아버지’로 불리는 제프리 힌턴 토론토대 명예교수와 함께 연구했다. 힌턴 교수는 딥러닝 개발 공로로 2024년 노벨 물리학상을 수상했으며, 토론토대 명예교수이자 토론토 구글 브레인에서 석학연구원을 겸임하며 구글의 AI를 주도했다.

첨단기술의 발전은 언제나 우리의 삶과 비즈니스 환경을 혁신해왔다. 특히 최근 AI 분야는 LLM 등장으로 전에 없던 변화를 가져오고 있다. 이러한 변화의 선두에서 기업용 AI 솔루션이라는 독자적인 길을 개척하며 주목받고 있는 코히어를 조명한다.

필자는 올해 5월 코히어의 공동창업자 닉 프로스트와 화상 인터뷰를, 공동창업자이자 CEO인 에이든 고메즈와는 서면 인터뷰를 각각 진행했다. 닉 프로스트에게는 코히어의 창업 배경과 그 뒷이야기를, CEO인 에이든에게는 회사의 전략과 AI 시장에 대한 전망 등을 들었다. 두 인터뷰를 내용에 따라 종합해 재구성했다.

제프리 힌턴 제자들이 만든 AI 기업, 코히어

―코히어 창업 과정에 대해 알려 달라. 구글 브레인에서 AI 연구를 하다가 코히어를 창업하기로 결정하게 된 결정적인 순간이 있었나?

닉 프로스트(이하 닉) “토론토 구글 브레인 설립을 도우며 연구원으로서 제프리 힌턴과 다양한 신경망 아키텍처를 연구했다. 그 중에서도 코히어의 공동창업자이자 현 CEO인 에이든 고메즈가 2017년 개발에 참여한 ‘트랜스포머(Transformer)’가 가장 혁신적이었다.
트랜스포머 이전에는 특정 문제를 해결하려면 그 문제만을 위한 전용 모델을 만들어야 했다. 고양이 사진을 식별하려면 오직 고양이만 구분하는 모델을 훈련시키는 식이었다. 하지만 트랜스포머 기반의 범용 언어모델은 다르다. 하나의 모델로 텍스트 요약, 키워드 추출, 추론 등 다양한 업무를 수행할 수 있게 된 것이다. 이런 기술이 산업계에 미칠 영향에 흥분했고, 에이든, 이반(Ivan)과 함께 기업용 대규모 언어모델(LLM)을 제대로 만들자고 결심했다.
트랜스포머는 2017년 구글이 발표한 AI 모델 구조로, 현재 챗GPT를 비롯한 대부분의 LLM 기반 기술이다. ‘어텐션(Attention)’ 메커니즘을 통해 문장 내 단어들 간의 관계를 효율적으로 파악할 수 있어 자연어 처리 성능을 획기적으로 향상시켰다.”

―코히어를 창업한 후, 집중하고 있는 가장 중요한 목표와 미래 비전은 무엇인가?

닉 “처음엔 단순히 애플리케이션 프로그래밍 인터페이스(API)를 통해 언어 모델에 대한 접근을 제공하면 된다고 생각했다. 하지만 기업들이 실제로 LLM을 운영 환경에 도입하기 어렵다는 것을 깨달았다.
그 이유는 첫째, 내부 데이터는 비공개로 유지되어야 하므로 네트워크 기반 방식은 내부 데이터에 적합하지 않다. 둘째, 범용 모델은 기업의 특정 요구에 맞게 작동하지 않는 경우가 많다. 이러한 맞춤화가 고객들에게는 장벽이었다. 마지막으로 사용편의성 문제다. 프로그래머가 아닌 일반 직원들도 쉽게 AI를 활용할 수 있는 도구가 필요하다. 이를 위해 ‘노스(North)’라는 통합 플랫폼을 개발했다.
코히어의 ‘노스’ 플랫폼은 기존 AI 서비스들과 달리 기업들이 자체 서버나 프라이빗 클라우드에서 AI를 운영할 수 있게 해주는 솔루션이다. 이는 민감한 데이터를 외부로 보내지 않고도 AI의 이점을 누릴 수 있어 금융, 의료, 정부 기관 등에서 주목받고 있다.”

―현재 AI 시장은 AI 모델 생산자, AI 기반 애플리케이션, AI 플랫폼 제공업체로 나뉜다. 코히어는 그중 어떤 위치에 있으며, 향후 5년간 AI 시장은 어떻게 변화할 것으로 예상하나?

에이든 고메즈(이하 에이든) “기업용 AI 혁신의 다음 단계는 단순히 기반 모델을 제공하는 수준을 넘어, 코히어 노스와 같은 완전한 엔드투엔드(End to End) AI 에이전트 플랫폼으로 진화할 것이다. 우리는 기술 스택 전반에 걸쳐 수직적으로 통합된 제품 개발 방식을 채택하고 있으며, 코맨드 A(Command A)와 같은 엔터프라이즈 수준의 모델을 지속적으로 구축하고 이를 규제 산업 고객들이 대규모로 활용할 수 있도록 애플리케이션에 원활히 통합하고 있다. 앞으로 5년간 AI 혁신의 중심은 이런 플랫폼 중심의 통합 솔루션으로 이동할 것이다.”

“GPT-4 수준 성능, GPU 2개로 구현… 코히어의 도전”

―오픈AI의 챗GPT와 비교해 코히어 코맨드 A 모델의 비용과 성능은 어느 정도 수준인가?

에이든 “코맨드 A 모델은 코히어의 대표 LLM이며 1110억 파라미터 규모로, 단 2개의 GPU만으로도 오픈AI의 GPT-4o 수준의 성능을 제공한다. 실제로 딥시크-V3, GPT-4o와의 벤치마크에서 동등하거나 더 나은 효율성과 정확도를 보인다. 특히 다국어 지원, 검색증강생성(RAG), 복잡한 업무 자동화에 최적화되어 있다. GPU 2개로 운영 가능하다는 것은 상당한 기술적 성과다. 일반적으로 GPT-4 수준의 대형 AI 모델은 수십 개의 고성능 GPU가 필요하기 때문이다.”

―대부분의 AI 기업이 일반 소비자를 겨냥하는데, 코히어는 왜 기업용에만 집중하나?

닉 “AI의 진정한 가치는 기업 내부에 있다고 생각한다. 물론 개인 생활에서도 AI가 유용한 경우가 있지만, 어머니의 문자에 더 빨리 답장하거나 친구의 이메일을 요약하는 일은 굳이 자동화하고 싶지 않다. 그런 개인적인 소통은 직접 하는 과정 자체에 의미가 있다. 반면 직장에서는 컴퓨터가 더 잘할 수 있는 단조롭고 반복적인 업무들이 많다. AI가 이런 업무 부담을 덜어주면 사람들은 자신이 정말 잘하는, 창의적이고 의미 있는 일에 집중할 수 있다. 이것이 AI의 진정한 가치라고 본다.”

―AI 도입이 가장 빠르게 증가하는 산업은 어디이며, 기업들이 AI를 업무 프로세스에 통합할 때 가장 큰 장벽은 무엇인가?

에이든 “금융, 헬스케어, 공공 부문처럼 민감한 데이터를 다루는 규제 산업에서 AI 도입이 가장 활발하다. 주된 수요는 보안과 데이터 프라이버시, 사용의 용이성 때문이다. 코히어는 프라이빗 배포에 최적화된 솔루션으로 이 문제를 해결하고 있다.”

크게보기

코히어의 RAG 기반 문서 검색 결과 인터페이스로, 사용자의 질문에 대해 관련 문서를 정확도 및 관련도 순으로 자동 추천해주는 결과 창이다.

―아마존, MS 애저, 구글과 같은 빅테크들도 이미 B2B AI 모델을 제공하거나 준비 중이다. 코히어는 각 기업에 맞춤형 모델을 제공하는 강점이 있지만, 이들의 자본, 경험, 명성을 고려할 때 코히어의 기술을 따라잡을 우려가 있다. 이들과 어떻게 경쟁하고 있나?

닉 “스타트업을 하다 보면 매주 받는 질문이다.(웃음) 하지만 대기업의 명성이 항상 도움이 되는 건 아니다. 많은 기업들이 대형 클라우드 업체들과 일해 본 후 다른 대안을 찾곤 한다. AI 분야에서는 특히 어려운 구조적인 문제들이 많다.
우리의 큰 특징 중 하나는 ‘우리의 모델을 고객에게 가져다 준다’는 것이다. 심지어 프라이빗한 환경에도 모델을 구축한다. 반면 대형 클라우드 업체들은 고객을 자신들의 클라우드로 끌어오려고 한다. 마이크로소프트 코파일럿을 사용한 고객들이 ‘기능은 좋은데 마이크로소프트 환경의 데이터에만 접근할 수 있어 아쉽다’고 말하는 경우를 봤다. 대부분의 기업들은 멀티클라우드 전략을 사용하고, 일부는 클라우드에 올리지 않는 보안 데이터도 있다.”

에이든 “코히어는 독립적인 AI 기업으로, 특정 클라우드나 하드웨어에 종속되지 않아 벤더 락인(vendor lock-in) 문제가 없다. 고객의 데이터가 있는 곳에서 AI를 실행할 수 있으며, 민감한 데이터를 안전하게 활용하여 고부가가치 업무를 수행하는 컨텍스트 기반 AI 에이전트를 구축한다. 노스 플랫폼을 통해 복잡한 외부 서비스에 의존하지 않고도 안전하게 AI의 혜택을 누릴 수 있다.”

―코히어는 팔란티어(Palantir)처럼 통합 플랫폼 전략을 추구하는 것으로 보인다. 코히어의 경쟁우위는 무엇이며, 플랫폼 전략이 중요한 이유는?

에이든 “우리는 고객의 성공을 위해 필요한 모든 것을 하는 데 집중한다. 코히어의 올인원 플랫폼은 고객에게 선택권을 제공하고 AI를 통한 가치 실현 시간을 단축시킨다. 어떤 조직은 바로 사용할 수 있는 솔루션을, 또 어떤 조직은 맞춤형 솔루션을 원한다. 코히어는 기술 스택 전체를 소유하고 있어, 고객의 요구에 맞춰 완전히 맞춤화된 제품 경험을 제공한다.
예를 들어, RBC(로열뱅크오브캐나다)와 협력해 ‘노스 포 뱅킹(North for Banking)’을 구축하며, 보안과 프라이버시 기준을 충족하는 금융 서비스용 AI 에이전트 기능을 완전히 맞춤화했다. 플랫폼 중심 전략은 다양한 고객 요구에 유연하게 대응하고, 빠른 도입과 확장성을 동시에 확보할 수 있다는 점에서 오늘날 AI 시장에 필수적이다.”

“LG CNS와 손잡고 한국형 AI 개발 중… 한국 시장 공략 본격화”

―한국 시장은 코히어에게 어떤 전략적 의미를 가지며, 얼마나 중요한가?
닉 “한국 시장은 활기차고 흥미로우며, 기술에 대한 참여도가 높고 유용한 것들을 만들어내는 데 열정적이다. 하지만 아직 LLM의 한국어 성능이 충분하지 않다. 코히어는 LG CNS와 함께 최적화된 한국어 모델을 개발하고 있다. 코히어는 한국 시장을 전략적으로 매우 중요하게 생각한다.”

필자(최중혁)는 미국 미시간대 경영학석사(MBA) 학위를 받은 뒤 삼성SDI America, SK Global Development Advisors 등을 거쳐 미 실리콘밸리 소재의 사모펀드 팔로알토캐피탈(Palo Alto Capital)을 설립해 운용하고 있다. ‘트렌드를 알면 지금 사야 할 미국 주식이 보인다’ ‘2025-2027 앞으로 3년 미국 주식 트렌드’ 등의 저자다.