AI 반도체 전쟁, 학습에서 추론으로… ‘메모리 벽’ 깨는 d-매트릭스[최중혁의 월가를 흔드는 기업들-창업가편]

  • 동아일보
  • 입력 2026년 8월 19일 11시 27분




AI 추론 반도체 기업 ‘d-매트릭스’ 공동창업자 겸 CEO 시드 셰스 인터뷰
인공지능(AI) 반도체를 둘러싼 경쟁의 무게중심이 옮겨가고 있다. 지난 몇 년간 업계의 관심은 모델을 만드는 ‘학습(training)’에 쏠려 있었다. 더 큰 모델을 더 빨리 훈련하기 위해 그래픽처리장치(GPU)를 얼마나 확보하느냐가 경쟁력의 척도였다. 그러나 챗GPT 등장 이후 수억 명이 매일 AI를 사용하면서 무게중심은 이미 만들어진 모델을 실제로 구동하는 ‘추론(inference)’으로 이동하고 있다.

추론의 세계에서는 경쟁의 규칙이 다르다. 학습이 얼마나 많은 연산을 처리할 수 있느냐의 싸움이라면, 추론은 사용자가 질문을 던진 뒤 답을 받기까지 걸리는 시간을 줄이는 싸움이다. 최근 코딩 에이전트나 실시간 음성 비서처럼 사람과 정보를 주고받는 속도 자체가 제품의 성패를 가르는 응용 서비스가 쏟아지면서 지연시간(latency)은 부가적인 사양이 아니라 핵심 성능 지표가 됐다.

그런데 지연시간을 좌우하는 것은 의외로 연산 능력이 아니다. 병목은 ‘메모리’에 있다. 대규모언어모델(LLM)은 수백억∼수천억 개의 파라미터로 이뤄져 있다. AI가 답변을 한 토큰씩 만들어낼 때마다 이 거대한 모델의 데이터와 앞선 대화의 문맥을 메모리에서 반복해 읽어와야 한다. 연산 유닛이 아무리 빨라도 데이터를 가져오는 통로가 좁으면 전체 처리 속도는 그 한계를 벗어날 수 없다. 업계에서 ‘메모리 장벽(memory wall)’이라고 부르는 문제다.

메모리 안에서 연산하는 d-매트릭스
실리콘밸리 산타클라라에 본사를 둔 d-매트릭스(d-Matrix)는 이 문제를 정면으로 겨냥한 AI 추론 전용 반도체 기업이다. GPU와 고대역폭메모리(HBM)를 나란히 배치하는 기존 구조 대신 메모리 안에 연산 기능을 직접 넣는 ‘디지털 인메모리 컴퓨팅(DIMC·Digital In-Memory Computing)’ 아키텍처를 택했다. 데이터를 연산 유닛까지 실어 나르는 대신 데이터가 있는 자리에서 계산을 마쳐, 데이터 이동에 드는 시간과 전력을 줄이겠다는 발상이다.

d-매트릭스의 최고경영자(CEO) 시드 셰스(Sid Sheth)는 퍼듀대에서 전기공학 석사(MSEE) 학위를 받은 뒤 20년 넘게 반도체 업계에서 경력을 쌓아온 인물이다. 인텔에서 펜티엄 마이크로프로세서와 네트워크 프로세서 그룹의 엔지니어링·관리 직책을 거쳤다. 2001년에는 혼성신호 네트워킹 반도체 기업 아엘루로스(Aeluros)의 창업 멤버로 참여해 2007년 넷로직(NetLogic·현 브로드컴)에 매각되기까지 함께했다.

d-매트릭스 창업 전에는 인파이(Inphi·현 마벨)에서 네트워킹 사업부 수석부사장 겸 총괄매니저를 맡았다. 클라우드와 기업용 데이터센터 시장에 집중해 사업을 10억 달러 규모로 키웠다. 인파이는 이후 마벨에 100억 달러에 인수됐다. 공동 창업자이자 최고기술책임자(CTO)인 수딥 보자(Sudeep Bhoja) 역시 인파이 데이터센터 사업부 CTO 출신으로, 고속 인터커넥트용 디지털신호처리(DSP) 기술을 개발한 엔지니어다. 두 사람은 2019년 d-매트릭스를 함께 설립했다. 현재 임직원은 250명이 넘으며 미국 외에도 캐나다 토론토, 호주 시드니, 인도 벵갈루루, 세르비아 베오그라드 등에 거점을 두고 있다.

네트워킹 가속기 ‘제트스트림’. 여러 서버에 나뉜 코세어들을 하나처럼 묶어 모델을 분산 실행할 수 있게 한다. d-매트릭스는 칩 단품이 아니라 코세어·제트스트림·소프트웨어 ‘에비에이터’를 묶은 플랫폼을 판다. d-매트릭스 제공
네트워킹 가속기 ‘제트스트림’. 여러 서버에 나뉜 코세어들을 하나처럼 묶어 모델을 분산 실행할 수 있게 한다. d-매트릭스는 칩 단품이 아니라 코세어·제트스트림·소프트웨어 ‘에비에이터’를 묶은 플랫폼을 판다. d-매트릭스 제공

대표 제품은 AI 추론 가속기 ‘코세어(Corsair)’다. 코세어는 올해 6월 본격적인 양산에 들어갔다. d-매트릭스는 여기에 고속 데이터 이동을 담당하는 ‘제트스트림(JetStream)’, 추론에 최적화된 소프트웨어 ‘에비에이터(Aviator)’, 랙 단위 솔루션 ‘스쿼드랙(SquadRack)’을 결합하고 있다. 단순한 AI 반도체 기업을 넘어 데이터센터용 추론 플랫폼 기업으로 빠르게 영역을 넓히고 있다.

반도체를 넘어 추론 플랫폼으로
이를 보여주는 것이 최근 잇따른 인수합병이다. 올해 d-매트릭스는 넉 달 사이 두 건의 인수를 단행했다. 4월에는 기가IO(GigaIO)의 데이터센터 사업을 인수해 랙 단위 시스템 역량을 확보했고, 8월 3일에는 AI 추론 배포·오케스트레이션 소프트웨어 기업 왈루(Wallaroo.ai)를 인수했다.

자본시장의 관심도 커지고 있다. d-매트릭스는 지난해 11월 시리즈C 투자에서 2억7500만 달러를 조달하며 20억 달러의 기업가치를 인정받았다. 누적 투자 유치액은 4억5000만 달러다. 테마섹과 카타르투자청(QIA), 마이크로소프트의 벤처투자 조직 M12, 삼성, SK하이닉스 등도 투자자로 참여했다.

d-매트릭스의 전략에서 특히 흥미로운 부분은 엔비디아와의 관계다. 이 회사는 “GPU를 없애겠다”고 주장하지 않는다. 오히려 GPU와 d-매트릭스가 각자 잘하는 일을 나눠 맡자는 전략이다. GPU는 대규모 병렬 연산에 강하다. 반면 LLM이 답변을 한 토큰씩 생성하는 과정에서는 메모리에 끊임없이 접근해야 한다. d-매트릭스는 대규모 병렬 연산은 GPU에 맡기고, 메모리 집약적이면서 지연시간에 민감한 작업은 코세어 같은 추론 전용 가속기에 맡기는 ‘이종 컴퓨팅(heterogeneous computing)’이 더 효율적이라고 본다.

결국 셰스 CEO가 그리는 미래는 GPU 하나가 모든 작업을 처리하는 데이터센터가 아니다. CPU와 GPU, 추론 전용 가속기(XPU) 등 서로 다른 프로세서가 각자 가장 잘하는 일을 나눠 맡는 AI 인프라다.

미국 실리콘밸리 산타클라라 d-매트릭스 본사에서 만난 공동창업가 겸 CEO 시드 셰스(오른쪽)의 모습. 최중혁 팔로알토캐피탈 제공.
미국 실리콘밸리 산타클라라 d-매트릭스 본사에서 만난 공동창업가 겸 CEO 시드 셰스(오른쪽)의 모습. 최중혁 팔로알토캐피탈 제공.

필자는 올해 6월 미국 실리콘밸리 산타클라라에 있는 d-매트릭스 본사에서 셰스 CEO를 만났다. 모두가 학습에 집중하던 2019년 왜 추론을 선택했는지, AI의 ‘메모리 장벽’을 어떻게 넘으려 하는지, GPU와의 경쟁과 공존을 어떻게 바라보는지, 한국 시장에서 어떤 기회를 찾고 있는지 들었다.

모두가 학습을 볼 때 ‘추론’에 베팅하다
―2019년 d-매트릭스를 창업했다. 당시에도 AI 반도체 시장의 경쟁은 치열했다. 왜 추론, 그중에서도 클라우드 추론에 집중했나.

“2019년 회사를 시작할 당시 추론은 지금처럼 중요한 문제로 인식되지 않았다. 우리는 오로지 추론에 집중한 초기 기업 중 하나였다. 당시 많은 기업이 학습(training)에 집중했다. 추론을 다루는 기업도 있었지만 대부분 엣지(edge) 추론에 초점을 맞췄고, 데이터센터의 클라우드 추론에만 집중하는 기업은 사실상 거의 없었다.

우리가 이 시장에서 기회를 발견한 데는 이유가 있다. 시간이 흐를수록 모델의 규모가 커졌고 성능도 빠르게 향상되고 있었다.

2020년 GPT-3가 나왔다. 지금의 챗GPT와 같지는 않았지만, 일정 수준의 대화 능력만으로도 사람들을 놀라게 했다. 버트(BERT) 같은 트랜스포머 모델은 이미 구글 검색 등에 활용되고 있었다. 우리는 이런 모델의 능력이 향상되고 있다는 초기 신호를 포착했다. 그래서 ‘추론에 집중한다면 아예 트랜스포머 모델의 추론에 집중하자’고 결정했다. 단순한 추론이 아니라 클라우드 추론, 그중에서도 트랜스포머에 최적화된 클라우드 추론이었다.

트랜스포머 모델은 메모리를 굉장히 많이 사용한다. 토큰을 하나 생성할 때마다 문맥을 가져오기 위해 메모리에 접근해야 한다. 지금은 아주 당연한 사실처럼 보이지만 2020년에는 전혀 그렇지 않았다. 우리는 자체 아키텍처가 트랜스포머 모델에 잘 맞는다고 판단했고 그 길을 계속 걸었다.

결과적으로 좋은 베팅이었다. 2020년 이런 결정을 내렸고, 2021년에는 마이크로소프트가 우리 회사에 투자하며 ‘올바른 방향으로 가고 있다’는 신호를 줬다. 2022년에는 챗GPT가 등장했고, 2023년에는 라마(Llama)를 비롯한 오픈소스 모델의 시대가 열렸다. 2024년에는 추론형(reasoning) 모델이 등장했고, 2025년에는 딥시크가 나왔다. 2026년에는 클로드 코드(Claude Code)가 주목받고 있다. 지난 5∼6년을 돌아보면 추론 시장의 기회를 키우는 이정표가 매년 하나씩 등장한 셈이다.

처음에는 일종의 직감(hunch)이었다. 시장 데이터를 보면서 모델의 성능이 충분히 뛰어나지면 대기업뿐 아니라 일반 소비자도 모두 사용하게 될 것이라고 생각했다. 그렇게 되면 채택 규모가 엄청나게 커지고 시장도 크게 성장할 것으로 봤다. 우리가 그 시장을 겨냥한다면 큰 회사를 만들 수 있다고 생각했다. 그렇게 6년이 흘러 지금 이 자리에 와 있다.”

“옆으로 나란히”대신 “위로 쌓기”
―d-매트릭스는 AI 추론의 근본적인 병목으로 메모리를 지목한다. 왜 연산보다 메모리가 중요해지고 있으며, GPU는 어디에서 한계에 부딪히나.

“다시 트랜스포머 이야기로 돌아가 보자. 트랜스포머 모델, 특히 사용자에게 응답을 내놓는 토큰 생성 과정은 메모리를 극도로 많이 사용한다. 사용자의 질문에 대한 답변을 생성할 때마다 메모리에서 앞선 문맥을 계속 가져와야 한다. 사용자와 원활하게 상호작용하려면 빠른 응답 속도를 유지해야 하므로 메모리에도 매우 빠르게 접근할 수 있어야 한다.

GPU는 이런 작업에 가장 적합한 아키텍처가 아니다. GPU는 HBM을 사용한다. 많은 문맥을 메모리에 보관할 수 있지만, 여기에 우리가 원하는 방식으로 매우 빠르게 접근하는 데는 제약이 있다. 우리 솔루션은 대부분의 문맥을 메모리에 유지하면서도 매우 빠르게 접근할 수 있다. 근본적으로 다른 아키텍처다. 메모리와 연산 기능을 한데 붙여 병목 현상, 즉 ‘메모리 장벽’을 넘으려는 것이다.

기존 아키텍처를 그대로 가져와 새로운 애플리케이션에 적용하는 것만으로는 충분하지 않다고 본다. 새로운 종류의 애플리케이션에 맞춰 처음부터 설계해야 한다. 추론 애플리케이션은 지연시간(latency)에 매우 민감하다. 그만큼 속도가 중요하다. 우리는 이를 위해 새로운 솔루션을 구축했다.

물론 GPU가 사라진다는 의미는 아니다. GPU가 매우 잘하는 작업이 있다. 많은 연산이 필요한 처리량(throughput) 중심의 작업은 GPU에 맡기고, 메모리에 빈번하게 접근해야 하는 작업은 우리와 같은 솔루션에 맡길 수 있다. 둘을 함께 사용하면 GPU만으로 처리할 때보다 훨씬 효율적인 시스템을 만들 수 있다.”

LLM의 추론 과정을 단순화하면 ‘프리필(prefill)’과 ‘디코드(decode)’로 나눌 수 있다. 프리필은 사용자가 입력한 문장을 한꺼번에 처리하는 과정으로, 대규모 행렬 연산 능력이 중요하다. 반면 디코드는 답변을 한 토큰씩 생성하는 과정이다. 이미 생성된 문맥과 모델 데이터를 계속 읽어야 하므로 메모리 대역폭과 지연시간이 중요하다.

d-매트릭스는 이 두 과정을 반드시 같은 프로세서가 담당할 필요는 없다고 본다. GPU가 연산 집약적인 프리필을 맡고 코세어가 메모리 집약적인 디코드를 처리하는 식이다.


“길을 건너지 말고 엘리베이터를 타게 한다”
―d-매트릭스의 DIMC와 3DIMC는 기존 GPU 구조와 어떻게 다른가. 실제 고객이 얻는 가장 큰 효과는 무엇인가.

“두 번째 질문부터 답하겠다. 고객이 얻는 가장 큰 효과는 속도다. 우리는 이를 ‘상호작용성(interactivity)’이라고 부른다. 사용자가 애플리케이션과 얼마나 빠르게 상호작용할 수 있느냐를 뜻한다. 우리 아키텍처에서 AI 모델을 실행하면 최종 사용자 경험이 향상된다.

DIMC와 3DIMC를 설명하려면 우리가 만든 새로운 아키텍처부터 이야기해야 한다. 우리는 메모리와 연산 장치를 함께 배치한다. 쉽게 비유해 보자. 기존 GPU 옆에 메모리가 있다고 생각해 보라. GPU와 메모리를 나란히 놓으면 데이터가 둘 사이를 계속 오가야 한다. 우리는 둘을 옆에 놓는 대신 위아래로 쌓는다. 메모리를 연산 장치 위에 놓고, 메모리에 담긴 데이터를 바로 아래의 연산 장치로 전달한다.

기존 방식이 데이터를 옮기기 위해 계속 길을 건너다니는 것이라면, 우리 방식은 엘리베이터를 타는 것과 비슷하다. 데이터가 바로 아래 연산 장치로 내려간다. 여기서 끝이 아니다. 위에 더 많은 층을 쌓아 용량을 늘릴 수도 있다. 고층 건물을 올리는 것과 같은 원리다. 현재 GPU와 HBM을 연결하는 구조와 달리 메모리와 연산을 더욱 직접적으로 결합하는 것이다. 저지연 추론을 위해 설계한 근본적으로 다른 구조다.”


셰스 CEO가 두 개의 설명용 블록을 이용해 연산 장치와 메모리가 분리된 기존 AI 반도체 구조를 설명하고 있다(위). 이어서 블록을 위아래로 겹쳐 d-매트릭스의 접근을 설명하는 모습. 메모리를 연산 위에 올려 데이터가 곧바로 아래로 떨어지게 하는 구조다(아래). 최중혁 팔로알토캐피탈 대표 제공
셰스 CEO가 두 개의 설명용 블록을 이용해 연산 장치와 메모리가 분리된 기존 AI 반도체 구조를 설명하고 있다(위). 이어서 블록을 위아래로 겹쳐 d-매트릭스의 접근을 설명하는 모습. 메모리를 연산 위에 올려 데이터가 곧바로 아래로 떨어지게 하는 구조다(아래). 최중혁 팔로알토캐피탈 대표 제공

셰스가 인터뷰 도중 두 손으로 그려 보인 이 ‘마천루’ 비유는 d-매트릭스 기술의 요체를 압축적으로 보여준다. 코세어는 대만 TSMC의 6나노 공정에서 알칩테크놀로지스와 함께 생산된다. HBM 대신 SRAM 기반 인메모리 컴퓨팅 칩렛을 유기 기판 위에 올리는 방식을 택했다. HBM에 필수적인 ‘칩 온 웨이퍼 온 서브스트레이트(CoWoS)’ 패키징을 사용하지 않아 전 세계 AI 하드웨어 업체의 발목을 잡는 D램 공급 병목에서 상대적으로 자유롭다는 것이 회사 측 설명이다.

다만 현재 양산 중인 코세어와 차세대 3DIMC 기술은 구분할 필요가 있다. 코세어는 SRAM(프로세서 내부에 들어가는 초고속 메모리) 기반의 디지털 인메모리 컴퓨팅 칩렛을 사용한다. d-매트릭스가 메모리를 연산 장치 위에 수직으로 쌓는 3DIMC 기술을 본격적으로 상용화할 제품은 코세어의 후속 아키텍처인 ‘랩터(Raptor)’다. TSMC의 4나노 공정으로 생산해 내년 출시하는 것을 목표로 하고 있다.

● CoWoS 패키징: TSMC의 첨단 패키징 기술. 칩과 기판 사이에 ‘인터포저’라는 실리콘 중간층을 넣어 촘촘한 배선을 구현한다. GPU와 HBM을 연결하려면 반드시 필요하지만 생산 능력이 제한적이어서 AI 반도체 공급의 병목으로 꼽힌다.


코세어(Corsair) 양산…GPU와 AI 추론을 나눠 맡는다
d-매트릭스의 추론 가속기 ‘코세어’. PCIe 규격의 공랭식 카드로 표준 AI 서버에 그대로 장착된다. 액침냉각이나 수랭식 설비가 필요 없다는 점이 도입 문턱을 낮춘다. d-매트릭스 제공
d-매트릭스의 추론 가속기 ‘코세어’. PCIe 규격의 공랭식 카드로 표준 AI 서버에 그대로 장착된다. 액침냉각이나 수랭식 설비가 필요 없다는 점이 도입 문턱을 낮춘다. d-매트릭스 제공

―코세어가 지난 6월 본격적인 양산 단계에 들어갔다. 개발 단계에서 대량생산으로 넘어오면서 무엇이 달라졌나. 고객들은 코세어를 어떻게 활용하려 하나.

“코세어가 바로 여기 있다. 실제 제품이다. 공랭식으로, AI 서버에 장착된다. 슈퍼마이크로가 서버 파트너로 참여해 코세어 카드를 장착한 서버를 생산한다. 현재 서버와 카드를 양산해 공급하고 있다.

여러 고객과 개념검증(POC)도 진행하고 있다. 고객들은 특히 ‘패스트 디코드(fast decode)’에 많은 관심을 보인다. 과거에는 모델 전체를 GPU에서 실행했다. 이제는 연산이 많이 필요한 부분은 GPU에서, 메모리 집약적인 부분은 코세어 같은 솔루션에서 실행하는 새로운 접근법이 등장하고 있다. GPU와 코세어가 하나의 모델을 나눠 처리하는 것이다.

이를 ‘이종 분리(heterogeneous disaggregation)’라고 부른다. GPU와 코세어라는 서로 다른 하드웨어를 함께 사용하기 때문에 ‘이종’이고, 하나의 모델을 나눠 처리하기 때문에 ‘분리’다. GPU와 코세어를 결합하면 GPU만 사용할 때보다 훨씬 좋은 결과를 낼 수 있다. 이에 대한 고객들의 관심도 매우 높다.

우리는 올해 약 1∼2메가와트(MW) 규모의 배치를 목표로 하고 있다. 내년에는 컴퓨팅 용량을 약 30∼50MW 규모로 확대할 계획이다. 내년이면 여러 고객에게 제품을 공급하며 코세어의 양산 규모를 상당히 키울 수 있을 것으로 기대한다.”

d-매트릭스는 코세어를 하이퍼스케일러와 네오클라우드, 프런티어 AI 연구소 등에 우선 공급할 계획이라고 밝혔다.

―현재 고객들이 가장 절실하게 요구하는 것은 무엇인가. 성능과 비용 절감, 전력 효율, 지연시간 가운데 우선순위를 꼽는다면.

“지금은 비용과 지연시간이 가장 중요하다. 전력 효율의 중요성도 점점 커지고 있다. 비용과 지연시간이 우선이고, 그다음이 전력 효율이다.”

“우리는 스위스다”… 모두에게 파는 회사

―엔비디아와 AMD의 GPU뿐 아니라 그록, 세레브라스, 삼바노바 등 여러 AI 가속기 기업이 경쟁하고 있다. d-매트릭스가 보는 시장의 경쟁 구도는 어떤가.

“기업마다 접근법이 다르다. 엔비디아와 AMD의 GPU에는 각각의 강점이 있다. 그록(Groq)과 세레브라스(Cerebras)는 속도, 특히 디코드 속도를 겨냥해 왔다. 우리가 ‘패스트 디코드’라고 부르는 영역이다. d-매트릭스도 같은 문제를 겨냥하지만 접근 방식은 다르다. 시장에 진입하는 방식도 서로 다르다. 세레브라스는 자체 데이터센터를 구축해 서비스를 제공하는 방향으로 사업을 전개하고 있다. 그록은 이제 엔비디아의 일부가 됐으므로 엔비디아 솔루션에 통합될 것이다.

우리는 일종의 ‘스위스(Switzerland)’와 같다. 누구에게나 솔루션을 제공할 수 있다는 의미다. 엔비디아나 AMD와도 협력할 수 있고, 그들의 솔루션 옆에 우리 제품을 배치할 수도 있다. 하이퍼스케일러에는 제품을 판매해 자체 데이터센터에 배치하도록 하고, 네오클라우드에는 랙 단위의 통합 솔루션을 판매할 수 있다.

우리는 자체 하드웨어를 배치해 직접 서비스를 운영하지 않는다. 모든 데이터센터와 네오클라우드가 기존 하드웨어에 우리 솔루션을 더해 저지연 컴퓨팅 역량을 높이도록 하는 것이 목표다. GPU 기반 시스템이든 다른 하드웨어 기반 시스템이든 함께 사용할 수 있다. 이것이 다른 기업과 차별화되는 우리의 시장 진입 전략이다.”

d-매트릭스가 말하는 ‘스위스 전략’의 핵심은 기존 GPU 생태계를 정면으로 대체하려 하지 않는다는 데 있다. 세계 각지의 데이터센터에 이미 막대한 규모의 GPU가 설치돼 있는 만큼 이를 그대로 활용하되, GPU가 상대적으로 비효율적인 영역은 전용 가속기가 맡는 것이 현실적인 시장 진입 방법이라는 것이다. 실제로 d-매트릭스는 7월 AI 클라우드 기업 파라세일(Parasail)이 엔비디아의 호퍼·블랙웰 GPU와 코세어를 하나의 데이터센터에 함께 배치할 것이라고 발표했다.

하이퍼스케일러에는 공동개발, 기업에는 ‘턴키’
―하이퍼스케일러와 프런티어 AI 연구소, 네오클라우드, 기업, 소버린 고객을 동시에 공략하고 있다. 고객마다 요구 사항이 다른데, 우선순위와 접근 전략은 어떻게 구분하나.

“크게 두 그룹으로 나눌 수 있다. 하나는 하이퍼스케일러와 프런티어랩이고, 다른 하나는 소버린과 네오클라우드, 기업 고객이다.

프런티어랩 및 하이퍼스케일러와의 협업은 고도의 맞춤형(custom) 방식으로 이뤄진다. 우리가 솔루션을 제공하면 이들은 자사 내부 모델에 활용할 수 있도록 직접 프로그래밍하기를 원한다. 그래서 이들이 직접 프로그래밍할 수 있는 환경까지 제공한다. 이들 고객과의 계약은 규모가 굉장히 크다. 고객 한 곳만으로도 회사에 상당한 매출을 안겨줄 수 있다.

반면 네오클라우드와 기업, 소버린 고객은 하드웨어를 직접 프로그래밍할 역량이 없을 수 있다. 이들은 우리에게 ‘이런 오픈소스 모델을 구동하고 싶다’고 말한다. 그러면 d-매트릭스 팀이 해당 오픈소스 모델을 우리 하드웨어에서 구동할 수 있도록 만든다. 이후 서버나 랙 형태의 턴키(turnkey) 솔루션을 고객에게 제공한다. 고객은 완성된 하드웨어와 소프트웨어를 기반으로 자신의 서비스를 운영하면 된다.

따라서 하이퍼스케일러와 프런티어랩에는 맞춤형 공동개발(co-development) 방식으로, 네오클라우드와 기업, 소버린 고객에게는 보다 완성도 높은 턴키 방식으로 접근한다.”

“AI 인프라는 더 이상 칩 하나의 게임이 아니다”

―기가IO의 데이터센터 사업을 인수했다. 반도체 기업이 왜 서버와 랙 단위까지 사업 영역을 넓혀야 했나.

“먼저 강조하고 싶은 것은 AI 인프라 또는 AI 컴퓨팅이 더 이상 ‘칩의 게임(chip game)’이 아니라는 점이다. 칩 하나만 잘 만든다고 해결되는 문제가 아니다. 전체 솔루션을 구축해야 한다. 고객이 실제로 도입하는 것은 대부분 랙 단위다. 랙 단위의 솔루션을 만들 수 있어야 할 뿐 아니라, 여러 랙을 연결해 클러스터와 팟(pod)을 구성할 수도 있어야 한다.

우리는 뛰어난 칩과 카드 기술을 보유하고 있었다. 하지만 서버와 랙 단위의 기술로 확장해야 한다는 사실을 빠르게 깨달았다. 기가IO(GigaIO) 인수는 바로 그 과정의 한 단계다. 이번 인수를 통해 랙 단위 솔루션을 설계하고 배치·서비스·운영하는 데 풍부한 경험을 지닌 뛰어난 팀을 확보했다. 이 팀은 우리가 랙 솔루션을 시장에 내놓는 속도를 크게 높여줄 수 있다. 기존 d-매트릭스 팀이 칩과 소프트웨어, 카드에 집중했다면 이제는 랙과 시스템 역량까지 갖추게 된 것이다.”

셰스 CEO의 이 답변은 이후 d-매트릭스가 선택한 행보를 정확히 설명해 준다. d-매트릭스가 4월 기가IO 인수를 통해 확보한 것은 회사 전체가 아니라 데이터센터 사업과 핵심 기술이다. 인터뷰 이후에는 한 단계 더 나아가 8월 AI 추론 배포·오케스트레이션 기업 왈루(Wallaroo.ai)를 인수했다.

왈루는 학습을 마친 모델을 실제 서비스 환경에 배포하고 운영하는 소프트웨어를 개발하는 회사다. GPU와 CPU, 여러 종류의 XPU가 함께 작동하는 이종 컴퓨팅 환경에서는 칩 자체의 성능만큼 ‘어떤 작업을 어떤 하드웨어에 보내고 전체 시스템을 어떻게 운영하느냐’가 중요하다. 왈루 인수로 d-매트릭스는 배포와 오케스트레이션 계층을 자체 기술 체계에 통합했다. 회사 측은 고성능 반도체부터 배포 소프트웨어까지 이어지는 엔드투엔드 추론 플랫폼을 갖추게 됐다고 설명했다.

기가IO가 하드웨어를 랙 단위로 묶는 역량을 제공한다면, 왈루는 그 위에서 모델을 실제로 구동하는 소프트웨어 역량을 더한다. 고객이 코세어를 도입할 때 부딪히는 장벽이 성능 자체보다 ‘기존 GPU 환경에 이 카드를 어떻게 추가하고 운영할 것인가’라는 점을 고려하면, 두 인수는 같은 문제의 하드웨어와 소프트웨어 측면을 각각 보완한 조치다. 반도체 스타트업이 칩만 잘 만들어서는 제품을 팔기 어려운 시대라는 셰스의 진단이 인수 전략으로 구체화되고 있다.

랙 단위 레퍼런스 아키텍처 ‘스쿼드랙’. 슈퍼마이크로 서버와 아리스타 네트워크 스위치를 조합해 표준 데이터센터 환경에서 며칠 만에 배치할 수 있도록 설계됐다. d-매트릭스는 올해 기가IO와 왈루를 잇달아 인수해 랙 단위 구축과 배포 소프트웨어 역량을 확보했다. d-매트릭스 제공
랙 단위 레퍼런스 아키텍처 ‘스쿼드랙’. 슈퍼마이크로 서버와 아리스타 네트워크 스위치를 조합해 표준 데이터센터 환경에서 며칠 만에 배치할 수 있도록 설계됐다. d-매트릭스는 올해 기가IO와 왈루를 잇달아 인수해 랙 단위 구축과 배포 소프트웨어 역량을 확보했다. d-매트릭스 제공


“한국과 100% 협력하고 싶다”
―d-매트릭스는 이미 매출을 내기 시작했다. 반도체 스타트업이 매출 단계에 진입한 것은 중요한 이정표다. 수익성에 대해서는 어떻게 생각하나.

“현재 수익성은 우리의 목표가 아니다. 우리는 성장 단계에 있는 기업이다. 이 분야에서 너무 일찍 수익성을 달성한다는 것은 어쩌면 충분히 빠른 속도로 투자하지 않고 있다는 의미일 수도 있다. 연구개발(R&D)의 속도를 더 높여야 한다.

물론 적절한 시점에는 수익성 있는 기업이 되고 싶다. 하지만 지금은 적극적으로 투자하고 제품 로드맵을 앞당기는 데 초점을 맞추고 있다. 세상이 너무 빠르게 변하고 있어 제품 역시 매우 빠른 속도로 개발해야 하기 때문이다. 우리는 ‘높은 속도(high velocity)’로 투자하고 제품을 개발하는 데 집중하고 있다.”

반도체 기업은 소프트웨어 기업과 사업 구조가 다르다. 새로운 칩 하나를 설계해 시험생산을 거쳐 양산하기까지 막대한 자본과 오랜 시간이 필요하다. d-매트릭스처럼 카드와 네트워킹, 랙 시스템, 소프트웨어까지 사업 영역을 확장하면 초기 투자 규모는 더욱 커진다.

―한국은 삼성전자와 SK하이닉스를 보유한 반도체 강국이다. 데이터센터와 통신사, 대기업뿐 아니라 소버린 AI에 대한 투자도 확대하고 있다. 한국에서 어떤 협력 기회를 찾고 있나.

“물론이다. 100% 협력하고 싶다. 우리는 여러 기업과 파트너십을 맺고 있으며 한국과도 반드시 협력하고 싶다. 이미 한국의 데이터센터 사업자들과 협의를 진행해 왔다. 한국 투자자들도 있다. 미래에셋을 비롯해 삼성, SK하이닉스와도 이미 관계를 맺고 있다. 이제 우리 제품이 양산에 들어갔고 생산 물량도 늘리기 시작했다. 그만큼 한국의 데이터센터 및 소버린 AI 프로젝트와 적극적으로 협력 기회를 모색하고 싶다.”


빠르게 배우고, 모른다는 것을 인정하는 사람

―“칩 사업은 어렵고 심약한 사람을 위한 사업이 아니다”라고 말한 적이 있다. 팀을 꾸릴 때 가장 중요하게 보는 자질은 무엇인가.

“가장 먼저 보는 것은 ‘빠르게 배울 수 있는가’다. 이 분야가 매우 빠르게 변하고 있기 때문이다. 누구도 모든 것을 알 수 없다. 오늘 아는 지식이 내일이면 그대로 적용되지 않을 수도 있고, 새로운 도구도 계속 등장한다. 그래서 배우는 능력, 그중에서도 빠르게 배우는 능력이 매우 중요하다. 우리가 d-매트릭스에서 원하는 DNA도 바로 그것이다.

자신이 무엇을 알고 무엇을 모르는지도 알아야 한다. ‘나는 이것을 모른다’고 말해도 괜찮다. 오히려 모른다는 사실을 인정하는 겸손함(humility)이 있어야 새로운 것을 배울 수 있다. 다른 사람들과 협력하며 빠르게 실행하는 능력도 필요하다. d-매트릭스에서는 실행을 굉장히 중요하게 여긴다. 팀이 빠른 속도로 실행할 수 있도록 조직을 어떻게 구성할지도 많이 고민한다. 빠르게 배우는 능력, 자신이 아는 것과 모르는 것을 인식하는 겸손함, 협업과 빠른 실행이 우리가 팀을 만들 때 중요하게 보는 자질이다.”

“하나의 정답은 없다”… 이종 컴퓨팅의 시대

―향후 3∼5년간 AI 인프라 시장은 어떻게 재편될 것으로 보나. GPU 중심 구조가 지속될까, 아니면 워크로드별로 시장이 분화될까. 그 안에서 d-매트릭스는 어떤 역할을 하고 싶은가.

“우리는 이미 ‘이종 컴퓨팅(heterogeneous compute)’의 세계로 들어가고 있다. 하나의 제품이 모든 문제를 해결하는 ‘원 사이즈 핏츠 올(one size fits all)’ 시대는 끝나가고 있다. d-매트릭스는 약 2년 전부터 이를 이야기해 왔다. 앞으로는 각자의 자리가 있다. GPU도, CPU도, XPU도 있다. 이들이 함께 작동하며 최상의 사용자 경험과 투자수익률(ROI)을 만들어낼 것이다.

d-매트릭스가 우선 집중하는 것은 사용자에게 매우 높은 수준의 상호작용성을 제공하는 일이다. 사람이 AI와 상호작용할 때 어떻게 해야 실제로 실시간처럼 느끼게 할 수 있을까. 어떻게 해야 매우 개인화되고 빠른 경험을 제공할 수 있을까. 이를 위해서는 지연시간과 속도가 중요하다. 그것이 우리의 첫 번째 목표다.

두 번째는 에너지 효율이고, 세 번째는 비용 효율이다. 그래야 제품을 대규모로 배치해 가능한 한 많은 사람이 이용하도록 할 수 있다. 최대한 많은 사람에게 우리 솔루션을 제공하려면 가격이 비싸서는 안 된다. 따라서 속도와 에너지 효율, 누구나 이용할 수 있을 정도의 경제성이 우리의 핵심 목표다.

새로운 세계는 하나의 솔루션이 지배하는 곳이 아니다. 여러 종류의 솔루션이 함께 작동하는 세계다. 그 안에서 d-매트릭스가 분명히 맡을 역할이 있다고 생각한다. 시장은 이미 답을 내놓고 있다. 그록 인수에서 무슨 일이 일어났는지 보라. 세레브라스의 기업공개(IPO) 과정에서 무슨 일이 있었는지도 보라. d-매트릭스는 여기서 한 걸음 더 나아가 에너지 효율과 비용 효율에 더욱 집중할 것이다.”

셰스는 AI 추론을 ‘새롭게 형성되는 1조 달러 시장’이라고 표현한다. 학습 시장이 소수의 프런티어 연구소를 중심으로 형성되는 반면, 추론은 AI 모델을 사용하는 모든 곳에서 발생한다. 시장의 폭 자체가 다르다.

d-매트릭스의 베팅은 이 시장에서 GPU를 밀어내는 것이 아니라 GPU가 잘하지 못하는 영역을 정확히 파고드는 데 있다. 모델 전체를 하나의 칩에서 구동하던 시대가 저물고, 연산 집약적인 구간과 메모리 집약적인 구간을 서로 다른 하드웨어가 나눠 맡는 시대가 열린다면 d-매트릭스가 정의한 ‘패스트 디코드’는 독립적인 시장 범주로 자리 잡을 수 있다. 2019년의 직감이 6년 만에 양산으로 이어진 지금, 그 베팅의 두 번째 장이 시작되고 있다.

필자(최중혁)는 한국을 대표하는 자동차 섹터 애널리스트로 활동했다. 미국 미시간대 경영학석사(MBA) 학위를 받은 뒤 미 실리콘밸리 소재의 사모펀드 팔로알토캐피탈(Palo Alto Capital)을 설립해 운용하고 있다. ‘AI 로봇 반도체 BIG 3 투자 트렌드’ ‘2025~2027 앞으로 3년 미국 주식 트렌드’ 등의 저자다.


놓친 뉴스와 그 맥락까지, 종이신문으로 읽어보세요.

동아일보 구독 신청
© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

트렌드뉴스

트렌드뉴스

  • 좋아요
    0개
  • 슬퍼요
    0개
  • 화나요
    0개

댓글 0

지금 뜨는 뉴스