[DBR]전략 평가할 땐 여러 AI 조언 종합하면 효과적

생성형 AI가 기업 의사결정 내리려면
인간 전문가 집단지성 발휘하듯
다중 모델 조언 집계해 정확도 높여야

전략적 의사결정은 기업의 운명을 좌우하는 중요한 행위다. 과거에는 이 같은 의사결정이 주로 인간 전문가의 경험과 직관에 의존해 이뤄졌다. 하지만 인간의 판단은 편향되거나 일관성이 떨어지며 대안이 많아질수록 효율성이 저하된다. 이에 따라 최근에는 GPT, 클로드, 제미나이 같은 대형언어모델(LLM)을 포함한 생성형 인공지능(AI)이 전략 판단에 도움을 줄 수 있을지에 대한 관심이 커지고 있다.

런던대(UCL)와 옥스퍼드대 연구팀은 생성형 AI가 전략적 대안을 어떻게 평가하는지 두 차례 실험을 통해 분석했다. 첫 번째 실험에서는 AI가 생성한 비즈니스 모델을, 두 번째 실험에서는 실제 기업이 창업경진대회에 제출한 60개 비즈니스 모델을 평가 대상으로 삼았다. 그리고 생성형 AI와 인간 전문가로 하여금 한 쌍씩 비교하도록 한 뒤 AI 평가 결과와 인간 전문가의 판단이 얼마나 유사한지 측정했다.

연구 결과 생성형 AI는 개별 평가에서는 종종 일관성이 떨어지고 편향된 선택을 했다. 예를 들어 같은 모델에서 쌍의 순서만 바뀌었는데 결과가 달라지는 경우도 있었고 특정 LLM은 항상 두 번째 모델을 선택하는 문제가 발생하기도 했다. 즉, 단일 AI의 평가는 인간 전문가와 상당한 격차를 보였다.

그러나 여러 LLM의 평가를 집계하면 놀랍게도 인간 전문가의 판단과 높은 유사성을 띠었다. 이는 개별 LLM의 한계에도 불구하고 다양한 AI 평가를 종합하면 더 신뢰할 수 있는 결과를 도출할 수 있음을 보여준다. 마치 여러 전문가의 의견을 종합해 의사결정의 정확성을 높이는 것과 같다.

이 같은 결과는 생성형 AI가 인간 전문가처럼 전략적 통찰을 제공할 수 있다는 교훈을 준다. 물론 단일 생성형 AI의 판단에 전적으로 의존하는 것은 위험하다. 그러나 다양한 조건에서 AI의 산출물을 반복 평가하고 이를 집계하면 정확도가 높아지며 전문가 집단 수준의 전략적 판단을 쉽게 재현할 수 있다.

생성형 AI는 특히 여러 대안에 대해 빠르고 대량의 평가가 요구되는 상황에 효율적이다. 복잡하고 불확실한 전략 환경에서 의사결정자의 부담을 덜어주고 더 많은 정보를 기반으로 판단을 내릴 수 있도록 도와줄 수 있다.

다만 실무에서 생성형 AI를 전략적 의사결정에 활용할 경우 단일 모델보다는 다중 모델을 사용하거나 다양한 프롬프트를 조합해 여러 결과를 종합적으로 고려하는 접근이 필요하다. AI가 제시하는 평가를 그대로 수용하기보다는 인간 전문가의 비판적 사고와 결합해 그 가치를 극대화해야 한다. 인간은 AI가 간과할 수 있는 맥락적 요소나 비정형적 상황을 반영해 최종 결정을 내리는 주체가 돼야 한다.

따라서 향후 기업들은 전략 대안을 평가할 때 생성형 AI의 조언을 집계하는 구조를 설계해야 한다. 또한 AI에 판단을 전적으로 위임하거나 인간의 대안으로 여기기보다는 인간의 역량을 강화하는 조력자로 바라봐야 한다. 전략적 판단의 미래는 인간과 AI가 함께 만들어가는 ‘하이브리드 전략 사고’에 달려 있다.