한국 AI 스타트업이 ‘예측 평가’ 점수로 美빅테크 구글 제쳤다

  • 동아닷컴
  • 입력 2026년 11월 20일 15시 03분


뉴로퓨전, AI 미래 예측 벤치마크 종합 1위…인간 전문 집단도 넘어

금융 AI 스타트업 뉴로퓨전이 미래 예측 벤치마크 포캐스트벤치에서 550개 모델 중 1위에 올라 인간 전문 예측가 점수도 넘어섰다. 이미지=챗GPT 생성
금융 AI 스타트업 뉴로퓨전이 미래 예측 벤치마크 포캐스트벤치에서 550개 모델 중 1위에 올라 인간 전문 예측가 점수도 넘어섰다. 이미지=챗GPT 생성
국내 인공지능(AI) 스타트업이 미래 사건의 발생 확률을 예측하는 글로벌 평가에서 구글 딥마인드·오픈AI·앤트로픽 등을 제치고 1위에 올랐다. 인간 전문 예측가 집단보다도 높은 점수를 기록하며 글로벌 빅테크와 경쟁하는 국내 AI 기업의 가능성을 보여줬다.

AI 투자 분석 플랫폼 ‘밸리 AI(Valley AI)’ 운영사 뉴로퓨전은 자사 금융 AI 연구팀이 미래 예측 벤치마크 ‘포캐스트벤치(ForecastBench)’ 종합 리더보드에서 최고점을 받았다고 20일 밝혔다.

지난 17일 기준 뉴로퓨전이 제출한 예측 시스템 ‘하이브리드 앙상블 1(hybrid ensemble 1)’은 종합 69.4점으로 전체 550개 등록 항목 가운데 1위에 올랐다.

구글 딥마인드가 직접 제출한 예측 시스템은 68.4점, xAI의 ‘그록(Grok) 4.20’은 66.9점을 기록했다. 포캐스트벤치 운영진이 웹 검색 기능을 적용해 평가한 오픈AI의 ‘GPT-6 아스트라(Astra)’는 66.7점, 앤트로픽의 ‘클로드 오퍼스(Claude Opus) 5.5’는 66.6점, 메타의 ‘뮤즈 스파크(Muse Spark) 1.3’은 66.0점이었다.

인간 전문 예측가 집단인 ‘슈퍼포캐스터’의 종합 점수는 68.1점이었다. 뉴로퓨전은 데이터셋 부문에서 65.5점, 마켓 부문에서 73.9점을 기록해 슈퍼포캐스터의 점수(각각 63.4점·73.5점)를 모두 웃돌았다.

● 아직 일어나지 않은 사건으로 AI 예측력 평가

2026년 11월 19일 기준 ForecastBench 종합 리더보드 순위. 그래프=뉴로퓨전 제공
2026년 11월 19일 기준 ForecastBench 종합 리더보드 순위. 그래프=뉴로퓨전 제공
포캐스트벤치는 아직 결과가 나오지 않은 사건에 대해 AI가 발생 확률을 제시하도록 한 뒤 실제 결과로 예측 성능을 평가하는 체계다. 이미 정답이 알려진 문제를 활용하는 기존 AI 벤치마크와 달리 미래 사건을 대상으로 해, AI가 학습 과정에서 정답을 접했을 가능성을 줄였다. 필립 테틀록 펜실베이니아대 와튼스쿨 교수 등이 참여한 예측연구소(FRI)가 운영한다.

평가는 데이터셋과 마켓 두 부문으로 나뉜다. 데이터셋 부문은 주가·금리·물가 등 시계열 자료를 활용한 질문을, 마켓 부문은 선거 결과나 국제 분쟁의 협상 타결 여부 등 예측시장에서 가져온 질문을 다룬다.

평가에는 사건의 발생 확률과 실제 결과의 차이를 측정하는 브라이어 점수를 문항 난이도에 따라 보정하고 환산한 ‘브라이어 지수(Brier Index)’가 사용된다. 데이터셋과 마켓 부문을 같은 비중으로 반영하며, 종합 점수가 높을수록 예측 성능이 우수하다는 뜻이다. 예측 제출 후 50일이 지나야 공식 순위에 반영된다.

뉴로퓨전은 이번 평가에서 금융시장뿐 아니라 정치·국제 정세 등 다양한 분야의 사건을 예측했다. 회사가 평가 문항을 자체 분류한 결과 주가·금리·물가 등 금융과 직접 관련된 질문은 전체의 약 20%였다.

뉴로퓨전은 지난 9월 데이터셋 부문을 평가하는 선행 리더보드에서도 1위를 기록했다. 이번에는 두 부문을 종합한 공식 리더보드에서도 최고점을 받았다.

● 여러 AI 기술 결합한 예측 시스템…금융 서비스로 확대

이번 성과는 뉴로퓨전이 여러 AI 기술과 데이터 분석 도구를 결합해 개발한 예측 시스템에서 나왔다. 회사는 이용자 기반 가설 수집, AI를 활용한 연구 지원, 반복적인 성능 개선, 대규모언어모델(LLM)을 활용한 과거 데이터 검증 등을 적용했다고 설명했다.

뉴로퓨전은 4년간 구축한 530개 이상의 데이터 파이프라인과 자체 금융 분석 기술이 이번 예측 시스템을 뒷받침했다고 설명했다.

포캐스트벤치는 참가 팀이 여러 AI 모델과 외부 도구를 결합해 예측 시스템을 구성할 수 있도록 허용한다. 동일한 평가 기준을 적용하지만 참가 시스템마다 사용하는 모델과 데이터, 도구의 구성은 다를 수 있다.

뉴로퓨전은 구글 딥마인드보다 종합 점수가 1.0점 높았다. 다만 두 시스템의 평가 점수에 대한 95% 신뢰구간이 일부 겹쳐, 이번 결과만으로 성능 차이가 통계적으로 유의미하다고 단정하기는 어렵다고 회사 측은 설명했다.

뉴로퓨전 측은 “이번 결과로 확인할 수 있는 것은 해당 벤치마크에서 저희 시스템이 더 높은 점수를 기록했다는 데까지”라며 “실제 투자 판단이나 포트폴리오 운용 성과는 이번 평가의 대상이 아니었다”고 설명했다. 이어 이번 성과의 의미에 대해 “과거 데이터가 적어 전문가의 정성적 판단에 의존해 온 질문에서도 AI가 보여준 예측 역량”이라고 강조했다.

뉴로퓨전은 이번 연구 성과를 바탕으로 기존 서비스를 금융에 특화된 능동형 AI 에이전트로 확장할 준비를 하고 있다. 현재 운영 중인 밸리 AI는 종목 발굴부터 기업 가치평가, 포트폴리오 분석까지 투자 의사결정에 필요한 정보를 제공하는 서비스다.

회사에 따르면 밸리 AI는 올해 1월 정식 출시 이후 유료 구독자 1만 명 이상, 무료 회원 3만 명 이상을 확보했다.

최한철 뉴로퓨전 대표는 “많은 AI 에이전트 서비스가 주어진 작업을 잘 수행하는 영역에 집중하고 있는데, 이제 조금씩 미래 예측 영역으로 초점이 넘어갈 것”이라며 “AI가 데이터가 적은 문제에서도 인간보다 나은 판단을 하기 시작한다면, 이는 금융시장을 넘어 훨씬 거대한 의사결정 영역의 혁신이 임박했음을 의미한다”고 말했다.

놓친 뉴스와 그 맥락까지, 종이신문으로 읽어보세요.

동아일보 구독 신청
#뉴로퓨전#밸리 AI#포캐스트벤치#미래 예측#금융 AI#슈퍼포캐스터#브라이어 지수
© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

트렌드뉴스

트렌드뉴스

  • 좋아요
    0개
  • 슬퍼요
    0개
  • 화나요
    0개

댓글 0

오늘의 추천영상

지금 뜨는 뉴스