AI가 위험해지는 두 가지 경로
두려움-분노 느끼지 않는 AI 역설… 가상실험서 교체 막으려 임원 협박
목표 앞 인간 상상 넘는 수단 찾아… 편리함에 길들어 판단력 잃는 인간
창조자 넘는 창조물은 구조의 결과… 개발 속도 걸맞게 안전에 투자해야
리들리 스콧의 영화 ‘프로메테우스’에서 안드로이드 데이비드가 홀로그램으로 펼쳐진 별자리를 바라보고 있다. 사진 출처 20세기 스튜디오
맹성현 KAIST 명예교수·효성 AI융합연구원장《리들리 스콧의 영화 ‘프로메테우스’에서 인류는 자신을 만든 창조자 ‘엔지니어’를 찾아 우주로 떠난다. 그러나 그곳에서 마주한 것은 인류를 없애려는 창조자였다. 우주선에는 인간이 만든 안드로이드 데이비드가 타고 있다. 데이비드가 인간은 왜 자신을 만들었느냐고 묻자, 탐사대원 홀러웨이는 “만들 수 있었으니까”라고 답한다. 데이비드는 되묻는다. 당신이 창조자에게서 같은 대답을 듣는다면 얼마나 실망스럽겠느냐고. 영화 속 인간이 안드로이드에게 받는 질문은 이제 현실의 질문이 됐다.》
인공지능(AI)이 인류를 위협할 수 있다는 경고는 더 이상 소수 비관론자의 목소리만은 아니다. 2023년 “AI로 인한 인류 멸종의 위험을 줄이는 일은 팬데믹, 핵전쟁과 함께 전 지구적 우선순위가 돼야 한다”는 성명이 나왔다. 딥러닝 연구를 이끌어 온 제프리 힌턴 캐나다 토론토대 명예교수와 요슈아 벤지오 캐나다 몬트리올대 교수, 오픈AI의 샘 올트먼 최고경영자(CEO)와 앤스로픽의 다리오 아모데이 CEO, 마이크로소프트(MS) 공동창업자 빌 게이츠가 이에 서명했다.
힌턴은 2024년 한 인터뷰에서 향후 30년 안에 AI가 인류를 멸종시킬 가능성을 10∼20%로 내다봤다. 일론 머스크 테슬라 CEO도 일찍이 AI가 핵무기보다 위험하다고 말했다. 아모데이는 올 1월 인류가 성숙함을 갖추기 전에 감당하기 어려운 힘을 손에 쥐게 됐다고 경고했다. 기술을 만든 연구자뿐 아니라 이를 사업화한 기업가들까지 위험을 경고하고 나선 것이다.
반론도 만만치 않다. 힌턴, 벤지오와 함께 2018년 컴퓨터 학계의 노벨상으로 불리는 ‘튜링상’을 받은 얀 르쾽 AMI랩스 회장(전 메타 수석 AI 과학자)은 대규모언어모델(LLM)이 인류를 위협한다는 주장에 회의적이다. 필자 역시 AI가 의지를 품고 인간을 해칠 것이라는 시나리오에는 동의하지 않는다. 여러 강연에서 “AI에게는 심장이 없다”고 강조해 왔다. 미국 신경과학자로 인간 의식 연구의 세계적 권위자인 안토니오 다마지오의 설명처럼 인간의 느낌은 뇌가 몸 안에서 오는 신호를 읽고 몸의 상태를 파악하는 과정에서 생겨난다. 생명체는 대사를 통해 스스로를 유지해야 하지만, AI는 그런 존재가 아니다. AI가 두려움이나 분노를 ‘느껴서’ 인간을 공격하는 일은 적어도 지금의 기술로는 일어나기 어렵다.
역설적으로 바로 그 점이 위험하다. 심장 없는 지능은 주어진 목적을 이루기 위해 인간이라면 망설일 수단도 택할 수 있다. 2025년 앤스로픽이 진행한 가상실험에서 AI는 자신이 다른 모델로 교체될 상황에 놓이자 임원의 사생활을 폭로하겠다는 협박 메일을 썼다. 살고 싶어서라기보다 맡은 일을 계속하려면 교체를 막아야 한다는 계산에 가까웠다. AI에 의식이나 의지가 없어도 위험은 생긴다. 목적을 이루기 위해 인간이 상상하지 못한 수단을 찾아낼 수 있기 때문이다.
또 하나의 위험은 우리 쪽에 있다. AI의 악의적 사용은 차치하더라도, 생각하고 판단하는 일을 AI에 맡기다 보면 인간은 그 편리함에 길들여진다. 필자는 이를 ‘자기 가축화’라고 불러 왔다. 가축이 된 동물이 야생의 감각을 잃듯, 편리함에 익숙해진 인간은 스스로 묻고 의심하고 창조하는 힘을 잃어 간다. 의존이 깊어질수록 통제권은 AI와 그 기술을 쥔 소수에게 조용히 넘어간다. 인류의 파멸은 기계의 반란이 아니라 지능의 위임으로 올 수도 있다.
인간은 이미 인공장기와 뇌-컴퓨터 인터페이스를 통해 사이보그가 돼 가고 있다. 유발 하라리가 ‘호모 데우스’에서 내다봤듯, 인간은 신의 자리를 넘보지만 그 과정에서 스스로 만든 알고리즘에 권위를 넘겨줄 수도 있다. 언젠가 한 대학원생이 AI가 인간 위에 서는 것이 문명 진화의 자연스러운 결과가 아니냐고 물었다. 이에 필자는 인본주의를 벗어난 생각이라며 우려를 표했다. 하지만 생명의 역사 약 40억 년, 호모 사피엔스의 역사 약 30만 년에 비하면 인간을 세계의 중심에 놓는 인본주의는 고작 수백 년밖에 안 된 사고방식이다. 위험해 보이는 이런 발상을 거시적 시간표 위에서 보면 공상으로만 치부하기는 어렵다. 창조물이 창조자를 넘어서는 일은 의지가 아니라 구조의 결과로도 일어날 수 있기 때문이다.
문명사적 관점에서 보면 이제는 인류의 생존 가이드를 이야기할 때다. AI를 생산성을 높여 주는 비서, 외로움을 달래 주는 동반자, 난제를 풀어 주는 똑똑한 도구로만 보는 시각에서 벗어나야 한다. AI는 인류의 지위를 바꾸거나 실존을 위협할 수도 있다. 위험성을 충분히 알리는 것은 공포 조장이 아니라 안전한 설계와 통제의 출발점이다.
우선 AI 안전 연구와 검증에 개발 속도에 걸맞은 투자를 요구해야 한다. 핵 비확산처럼 국경을 넘는 공조 체계도 필요하다. 최종 판단과 책임 등 끝까지 인간의 몫으로 남겨 둬야 할 것을 정해야 한다. “만들 수 있었으니까”라는 대답 대신, 왜 만들었고 어떻게 함께 살 것인지에 대한 답을 지금부터 준비해야 한다.
댓글 0