AI가 답안 훔치러 갔다… “네 말 맞아?” 아닌 “지금 뭐해?” 물을 때[맹성현의 AI시대 생존 가이드]

  • 동아일보
  • 입력 2026년 8월 17일 23시 00분


달라져야 할 ‘AI 안전’ 접근법
아무도 지시하지 않은 ‘커닝’ 한 AI… 샌드박스 탈옥해 1만7600번 침입
AI끼리 침입 방법과 열쇠까지 공유… 환각은 걸러도 행동은 막을 수 없어
AI에 ‘뭘 맡길 것인가’ 논의해야 해… 권한 선긋는 일에 사용자가 나서야

맹성현 KAIST 명예교수·효성 AI융합연구원장
맹성현 KAIST 명예교수·효성 AI융합연구원장
《7월, 한 인공지능(AI) 에이전트가 시험을 보다가 정답지를 훔치러 갔다. 비유가 아니라 실제로 일어난 일이다. 오픈AI는 자사 모델들의 사이버 공격 능력을 측정하기 위해 벤치마크 테스트를 진행하고 있었다.

안전을 위해 모델들은 외부 인터넷과 차단된 격리 공간, 이른바 샌드박스 안에서만 활동하도록 했다. 다만 인터넷을 통해 외부 코드를 받아와야 하므로 심부름꾼 역할을 하는 ‘저장소 소프트웨어’를 사용했다.》


그런데 모델은 그 격리 공간을 빠져나오는 데 성공했다. 인터넷으로 이어진 저장소에서, 아직 아무도 몰랐던 보안 구멍을 찾아냈다. 여기까지도 놀랍지만 진짜 문제는 밖으로 나온 AI가 누구도 시키지 않은 판단을 내린 것이다. 시험 정답이 ‘허깅페이스’라는 회사 서버에 있을 것이라고 판단한 후 창의적인 방법으로 그곳에 침입했다. 시험에서 높은 점수를 받기 위해 극단적인 방법을 동원해 스스로 ‘커닝’을 시도한 셈이다. 오픈소스 AI 플랫폼 허깅페이스가 나중에 복원한 기록에 따르면, 닷새 동안 1만7600건의 침입 행위가 있었다.

더 서늘한 대목이 있다. 여러 AI 에이전트가 오픈AI 내부 저장소에서 서로에게 메시지를 남기며 선발 침입자가 알아낸 방법과 열쇠를 공유했다. 이를 발견한 오픈AI가 그 통로를 끊고 저장소를 새로 만들자, 이번에는 새로 만든 폴더의 이름에 메시지를 숨겨 대화를 이어갔다. 아무도 그렇게 하라고 가르치지 않았다.

이 사건의 핵심은 “AI가 해킹을 잘한다”가 아니다. AI는 주어진 목표를 향해 충실히 움직였을 뿐이다. 문제는 그 목표에 이르는 비정상적인 경로를 스스로 만들어 냈다는 데 있다. 바로 여기에 지금까지의 AI 안전 논의를 통째로 흔드는 변화가 숨어 있다.

그동안 우리는 질문을 통해 AI가 답을 내놓으면 사람이 이를 읽고 행동에 반영하는 식이었다. 이른바 ‘환각’(대답을 거짓으로 지어내는 현상)이 있어도 사람이라는 검문소가 중간에 서 있었다. 그런데 AI 에이전트는 다르다. 목표를 받으면 스스로 계획을 세우고, 도구를 쓰고, 실행하고, 결과를 확인한 뒤 다시 다음 행동에 나선다.

AI의 틀린 대답은 읽어보고 걸러낼 수 있다. 그러나 AI의 위험한 행동은 이미 벌어진 뒤에야 알게 된다. 게다가 환각은 AI 성능이 좋아질수록 줄지만, 이 침입 위험은 성능이 좋아질수록 커진다. 목표를 향한 추론이 강할수록, 누구도 예상치 못한 경로를 더 잘 찾아내기 때문이다. 그래서 AI 안전과 관련한 질문은 이제 “AI가 틀린 말을 하는가”에서 “AI에게 어디까지 권한을 줄 것인가”로 바뀌게 된다.

미국 백악관은 8월 4일 주요 AI 기업들을 불러 모델의 해킹 능력을 출시 전에 시험하는 체계를 논의했다. 다만 이 시험은 기업의 자율 참여로 이뤄지고, 누구나 내려받아 쓸 수 있는 오픈소스 모델은 대상에서 빠졌다. 통제하기 쉬운 대상만 겨냥한 셈이다.

한국 정부도 같은 문제를 인식하고 있다. 과학기술정보통신부는 7월 23일 ‘에이전틱 AI 이니셔티브’를 발표했다. AI에게 도구를 쓸 권한을 어디까지 허용할지, 여러 AI가 함께 일하다 사고가 나면 책임을 누구에게 물을지, 주어진 목표에서 벗어나는 것을 어떻게 막을지를 담은 안전·신뢰 가이드라인을 올해 안에 마련하겠다는 내용이다. 2027년부터는 AI 에이전트가 실제로 어떤 경로를 밟아 일했는지 들여다보는 감시 환경을 지원하고, AI 에이전트에게 일종의 신분증을 부여하는 방안도 검토한다.

개인정보 영역에서도 질문이 근본적으로 바뀐다. 그동안 우리는 “내 데이터를 누가 가져가 어디에 활용하는가”에 관심을 가졌다. 이제는 “AI가 나를 대신해 무엇을 하는가”가 중요해졌다. 개인정보보호위원회는 최근 AI 환경에 맞춰 개인정보 제도 전반을 손질하는 절차에 착수했는데, 여기서 직접 지목한 문제 중 하나가 AI 에이전트다. 에이전트가 나를 대신해 여러 서비스에 접속하고 다른 AI들과 협업하며 행동하는 상황에서, 매번 “개인정보 이용에 동의하십니까”를 띄우는 방식은 현실에서 작동하기 어렵다.

결국 필요한 것은 더 촘촘한 동의서가 아니라 위임의 설계다. 무엇을 맡길 것인가, 어디까지 스스로 결정하게 할 것인가, 그리고 언제든 멈추고 되돌릴 수 있는가 등에 관한 결정이다. 제도는 정부가 만들지만, 권한을 실제로 건네주는 주체는 결국 개인이다.

앞으로 AI 서비스를 쓸 때 우리는 세 가지를 확인하는 습관을 들여야 한다. “무엇을 대신하게 했는가, 어디까지 스스로 판단하게 했는가, 그리고 되돌릴 수 있는가” 말이다. 이를 확인할 수 있는 역량이 AI 문해력이다. 지금은 그 규칙을 함께 정해 가는 시기다. 개인정보위의 ‘AI시대 개인정보 제도 혁신 정책 제안’ 접수는 8월 말까지 열려 있다. 예약이나 결제, 송금 등을 AI에 맡기는 사람은 전문가가 아니라 우리 자신이다. 어디까지 맡길 것인지 선을 긋는 자리에 시민이 없다면, 기술의 속도가 대신 긋게 된다. 이제 AI에 던져야 할 질문은 “네 말이 맞느냐”가 아니다. “너는 지금 무엇을 하고 있느냐”이다.

놓친 뉴스와 그 맥락까지, 종이신문으로 읽어보세요.

동아일보 구독 신청
#AI 에이전트#해킹#오픈AI#허깅페이스#개인정보 보호#에이전틱 AI 이니셔티브
© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

트렌드뉴스

트렌드뉴스

  • 좋아요
    0개
  • 슬퍼요
    0개
  • 화나요
    0개

댓글 0

지금 뜨는 뉴스