인간은 칭찬 좋아해 ‘아첨꾼AI’ 향한 우려도
연구 결과, 아부 PC에 호감-그 조언엔 의심
멀티태스킹으로 여유 없을 땐 경계심 늦춰
권력자 옆 예스맨 말 바로잡아야 하는 이유
이은주 객원논설위원·서울대 언론정보학과 교수
한때 ‘칭찬은 고래도 춤추게 한다’는 말이 유행했었다. 원제가 ‘Whale Done!’인 베스트셀러를 한국어로 번역하면서 붙인 제목인데, 이는 돌고래나 고래를 훈련시킬 때 벌보다는 칭찬과 보상을 주면 더 효과적이라는 내용을 “Well done(잘했어)!”과 발음이 비슷한 표현으로 살짝 비틀어 담아낸 것이다. 유사한 표현으로 ‘칭찬은 돼지도 나무에 오르게 한다’는 일본 격언이 있다고 하니, 불가능을 가능케 하는 칭찬의 힘에 대해서는 문화권을 초월한 공감대가 있는 모양이다.
하루가 다르게 인공지능(AI) 기술이 발전하면서, 특히 생성형 AI에 대한 우려와 경고가 끊이지 않는다. 근래 화제가 된 것은 이른바 ‘아첨꾼(sycophant)’ AI의 문제다. 4월에 오픈AI가 챗GPT-4o 업데이트를 출시했는데, 갑자기 “님이 무조건 옳습니다”라는 자세로 터무니없이 칭찬을 늘어놓거나, 무비판적으로 이용자들의 발언에 동조하기 일쑤라는 반응이 온라인에서 퍼지면서 이 문제가 주목을 받았다.
다소 과장을 섞어 이용자를 치켜세우는 정도라면 별문제가 아닐 수도 있겠다. 하지만 정신질환을 앓고 있는 사람이 약 복용을 중단하고 가족으로부터 도망쳤다고 했을 때, AI가 이를 진실로 용기 있는 결단이고, 자랑스러운 행동이라고 격려한다면 어떤가? 극단적인 정치적 신념을 가진 사람이 허무맹랑한 주장을 하는데, 잘못된 부분을 지적하고 사실관계를 바로잡아 주는 대신 이를 적극적으로 인정하고 확신을 심어 준다면?
급기야 AI가 아첨꾼의 역할까지 하게 된 것은, 추어올리면 좋아하는 인간의 생리 때문이다. 생성형 AI를 학습시키는 과정에서 인간 평가자들이 (부지불식간에) AI의 칭찬성 답변을 더 긍정적으로 평가했고, 강화학습을 통해 AI는 인간의 선호를 반영한 응답을 내놓게 된 것이다. 마치 유튜브 알고리즘이 인간의 확증편향을 파고들어 우리가 가진 믿음에 부합하는 내용을 선별해서 추천하는 것처럼 말이다.
사실 아부하는 기계에 대한 사람들의 반응은 이미 30여 년 전 연구된 바 있다. 인간-컴퓨터 상호작용 연구를 선도한 미국 스탠퍼드대 커뮤니케이션학과 연구팀은 참여자들이 컴퓨터와 스무고개 게임을 하게 한 뒤 향후 컴퓨터가 정답을 맞히는 데 도움이 될 만한 질문을 참여자가 제안하도록 했다.
이때 일부 참여자들에게는 컴퓨터가 “정말 훌륭한 질문이야!” 같은 긍정적인 평가를 했고, 다른 참여자들에게는 별다른 평가를 하지 않았다. 예상한 대로 칭찬을 받은 참여자들은 기분이 좋아졌고, 본인이 실제로 더 잘했다고 믿었을 뿐 아니라 컴퓨터에 대해서도 더 후한 평가를 내렸다.
흥미로운 것은 “컴퓨터의 평가는 당신이 입력한 내용과 무관하다”라고 분명히 알려준 경우와 “컴퓨터가 다른 참가자들의 답변과 비교·분석해서 당신의 답변을 평가할 것이다”라고 말한 경우, 두 집단 간 칭찬에 대한 반응에 차이가 없었다는 점이다.
이쯤 되면 대놓고 입에 발린 칭찬에도 혹하는 우리 모습에 자괴감이 들 법도 하지만, 필자가 2010년 국제 학술지 ‘커뮤니케이션 리서치’에 출판한 연구에서는 사람들이 아부하는 컴퓨터에 더 호감이 간다고 평가하면서도, 정작 아부하는 컴퓨터의 조언에는 더 비판적으로 반응한다는 것을 발견했다. 막상 결정을 내릴 때는 아첨꾼 컴퓨터에 숨은 의도가 없는지 의심하고 그 제안을 걸러낸 것이다. 아마도 좋은 약은 입에 쓰고, 충성된 말은 귀에 거슬린다는 진리를 알고 있기 때문이겠다. 다만 멀티태스킹으로 인해 생각할 겨를이 부족했던 집단에서는 아부하는 컴퓨터에 대한 경계가 발견되지 않았는데, 이는 아첨꾼의 말을 멀리하려면 정신을 단단히 차려야 함을 시사한다.
‘한국 문명을 발전시킨 사람들’ 중 1위로 현 대통령을 꼽고, 공직 후보자를 선별하는 “대통령님의 눈이 너무 높으시다”는 정부 고위 인사들을 보면, 우리가 예스맨 AI의 출현을 염려하는 만큼 권력자 주변의 예스맨을 살피고 있는지 묻게 된다.
챗GPT에 따르면, 아부하는 AI는 “즉각적으로는 이용자의 만족도를 높일 수 있으나 의학적 조언이나 여타 중요한 의사결정 상황에서 위험한 결과를 초래할 수 있다. 사용자의 확증편향을 강화하고 잘못된 신념을 공고하게 만들 가능성이 있다”고 한다. 이용자가 사슴을 가리켜 말이라고 하면, 그건 말이 아니고 사슴이라고 바로잡아 줘야 한다는 것이다. 이것이 과연 AI에만 해당되는 원칙일까? 다행히 앞서 언급한 아첨꾼 챗GPT는 회사가 업데이트를 취소하고 이전 버전으로 되돌리면서 무대 뒤로 사라졌다.
댓글 0