기자가 스캐터랩의 ‘제타’ 홈페이지와 제타 웹페이지를 보고 있다. 사진=김영호 기자 rladudgh2349@donga.com
인공지능(AI) 채팅 서비스 ‘제타(zeta)’ 운영사 스캐터랩이 이용자 보호를 전담할 대표 직속 조직을 만들었다.
국내 청소년 이용 시간과 결제 한도 제한은 연내 도입한다. 청소년 하루 기본 이용 시간은 3시간, 월 결제 한도는 10만 원으로 설정한다.
17일 스캐터랩은 김종윤 대표가 직접 이끄는 안전 전담 조직 ‘트러스트&세이프티 팀(Trust&Safety Team)’을 신설했다고 밝혔다. 콘텐츠 안전 정책 수립과 자체 AI 모델 개발, 콘텐츠 검수 업무 등을 전담하는 조직이다.
제타는 스캐터랩이 2024년 내놓은 AI 챗봇 서비스다. 이용자는 원하는 설정의 캐릭터와 메신저 창에서 대화하며 자신만의 이야기를 만들 수 있다. 앱 분석 업체 와이즈앱·리테일에 따르면 올해 2월 한국인의 제타 이용 시간은 1억1341만 시간으로 집계됐다. 챗GPT(5047만 시간)의 두 배가 넘는 수준이다.
● AI 개발 인력 절반 투입…플롯 검수·연령별 관리 나선다
스캐터랩은 주요 AI 개발 인력 절반을 콘텐츠·대화 검수 AI 모델 개발에 투입한다. 이들은 이용자가 고르는 이야기 설정인 ‘플롯’에 이용 등급을 매기는 검수 절차를 마련한다.
검수는 창작자가 플롯을 만드는 과정과 출시 시점, 서비스 안에 노출되는 시점 등 3단계에 걸쳐 이뤄진다. 단계마다 플롯의 소재·텍스트·이미지 등을 살펴 등급을 나눈다.
AI 콘텐츠 정책과 검수 기준은 한국과 일본, 미국 등 주요 서비스 국가별로 마련한다. 회사 핵심 AI 인력은 최상위 대규모 언어모델(LLM)을 활용해 플롯 검수용 자체 AI 모델을 개발한다.
연령 확인 절차도 강화한다. 연령에 따라 접근할 수 있는 플롯을 나눠 가입 초기부터 나이에 맞는 콘텐츠를 제공한다. 스캐터랩은 연말까지 자체 AI 모델과 플롯·대화 검수 체계를 고도화해 플롯 등급을 명확히 나눌 계획이다.
대화 중 안전장치도 손본다. 스캐터랩은 부적절한 대화를 막는 자체 AI를 출시한다. 이용자 연령별 발화 기준을 정해 AI 모델이 자체적으로 발화 수위를 조절하도록 한다.
이용 상황에 따른 보호 장치도 늘린다. 이용 중에는 AI와 대화하고 있다는 사실을 주기적으로 알린다. 자살·자해 관련 민감한 내용이 감지되면 정해진 기준에 따라 이용자에게 안내하는 기능도 구현해 검증한다. 국내에서는 △청소년 이용 시간 하루 3시간 △기본 결제 한도 월 10만 원 제한 기능을 연내 도입할 예정이다.
신고와 이의 제기, 정기 표본 검수에서 드러난 문제는 정책과 모델에 반영한 뒤 다시 검증해 서비스 개선에 나설 예정이다.
스캐터랩 제공스캐터랩은 국내외 AI 규제에 맞는 운영 체계를 마련하고 청소년 보호와 지식재산권(IP) 보호를 두고 규제 당국과 앱스토어, 콘텐츠 업계, 유사 서비스 운영사와 논의를 이어 갈 방침이다.
김 대표는 “제타는 이용자가 이야기의 주인공이 돼 AI와 함께 자신만의 이야기를 만들어 가는 서비스인 만큼 창작의 즐거움과 이용자의 안전을 함께 고려해야 한다”며 “정책과 기술, 운영을 아우르는 보호 체계를 고도화하고, 안심하고 사용할 수 있는 AI 엔터테인먼트 환경을 만들어 가겠다”고 말했다.
댓글 0