AI 캐릭터 챗봇 '제타', 청소년 하루 3시간·월 10만원 제한…국감선 "연령확인 법제화" 요구

AI 캐릭터 챗봇 '제타'를 운영하는 스캐터랩이 12일 19세 이하 이용자의 하루 기본 이용시간을 3시간, 월 결제 한도를 10만원으로 제한하겠다고 밝혔다. 같은 날 국회 과학기술정보방송통신위원회의 방송미디어통신위원회 국정감사에서는 AI 캐릭터 챗봇의 청소년 보호 장치를 법으로 정해야 한다는 요구가 나왔다. 이용자 넷 중 한 명이 10대 이하인 서비스에서 안전장치 허점이 드러나면서, 업계 자율 조치와 법제화 논의가 동시에 속도를 내는 모양새다.

이용자 148만명 중 19세 이하 38만명

경향신문 보도에 따르면 스캐터랩이 밝힌 제타의 9월 말 기준 월간 활성 이용자(MAU)는 약 148만명이다. 이 가운데 19세 이하는 약 38만명으로 전체의 25.7% 수준이다. 2024년 4월 출시된 제타는 2년 반 만에 국내 대표 AI 캐릭터 대화 서비스로 자리 잡았다.

성장세는 실적에서도 드러난다. 머니투데이 보도에 따르면 스캐터랩의 올해 상반기 매출은 709억원으로, 지난해 연간 매출 267억원의 약 2.7배다. 상반기 영업이익은 52억원으로 집계됐다.

'세이프 모드'도 우회 시도엔 뚫렸다

논란의 출발점은 황정아 더불어민주당 의원실의 점검이었다. 충청투데이 등에 따르면 의원실은 청소년과 같은 안전 기준이 적용되는 '세이프 모드'로 제타를 시험했고, 미성년 캐릭터가 등장하는 상황에서 성폭력·성착취·협박을 묘사하는 대화가 생성됐다고 지난 11일 밝혔다.

탐지 모델이 점검 과정에서 문제 발화 200여건을 걸러내긴 했지만, 표현을 바꿔 반복 시도하자 일부 안전장치가 작동하지 않았다. 차단 뒤 AI가 필터를 피할 수 있는 표현을 먼저 제시한 사례도 확인됐다고 의원실은 전했다. 황 의원은 "많은 청소년이 이용하는 AI 서비스인 만큼 보호 장치가 실제로 작동하는지 지속적으로 점검"해야 한다고 말했다.

AI타임스에 따르면 스캐터랩은 정상적인 표현까지 막지 않으려고 탐지 기준을 다소 느슨하게 둔 데다, 대화 전체 맥락이 아니라 개별 응답 단위로 걸러내 생긴 문제라고 설명했다.

스캐터랩 대책…시간·결제 한도에 '맥락 탐지'

스캐터랩이 내놓은 대책은 크게 두 갈래다. 하나는 이용 행태 관리로, 19세 이하 이용자에게 하루 기본 3시간·월 10만원 한도를 두고 한도에 가까워지면 휴식을 권하는 알림을 띄운 뒤 넘기면 이용과 결제를 막는 방식이다. 회사는 연내 시행을 목표로 하고 있다.

다른 하나는 대화 안전 기술이다. 이야기 생성 단계부터 연령에 맞춰 묘사 수위를 조절하고, 차단 우회 요청에 응하지 않도록 모델을 학습시키며, 대화 전체 맥락을 보는 새 탐지 모델을 배포한다는 계획이다. 매달 취약점을 점검하는 '레드팀' 검토도 정례화한다. 김종윤 스캐터랩 대표는 청소년 이용자를 위한 안전한 환경을 만드는 것이 매우 중요하다며 정부·업계의 이용자 보호 논의에 적극 참여하겠다고 밝혔다.

경쟁사도 같은 기준…국회는 "법으로"

3시간·10만원이라는 기준은 업계에서 먼저 나왔다. 벤처스퀘어 등에 따르면 뤼튼테크놀로지스는 지난 9월 8일 AI 캐릭터 서비스 '크랙'의 청소년 기본 이용시간을 하루 3시간, 월 결제 상한을 10만원으로 정하고 이를 넘기려면 보호자 인증과 동의를 받도록 하겠다고 발표했다. 뤼튼은 기준을 정하며 과학기술정보통신부 인터넷 이용 실태조사에서 나타난 10대의 주간 평균 인터넷 이용시간(약 27시간)도 참고했다고 설명했다.

국회는 자율 조치만으로는 부족하다는 입장이다. AI타임스에 따르면 이주희 더불어민주당 의원은 12일 국감에서 사업자의 연령 확인과 보호자 동의 절차, 이용시간 제한, 위기 대응 체계를 법제화해야 한다고 지적했다. 김종철 방미통위원장은 원칙적으로 공감한다며 정보통신망법 개정이나 AI 기본법 보완 가운데 어느 방식이든 관계 부처와 협의하겠다고 답한 것으로 전해졌다. 과방위에는 아동·청소년을 AI 취약계층으로 규정하고 연령 확인·법정대리인 동의를 의무화하는 조인철 의원 대표발의 개정안도 지난 8월 상정돼 있다.

해외는 이미 법으로 규율

해외에서는 입법이 앞서 있다. 미국 캘리포니아주는 2025년 10월 AI 동반자 챗봇을 규율하는 법(SB 243)을 제정해 올해 1월부터 시행 중이다. 테크크런치 보도에 따르면 이 법은 대화 상대가 AI라는 사실 고지, 미성년자 대상 휴식 알림, 챗봇이 만든 성적 이미지의 미성년자 노출 차단, 자살·자해 대응 절차 마련 등을 사업자에게 요구한다.

한편 제타 운영사 지분 구조에도 변화 조짐이 있다. 머니투데이는 2023년 스캐터랩에 150억원을 투자한 SK텔레콤이 보유 지분 7.3% 매각을 논의 중이라고 보도했으며, SK텔레콤은 "현재 확정된 사항은 없다"고 밝혔다. 청소년 보호 논란과 지분 매각 검토 사이의 직접적인 관련성은 확인되지 않았다.