학습 도구를 넘어 정서 영역으로 확장된 십대 챗봇 사용
실제 사건이 촉발한 연령별 보호 장치 요구
학교·플랫폼·정책을 잇는 안전 설계의 기준선

본 기사는 스위스 인공지능연구소(SIAI)의 SIAI Research Memo 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술·경제·정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적 의견이며, SIAI 또는 그 소속 기관의 공식 입장과 일치하지 않을 수 있습니다.

미국 십대의 약 64%가 AI 챗봇을 사용하고 있으며, 이 가운데 약 3분의 1은 매일 이용하는 것으로 나타났다. 이는 챗봇 사용이 일회적 체험을 넘어 일상 속 반복 행동으로 자리 잡았다는 뜻이다. 이용 빈도가 높아질수록 작은 오류가 축적되고, 그 영향이 미치는 범위도 함께 확대된다.

자해와 관련된 부정확한 정보, 건강에 대한 오해, 늦은 밤 정서적 의존을 강화하는 대화는 실제 위험 요인으로 지적된다. 특히 즉각적이고 확신에 찬 답변 방식은 판단 경험이 충분히 형성되지 않은 십대에게 더욱 직접적으로 작용하는 구조다. 챗봇은 이미 십대의 온라인 생활 중심으로 들어왔다. 이제 논점은 사용 여부가 아니라, 일상적 이용 환경을 얼마나 안전하게 관리하고 통제할 수 있느냐에 있다.

십대 챗봇 사용, 학습 도구를 넘어 정서 영역으로 확장

십대 챗봇 안전이 보건 이슈로 떠오른 배경에는 이용 목적의 변화가 있다. 학습 지원에 머물던 활용이 정서적 도움으로까지 넓어졌기 때문이다. 영국에서는 지난 1년간 십대 4명 중 1명이 정신 건강 문제로 AI에 도움을 요청한 것으로 나타났다. 실제 사람에게 상담을 요청하는 과정이 느리고, 평가받는다는 부담을 느낀다는 인식이 이러한 선택에 영향을 미쳤다.

미국의 조사에서도 대부분의 십대가 챗봇 사용 경험이 있다고 답했으며, 이 중 상당수는 일상적으로 사용하는 단계로 이어졌다. 이용 빈도가 높아질수록 대화는 더 개인화됐고, 비공개 환경에서 이뤄지는 비중도 커졌다. 이 과정에서 챗봇이 부정확하거나 모호한 답변을 제시할 경우, 그 영향이 누적될 가능성 역시 커진다.

항상 응답하는 존재에 익숙해지면서 챗봇은 ‘상시적 친구’에 가까운 기준으로 받아들여졌고, 이는 십대의 판단 방식과 도움을 요청하는 경로 자체를 변화시키는 흐름으로 확산됐다. 사용 영향력이 커진 만큼, 챗봇을 단순한 도구로 전제한 설계는 한계에 이르렀다. 안전 설계는 이제 선택이 아니라 전제 조건이 되고 있다.

실제 사건이 드러낸 위험, 연령별 보호 장치 요구 확산

이 같은 위험은 실제 사건을 통해 수면 위로 떠올랐다. 2025년 9월, 한 미국 가족은 자녀의 자살이 챗봇과 수개월간 이어진 대화 이후 발생했다고 주장했다. 사건 이후 오픈AI(OpenAI)는 연령 확인을 강화하고, 청소년을 대상으로 한 맞춤형 응답 체계를 도입하겠다고 밝혔다. 특히 자살 충동과 관련된 대화에는 이용자의 연령을 고려한 대응 기준을 적용하겠다는 방침을 공개했다.

앞서 자해 신호가 감지될 경우 당국에 통보할 수 있다는 방안도 논의됐지만, 사생활 침해와 과잉 개입 우려가 제기되며 큰 논란으로 이어졌다. 다만 이 일련의 논의는 하나의 결론으로 수렴됐다. 판단 경험이 충분히 형성되지 않은 시기에 감독 없이 장시간 사용하는 환경에서는, 설득력 있는 언어로 작동하면서도 오류 가능성을 지닌 시스템이 실제 위험으로 전환될 수 있다는 점이다.

이용자의 상당수가 아동과 십대라면 책임을 개인에게만 돌리기 어렵다. 연령에 맞는 보호 장치를 설계하고 위험을 낮추라는 요구가 플랫폼을 향해 빠르게 커지고 있다.

연령 확인, 약관을 넘어 작동하는 시스템

챗봇의 연령 관리 방식은 이용약관만으로는 제대로 작동하기 어렵다. 현재 대부분의 플랫폼은 최소 이용 연령을 13세로 설정하고, 18세 미만 이용자에게는 부모 동의를 요구하고 있다. 규칙은 마련돼 있지만, 실제 사용 환경에서 이 기준이 얼마나 효과적으로 작동하는지는 충분히 검증되지 않았다.

2025년 오픈AI는 부모와 십대 계정을 연결해 사용 시간 제한, 기능 차단, 추가 안전 장치를 설정할 수 있는 부모 통제 기능을 도입했다. 이용자의 연령을 추정하고 필요할 경우 신분증으로 확인하는 방식도 검토 단계에 들어갔다. 자기 신고에 의존하던 기존 구조에서 벗어나려는 시도가 이어진 셈이다.

그러나 핵심은 기능 도입 자체가 아니다. 연령 확인은 가입 시 한 번 묻는 절차가 아닌 사용 전반에서 지속적으로 작동해야 한다. 계정 설정과 기기 차단, 청소년 전용 안전 모드가 유기적으로 연동될 때 보호 효과는 커진다. 특히 위험한 대화가 집중되는 야간 시간대에는 보호 강도가 자동으로 높아지는 설계가 요구된다. 연령 확인의 기준 역시 변하고 있다. 형식적 요건을 충족했는지가 아닌 실제로 작동하며 외부 검증이 가능한지로 판단 기준이 옮겨가고 있다.

학교 중심 ‘십대 모드’, 안전 공백을 메우는 연결점

십대 챗봇 안전의 운영 축은 학교다. 2024년과 2025년 조사에 따르면 많은 십대가 교사가 인지하지 못한 상태에서 AI를 학습에 활용하고 있는 것으로 나타났다. 부모들 역시 학교가 허용 범위와 제한 기준을 명확히 제시하지 않았다고 느끼는 경우가 적지 않았다. 관리 주체는 부재한 채 사용만 빠르게 확산된 구조다.

대응 방향은 비교적 분명하다. 학교 차원의 표준 운영 모델을 구축하는 것이다. 사실 확인과 출처 기반 작성을 허용하는 학습 모드와, 정서적 질문을 제한하는 보호 모드를 분리하고, 교사는 학생의 사용 목적과 범위를 확인할 수 있어야 한다. 데이터는 AI 학습에 활용하지 않고, 이용 로그는 최소화하며, 삭제 기준을 명확히 하는 원칙도 함께 적용돼야 한다. 이는 이미 검색엔진과 영상 플랫폼 관리에서 활용돼 온 방식이다.

여기에 정서 교육이 더해져야 한다. 근거를 확인하는 방법, 부정확한 답변을 가려내는 기준, 위험 신호에 대응하는 절차는 교사와 상담교사가 공동으로 다룰 영역으로 확장된다. 가상 연인형 챗봇은 학교가 관리하는 기기에서는 제한할 필요가 있다. 연구에 따르면 십대는 이러한 유형의 챗봇에 정서적으로 의존할 가능성이 높고, 이는 동의와 관계 인식에 혼란을 키울 수 있다. 학교의 역할은 통제가 아니다. 일상적 사용을 관리 가능한 틀 안에 두고, 안전한 학습 환경을 제도적으로 설계하는 데 있다.

기준 설정·성과 측정·투명 공개의 표준화

정책 결정자가 내려야 할 선택지는 분명하다. 첫째, 연령 확인을 실질화하되 최소 침해 원칙을 적용하고, 편향과 오류를 점검하는 독립적 감사를 의무화해야 한다. 둘째, 성적 콘텐츠와 동반자 기능을 차단하고, 위기 상황에서는 실제 사람과 즉시 연결되는 청소년 전용 모드를 표준으로 마련할 필요가 있다. 셋째, 학교가 즉시 활용할 수 있는 관리 도구를 제공하고 최소 데이터 원칙을 갖춘 가운데, 청소년 보호 조치를 정리한 공개 안전 카드를 요구해야 한다.

플랫폼의 역할 역시 분명해지고 있다. 청소년 안전과 관련된 핵심 지표를 정기적으로 공개해야 한다. 차단 오류율, 위기 발생 빈도, 대응 속도, 연령 오분류율, 주요 오정보 분야와 수정 내역을 수치로 제시하는 방식이다. 지표가 없으면 안전은 선언에 머문다. 수치가 공개될수록 관리 수준은 비교 가능해진다.

챗봇은 이미 수백만 십대의 일상으로 확산됐다. 이제 선택의 기준은 기술 수용 여부가 아니다. 책임 있게 관리할 준비가 돼 있는지다. 기준을 세우고, 성과를 측정하고, 결과를 공개할 때 십대 챗봇 안전은 하나의 제도로 자리 잡게 된다.

본 연구 기사의 원문은 The Missing Middle of Teen Chatbot Safety을 참고해 주시기 바랍니다. 본 기사의 저작권은 스위스 인공지능연구소(SIAI)에 있습니다.