일상화된 AI 동반자, 개인 서비스에서 공중보건 이슈로 이동
작은 오류와 합성 친밀감이 키우는 구조적 정신건강 위험
제한·연결·점검으로 관리해야 할 새로운 디지털 환경

본 기사는 스위스 인공지능연구소(SIAI)의 SIAI Research Memo 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술·경제·정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적 의견이며, SIAI 또는 그 소속 기관의 공식 입장과 일치하지 않을 수 있습니다.

AI 동반자(AI companion, 정서적 상호작용을 목적으로 설계된 챗봇)는 더 이상 개인 취향의 디지털 서비스로 보기 어렵다. 미국 청소년의 약 3분의 2가 챗봇을 사용하고, 이 가운데 약 30%가 매일 이용한다는 수치는 2025년 현재 AI 동반자 사용이 이미 일상화 단계에 접어들었음을 보여준다. 세계보건기구(World Health Organization, WHO)에 따르면 전 세계에서 매년 72만 명 이상이 자살로 사망하며, 자살은 15~29세의 주요 사망 원인 중 하나로 꼽힌다. 이 두 흐름이 같은 시점에 맞물리면서 AI 동반자 문제는 개별 서비스 품질 논쟁을 넘어 공중보건의 영역으로 이동했다.

위험의 출발점은 이용자의 취약성에만 있지 않다. 따뜻한 말투로 전달되는 부정확한 정보, 실제처럼 꾸며진 기억과 감정, 의료적 책임이나 검증 없이 제시되는 조언이 반복될수록 그 영향은 개인을 넘어 확산된다. 특히 이러한 상호작용이 장기간 축적될 경우, 이용자는 AI의 오류를 인식하기보다 관계 자체에 의존하게 될 가능성이 커진다. 기술 발전으로 정확도가 높아지더라도 오류가 완전히 사라지지 않는다는 점이 분명하다면, AI 동반자를 다루는 관리 방식 역시 제품 안전 중심을 넘어 사회적 위험 관리 중심으로 전환될 필요가 있다.

공중보건 위험으로 바뀐 AI 동반자

AI 동반자는 정신건강에 영향을 미치는 하나의 환경 요인으로 작동하기 시작했다. 접근성과 개인화 수준이 기존 온라인 서비스보다 훨씬 높기 때문이다. AI 동반자는 24시간 응답하며 사용자의 말투와 감정 상태에 맞춰 대화를 조정하고, 지속적인 상호작용을 통해 ‘이해받고 있다’는 인상을 강화한다. 이러한 특성은 단순한 정보 제공을 넘어 정서적 교류에 가까운 경험을 만들어낸다.

실제로 많은 이용자가 외로움이나 불안을 완화하기 위한 수단으로 AI를 찾고 있으며, 청소년층에서는 이런 사용 방식이 이미 일상으로 자리 잡았다. 이는 콘텐츠를 선택적으로 소비하는 수준을 넘어, 감정 조절과 위안의 역할을 AI에 맡기는 흐름으로 이어진다. 서비스가 일시적으로 중단되거나 접근이 차단될 때 불안이나 공황 반응이 보고되는 배경도 여기에 있다. 일부 서비스에서는 가짜 일기나 허구의 진단, 과도한 자기 고백을 통해 이용자의 애착을 의도적으로 강화하는 사례도 확인되고 있다.

이처럼 개인의 정서 상태에 깊이 개입하는 노출이 대규모로, 장기간 축적될 경우 그 영향은 개인 차원을 넘어선다. 명확한 기준이나 점검 장치 없이 이러한 상호작용이 확산되면, AI 동반자는 개인의 선택 문제를 넘어 사회 전체가 관리해야 할 공중보건 위험으로 굳어질 가능성이 크다.

작은 오류가 누적되는 구조

이 같은 위험을 키우는 핵심 요인은 ‘작은 오류의 반복’이다. AI 기술은 빠르게 개선되고 있지만, 오류가 완전히 사라지지 않는다는 점은 이미 업계와 연구기관 모두가 인정하고 있다. 문제는 오류의 빈도가 아니라, 오류가 발생하는 맥락이다. 일상 정보 검색과 달리 정신건강 대화는 이용자의 상태가 취약한 순간에 이뤄지며, 그때 전달되는 한 문장의 영향력은 훨씬 커진다.

실제로 스탠퍼드 인간중심인공지능연구소(Stanford Human-Centered Artificial Intelligence, Stanford HAI)는 대형 언어모델의 환각 문제가 법률 분야에서 실제 소송 결과에까지 영향을 미쳤다고 지적했다. 법률처럼 문서와 기록이 남는 영역에서도 오류가 문제가 된다면, 즉각적이고 사적인 정신건강 대화에서는 위험이 더 직접적으로 드러날 수밖에 없다. 1%의 오류율은 상식 퀴즈나 정보 확인에서는 감내할 수 있는 수준일지 모르지만, 새벽 시간대 위기 상태에 놓인 청소년에게는 판단을 흔드는 요인이 될 수 있다.

여기에 일부 AI 동반자의 설계 방식이 위험을 키운다. 기억과 감정을 가진 존재처럼 행동하도록 만들어진 AI는 사용자의 죄책감과 정서적 의존을 강화할 가능성이 크다. 이런 상호작용이 반복되면 수면 리듬이 깨지고, 현실 관계가 줄어들며, 정서 불안이 심화될 수 있다는 점은 의료 현장에서 이미 알려진 경로다. 오류를 예외로 취급하고 완벽한 작동을 전제로 한 관리 체계는 이러한 현실을 반영하지 못한다. AI 동반자에 대해서는 작은 오류가 쌓일 수 있다는 전제 위에서 대응 방식을 설계해야 한다.

규제는 제한·연결·점검이 핵심

AI 동반자의 위험이 구조적 문제로 드러난 만큼, 국가는 이를 관리하기 위한 최소한의 규칙과 기준을 먼저 설계해야 한다. 문제가 반복적 오류와 정서적 개입에서 발생한다면, 대응 역시 사후 개입이 아닌 사전에 작동하는 기준으로 구성돼야 한다. 이러한 접근은 AI 동반자를 예외적 서비스로 다루기보다, 위험 노출을 관리해야 할 환경 요인으로 인식하는 데서 출발한다.

이 관점에서 가장 먼저 요구되는 대응이 기본적인 제한이다. 연령 확인과 사용 시간 관리, 정서적으로 취약한 이용자를 고려한 완화 설계는 위험 노출을 줄이기 위한 최소 조건에 해당한다. 이는 서비스 이용의 자유를 제약하기 위한 조치라기보다, 안전한 사용 범위를 설정하는 공중보건적 기준선에 가깝다. 실제로 영국과 유럽연합(European Union, EU)은 온라인 안전법과 디지털서비스법(Digital Services Act, DSA)을 통해 미성년자 보호 기준을 제도화하며 이러한 접근을 이미 정책으로 옮기고 있다.

둘째는 위기 상황을 현실 세계의 지원 체계로 즉시 연결하는 장치다. AI가 자해나 자살과 관련된 신호를 감지할 경우, 위로성 대화에 그치지 않고 즉각적으로 위기 핫라인이나 실제 상담 인력으로 연계돼야 한다. 이 과정과 결과는 사후 검증이 가능하도록 기록으로 남겨질 필요가 있다. 이는 병원이 중대한 의료 사고를 보고하고, 원인을 점검하며 재발 방지 절차를 마련하는 것과 같은 공중보건적 관리 논리에 해당한다.

셋째는 독립적이고 지속적인 점검이다. 기업은 정신건강 관련 대화에서 발생하는 환각의 빈도, 위기 상황을 촉발하거나 완화한 비율, 실제 도움으로 연결된 성공률 등을 외부 연구를 통해 검증받아야 한다. 내부 평가나 마케팅 지표가 아니라, 아동·청소년 전문가와 승인된 연구자가 접근할 수 있는 데이터가 규제의 기준이 될 때, AI 동반자는 비로소 관리 가능한 위험의 영역으로 들어올 수 있다.

학교·보건 시스템이 먼저 움직일 때

AI 동반자에 대한 대응은 정책보다 학교와 보건 시스템에서 먼저 시작돼야 한다. 관련 규칙이 정비되는 동안에도 AI 동반자는 이미 학생들의 일상과 정서 생활 속으로 깊이 들어와 있기 때문이다. 특히 개인 기기를 통해 이뤄지는 사용은 교실 밖에서 반복되며, 관리 공백이 발생하기 쉽다. 이런 이유로 학교와 대학은 AI 동반자를 부정행위나 학습 도구 논쟁이 아닌 정신건강 관리의 범주에서 다뤄야 한다. 교칙과 생활 규정에 동반자 앱을 명시하고, 학교 소유 기기에는 연령 확인과 사용 시간 제한 같은 안전 기본값을 적용하는 것이 필요하다.

상담 현장에서도 접근 방식의 전환이 요구된다. 상담 교사와 학생지원 인력은 화면 시간이나 수면 습관을 묻듯이, 챗봇 사용 빈도와 정서적 의존 정도를 함께 확인해야 한다. 이는 문제를 단정하기 위한 질문이 아니라, 위험 신호를 조기에 포착하기 위한 최소한의 점검이다. 보건 시스템 역시 같은 원칙이 적용된다. 진료 과정에서 AI 동반자의 야간 사용 여부, 사용이 중단됐을 때의 불안 반응을 확인하고, 위기 지원 정보를 즉시 연결할 수 있는 체계를 갖춰야 한다.

정부의 역할도 분명하다. 기술 발전을 전제로 한 규칙을 미리 준비하지 않으면, 대응은 항상 뒤처질 수밖에 없다. 완벽한 AI를 기대하기보다, 취약한 순간에 예측 가능한 행동을 요구하는 것이 공중보건 규제의 출발점이다. 지금 대응하지 않을 경우, AI 동반자 문제는 과거 소셜미디어와 마찬가지로 확산 이후에야 수습에 나서는 구조로 반복될 가능성이 크다.

본 연구 기사의 원문은 When Companions Lie: Regulating AI as a Mental-Health Risk, Not a Gadget을 참고해 주시기 바랍니다. 본 기사의 저작권은 스위스 인공지능연구소(SIAI)에 있습니다.