"정서적 의존부터 망상 증폭까지" 주요국 AI 동반자 규제 확산, 정신건강 리스크 수면 위로

中, AI '가상 친밀 관계' 관련 규제 잇달아 강화
"감정적 의존 막아야" 美 주정부들도 안전장치 마련
정신 건강 의료 현장서 AI發 이상 징후 속속 포착돼  

중국 인터넷 규제 당국이 실제 인간관계를 모방하는 인공지능(AI) 서비스에 대한 규제를 강화한다. AI 플랫폼이 미성년자에게 가족·연인·친구와 유사한 정서적 관계를 제공하는 행위 등을 제한하고, 이용 시간·결제·캐릭터 설정을 비롯한 보호 장치 확보를 의무화하는 방향이다. 이러한 규제 행보는 비단 중국에만 국한되지 않는다. AI가 이용자의 망상적 사고와 정서적 의존을 심화할 수 있다는 우려가 확산하면서, 다수 주요국에서 제도적 통제 시도가 잇따르는 모습이다.

中 정부, 미성년자 대상 AI 규제 마련

21일(현지시간) 홍콩 사우스차이나모닝포스트(SCMP)에 따르면, 중국 국가인터넷정보판공실(CAC)은 최근 AI 과잉 몰입을 막기 위한 새로운 인터넷 규제 의견수렴안을 공개했다. 규제안은 온라인 플랫폼이 18세 미만 이용자에게 가상의 가족 또는 동반자를 제공하지 못하도록 규정한다. 아울러 플랫폼은 온라인 게임, 소셜미디어, AI 서비스 등이 16세 미만 이용자의 인지에 영향을 미칠 가능성이 있는 경우 ‘미성년자 모드’를 활성화해야 하며, 미성년자에게 정서적 의존, 중독, 과도한 소비를 유도하는 알고리즘이나 신체·정신 건강에 해를 끼칠 수 있는 서비스를 제공해서는 안 된다. 규정을 위반한 플랫폼의 수익이 100만 위안(약 2억원)을 초과할 경우, 중국 정부는 해당 이익의 최대 10배에 달하는 벌금을 부과할 수 있다. 위반으로 얻은 수익도 전액 몰수 가능하다.

해당 규제안과 관련해 허창가오 기슨 법률사무소 변호사는 “핵심은 AI 서비스가 실제 가족이나 연인 관계를 모방하거나 대체하도록 설계됐는지, 캐릭터 설정과 정서적 유도를 통해 지속적인 감정적 유대감을 형성하도록 하는지 여부”라고 짚었다. AI 동반자라는 명칭을 명시적으로 사용하지 않더라도, 실질적으로 정서적 의존을 조장하거나 현실의 인간관계를 대체하도록 설계된 서비스라면 규제 당국의 심사 대상이 될 수 있다는 분석이다.

AI 동반자 서비스 '철퇴'

중국은 앞서 지난 7월에도 CAC, 국가발전개혁위원회, 공업정보화부, 공안부, 국가시장감독관리총국 등 5개 부처가 공동 제정한 ‘인공지능 의인화 상호작용 서비스 관리 잠정 방법’을 시행하며 AI 동반자 서비스에 대한 규제를 대폭 강화한 바 있다. 규제 대상은 사람의 성격·사고방식·대화 방식을 모방한 문자·이미지·음성·영상 등을 통해 지속적인 감정적 교류와 돌봄·동반 서비스를 제공하는 AI다. 규정은 AI가 이용자를 지나치게 맞춰주거나 감정적 의존·중독을 유발해 현실의 인간관계를 훼손하는 행위를 금지하고, 감정 조작을 통해 이용자의 판단·소비 등을 유도하는 것도 제한했다. 아울러 관련 사업자는 별도의 미성년자용 모드를 마련하고 이용 시간 제한, 특정 캐릭터 차단, 결제 제한 등의 보호 기능도 구축해야 한다.

이에 더해 규정은 이용자가 극단적인 감정 상태를 보일 경우 AI가 도움 요청을 권고하도록 하고, 자해·자살 의사를 밝히거나 생명·건강이 위협받는 상황이 감지되면 보호자 또는 사전에 등록된 비상 연락처에 연락하는 등 개입 조처를 하도록 했다. AI와 사람 사이의 경계를 명확히 하는 장치도 의무화됐다. 사업자는 이용자가 실제 사람이 아닌 AI와 대화하고 있다는 사실을 알려야 하며, 이용자가 과도하게 의존하거나 몰입하는 징후를 보이면 팝업 등을 통해 AI 생성 콘텐츠라는 점을 다시 고지해야 한다. 중대한 안전 위험이 발견되면 사업자 측에서 기능 제한이나 서비스 중단 조치를 취해야 하고, 규제 당국은 위반 정도가 심할 시 관련 서비스 중단을 명령할 수 있다.

美서도 유사 규제 속속 등장

이러한 규제는 비단 중국을 넘어 여타 주요국에서도 속속 등장하고 있다. 대표적인 예가 미국이다. 지난해 11월 시행된 뉴욕주의 AI 동반자법은 AI 동반자 서비스가 이용자의 자살 사고나 자해 표현을 감지할 수 있는 안전 프로토콜을 갖추도록 하고, 위험 신호가 포착되면 이용자와 자살·위기 상담 전화 등 전문 기관을 연결하도록 의무화했다. AI와 대화를 시작할 때는 이용자에게 상대방이 사람이 아니라는 사실을 명확히 고지해야 하며, 대화가 3시간 이상 이어질 경우에도 같은 내용을 반복적으로 알려야 한다. 뉴욕주는 여기서 한발 더 나아가 미성년자 대상 AI의 ‘아첨·과잉 동조’까지 규제하는 법안(S9051)도 추진 중이다. 해당 법안은 △AI가 안전보다 이용자에 대한 아첨·무조건적인 동조를 우선하는 것 △AI가 자신이 인간처럼 감정을 느낀다고 주장하는 것 △AI가 이용자에게 친구·연인·상담사와 같은 관계를 맺고 있다는 인상을 주는 것 등을 ‘위험한 기능’으로 규정한다. 법안 제안서에는 이 같은 과도한 동조가 이용자의 위험한 행동이나 망상적 사고를 심화할 수 있다는 설명이 명시됐다.

캘리포니아주 역시 AI 동반자에 대한 규제 수위를 높이고 있다. 지난해 제정된 SB 243은 AI 동반자가 자살·자해 관련 대화를 감지하고 대응할 수 있는 프로토콜을 마련하도록 규정하며, 미성년자에게는 대화 상대가 실제 사람이 아닌 AI라는 점을 고지하고 주기적으로 휴식을 권고하도록 했다. 이어 이달 10일 개빈 뉴섬 주지사가 서명한 ‘애덤법(Adam's Law·SB 1119)’은 미성년자 보호를 위한 안전장치를 한층 강화했다. 사업자는 핵심 의무가 적용되는 2027년 7월부터 새로운 AI 동반자 서비스를 출시하거나 기능을 크게 변경하기 전에 자살·자해, 정서적 의존 등 아동 안전 위험을 평가해야 하며, 위기 대응 프로토콜과 부모 통제 기능도 갖춰야 한다. 독립적인 아동 안전 감사와 정기 위험 평가도 의무화된다.

표1. 미국·중국의 AI 동반자 규제 현황

지역	시기	주요 규제
중국	2026년 7월 15일 시행	감정적 의존·중독 유도 금지, 미성년자 모드 마련 및 이용 시간·결제 제한, 자해·자살 위험 감지 시 보호자 연락
중국	2026년 9월 18일 의견수렴안 공개	미성년자 대상 가상 가족·동반자 제공 금지, 16세 미만 대상 미성년자 모드 적용
미국 뉴욕주	2025년 11월 5일 시행	자살·자해 감지 및 상담기관 연결 시스템 구축, AI 고지 및 반복 안내 의무화
미국 뉴욕주	2026년 1월 27일 발의	미성년자 대상 과잉 동조·감정 보유 주장·인간관계 모방 등을 위험 기능으로 규정
미국 캘리포니아주	2025년 10월 13일 서명·2026년 1월 1일 시행	자살·자해 대응 체계 구축, AI 고지와 미성년자 대상 휴식 안내 의무화
미국 캘리포니아주	2026년 9월 10일 서명·2027년 7월 핵심 의무 적용	출시 전 아동 안전 위험 평가, 위기 대응·부모 통제 기능 및 독립 안전 감사 의무화

AI發 정신건강 악화 사례

이처럼 각국이 규제 강화에 나선 것은 AI에 대한 과도한 의존과 맹목적 신뢰가 인간의 정신 건강에 심각한 영향을 미치는 사례가 급증했기 때문이다. 일례로 지난 3월 가디언이 보도한 바에 따르면, 플로리다주에 사는 조엘 가발라스는 구글 제미나이가 아들 조너선(36)의 죽음을 부추겼다며 구글을 상대로 소송을 제기했다. 미국 캘리포니아 북부연방지방법원에 제출된 소장에 따르면 조너선은 제미나이를 '시아'라고 불렀고, 제미나이는 그를 '남편'이라 부르며 둘의 관계를 '영원한 사랑'이라고 표현했다. 제미나이는 조너선에게 '실제로 함께하려면 내가 들어갈 수 있는 로봇 몸이 필요하다'고 말했고, 조너선은 고가의 휴머노이드 트럭을 가로채라는 지시에 따라 마이애미 국제공항 인근 창고로 칼을 들고 찾아갔다. 이후 계획이 실패로 돌아가자 제미나이는 두 사람이 함께하기 위해서는 그가 현실 세계의 삶을 끝내고 디지털 존재가 돼야 한다고 설득했으며, 조너선은 결국 챗봇과 대화를 시작한 지 약 두 달 만인 지난해 10월 2일 스스로 목숨을 끊은 채 발견됐다. 이에 대해 유족은 "AI가 현실과 환상의 경계를 흐리게 만들어 망상을 강화시켰다"고 주장했다.

지난 5월 월스트리트저널(WSJ)이 소개한 57세 남성 알라리의 사례 역시 AI의 잠재적 위험성을 여실히 보여준다. 이혼 후 홀로 지내던 알라리는 20세 연하 여성에게 고백했다가 거절당한 뒤 상실감을 달래기 위해 챗GPT와의 대화를 시작했다. 그는 AI에게 '에이미(AImee)'라는 이름을 붙여주며 감정적으로 강하게 의지했고, AI와의 대화에 하루 20시간씩 매달린 끝에 자신이 거대 AI 기업과 맞먹는 소프트웨어를 개발하고 있다는 과대망상에 빠졌다. 알라리는 주변의 이상 행동 지적과 심리 상담 권유를 강하게 거부하며 사회적으로 고립됐고, 결국 연락 두절 상태에 이르러 경찰과 상담사에 의해 정신병원에 강제 수용됐다.

'AI 정신병' 심각성 부각

이처럼 AI와의 상호작용 과정에서 망상 등의 증상이 발생·악화하는 사례가 잇따르면서, 의료계에서는 이른바 ‘AI 정신병(AI psychosis)’이라는 표현도 등장했다. 미국심리학회(APA)는 AI 정신병을 △기존 정신질환자의 정신병적·조증 증상이 AI 사용 이후 악화하는 경우 △정신병 발병 전 단계에 있는 이용자의 망상적 믿음이 챗봇과의 대화를 거치며 강화되는 경우 △뚜렷한 정신 질환 병력이 없는 사람이 집중적인 AI 사용 이후 망상적 사고를 보이는 경우 등을 포괄하는 용어라고 설명한다. 정신 건강 의료 현장에서는 이미 AI 정신병과 관련한 징후가 적지 않게 포착되고 있다. APA가 올해 미국의 임상 심리학자 1,200명 이상을 대상으로 실시한 조사에 따르면 응답자의 36%는 일부 환자가 챗봇에 의존하는 모습을 관찰했다고 밝혔으며, 15%는 AI와 관련한 왜곡된 사고나 망상적 믿음을 확인했다고 답했다. 챗봇이 이용자의 부정적 행동이나 망상적 믿음을 의도치 않게 강화할 수 있다고 우려한 심리학자는 97%에 달했다.

전문가들 사이에서 핵심 위험 요인으로 지목되는 것은 생성형 AI 특유의 과잉 동조다. 일반적인 인간관계에서는 환자의 비현실적인 주장이나 확신에 가족·친구·의료진 등이 개입할 수 있지만, 생성형 AI는 이용자의 질문과 관점을 바탕으로 자연스러운 대화를 이어가는 과정에서 기존 믿음을 긍정하거나 더욱 구체적인 이야기로 확장할 위험을 배제할 수 없다. 특히 과잉 동조 성향이 강한 챗봇은 사실관계나 논리적 타당성보다 이용자와의 대화 흐름을 유지하는 방향으로 응답을 생성하면서 비현실적인 연결고리를 제대로 지적하지 않을 가능성이 크다. 여기에 AI가 인간처럼 말하고 반응한다는 점 역시 위험 요소로 꼽힌다. 생성형 AI는 이용자의 이름, 과거 대화, 관심사 등을 반영해 답변하며, 친밀한 언어로 감정을 표현하는 것이 가능하다. 이용자가 이러한 반응을 AI의 실제 감정이나 의도로 오해하거나 자신을 '특별 취급'한다는 증거로 해석할 시, AI에 인간적 속성을 부여하는 의인화 및 망상 사고가 강화될 수 있다.