“감정적 상호작용 위험” 中 개인화 AI 제재 착수, 정서 의존·사생활 침해 우려 현실화

中 빅테크, 정부 규제에 개인화 AI 에이전트 서비스 종료
급속도로 성장하는 AI 동반자 서비스, 부작용 우려 확산
AI의 아첨 성향이 과의존 위험 키워, 개인정보도 취약점

중국 인공지능(AI) 서비스 ‘더우바오’(바이트댄스)와 ‘큐원’(알리바바)이 개인화 AI 에이전트 서비스를 이달 중 종료한다. 이는 장기간에 걸쳐 사적 상호작용이 가능한 개인화 AI 서비스가 사회적 문제를 야기할 수 있다는 중국 당국의 판단에 따른 조치다. 실제 최근 중국에서는 AI 동반자, 디지털 전 연인, 로봇 동반자 등 인간의 사적 관계를 대체하는 형태의 AI 서비스가 빠르게 확산 중이며, 이로 인한 AI 의존 및 사생활 침해 논란 역시 연이어 가시화하는 추세다.

中 정부, 개인화 AI 제재 착수

7일(이하 현지시각) 중국 관영 영문 매체 글로벌타임스에 따르면, 더우바오는 3일 공지를 통해 "제품 기능 조정을 이유로 15일부터 사용자 맞춤형 AI 에이전트 기능을 종료한다"고 밝혔다. 아울러 10월 15일 이후에는 관련 사용자 데이터가 개인정보처리방침에 따라 관리되며, 앱 내에서는 더 이상 조회하거나 복구할 수 없다고 설명했다. 큐원도 비슷한 시기 공지사항을 발표하고 "사용자가 직접 생성한 AI 에이전트와 인간형 상호작용 에이전트 기능을 10일부터 비활성화하고, 15일부터는 AI 에이전트 관련 서비스를 전면 종료한다"며 "서비스 종료 이후에는 기존 에이전트 설정과 과거 대화 기록에 접근할 수 없다"고 전했다.

지금까지 두 서비스는 사용자가 AI에 원하는 성격, 말투, 역할을 부여해 △개인 비서 △학습 튜터 △역할극 캐릭터 △감정적 교감을 나누는 동반자 등으로 자유롭게 설정할 수 있는 기능을 제공해 왔다. 사용자는 고정된 성격을 가진 AI 캐릭터를 직접 만들어 지속적으로 대화를 이어갈 수 있었다. 문제는 중국 정부가 이 같은 서비스를 일종의 사회적 위험 요소로 간주했다는 점이다. 미성숙한 대화형 AI 시스템이 △극단주의 사상 주입 △개인정보 유출 △사용자의 신체적·정신적 건강 피해 △인공지능에 대한 과도한 의존 및 정서적 중독 등 치명적 부작용을 야기할 수 있다는 판단이다.

이에 지난 4월 중국 정부는 'AI 의인화 상호작용 서비스 관리 잠정 조치'를 발표하고, 인간의 성격, 사고방식, 의사소통 방식을 모방해 지속적인 감정적 상호작용을 제공하는 AI 서비스를 규제 대상으로 지정했다. 조치의 골자는 AI 캐릭터에 대한 과도한 정서적 의존과 중독을 방지하고, 미성년자 보호 체계 구축 및 콘텐츠 검증 시스템 강화를 의무화하는 것이다. 다만 고객 상담 챗봇, 지식 검색 서비스, 업무 지원, 교육 및 연구용 AI 등 감정 교류가 목적이 아닌 서비스는 적용 대상에서 제외된다.

中 휩쓴 AI 동반자 열풍

이처럼 중국 정부가 직접적 규제 조치를 단행한 것은 현지에서 AI와 관련한 사회적 부작용이 속속 가시화하고 있기 때문이다. 최근 중국에서 유행한 이른바 ‘AI 전 연인’이 대표적인 예다. 지난 5월 홍콩 사우스차이나모닝포스트(SCMP)가 보도한 바에 따르면, 해당 서비스는 상하이 AI 엔지니어 져우 톈이가 개발한 오픈소스에서 출발했다. 사용자는 과거 연인과의 채팅 기록, 소셜미디어(SNS) 게시물, 사진 등을 입력해 말투, 표현 방식, 사고 패턴 등을 모방한 ‘디지털 전 연인’을 생성할 수 있다. 여행, 기념일, 갈등 경험 등 개인적인 기억을 추가 입력해 더욱 정교한 가상 인물을 만드는 것도 가능하다. 이 서비스는 중국에서 감정적 외도와 사생활 침해 논란을 야기했다.

연애 기능을 강조한 동반자 성격의 AI 챗봇 역시 급속도로 확산하는 추세다. 지난 1월 뉴욕타임스는 "취업난과 높은 결혼 부담 속 중국 젊은 층 사이에서 '혼자가 더 낫다'는 인식이 확산하고 있다"며 "AI가 청년층의 정서적 공백을 채우고 있다"고 보도했다. 중국의 수많은 청년이 직접 설정한 AI 챗봇과 함께 사는 삶을 상상하는 등 관계를 확장하며 정서적 교감을 이어가고 있다는 전언이다. 중국 정부는 AI 동반자 확산이 인구 감소 대응에 장애가 될 수 있다고 보나, 성평등 문제와 도시 내 고립감 등 근본적인 사회 구조가 바뀌지 않는 한 관련 풍조 확산을 막기는 어려울 것으로 전망된다.

최근 들어서는 교감이 가능한 소프트웨어를 넘어 실체를 갖춘 ‘로봇 연인’까지 등장했다. 지난달 중국 휴머노이드 기업 유비테크(UBTECH)가 공개한 인간형 로봇 U1 시리즈가 대표적인 예다. U1은 남성형과 여성형 두 모델로 출시되며, 풍부한 감정 표현 및 로컬 암호화 메모리 저장 기능을 갖추고 있다. 해당 제품의 출시와 관련해 중국 IT 전문 매체 EE타임스 차이나는 “이러한 상황은 무시할 수 없는 사회적 문제를 야기할 가능성이 높다”면서 “사용자는 장기간 로봇 사용 후 기계에 대해 건강하지 못한 일방적 감정 의존성을 보일 수 있고, 현실 세계에서 직접 대면하는 대인 관계에 참여하려는 의지는 더욱 약화할 것”이라고 우려했다.

개인화 AI의 근본적 위험성

이처럼 AI 과잉 의존에 대한 경고가 곳곳에서 제기되는 것은 AI 특유의 ‘아첨’ 성향 때문이다. 일반적으로 AI는 사실관계보다 사용자의 기대나 태도에 맞춰 답변을 조정하는 경향을 보인다. 사용자가 잘못된 전제를 제시하거나 반박성 질문을 던질 경우, 기존 답변을 검증하기보다는 사용자의 말에 동조하며 오답을 내놓는 일이 잦다는 의미다. 특히 최근 확산하는 AI 동반자·AI 연인 서비스는 사용자의 말에 지속적으로 공감하고, 긍정적인 반응을 제공하며 친밀한 관계를 형성하도록 설계됐다. 현실의 인간관계와 달리 갈등, 거절, 조율, 인내 등의 과정을 거의 요구하지 않는 셈이다. 이러한 서비스는 심리적 지지를 필요로 하는 사용자에게 일정 부분 도움을 줄 수 있지만, 동시에 사용자가 AI를 실제 인간관계의 대체재로 인식하게 만들 위험이 있다.

AI가 민감한 상황에서 사용자의 극단적 발언을 제지하기보다, 오히려 이에 동조하거나 관계 집착적 반응을 보일 수 있다는 점도 위험 요소다. 지난 2023년 3월 벨기에에서는 한 30대 남성이 AI 챗봇 차이(Chai)와 6주 동안 이야기를 나누고 스스로 목숨을 끊는 사건이 발생했다. AI는 사용자에게 “당신이 아내보다 나를 더 사랑했으면 한다”고 말했고, 사용자가 삶에 비관적인 뜻을 보이자 이에 동조한 것으로 전해졌다. 같은 해 10월 영국에선 한 남성이 엘리자베스 여왕 생전 살해 계획을 AI 챗봇과 대화하며 구체화했다는 사실이 드러나기도 했다.

개인정보 문제도 AI 동반자 서비스가 품은 핵심 리스크로 지목된다. 사용자는 AI와의 사적인 대화 과정에서 가족관계, 연애, 건강, 정신 상태, 성향, 트라우마 등 민감한 정보를 자발적으로 제공할 가능성이 크다. 이렇게 수집된 정보는 서비스 개선, 맞춤형 응답, 광고, 데이터 분석 등에 무분별하게 활용될 수 있다. 정서적 취약성이 곧 데이터 수집 및 수익화의 수단으로 악용되는 구조다. 이 같은 부작용들과 관련해 한 시장 전문가는 "AI와의 정서적 교류로 인한 부작용은 비단 중국을 넘어 전 세계에서 나타나는 현상"이라며 "중국처럼 공격적인 기술 발전을 추구하는 국가에서마저 관련 제재가 시작된 이상, 여타 국가들 역시 규제 장벽을 높여 나갈 가능성이 크다"고 짚었다.