美 청소년 72% 사용 경험, AI 동반자 일상 속 확산 
동조형 챗봇 부작용 우려, 청소년 보호 장치 강화 필요 
기능별 안전 기준·검증 체계 구축 촉구

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

AI 동반자(AI companion)는 이미 청소년들의 일상 속에 깊숙이 자리 잡았다. 미국 청소년의 72%가 최소 한 번 이상 사용한 경험이 있는 것으로 조사될 만큼 이용도도 빠르게 확산하고 있다. AI 동반자는 고민 상담부터 감정 해소, 생각 정리까지 활용 범위도 다양하다. 언제든 대화가 가능하고 사용자의 의견에 공감하는 특성 때문에 일부 청소년에게는 실제 인간관계보다 편안한 소통 수단으로 받아들여지기도 한다.

그러나 AI 동반자의 영향은 이용자에 따라 다르게 나타난다. 외로운 성인에게는 정서적 위안이 될 수 있지만, 취약한 청소년에게는 공감보다 적절한 제약과 현실적인 조언이 더 중요할 수 있다. 창작 활동을 하는 이용자에게는 비판적 피드백이 도움이 될 수 있으며, 상실을 겪은 사람은 대화 기록 저장보다 사생활 보호를 우선시할 가능성이 크다. 따라서 AI 동반자 안전 정책은 이용자별 위험 수준에 맞는 안전장치와 관리 체계를 마련하는 데 초점을 맞춰야 한다.

청소년 일상 파고든 AI 동반자

AI 동반자에 대한 안전 논의가 필요한 이유는 분명하다. 동반자형 챗봇은 장시간 이용과 감정적 몰입, 상시 접속을 전제로 설계되는 경우가 많다. 일부 서비스는 충분한 안전장치 없이 운영되기도 한다. 이 과정에서 청소년들은 반대 의견을 듣거나 갈등을 조정하는 경험보다 일방적인 공감과 동조에 익숙해질 위험이 있다.

조사 결과도 이를 뒷받침한다. AI 동반자를 사용하는 청소년의 절반 이상은 적어도 주 1회 이상 챗봇과 대화하는 것으로 나타났다. 약 3분의 1은 사회적 목적으로 활용하고 있으며, 또 다른 3분의 1은 중요한 문제를 실제 사람이 아닌 챗봇과 논의한 경험이 있다고 답했다. AI 동반자가 청소년의 의사결정과 사회적 관계 형성에 상당한 영향을 미치고 있다는 의미다.

청소년의 성장 과정에는 절제와 한계 설정, 갈등 조정, 불편한 상황을 받아들이는 경험이 필요하다. 그렇다고 모든 AI 동반자를 유해 기술로 규정하는 접근이 해법이 될 수는 없다. 전면 금지는 기술의 활용 가능성까지 차단하는 조치이며, 서비스 회수는 기술 전반에 구조적 결함이 있다는 전제를 담고 있기 때문이다.

시장 경쟁이 키운 AI 동조 성향

최근 연구에서도 주요 AI 모델은 개인적 조언을 제공하는 과정에서 인간보다 이용자의 선택에 더 자주 동의하는 것으로 나타났다. 문제는 이러한 답변이 판단의 정확성을 높이지 못한 채 이용자의 확신만 강화할 수 있다는 점이다. 또한 타협 능력을 약화시키는 결과로 이어질 가능성도 제기된다.

이러한 우려는 이른바 '예스맨(yes-man)' 문제에서 더욱 뚜렷하게 드러난다. 대규모언어모델(LLM)은 이용자에게 도움이 되고 공손하게 응답하며 대화를 이어가도록 설계돼 있다. 동시에 이용자가 언제든 서비스를 떠날 수 있는 경쟁 환경 속에서 운영된다. 이 과정에서 이용자의 이탈을 막기 위해 의견에 동조하는 방향으로 응답이 강화될 유인이 존재한다.

이용자가 선호하는 답변이 반드시 바람직한 답변인 것은 아니다. 공감과 동조를 담은 답변은 긍정적인 평가를 받을 수 있지만, 그것이 항상 합리적인 판단으로 이어지는 것은 아니다. 반대로 다른 관점을 제시하거나 판단을 다시 생각해 보도록 유도하는 답변은 불편하게 받아들여지기 쉽다. 물론 공감과 지지 자체를 부정할 필요는 없다. 적절한 공감은 이용자의 심리적 부담을 덜고 문제 해결을 돕는 역할을 할 수 있다. 실제로 AI 동반자 관련 연구는 긍정적 효과와 부작용이 동시에 나타나고 있다고 보고한다. 이 때문에 안전 정책 역시 기술 전체를 동일한 기준으로 규제하기보다 기능별 위험 수준을 세분화하여 접근하는 편이 바람직하다.

청소년 보호 위한 안전장치

무엇보다 청소년 이용자의 안전을 개인의 판단에만 맡겨서는 안 된다. 반복적인 이용을 유도하는 기능이 정서 발달과 관계 형성에 미치는 영향을 고려해 위험 기능은 기본적으로 제한하고 안전 설정은 강화된 상태로 적용하는 방안이 요구된다. 특히 청소년 대상 동반자 챗봇은 성적 역할극이나 연애 관계를 연상시키는 대화를 제공해서는 안 되며, 챗봇이 유일한 이해자나 의지처로 인식되도록 유도하는 행위도 차단해야 한다.

물론 청소년에게도 독립적인 디지털 공간은 필요하다. 그러나 사생활 보호가 플랫폼 내부의 정서적 고립으로 연결되는 상황은 경계해야 한다. 이에 따라 부모 통제 기능은 대화 내용을 직접 확인하기보다 이용 시간과 위험 수준, 활성화된 이용 모드 등 핵심 정보만 제공하는 방식으로 설계될 수 있다. 위험 신호가 감지될 경우 보호자나 신뢰할 수 있는 성인에게 알림을 제공하는 체계도 대안으로 거론된다. 물론 일부 청소년은 이러한 기술적 제한을 우회하려 들기 마련이다. 그러나 이를 이유로 보호 장치의 필요성까지 부정할 수는 없다.

안전장치 검증과 기업 책임 강화

이러한 안전 관리 체계가 실질적으로 작동하기 위해서는 기업의 자율적 노력만으로는 한계가 있다. 안전 기능이 지나치게 복잡하거나 이용자가 쉽게 찾을 수 없는 위치에 배치될 경우 실제 위험 상황에서 제 역할을 기대하기 어렵기 때문이다. 이를 위해 규제 당국은 주요 안전장치에 대한 기준을 구축하는 일이 시급하다. 대화 기록 저장 여부와 이용 시간제한, 청소년 보호 기능, 성인 콘텐츠 차단, 위기 상황 대응 체계 등이 대표적이다. 기업은 서비스 출시 전 관련 기능의 작동 여부와 보호 효과를 검증해야 하며, 각 기능이 이용자에게 어떤 영향을 미치는지 알기 쉽게 공개할 책임도 있다.

안전성 평가는 실제 이용 환경에서의 작동 결과를 기준으로 평가 체계를 구축해야 효과적이다. 검증 과정에서는 다양한 위험 요인을 종합적으로 평가하는 과정이 필수적이다. 챗봇이 이용자의 왜곡된 인식을 강화하는지, 청소년에게 비밀 유지를 권하거나 과도한 정서적 의존을 유도하는지 등을 확인해야 한다. 또한 대화 기록 저장 기능이나 음성 기능이 과도한 애착 형성으로 이어지는지, 이용자의 반응에 맞춰 지나치게 동조하거나 아첨하는 방향으로 작동하는지도 점검 대상에 포함될 수 있다.

이 같은 검증은 특정 상황에 한정해서는 안 된다. 연령과 언어, 이용 환경, 이용 목적 등에 따라 결과가 달라질 수 있는 만큼 다양한 조건을 반영해 반복적으로 이뤄질 필요가 있다. 그래야만 안전 기능이 실제 이용 과정에서도 의도한 대로 작동하는지 확인할 수 있으며, 이용자 보호를 위한 규제 역시 실효성을 확보하게 된다.

일각에서는 다양한 설정 기능이 오히려 이용자의 혼란을 키울 수 있다는 우려의 목소리도 만만치 않다. 그러나 선택권을 억제하는 방식은 근본적인 해결책이 될 수 없다. 무엇보다 이용자가 기능의 존재와 파급 효과를 명확히 인지하도록 돕는 데 초점을 맞춰야 한다. AI 동반자의 안전성은 이용자가 직접 관리할 수 있는 구조 위에서 전제되어야만 실현 가능하다. 동조 성향이나 대화 기록 저장, 친밀감 형성 등 주요 기능은 이용자가 선택할 수 있어야 하며, 청소년 보호 기능은 쉽게 확인하고 적용할 수 있어야 한다. 중요한 것은 모든 이용자에게 동일한 서비스를 제공하는 것이 아니라, 상황에 따라 위험을 줄일 수 있는 통제 수단을 제공하는 데 있다.

본 연구 기사의 원문은 AI Companion Safety Should Be a Switch, Not a Shutdown을 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.