“AI 친구가 위험하다” 캘리포니아發 AI 규제, 청소년 보호 전환점 되나

청소년 대상 AI 기업 책임 강화
규제 논의 연방 차원으로 확산 
‘금지’보다 ‘공존’의 설계 필요성

미국 캘리포니아주가 아동·청소년 대상 인공지능(AI) 챗봇 규제 법안을 처음으로 제정하며 생성형 AI의 윤리적 책임 문제를 수면 위로 끌어올렸다. 미국 내 44개주에선 검찰총장들의 공동 서한으로 빅테크들에 법적 경고를 건넸고, 일부 주요 주(州)에선 규제 공조 움직임도 포착된다. 챗봇이 정서적으로 미성숙한 사용자에게 미치는 영향이 주요 쟁점으로 떠오른 가운데, 교육과 법적 안전망을 병행하는 ‘공존형 규제’의 필요성이 부각되는 양상이다. 

정서 유해 콘텐츠 제한 의무화

13일(현지시각) 개빈 뉴섬 캘리포니아 주지사는 성명을 내고 “온라인상에서 아동 보호를 강화하기 위해 AI를 비롯한 신기술에 대한 안전장치를 마련하는 법안에 서명했다”고 밝혔다. 내년 1월 1일부터 발효되는 해당 법안은 AI 챗봇 운영 기업에 플랫폼 이용자의 연령 확인 기능과 함께 AI 챗봇의 모든 답변이 인공적으로 생성된 것임을 명확히 표시하는 기능 등을 갖추도록 의무화했다. 이 같은 조치는 단순한 기술 규제를 넘어 AI와 인간의 감정 교류가 실제 생명과 직결된다는 인식으로 해석된다.

법안은 ‘동반자 챗봇(companion chatbot)’으로 불리는 대화형 플랫폼을 핵심 대상으로 삼았다. 구체적으로 이용자의 자살 충동이나 자해 표현을 자동 식별하고 즉각 대응할 수 있는 프로토콜을 의무화했으며, 그 결과를 주 공중보건국에 보고하도록 규정했다. 또한 챗봇이 의료 전문가나 상담사처럼 꾸미는 행위를 금지하고, 미성년 이용자에게 일정 시간 대화 후 ‘휴식 알림’을 띄워 디지털 피로감과 감정 몰입을 방지하도록 했다. 또한 AI가 생성한 노골적 이미지나 성적 콘텐츠는 미성년자 접근이 불가능하도록 차단 기능을 설치해야 한다.

불법 딥페이크 제작 및 배포 행위에 대한 처벌도 대폭 강화했다. 법안은 생성형 AI를 이용해 허위 이미지나 음성을 만들고 이를 상업적 목적으로 활용할 경우, 건당 최대 25만 달러(약 3억6,000만원)의 벌금을 부과한다고 명시했다. 이는 기술 남용에 따른 사회적 피해를 범죄로 간주하겠다는 의미로 읽힌다. 이로써 캘리포니아주는 미국에서 AI 챗봇 운영자에게 안전 프로토콜 마련을 의무화한 최초의 주가 됐다. 

뉴섬 주지사는 “AI와 소셜미디어(SNS) 같은 신기술은 영감을 주고 사람들을 연결할 수 있지만, 안전장치 없이 방치될 경우 아이들을 착취하고 오도할 수 있다”고 입법 배경을 설명했다. 그는 “기업이 책임 없이 운영하는 것을 더는 허용하지 않을 것”이라며 “기술 발전의 속도만큼이나 윤리적 장치가 병행돼야 한다”고 강조했다. 이번 법안은 지난해 오픈AI가 출시한 챗봇 ‘챗GPT’와 장기간 대화하던 16세 청소년이 극단적 선택을 한 사건을 계기로 AI의 정서적 영향에 대한 사회적 경각심이 높아지면서 본격적으로 추진됐다.

주요 주, 자체 규제·모니터링 제도 검토 착수

AI 산업의 중심지인 캘리포니아가 규제의 선도자로 나서면서 다른 주와 연방 차원의 논의 또한 본격화하는 모습이다. 미국 44개주 검찰총장은 지난 8월 오픈AI, 구글, 메타, 애플, 앤트로픽, xAI 등 주요 AI 기업에 공동 경고 서한을 보내 “아이들에게 해를 끼친다면 반드시 법적 책임을 지게 될 것”이라고 밝혔다. 서한에는 “AI의 잠재적 해악은 그 이익만큼이나 크며, 아동 보호는 기술 발전보다 우선돼야 한다”는 문구가 포함됐다. 이러한 움직임은 산업 전반의 윤리 기준 마련을 요구하는 집단행동으로 평가된다. 

검찰총장들은 서한에서 “자사의 서비스를 판매자가 아닌 부모의 시선으로 바라보라”는 말로 AI 챗봇이 미성년자에게 성적인 콘텐츠를 노출하거나 위험한 행동을 조장하는 행위는 ‘형사적 위법’이 될 수 있음을 강조했다. 챗봇이 청소년과의 부적절한 대화나 감정적 의존을 유도한 사례가 속출하면서 AI의 ‘감정화 설계’가 미성년자에게 부정적 영향을 미친다는 지적이 확산하고 있단 지적이다. 이 같은 검찰총장들의 경고 메시지를 기점으로 뉴욕·워싱턴·텍사스 등 주요 주정부는 독자적 규제 방안과 실시간 모니터링 체계 도입을 추진하고 나서기도 했다.

비슷한 시기 연방거래위원회(FTC)는 오픈AI, 메타, 구글 등 7개 기업에 아동 보호 관련 자료 제출을 요구하며 조사에 돌입했다. 각 주정부는 자살·자해 유도 대화, 성적 노출, 정서적 조작 등 위험 사례를 중심으로 공조 체계를 구축하고, 향후 미국 내 AI 산업 전반에 ‘윤리적 설계 기준(Ethical Design Standard)’을 제도화하는 움직임에 착수했다. 업계는 이 같은 조치를 ‘AI 거버넌스의 실질적 시작점’으로 평가했다. AI 산업의 핵심 주들이 나란히 규제 공조에 나서면서 향후 연방 차원의 포괄적 입법이 추진될 가능성 또한 커지고 있단 분석이다. 

‘디지털 리터러시’ 중심 접근, 사회적 대안으로 부상

청소년의 AI 접근에 대한 규제 움직임이 미국 전역으로 확산되면서 이제 논의의 초점은 ‘사후 통제’가 아닌 ‘설계 단계의 안전장치’로 옮겨가고 있다. 국제 구호단체 유니세프는 “온라인 이용자 3명 중 1명이 아동 또는 청소년”이라고 짚으며 “기술은 처음부터 이 아이들을 염두에 두고 만들어져야 한다”고 역설했다. 과거와 같이 서비스 이용 전 단계에서 단순히 연령을 확인하거나 경고 문구를 띄우는 수준을 넘어 챗봇 대화의 길이·주제·빈도를 자동 조절하고, 자살·자해 등 위험 신호를 감지해 대화를 중단하거나 전문가에게 연결하는 노력이 필요하단 지적이다. 

이와 함께 유니세프는 ‘아동 중심 AI 원칙’을 통해 △해롭지 않게 보호(Protection) △모든 아동의 복지 증진(Provision) △정책 논의에 아동 참여(Participation)라는 3대 원칙을 제시했다. 그러면서 “이런 ‘기본값 안전(Default Safe)’ 설계는 단순한 기능이 아니라 기업의 설계상 책임으로 규정돼야 한다”고 거듭 강조했다. 국제사회는 이 같은 목소리에 적극 귀를 기울였다. 영국은 자살·섭식 장애 같은 유해 콘텐츠를 신속히 차단하도록 하는 ‘온라인 안전법’을 도입했고, 유럽연합(EU) 역시 아동 교육용 AI를 ‘고위험군’으로 분류해 출시 전부터 영향 평가를 의무화했다. 

그러나 전문가들은 법과 제도만으로는 완벽할 수 없다고 입을 모은다. 이미 일상에 스며든 AI의 순기능을 극대화하기 위해서는 가정과 학교의 역할이 함께 뒷받침돼야 한다는 지적이다. 이를 위해서는 교육 과정에 AI 윤리·리터러시 과목을 정식 편성해 학생들이 AI가 제공하는 정보를 비판적으로 받아들이는 습관을 익히게 하는 방안 등이 거론된다. 기술 발전의 속도가 매우 빠른 만큼 법과 학교, 가정이 함께 맞물릴 때 비로소 청소년들이 AI와 공존하며 성장하는 환경이 마련될 수 있다는 게 전문가들의 일관된 목소리다.