"AI가 내 나체 이미지 만들었다" 활개치는 AI發 가짜 콘텐츠, 美에서는 소송전까지

美 10대 여성, AI 이미지 생성 서비스 개발사에 소송 제기
딥페이크에 가짜 뉴스까지, AI發 콘텐츠로 몸살 앓는 사회
재난 상황에도 허위 정보 활개, 세계 각국 대응 나서

인공지능(AI)을 이용한 나체 사진 생성 도구로 인한 실제 피해 사례가 속출하고 있다. 무분별하게 제작되는 AI발(發) 가짜 콘텐츠가 온라인 환경에서 빠르게 확산하며 사회 전반의 혼란이 가중되는 양상이다.

'가짜 나체 이미지' 만드는 AI

19일(이하 현지시간) 월스트리트저널(WSJ)은 미국 뉴저지주의 10대 여성이 AI 이미지 생성 소프트웨어 '클로드오프' 개발사인 'AI/로보틱스 벤처 스트래티지 3'을 상대로 소송을 제기했다고 보도했다. 원고 측에 따르면 피해 여성은 14세 때 자신의 인스타그램에 수영복 차림의 사진을 올렸고, 이를 본 고등학생 남성이 클로드오프를 이용해 가짜 나체 사진을 만들어냈다. 이 도구를 이용한 여러 학생이 피해 여성들의 가짜 사진을 단체 채팅방에서 공유한 사실도 드러났다.

피해 여성은 “내 사진이 딥페이크 형태로 인터넷에 유포될까 두렵다”며 “이 이미지들이 AI 모델 훈련에 사용될 가능성도 걱정된다”고 밝혔다. 원고 측은 법원에 클로드오프가 당사자 동의 없이 생성한 모든 이미지를 삭제하고, 이를 AI 학습에 사용하는 것을 금지해 달라고 요청했다.

소송을 진행 중인 예일대 로스쿨 교수진은 해당 회사의 등록지가 영국령 버진아일랜드이며, 실제 운영자들은 벨라루스에 거주하는 것으로 파악했다고 전했다. 만약 피고들이 법정에 출석하지 않거나 응답하지 않을 경우 미국 내 소프트웨어 사용이 차단될 가능성도 제기됐다. 자동화 프로그램을 통해 클로드오프에 접근할 수 있는 경로를 제공했다는 이유로 함께 소송을 당한 텔레그램 측은 “비동의 포르노그래피 및 관련 도구는 이용 약관상 금지돼 있으며, 발견 시 즉시 삭제된다”며 “클로드오프 같은 비동의 포르노 제작 봇을 정기적으로 제거하고 있다”고 밝혔다.

AI가 멋대로 가짜 뉴스 생성하기도

이처럼 AI를 활용해 생성된 가짜 콘텐츠는 각계에서 혼란을 야기하고 있다. 특히 언론계의 경우 AI발 허위 사실 유포로 인해 몸살을 앓는 추세다. 일례로 지난 2023년 말 미국의 인기 뉴스 앱 ‘뉴스 브레이크’는 크리스마스에 뉴저지주의 한 마을에서 총격 사건이 일어났다는 기사를 실었다. 하지만 뉴저지주 경찰은 그날 총격 사건은커녕 비슷한 사건조차 없었다고 밝혔다. 이후 뉴스 브레이크는 나흘 뒤 이 기사를 삭제하면서 “AI가 잘못된 정보를 갖고 기사를 생산했다”고 밝혔다.

뉴스 브레이크는 미국에서 가장 다운로드 수가 많은 뉴스 앱 중 하나로 로이터통신, AP통신, CNN 등 주요 언론사의 콘텐츠를 공급받아 게시한다. 이에 더해 AI 모델에 인터넷에서 특정 단어가 포함된 지역 언론의 기사와 보도 자료를 학습하도록 한 뒤 이를 토대로 새로운 기사를 작성하기도 한다. 가짜 뉴스는 이 과정에서 만들어진 것으로 추정된다.

해당 사태와 관련해 한 테크업계 관계자는 “기존 가짜 뉴스는 사람이 AI에 처음부터 가짜 콘텐츠를 주문하는 방식이었다면, 뉴스 브레이크의 해당 사태는 AI가 사실이 아닌 것을 진실이라 믿는 ‘환각 현상’ 때문에 가짜 뉴스가 만들어진 사례”라며 "얼마든지 가짜 뉴스를 만들 가능성이 있는 위험천만한 자동화 알고리즘이 버젓이 사용되는 시대가 도래한 것"이라고 짚었다.

AI發 가짜 뉴스에 재난 상황에도 '혼란'

올해 전 세계가 잇따른 자연재난에 신음하는 동안에도 AI로 조작된 재난 사진과 영상이 곳곳에서 확산했다. 러시아 극동 캄차카반도에 규모 8.8 강진이 발생한 지난 7월, 소셜미디어(SNS)에는 일본의 한 섬을 거대한 파도가 덮치는 영상이 게재됐다. 상공에서 촬영한 듯한 이 영상에는 “일본의 쓰나미, 일본을 위해 기도합시다”라는 문구와 함께 #prayerforrussia(러시아를 위한 기도)라는 해시태그가 삽입됐다. 이 영상은 페이스북과 틱톡에서 3,900만 회 이상 조회됐으나, 지진 발생 이전인 지난 4월 AI로 제작된 가짜 영상으로 밝혀졌다.

지난 3월 말 미얀마 중부에서 규모 7.7 강진이 발생했을 때도 AI로 제작한 가짜 현장 영상이 퍼졌다. NHK에 따르면 당시 불탑이 보이는 거리에서 다수 건물이 붕괴한 모습을 촬영한 것처럼 보이는 가짜 영상이 인도네시아·러시아 등 타국 매체에 현장 상황으로 보도됐다. 빌딩 사이 거리가 꺼지고 갈라진 모습을 담은 해당 영상은 X(구 트위터)에서 300만 회 이상 열람됐지만 이 역시 가짜였다.

AI 콘텐츠가 곳곳에서 혼란을 야기하자, 주요국들은 AI로 생성한 콘텐츠의 무분별한 사용에 제동을 걸고 나섰다. 스페인 정부는 지난 3월 AI 생성 콘텐츠를 별도 표기 없이 사용한 기업의 행위를 ‘중대 범죄’로 보고 최대 3,500만 유로(약 565억원) 또는 전 세계 연 매출 7%에 달하는 벌금을 부과할 수 있는 법안 초안을 승인했다. 일본 총무성 역시 지난 6월 가짜 재난 정보를 게시한 SNS 사업자에 대해 수익 정지 조치를 요구하는 규제를 검토할 방침이라고 밝혔다.

정부가 직접 '팩트체크'에 나서는 사례도 있다. 미국 연방재난관리청(FEMA)은 산불·허리케인 발생 시 ‘루머 대응’ 페이지에서 잘못된 소문 등을 바로잡는다. 인도 정부는 언론정보국(PIB) 산하에 별도 팀을 꾸려 재난 상황 시 과거 영상이 현재 상황인 듯 유포되거나, 사진에 거짓 캡션이 붙는 경우 등을 신속히 확인해 반박하도록 한다. 다만 시장에서는 이들 국가의 제동 시도가 아직 초기 단계인 만큼, 앞으로도 한동안은 관련 문제가 지속될 것이라는 전망에 힘이 실린다.