'딥페이크' 총선 악용 우려, 네이버·카카오 가짜뉴스 차단 나서
정부도 '딥페이크 활용 가짜뉴스 대응 방안' 담은 추진계획 마련
정작 '가짜뉴스의 온상지' 소셜미디어 플랫폼 제재는 '산넘어 산'

최근 윤석열 대통령 모습이 등장하는 허위 조작 영상이 온라인상에 급속도로 유포되는 등 인공지능(AI) 기술을 활용한 딥페이크(deepfake·실제와 비슷하게 조작된 디지털 시각물) 콘텐츠에 대한 우려가 커지면서 국내 주요 플랫폼사들이 기술 악용 방지에 적극 나서고 있다. 특히 총선을 앞두고 정치적으로 악용되는 것을 막기 위해 자사 기술이나 서비스가 가짜뉴스나 부적절한 이미지 생성에 활용되지 않도록 총력을 기울이는 모습이다. 다만 국민의 눈과 귀를 가리는 가짜뉴스가 횡행하게 된 데는 포털 못지 않게 소셜미디어 플랫폼의 영향이 크다는 점에서 우려가 커지고 있다.

네이버·카카오, 이번 주 딥페이크 대책 발표

26일 정보통신기술(ICT) 업계에 따르면 네이버는 이르면 이번 주중 딥페이크 대책을 내놓을 예정이다. 정보 조작 가능성이 있는 딥페이크 관련 키워드를 검색할 경우 검색 결과에 ‘경고 라벨’을 붙이고, 정보를 왜곡해 여론을 조성하고 특정 인물의 명예를 훼손하는 등 해를 끼칠 여지가 있는 유해 딥페이크는 원천 차단한다는 목표다.

네이버는 이미 카페나 블로그에 이미지 등 콘텐츠 업로드 시 허위 정보를 포함한 딥페이크 영상에 대한 주의 문구를 이달부터 노출하고 있다. 문구에는 '불법촬영물 및 아동청소년 성착취 영상, 저작권 또는 사생활 침해, 허위 정보를 포함한 딥페이크 영상은 관련 법률 및 (네이버) 이용약관에 따라 제재를 받을 수 있다'는 내용이 포함됐다. 아울러 네이버의 AI 콘텐츠 필터링 기술인 '그린아이'를 통해 유해 딥페이크를 실시간으로 차단하고 있다.

네이버의 생성형 AI 챗봇인 '클로바X'에서도 딥페이크 콘텐츠가 함부로 생성, 악용되지 않도록 조처했다. 클로바X는 일부 사용자를 대상으로 이미지 편집 기능을 제공하고 있는데, 해당 기능에도 세이프티 조치를 적용했다. 예컨대 '연예인 얼굴 만들어줘'와 같은 얼굴 합성 이슈가 있는 문장을 입력할 경우 답변을 제공하지 않는 식이다. 생성된 이미지에 음란물 등의 콘텐츠가 생성되지 않도록 엔진 필터 적용도 완료했다.

카카오도 여러 유해 콘텐츠를 필터링하는 기술에 대한 연구를 진행하고 있다. 특히 허위정보 혹은 딥페이크를 검출할 수 있는 방향으로 연구가 진행되고 있으며, AI 어뷰징 관련 기술적 대응을 위한 팀도 별도로 운영하고 있다. 포털 서비스 다음에도 AI 기술을 활용해 일반 이미지와 부적절한 이미지를 분류, 유해 이미지를 차단하는 기술을 도입했다. 카카오는 AI 전문 자회사 카카오브레인의 이미지 생성 모델 '칼로'에 비가시성 워터마크를 도입하는 기술을 개발 중이다. 비가시성 워터마크란 일반 이용자에게는 보이지 않지만, 기술적으로 AI를 활용해 만들어진 이미지임을 알 수 있게 하는 일종의 표식을 남기는 기술로, 구글도 해당 기술을 연구 운영 중이다.

정부도 가짜뉴스 집중 관리에 박차

이에 앞서 네이버는 지난달 31일 뉴스제휴·알고리즘·가짜뉴스 대응 등에 대한 가이드라인을 만드는 독립 기구인 ‘뉴스혁신포럼’도 발족한 바 있다. 네이버는 뉴스혁신포럼 활동을 통해 올해 1분기 내로 △뉴스평가제휴위원회 2.0 출범을 위한 구성 및 운영 방식 △알고리즘 공정성 강화를 위한 상시 시스템 △가짜뉴스 대응 등을 포함해 뉴스 서비스 개선을 위한 종합적인 계획(안)을 마련하고 이를 외부에 투명하게 공개할 예정이다. 또한 뉴스혁신포럼은 기존 뉴스서비스에 대한 일차적인 평가를 수행하며, 뉴스서비스의 공정성 및 객관성 강화를 위한 심층적이고 종합적인 개선방안을 검토하게 된다.

이는 지난달 정부가 AI 저작권 및 가짜뉴스 대응 등 디지털 심화 시대의 핵심 쟁점을 집중 관리하기로 한 데 따른 것으로, 과기정통부는 오는 3월까지 ‘범부처 디지털 신질서 정립 추진계획’을 발표할 계획이다. 관계부처 협의를 통해 선정된 핵심쟁점은 △AI 기술의 안정성 및 신뢰·윤리 확보 방안 △AI 개발·활용 관련 저작권 제도 정비 △비대면 진료의 안정적 시행을 위한 정책 방안 마련 △딥페이크를 활용한 가짜뉴스 대응 방안 △연결되지 않을 권리 보장 방안 △잊힐 권리의 도입 범주와 방안 △디지털 재난, 사이버 위협·범죄 대응 방안 △디지털 접근성 제고·대체 수단 확보 방안 등 총 8개 과제다.

AI 개발·활용에 관한 저작권 제도 정비는 문화체육관광부가, 비대면 진료 시행 방안 마련은 보건복지부가, 딥페이크를 활용한 가짜뉴스 대응 방안은 방송통신위원회가 각각 주도한다. 구체적으로 생성형 AI 기술을 통한 허위·조작 정보의 생산과 유통을 막기 위해 워터마크 표기 등의 구체적인 방안을 검토할 계획이다.

‘소셜미디어’ 플랫폼들, 사실상 가짜뉴스 차단에 무방비

정부와 기업이 직접 가짜뉴스 차단에 팔을 걷어 붙인 것은 정치권은 물론 경제·사회·문화 전 분야가 가짜뉴스로 몸살을 앓고 있기 때문이다. 현재 우리 사회에 범람하는 가짜 뉴스는 정치 양극화와 맞물려 국민을 분열시키고 사회를 혼란에 빠뜨리고 있다. 버젓이 살아있는 사람이 죽었다는 가짜뉴스가 나도는가 하면 허위로 판명된 사실마저 끊임없이 다른 의혹이 꼬리를 물며 재생산 된다. 특히 AI로 제작된 딥페이크 콘텐츠들은 진위 여부조차 구분하기 어려운 만큼 이번 가짜뉴스 차단 방안 마련은 환영할만 하다.

하지만 인스타그램이나 유튜브, 페이스북, 틱톡 등 소셜미디어 플랫폼은 사실상 가짜뉴스에 무방비 상태라는 점에서 우려가 커진다. 그도 그럴 것이 지난 대선 당시 가짜뉴스로 판명된 사례를 살펴보면 가짜뉴스가 확산된 채널은 언론사 및 포털이 9%인 반면 소셜미디어 플랫폼 등은 87.3%에 달했다. 오늘날 가짜뉴스가 유통되는 주된 창구는 포털이 아닌 소셜미디어라는 의미다.

가짜뉴스가 소셜미디어를 타고 초고속으로 확산하는 사례는 무수히 많다. 단적인 예로는 온라인은 물론 오프라인 세상까지 발칵 뒤집은 '펜타곤(미국 국방부) 폭발' 사진 사건을 들 수 있다. 지난해 5월 22일(현지 시각) 오전, 흰 건물 옆으로 검은 연기가 무섭게 솟구치는 사진이 ‘속보 펜타곤 근처에서 폭발’이라는 문구와 함께 트위터에 게재됐다. 언뜻 9·11이 떠오르는 폭발 현장 사진이었다. 하지만 해당 사진은 생성형 AI가 만들어 낸 ‘가짜’였다. 일부 이용자들은 이를 ‘블룸버그’의 보도로 잘못 받아들여 ‘가짜 뉴스’를 거듭 공유했고, 러시아와 인도 언론도 해당 사진에 낚여 이를 긴급속보로 보도했다가 나중에 사과하는 소동까지 벌어졌다. 심지어 미국 국방부가 빠르게 해당 사실을 부인하고 버지니아주 알링텅 소방서가 가짜뉴스를 공식 확인했음에도 불구하고 실제라고 믿은 사람들 탓에 이날 미국 증시까지 출렁였다.

한국에서의 가짜뉴스 유포 사례 또한 셀 수 없이 많다. 일례로 국내 한 틱톡커는 지난해 6월부터 정치인 이미지를 AI로 만든 딥페이크 영상을 주기적으로 업로드하고 있다. 유력 정치인의 표정과 음성 등을 딥러닝한 후 동영상에 프레임 단위로 합성한 것이다. 해당 계정은 윤석열 대통령이 '야 재명아'라고 말하는 영상을 업로드해 재생건수 20만 건을 기록하기도 했다. 이재명 더불어민주당 대표가 앞서 "구속영장 청구하면 검찰에 직접 출석해 조사받을 것"이라고 한 발언을 두고, 가짜 윤 대통령을 앞세워 '야 재명아', '너', '짠하더라' 등과 같은 단어를 사용해 조롱하는 내용이다.

문제는 이들 글로벌 플랫폼 기업을 제재하기가 쉽지 않다는 점이다. 우선 해당 콘텐츠에 대한 심의가 해외 본사에서 이뤄지고 있는 데다, 전 세계적으로 가짜뉴스가 워낙 많다 보니 대응에 상당한 시간이 걸리기 소요된다. 또한 표현의 자유를 이유로 콘텐츠에 대한 직접적인 규제 및 검열도 쉽지 않다. 이와 관련해 한 IT 업계 관계자는 "허위 조작 정보가 많이 유통되는 해외 플랫폼 사업자와 보다 적극적인 공조 관계를 찾아야 한다"며 “플랫폼 기업 스스로 불법 콘텐츠 정화에 나서는 자율규제 활동을 지원함과 동시에 시정요구에 응하지 않을 경우 적절한 규제 수단을 마련해 제재하는 방안을 함께 모색해야 한다”고 전했다. 선거를 앞두고 한시적으로라도 민·관 공조가 이뤄져야 한다는 설명이다.