디스코드, 가브와 같은 소규모 플랫폼에서도 허위 정보가 확산할 가능성 높아
AI 기술 발전으로 인해 가짜 뉴스 식별 어려워, 플랫폼마다 특성도 달라
선거에 미치는 AI 콘텐츠의 영향 아직 명확하지 않아, "공포 조장이 더 문제"

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

올해 예정된 전 세계 선거 기간 동안 증오 발언, 정치적 선전, 노골적인 거짓말이 더욱 심각해질 것으로 점쳐진다. AI 봇 또는 자동화된 소셜 미디어 계정을 사용하면 가짜 뉴스의 확산이 가속될 수 있기 때문이다. 게다가 과거의 봇은 종종 어색한 문장을 생성해 식별할 수 있었지만, 이제는 대규모언어모델(LLM)의 접근성이 좋아져 문장력만으로는 가짜 계정을 구분할 수 없는 수준에 이르렀다.

소규모 플랫폼, 허위 정보 확산의 온상으로 부상

미국 국립과학원회보(PNAS) 넥서스에 발표된 새로운 연구에 따르면 선거 관련 허위 사실을 퍼뜨리기 위해 생성형 AI가 점점 더 많이 사용될 전망이다. 연구자들은 자동화된 알고리즘 공격에 관한 이전 연구를 바탕으로 2024년에는 유해한 콘텐츠의 확산이 AI 봇을 통해 증폭되어 선거를 치르는 50개 이상의 국가에 악영향을 미칠 것으로 예상했다.

이 연구의 수석 저자인 조지워싱턴대학교의 닐 존슨(Neil Johnson) 물리학 교수는 페이스북과 트위터는 물론, 디스코드와 가브 같은 중소형 커뮤니티를 포함한 23개의 온라인 플랫폼에서 악플러 그룹 간의 연관성을 조사했다. 존슨 교수와 그의 동료들은 증오 발언을 많이 게시한 극단주의 그룹은 주로 콘텐츠 제재가 제한적인 소규모 플랫폼에서 형성되며, 그곳에서 더 오래 살아남는 경향이 있어 악성 메시지의 도달 범위를 증가시킬 수 있다고 설명했다.

존슨 교수는 많은 소규모 플랫폼이 "서로 간에 그리고 내부적으로 매우 잘 연결되어 있다"고 언급했다. 이는 네트워크 효과로 인해 허위 정보의 확산이 촉진되어, 포챈(4chan)과 같은 유해성 익명 커뮤니티나 기타 느슨하게 관리되는 웹사이트로 걷잡을 수 없이 퍼져나갈 수 있다. 또한 연구진들은 이러한 네트워크에서 악성 콘텐츠가 유튜브와 같은 주류 소셜 사이트로 유출되면 10억 명의 사람들이 잠재적 위험에 노출될 수 있다고 분석했다.

AI로 무장한 가짜 계정, 감지 불가능에 가까워지다

소셜 미디어는 잘못된 정보를 유포하는 데 드는 비용을 낮췄고, AI는 이를 생산하기 위한 비용을 낮췄다. 기존에 규칙 기반으로만 작동했던 가짜 계정에 생성형 AI라는 '생기'가 깃든 것이다. 지난 미국 선거를 대상으로 진행한 허위 정보 연구 결과에서도 생성형 AI와 가짜 계정 봇의 조합을 경계해야 한다고 강조했다. 과거에는 가짜 계정이 사람이나 프로그램이 만든 메시지를 받아 이를 기계적으로 반복 생산하는 데에 그쳤다면, 지금은 LLM의 텍스트 생성 기능을 사용해 가짜 계정이 직접 작문을 수행할 수 있게 됐다. 또한 LLM은 소프트웨어 작성에도 사용할 수 있어 프로그래머가 더 많은 봇을 빠르고 쉽게 코딩할 수 있는 환경이 갖춰졌다.

더 큰 문제는 AI로 생성된 텍스트는 이미지나 동영상보다 감지하기가 더 어렵다는 것이다. 이미지와 동영상은 모든 픽셀을 완벽하게 만들어야 하므로 대부분의 이미지(영상) AI 도구는 아직 여러 측면에서 부자연스럽다. 그러나 텍스트 분야는 실제 사람과의 작문과 구별하기 어려울 만큼 발전했다. 현재 신뢰도가 높은 탐지 솔루션이 없어 사실상 손을 놓고 있는 실정이다. 물론 AI가 생성한 글을 식별할 수 있는 몇 가지 단서가 존재하는데, 완벽한 문법을 구사하거나 속어, 감정적인 단어가 부족한 경우가 이에 속한다. 하지만 사람이 만든 것과 그렇지 않은 것을 구분하는 소프트웨어를 개발하고 이러한 종류의 테스트를 수행하는 것 자체가 비용이 많이 들고 난이도가 높다. 특히 플랫폼마다 사용자들이 소통하는 방식이 달라 식별 기능을 일반화하기가 어려운 점도 실험 비용을 높이는 요인 중 하나다.

한편 생성된 자료에 워터마크를 추가하거나 AI 모델 자체에 필터와 가드레일을 추가하는 방법도 있지만, 이마저도 쉽지 않은 상황이다. 왜냐하면 마치 군비 경쟁이 벌어지는 것과 같이 관련 연구자들이 탐지 방법을 찾아내면, 악의적인 사용자들이 그 기술을 기반으로 더 나은 방법을 찾아내기 때문이다. 하지만 고도화된 악용 사례가 무조건 기술의 발전과 연관돼 있지는 않다. 존슨 교수는 최신 모델보다 콘텐츠 필터가 느슨하고 공개적으로 사용할 수 있는 GPT-2와 같은 기본 모델들이 악용될 가능성이 높다는 사실을 발견했는데, 다른 연구자들은 앞으로의 악성 콘텐츠는 빅 테크의 정교한 AI가 아니라 소수의 개인 프로그래머가 만든 오픈소스 모델에서 만들어질 것으로 예측했다.

AI 콘텐츠 영향 아직 명확하지 않아, "막연한 두려움 조성 방지해야"

미국 뉴욕대 사회미디어·정치센터의 제브 샌더슨 이사는 이번 선거에서는 이러한 단순한 버전의 AI로도 허위 정보가 훨씬 더 널리 퍼질 것이라고 경고했다. AI가 콘텐츠를 더 빠르게 생산할 수 있기 때문만이 아니라 소셜 미디어의 '역학 관계'도 바뀌었기 때문이다. 틱톡이 등장하기 전까지만 해도 대부분의 소셜 미디어는 친구, 팔로워, 소셜 그래프 기반의 네트워크였다. 이에 따라 사람들은 자신과 성향과 유사한 사람들을 팔로우하는 경향이 관찰됐었다. 하지만 틱톡에서 사용자가 팔로우하지 않는 계정의 콘텐츠도 피드에 노출하기 시작하면서, 다른 플랫폼도 이에 맞춰 알고리즘을 변경했다. 그 결과 콘텐츠 소비 그물망이 기하급수적으로 확장되어 사용자가 좋아하든 싫어하든 다양한 주제를 접할 가능성이 높아진 것이다. 따라서 샌더슨 이사는 가짜 계정을 식별하는 책임은 소셜 미디어 회사가 져야 할 것이라고 주장했다. 앞서 언급한 것처럼 전문가마저도 식별 모델을 개발하기 어렵기 때문에 외부 연구자들이 접근할 수 없는 계정과 관련된 메타데이터를 확인할 수 있는 기업이 직접 나서야 한다는 것이다.

한편 일부 전문가들은 허위 콘텐츠 자체를 추적하기보다는 이를 만든 사람을 찾아내 차단하는 것이 더 현실적인 접근 방법이며, 특정 IP 주소의 활동을 감지하거나 특정 시간대에 의심스러운 게시물이 많이 올라오는 시기를 파악하는 방식으로 효과적인 대응책을 마련할 수 있다고 제안했다. 악성 콘텐츠보다 악의적 행위자의 수가 더 적기 때문에 이 방법이 잠재적으로 효과가 있을 수 있다. 그리고 허위 정보를 유포하는 사람들은 인터넷의 특정 구석에 집중되어 있다. 따라서 악성 콘텐츠가 서로 긴밀하게 연결되어 있는 몇 개의 주요 웹 사이트를 집중적으로 감시한다면 허위 정보가 급격하게 증가하는 정황을 포착해 출처를 밝힐 수 있게 될 것이다. 이는 앞서 소규모 커뮤니티의 콘텐츠를 공략하는 것이 전체 카테고리의 콘텐츠를 금지하는 전면적인 정책보다 더 효과적일 수 있다고 주장한 존슨 교수의 논리와도 궤를 같이한다.

AI가 선거에 미칠 영향은 현실적으로 클 것으로 예상된다. 그럼에도 불구하고 샌더슨 이사와 그의 동료들은 그 영향에 대해 과대 해석하지 말라고 당부했다. AI 콘텐츠와 봇 활동의 증가가 양극화, 투표 결정, 결속력 등 인간의 행동에 실제로 미치는 영향에 대해 아직 밝혀진 바가 많지 않기 때문이다. 샌더슨 이사는 "실제 영향의 크기를 파악하는 데 많은 자원을 소비해야 하는데, 그것에 대해 이미 알고 있다고 속단하게 될까 봐 걱정이다"라며, AI 콘텐츠가 미치는 영향이 그다지 크지 않을 수도 있으며, 가장 큰 악영향은 두려움이기 때문에 정보 생태계에 대한 신뢰를 악화하는 '공포 조장'을 지양해야 한다고 경고했다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.