[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

전 세계의 선거는 인공지능으로 생성한 허위 정보 위협에 직면했다. 2016년 러시아가 미국 대선을 겨냥한 일련의 소셜 미디어 허위 정보 캠페인을 시작하면서 서로의 선거에 영향을 미치려는 국가들은 새로운 시대에 접어들었다. 그 후 7년 동안 중국과 이란을 비롯한 여러 국가가 소셜 미디어를 사용하여 미국을 비롯한 전 세계의 선거에 간섭해 왔었다. 생성형 AI 및 대규모언어모델의 등장으로 거짓 정보를 빠르고 쉽게 생성할 수 있게 됐다. 멀티모달 모델의 발전으로 딥페이크와 같은 이미지 및 동영상마저도 실제와 구별할 수 없을 만큼 사실적이어서 혼란이 가중됐다. 인공지능 프로그램은 인터넷 시대의 선동에 매우 적합한 도구다.

2024년 대선을 앞둔 미국으로선 위의 모든 소식이 반갑지 않다. 중국은 대만, 인도네시아, 인도 및 여러 아프리카 국가에 정치적 관심을 두고 있고, 러시아는 영국, 폴란드, 독일, 그리고 유럽 연합 전반에 관심이 많다. 그리고 모두가 미국에 특별히 더 많은 관심이 있다. 최근 미국의 선거 결과에 영향을 미치려는 국가가 추가되었다. 처음에는 러시아, 그다음에는 러시아와 중국, 그리고 가장 최근에는 이란이 이들의 대열에 합류했다. ChatGPT와 같은 도구가 선전물을 제작하고 배포하는 비용을 크게 줄여 더 많은 국가가 참여할 수 있게 되었다는 게 관계자들의 분석이다.

선거 간섭 무대가 바뀌어서 더욱 어려워진 수사

성공적인 허위 정보 캠페인을 실행하기 위해선 콘텐츠를 제작하는 것보다 배포가 핵심이다. 게시물을 올릴 가짜 계정을 만들어야 하고, 이를 널리 퍼뜨리기 위해 다른 사람들의 도움이 필요하다. 8월 메타는 이런 계정을 식별하고 삭제하는데 훨씬 능숙해졌다. 중국의 영향력 강화 캠페인과 관련된 7,704개의 페이스북 계정, 954개의 페이스북 페이지, 15개의 페이스북 그룹, 15개의 인스타그램 계정을 삭제했으며, 틱톡, X, LiveJournal 및 Blogspot에서 수백 개의 계정을 추가로 분류했다고 발표했다. 하지만 AI 등장 이전에 생성됐던 4년 전의 캠페인이었다는 점이 아쉬움을 남겼다.

소셜 미디어의 트렌드가 달라지면서 허위 정보 추적도 난항을 겪고 있다. 4년 전만 해도 트위터는 언론과 직통으로 연결되는 통로였고, 트위터를 통한 선전은 정치적 논의를 기울일 수 있는 주요 방법이었다. 컬럼비아 저널리즘 리뷰의 연구에 따르면 주요 뉴스 매체가 러시아 트윗을 당파적 의견의 출처로 사용했었다. 거의 모든 뉴스 편집자가 읽고, 모든 사람이 글을 올리던 트위터는 이제 더 이상 존재하지 않는다. 많은 선전 매체들이 텔레그램이나 왓츠앱과 같은 메시징 플랫폼으로 옮겨갔기 때문이다. 결과적으로 거짓 콘텐츠를 식별하고 삭제하기가 더 어려워졌다.

지피지기 백전백승

러시아, 중국 및 기타 선거 간섭 작전을 맡은 군 장교는 최고의 사람들로 팀을 구성했을 것이다. 그리고 그들의 전술은 2016년보다 훨씬 더 정교해졌을 가능성이 높다. 따라서 적의 작은 움직임에도 예의주시해야 한다. 러시아나 중국과 같은 국가는 대규모로 사이버 공격을 감행하기 전에 소규모 국가를 대상으로 사이버 공격과 정보 작전을 테스트한 전력이 있다. 그러므로 비슷한 상황이 발생했을 때, 그들의 전술을 발 빠르게 분석 및 예측하는 것이 중요하다. 적의 공격 패턴을 더 많이 연구할수록 자국을 안전하게 방어할 수 있다는 의미다.

적을 아는 것도 중요하지만 자신도 객관적으로 알아야 한다. 하지만 현재 미국은 자신을 알기도 전에 내부 분열로 혼란을 겪는 중이다. 학계, 대학 및 싱크 탱크가 온라인 허위 정보의 확산에 대응하기 위해 진해 중인 연구 프로그램이 조사받거나 중단되는 사태가 벌어졌다. 짐 조던 하원의원과 의회 및 주 정부의 다른 공화당원들이 주도하는 이 캠페인의 발단은 연구자들이 기술 기업과 결탁하여 우익 견해를 검열한 정황이 포착됐다는 주장에서 시작됐다. 허위 정보 확산에 관한 연구를 진행하던 연구진들은 각종 서류 요청과 법적 절차에 시달리고 있다. 미국의 선거 전쟁이 이미 시작된 것일지도 모른다.

How AI Could Help China and Russia Meddle in U.S. Elections

ChatGPT and similar AI programs give propagandists and intelligence agents a powerful new tool for interfering in politics. The clock is ticking on learning to spot this disinformation before the 2024 election

Elections around the world are facing an evolving threat from foreign actors, one that involves artificial intelligence.

Countries trying to influence each other’s elections entered a new era in 2016, when the Russians launched a series of social media disinformation campaigns targeting the U.S. presidential election. Over the next seven years, a number of countries – most prominently China and Iran – used social media to influence foreign elections, both in the U.S. and elsewhere in the world. There’s no reason to expect 2023 and 2024 to be any different.

But there is a new element: generative AI and large language models. These have the ability to quickly and easily produce endless reams of text on any topic in any tone from any perspective. As a security expert, I believe it’s a tool uniquely suited to internet-era propaganda.

This is all very new. ChatGPT was introduced in November 2022. The more powerful GPT-4 was released in March 2023. Other language and image production AIs are around the same age. It’s not clear how these technologies will change disinformation, how effective they will be or what effects they will have. But we are about to find out.

A CONJUNCTION OF ELECTIONS
Election season will soon be in full swing in much of the democratic world. Seventy-one percent of people living in democracies will vote in a national election between now and the end of next year. Among them: Argentina and Poland in October, Taiwan in January, Indonesia in February, India in April, the European Union and Mexico in June and the U.S. in November. Nine African democracies, including South Africa, will have elections in 2024. Australia and the U.K. don’t have fixed dates, but elections are likely to occur in 2024.

Many of those elections matter a lot to the countries that have run social media influence operations in the past. China cares a great deal about Taiwan, Indonesia, India and many African countries. Russia cares about the U.K., Poland, Germany and the EU in general. Everyone cares about the United States.

And that’s only considering the largest players. Every U.S. national election from 2016 has brought with it an additional country attempting to influence the outcome. First it was just Russia, then Russia and China, and most recently those two plus Iran. As the financial cost of foreign influence decreases, more countries can get in on the action. Tools like ChatGPT significantly reduce the price of producing and distributing propaganda, bringing that capability within the budget of many more countries.

ELECTION INTERFERENCE
A couple of months ago, I attended a conference with representatives from all of the cybersecurity agencies in the U.S. They talked about their expectations regarding election interference in 2024. They expected the usual players – Russia, China and Iran – and a significant new one: “domestic actors.” That is a direct result of this reduced cost.

Of course, there’s a lot more to running a disinformation campaign than generating content. The hard part is distribution. A propagandist needs a series of fake accounts on which to post, and others to boost it into the mainstream where it can go viral. Companies like Meta have gotten much better at identifying these accounts and taking them down. Just last month, Meta announced that it had removed 7,704 Facebook accounts, 954 Facebook pages, 15 Facebook groups and 15 Instagram accounts associated with a Chinese influence campaign, and identified hundreds more accounts on TikTok, X (formerly Twitter), LiveJournal and Blogspot. But that was a campaign that began four years ago, producing pre-AI disinformation.

Disinformation is an arms race. Both the attackers and defenders have improved, but also the world of social media is different. Four years ago, Twitter was a direct line to the media, and propaganda on that platform was a way to tilt the political narrative. A Columbia Journalism Review study found that most major news outlets used Russian tweets as sources for partisan opinion. That Twitter, with virtually every news editor reading it and everyone who was anyone posting there, is no more.

Many propaganda outlets moved from Facebook to messaging platforms such as Telegram and WhatsApp, which makes them harder to identify and remove. TikTok is a newer platform that is controlled by China and more suitable for short, provocative videos – ones that AI makes much easier to produce. And the current crop of generative AIs are being connected to tools that will make content distribution easier as well.

Generative AI tools also allow for new techniques of production and distribution, such as low-level propaganda at scale. Imagine a new AI-powered personal account on social media. For the most part, it behaves normally. It posts about its fake everyday life, joins interest groups and comments on others’ posts, and generally behaves like a normal user. And once in a while, not very often, it says – or amplifies – something political. These persona bots, as computer scientist Latanya Sweeney calls them, have negligible influence on their own. But replicated by the thousands or millions, they would have a lot more.

DISINFORMATION ON AI STEROIDS
That’s just one scenario. The military officers in Russia, China and elsewhere in charge of election interference are likely to have their best people thinking of others. And their tactics are likely to be much more sophisticated than they were in 2016.

Countries like Russia and China have a history of testing both cyberattacks and information operations on smaller countries before rolling them out at scale. When that happens, it’s important to be able to fingerprint these tactics. Countering new disinformation campaigns requires being able to recognize them, and recognizing them requires looking for and cataloging them now.

In the computer security world, researchers recognize that sharing methods of attack and their effectiveness is the only way to build strong defensive systems. The same kind of thinking also applies to these information campaigns: The more that researchers study what techniques are being employed in distant countries, the better they can defend their own countries.

Disinformation campaigns in the AI era are likely to be much more sophisticated than they were in 2016. I believe the U.S. needs to have efforts in place to fingerprint and identify AI-produced propaganda in Taiwan, where a presidential candidate claims a deepfake audio recording has defamed him, and other places. Otherwise, we’re not going to see them when they arrive here. Unfortunately, researchers are instead being targeted and harassed.

Maybe this will all turn out OK. There have been some important democratic elections in the generative AI era with no significant disinformation issues: primaries in Argentina, first-round elections in Ecuador and national elections in Thailand, Turkey, Spain and Greece. But the sooner we know what to expect, the better we can deal with what comes.