AI 기술을 이용한 軍 사칭, 군대 신뢰도 낮출 수 있어
인기 앱, 군사 정보 공개해 군대에서 '골칫거리'로 떠올라
AI 앱에 대한 직접적인 규제보다는 AI 콘텐츠 제작의 '위험성'을 인지시켜야

작년 10월 필리핀 국방부는 군인과 국방부 공무원이 이미지 생성 AI 앱 사용을 금지하는 각서를 발표했다. 이미지 생성 AI 앱은 많은 필리핀 국민이 소셜 미디어용 대체 프로필 이미지를 만드는 데 레미니(Remini)와 포토랩(PhotoLab)을 사용하면서 입소문 났다. 그러나 이미지 생성 AI 앱을 통한 '사칭'이 발생해 군대 보안이 느슨해졌으며 군대 신뢰도에 적신호가 커졌다.

가짜 이미지 생성 기술, 손쉽게 軍 신뢰도 무너뜨릴 수 있어

AI 앱 사용을 금지하는 것은 소셜 미디어 시대에 ‘과민 반응’처럼 보이지만, 앱이 보안에 미치는 영향은 생각보다 심각했다. 가짜 이미지 생성 기술은 군사 기만, 정보 작전 방해 등 국가 기관과 외교의 신뢰를 악화시키며 국가 안보를 위협하는 데 사용될 수 있다. 금지 조치의 근거로는 가짜 프로필을 만들어 신원 도용과 피싱 공격으로 이어질 수 있다는 점을 들었다. 따라서 필리핀 국방부는 앱 사용을 금지해 이미지 데이터 제공을 막는 것을 목표로 한다.

가짜 콘텐츠가 널리 확산되면 콘텐츠 시청자는 모든 콘텐츠를 불신하게 될 수도 있다. 가짜 콘텐츠 문제는 대중에게 영향을 미칠 때도 문제지만, 군대에 영향을 미칠 때 문제는 더욱 심각해진다. AI를 이용해 군대를 사칭하는 일이 성행하면 군 지휘 체계에 불신이 생기고 사기, 신뢰성, 군사적 효율성에 해로운 영향을 미친다. 이 문제는 데이터 프라이버시와 보안 위협뿐만 아니라 군대에서 표적 선정 및 교전 시 발생하는 작업을 방해하여 군사 지원 작전을 늦추거나 중요한 순간에 의사결정에 영향을 미친다.

AI 사칭 기술에 호되게 당할 뻔한 필리핀

지난 5월 필리핀은 AI 위협을 제대로 경험했다. 중국 외교관은 당시 필리핀 서부사령부 사령관이 세컨드 토마스 숄에서 BRP 시에라 마드레를 재보급하는 것에 동의했다고 주장하며 대화 녹취록을 공개했다. 남중국해 스프래틀리 군도에 위치한 세컨드 토머스 숄은 중국과 필리핀의 영유권 분쟁이 있는 지역이다. BRP 시에라 마드레 재보급에 동의한 내용이 사실이면 필리핀은 영유권 분쟁에서 불리한 위치에 몰리게 된다. 따라서 필리핀 국방부와 육군은 즉각적으로 대응했으며 전 서부사령부 사령관은 이에 관해 언급한 적도 없고 비공식 대화라며 중국의 ‘심각한 가짜’ 작전과 조작을 비난했다.

AI를 이용한 가짜 콘텐츠 공작은 필리핀 정부에 혼란을 야기했다. 또한 전 필리핀 대통령인 두테르테 행정부와 맺은 것으로 추측되는 합의에 따르도록 강요하려는 '불순한' 의도가 보였다. 사실 여부와 관계없이 이 사건은 적들이 군 관계자의 오디오에 접근할 수 있다는 것을 보여주었다.

그러나 인기 앱이 군과 연관된 것은 이번이 처음이 아니다. 2018년에는 달리기 앱인 스트라바가 미국 및 기타 군사 기지의 위치를 공개했다. 심지어 2022년 러시아가 우크라이나를 침공한 당시 우크라이나 여성이 작전과 관련된 정보를 수집하기 위해 틴더와 같은 데이트 앱을 사용한 것으로 알려졌다.

점점 늘어나는 AI 앱, 점점 늘어나는 규제의 어려움

가짜 콘텐츠 사건에서 앱은 단순 데이터 수집 도구로 사용되었으나, 흔히 사용되는 AI 콘텐츠 생성기는 데이터 수집뿐만 아니라 콘텐츠 제작 기능까지 있어 더욱 주의를 기울여야 한다.

기하급수적으로 앱의 수가 늘어나는 가운데 정부는 AI 앱을 규제하는 데 애를 먹고 있다. 지난 4월 앱스토어에서 제공하는 스마트폰 앱은 900만 개에 육박하며 다운로드 횟수가 2250억 회에 달한다. 이 상황에서 AI 앱과 기업이 수집한 데이터를 보호하고 기업이나 정부가 오용하지 않도록 하는 것은 매우 어려운 일이다.

직접적인 규제 대신 AI 콘텐츠 제작의 ‘위험성’을 인지시켜야

광범위한 규제 대신 작년 10월에 시행한 ‘국방부 메모’와 같은 지침이 AI 콘텐츠 제작자가 야기하는 위험을 인식하는 데 유용하다는 의견이다. 더불어 현대화된 군대에서는 깨끗한 ‘사이버 위생’ 관행이 필요하며 데이터 유출 위험을 최소화하는 것이 필수적이다. 또한 AI 이미지 생성기의 성능을 고려할 때 군 장교는 초상권 보호를 강화하고 악의로 초상을 획득할 수 있는 위험을 최소화하기 위해 ‘프로세스’를 마련해야 한다. 장기적으로 군대는 허위 정보 교육과 AI 콘텐츠 인식 기술을 강화해야 한다. 표적이 된 장병이 딥페이크가 전달하는 메시지를 믿는 경우, 딥페이크 콘텐츠를 인식하는 것만으로는 충분하지 않다.

군사 정보 공간이 적들에 의해 훼손되지 않도록 보호하는 것은 필리핀을 포함해 전 세계 군대의 지속적인 과제다. 특히 AI를 이용해 가짜 콘텐츠를 만드는 것이 간편해진 만큼 적들의 사칭에 주의를 기울여야 한다. 군대는 가짜 콘텐츠를 식별할 수 있는 '비판적 사고'와 AI 지식을 교육해 점점 더 복잡해지는 정보 속에서 효과적으로 작전을 수행해야 한다.