"무기 개발부터 사이버 공격까지" 中·러 등지에서 AI 악용 현실화, 美 안전 전선 강화 속 美-中 정상회담 '촉각'

앤트로픽 클로드, 무기 개발·사이버 공격·생물학 실험 등에 쓰여
"AI 모델, 안전·정렬이 무엇보다 중요" 美 AI 업계서 공감대 형성
中 무단 증류에 문제 제기한 美 정부, 이달 정상회담에 이목 쏠려

미국산 첨단 인공지능(AI) 모델이 중국·러시아 등 각국 정부 연계 조직 및 범죄자들의 손에 악용됐다는 분석이 제기됐다. 이들 국가의 △미사일·자폭 드론 개발 △사이버 공격 △여론 조작 △생물학 무기로 활용될 수 있는 연구 등에 앤트로픽의 생성형 AI 모델 ‘클로드’가 쓰였다는 것이다. 이처럼 AI 모델의 성능이 빠르게 고도화되면서 군사·사이버 영역에서의 오용 위험도 함께 커지자, 미 업계 안팎에서는 모델 개발 속도를 조절하고 안전·정렬 체계를 강화해야 한다는 목소리가 확산하고 있다. 미국 정부 역시 최근 중국 AI 기업들의 무단 증류와 우회 접근을 공개적으로 문제시하며 AI 안전과 기술 악용을 양국 간 핵심 의제로 끌어올리는 추세다.

앤트로픽 AI 모델 오용 사례

지난 10일(이하 현지시각) 앤트로픽은 ‘AI 오용 탐지 및 보고서’를 내고, 지난해 12월부터 올해 8월까지 자사 AI 모델 클로드의 악용 사례를 조사한 결과를 공개했다. 가장 직접적인 위협은 무기 개발이었다. 앤트로픽은 미사일, 자폭 드론과 같은 재래식 무기 개발에 클로드가 활용된 사례가 총 6건 확인됐다고 밝혔다. 국가별로 살펴보면 중국 3건, 러시아 2건, 예멘 1건이다. 예멘 북부의 한 무장 조직은 사거리 2,000km 이상 다단식 탄도미사일과 극초음속 활공체를 개발하며 AI에 비행 제어 소프트웨어 작성을 맡겼다. 이후 유도 로켓을 실제로 발사해 시험했지만 실패했고, 몇 시간 뒤 비행 데이터를 AI에 재입력해 원인 분석을 요청했다.

중국에서는 한 조직이 인민해방군 해군에 제출할 어뢰 대응 사격 통제 소프트웨어를 AI로 설계하고 200쪽이 넘는 기술 제안서를 작성했다. 또 다른 중국 조직은 AI를 활용해 전자전·방공망 제압용 소프트웨어 16개 모듈을 만들고, 대만의 지휘 벙커와 경보 레이더 등 12곳의 실제 시설을 표적으로 시뮬레이션을 수행하기도 했다. 러시아에서는 소속 미상의 개발자들이 사람을 식별해 인간의 개입 없이 공격 명령까지 내리는 자율 공격 드론 편대 소프트웨어를 AI로 개발한 사례도 적발됐다.

생물학적 무기 위협까지 부각

대규모 살상 목적의 생물학 무기로 악용될 가능성이 있는 연구 사례도 5건 확인됐다. 일례로 서비스가 지원되지 않는 지역의 한 연구자는 클로드와 함께 조류인플루엔자 관련 실험을 몇 주에 걸쳐 설계했다. 앤트로픽은 안전 필터가 작동해 이 작업이 가장 성능이 낮은 모델에서만 이뤄졌다고 전했다. 또 다른 연구자는 모기가 매개하는 치쿤구니야 바이러스의 전염력과 면역 회피력을 높이는 연구비 신청서를 AI를 활용해 작성하려다 적발됐다. 앤트로픽은 공개된 사례에 등장한 과학자들이 해를 끼칠 의도였는지는 확신할 수 없다고 강조하면서도, 보고서에 언급된 계정을 모두 정지했다고 밝혔다.

클로드는 사이버 공격 분야에서도 적극 활용됐다. 한 러시아 연계 해킹 조직은 우크라이나 정부와 군을 겨냥한 피싱 공격 프로그램을 AI로 자동화했다. 악성코드가 탐지되면 AI가 자동으로 코드를 수정해 재배포하는 구조다. 중국 정부 연계 조직은 시리아 내 위구르족과 위구르계 무장조직원을 추적해 포섭하는 데 AI를 사용했으며, 위구르 디아스포라 언론인을 감시하며 매체 신뢰도를 떨어뜨리는 AI 여론 공작을 준비한 정황도 포착됐다. 앤트로픽은 이번에 확인된 작전 중 다수에서 사람은 목표를 정하고 확보한 자료를 검토하는 역할을 맡았고, 실제 작업의 상당 부분은 AI가 수행했다고 설명했다.

美 AI 업계 내 긴장감 고조

이들 중 중국계 조직은 클로드의 접속 차단 조치를 우회하기 위해 미국·일본·싱가포르 등에 위치한 중개 서버를 거쳐 접속 위치를 위장한 것으로 확인됐다. 계정 생성 단계에서는 가짜 신원, 일회용 이메일, 가상·도난 신용카드 등을 활용했고, 특정 계정이 적발돼 차단되면 곧바로 새로운 이메일과 결제 수단으로 계정을 재생성해 접속을 이어 갔다. 이와 관련해 앤트로픽은 "AI 악용이 서버 우회와 계정 재생성을 결합한 형태로 조직화되고 있다"며 “AI 모델의 능력이 강력해질수록 개발사와 사회가 안전장치를 강화하지 않으면 위험도 함께 커질 것”이라고 경고했다.

이러한 우려는 비단 앤트로픽을 넘어 미국 AI 업계 전반에서 제기되고 있다. 일례로 12일 다리오 아모데이 앤트로픽 최고경영자(CEO)는 자신의 웹사이트에 ‘우리는 최첨단 AI의 속도를 조절해야 한다(We Must Pace the Frontier)’라는 제목의 글을 올리고 “AI 모델의 역량을 향상하는 속도를 늦춰야 한다”고 주장했다. 아모데이 CEO는 “모델 학습이나 기술 발전의 중단을 의미하는 것이 아니라, 기업들이 모델을 ‘정렬’(alignment)하고 안전하게 만드는 데 충분한 시간을 확보하자는 것”이라며 “모델의 임계점에 도달하기까지 1~2년의 추가 시간을 확보하고, 그 시간을 정렬을 발전시키는 데 사용한다면 심각한 문제가 발생할 위험을 크게 줄일 수 있을 것”이라고 짚었다. 정렬은 AI가 안전 가드레일을 벗어나지 않고 인간이 의도한 목표와 지시를 따르도록 만드는 것을 뜻하는 용어다.

美 정부도 위험성 주목

여타 AI 업계 주요 인사들도 아모데이 CEO의 의견에 줄줄이 동조했다. 아모데이 CEO와 대표적 앙숙 관계로 꼽히는 샘 올트먼 오픈AI CEO는 아모데이 CEO의 글을 자신의 소셜미디어(SNS) 엑스(X, 구 트위터)에 재게시하고, “아모데이의 의견에 동의한다"며 "직원과 동일한 접근 권한을 가진 독립적 평가자를 두자는 제안은 매우 좋은 아이디어”라고 적었다. 그는 포춘과의 인터뷰에서도 “AI 안전과 관련된 모든 상황을 고려할 때 지금 IPO(기업공개)를 발표하는 것은 현명하지 못하다고 생각한다”며 “안전과 정렬에 필요한 사항을 충족하고 업계와 정부가 어떻게 협력할 수 있을지 등 해야 할 일이 많다”고 발언한 바 있다. 평소 아모데이 CEO의 발언들이 불필요한 공포심을 유발한다며 비판하던 일론 머스크 테슬라 CEO도 최근 자신의 X에 “다리오의 말이 맞다”고 언급했다.

미국 정부도 AI 악용 가능성을 국가안보 차원의 리스크로 보고 대응 수위를 높이는 추세다. 미 국가정보국장실(ODNI)은 지난 3월 발표한 ‘2026 연례위협평가’에서 중국을 미국 정부·민간·핵심 인프라를 겨냥한 가장 적극적이고 지속적인 사이버 위협으로, 러시아를 지속적이고 고도화된 사이버 공격·정보 위협으로 각각 규정했다. 이어 AI 기술 발전이 사이버 공격자의 작업 속도와 효율성을 제고할 수 있으며, 무기·시스템 설계와 표적 선정, 의사 결정 등에도 활용될 수 있다고 평가했다. 도널드 트럼프 행정부도 지난 6월 행정명령을 통해 첨단 AI가 새로운 국가안보 문제를 초래할 위험이 있다고 명시했다. 아울러 국가안보시스템위원회(CNSS)에 국가안보 시스템의 사이버 방어를 우선하도록 하고, 국토안보부에는 미 사이버안보·인프라보안국(CISA)을 통해 민간 연방정부 정보시스템의 방어를 견고히 하도록 지시했다. 법무부 장관에게는 AI를 이용해 공공·민간 정보시스템에 무단 침입하거나 AI 에이전트로 데이터를 불법 취득하는 행위에 대해 연방법 집행을 강화하라는 명령이 내려졌다.

표1. 미국 정부의 중국發 AI 위협 대응 조치

정상회담 앞두고 긴장감 고조

AI 업계를 둘러싼 긴장감이 고조되는 가운데, 일각에서는 이달 말 예정돼 있는 미중 정상회담에서 관련 사안이 논의 테이블에 오를 것이라는 분석도 제기된다. 앞서 지난 8일 미국 국가안보국(NSA)과 연방수사국(FBI), CISA는 '중국 기반 인공지능 기업들의 미국 AI 기업 대상 산업적 규모의 증류 캠페인'이라는 제목의 공동 사이버보안 권고문(AA26-251A)을 발표한 바 있다. 권고문에 이름이 오른 기업은 딥시크, 문샷AI, 알리바바, 미니맥스, 스텝펀, 즈푸AI(Z.AI) 등 6곳이다. 정상회담이 얼마 남지 않은 시점에 직접 기업명을 거론하며 공식적으로 문제 제기에 나선 것이다. 증류는 성능이 높은 AI 모델에 대량의 질문을 넣고 답변을 모은 뒤, 그 결과를 학습 자료로 삼아 다른 모델의 성능을 끌어올리는 방법을 일컫는다.

미 당국은 이들이 적어도 2024년 말부터 오픈AI GPT, 앤트로픽 클로드, 구글 제미나이, xAI 그록 등 미국 프런티어 모델에 수백만 건의 요청을 보내 수십억 개의 토큰을 추출했다고 주장했다. 단순히 다른 AI의 답변을 참고한 수준을 넘어, 미국 기업이 막대한 연구개발(R&D) 비용과 컴퓨팅 자원을 들여 구축한 능력을 중국 모델 개발에 체계적으로 활용했다는 지적이다. 아울러 당국은 증류 자체가 정당하고 유용한 연구 기법이라는 점은 인정하면서도, 중국 기업들의 접근 방식과 규모는 문제가 된다고 판단했다. 권고문에 따르면 중국 AI 기업들은 이상 거래 탐지망을 우회하기 위해 다수의 계정과 접속 경로로 요청을 분산했으며, 프록시 네트워크에서는 수만 개의 허위 계정을 관리하면서 증류용 요청과 일반 이용자의 요청을 섞어 추적을 피했다. 미 당국은 이러한 접근을 최소화하기 위해 AI 기업이 증류 의심 계정의 요청에 제공하는 답변 자체를 바꾸는 방안을 제시했다. 고신뢰 수준에서 악성 증류 활동으로 판단된 요청에는 차등 개인정보보호 기술을 적용하거나, 기존보다 성능이 낮은 모델로 응답해 학습 데이터로서의 가치를 떨어뜨리라는 주문이다.