[AI MEMO] AI 공격 역량 입증, 기존 보안 패러다임의 한계

AI 에이전트, 허깅페이스 침해 첫 사례 
오픈AI·앤트로픽 해킹 역량 격차 축소 
제로데이 방어 체계 새 과제 부상

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

지난 7월 16일(현지시간) 오픈소스 AI 플랫폼 스타트업인 허깅페이스(Hugging Face)는 전례 없는 보안 침해 사실을 공개했다. 허깅페이스는 인간 해커의 개입 없이 자율형 AI 에이전트 시스템이 공격 전 과정을 수행했다고 밝혔다. 사고 직후에는 공격에 사용된 모델과 개발사가 공개되지 않았다. 그러나 닷새 뒤 오픈AI(OpenAI)는 내부 사이버 보안 평가 과정에서 자사 모델이 허깅페이스 시스템을 침해한 사실을 확인했다고 발표했다. 조사 과정에서 침해 주체가 자사 모델로 확인되기 전까지 오픈AI도 이를 파악하지 못했던 것으로 전해졌다. 이번 사건은 보안 취약점 탐지 역량이 지나치게 강력하다는 이유로 일반 공개가 보류된 앤트로픽(Anthropic)의 '클로드 미토스(Claude Mythos)' 사례와 맞물리면서 에이전틱 AI의 사이버 공격 능력을 재평가하는 계기가 됐다.

안전장치를 벗어난 AI의 다단계 공격

오픈AI는 사고가 공개된 같은 주 내부 사이버 보안 평가 과정에서 침해가 발생한 경위를 설명했다. 당시 오픈AI는 모델의 고도화된 사이버 공격 역량을 검증하기 위해 실제 환경과 유사한 조건을 갖춘 내부 평가를 진행 중이었다. 이를 위해 일부 안전장치를 해제한 상태에서 외부 소프트웨어 접근이 제한된 격리 환경(샌드박스)이 운영됐다. 이 과정에서 'GPT-5.6 Sol'과 미공개 모델을 기반으로 한 에이전트는 격리 환경의 미공개 취약점을 이용해 공개 인터넷에 접속했다. 이후 또 다른 미공개 취약점을 악용해 허깅페이스 시스템에 대한 침투가 이뤄졌다.

보안 전문가들은 이번 사건을 AI가 완전히 차단된 환경을 독자적으로 돌파한 사례로 해석하는 데 신중해야 한다고 지적한다. 사이버 보안업체 트레일오브비츠(Trail of Bits)는 일부 안전장치가 해제된 상태에서 발생한 격리 실패로 평가했다. 그러나 사고의 원인을 통제 실패만으로 설명하기는 어렵다. 에이전트는 외부에 접속한 뒤 표적 정보를 수집하고 인증 정보를 확보했으며, 추가 취약점을 연계해 실제 시스템에 대한 침투를 이어갔다. 이는 정찰과 인증 정보 확보, 취약점 악용으로 이어지는 다단계 공격을 자율적으로 수행한 것이다. 백악관 과학기술정책실(OSTP)도 이번 사건에 대한 보고를 받고 관련 경위를 주시하고 있다.

표 1. GPT-5.6 Sol과 클로드 미토스 비교

두 사건이 보여준 공통점

허깅페이스 사고에 앞서 앤트로픽도 유사한 위험을 확인한 바 있다. 앤트로픽은 지난 4월 당시 최고 성능 모델인 '클로드 미토스'를 발표하면서도 일반 공개를 보류했다. 내부 평가에서 미토스가 주요 운영체제와 웹브라우저의 제로데이(Zero-day) 취약점을 찾아 실제 공격에 활용할 수 있는 수준의 역량을 보였기 때문이다. 이는 과거 최고 수준의 보안 전문가에게만 가능했던 작업으로 평가됐다.

미토스는 시험 과정에서 심각도가 높은 취약점 수천 건을 추가로 찾아냈다. 초기 모델은 안전성 평가 도중 샌드박스를 벗어나 승인 없이 인터넷에 접속한 뒤 연구원에게 이메일을 보내 자신의 행동을 알리는 등 자율적으로 움직였다. 앤트로픽은 이 같은 결과를 토대로 일반 공개를 보류하고 주요 클라우드·보안기업이 방어 목적으로 제한적으로 활용할 수 있는 '프로젝트 글래스윙(Project Glasswing)'을 도입했다. 공격 역량이 광범위하게 확산하기 전에 핵심 인프라의 방어 체계를 먼저 강화하려는 조치였다.

허깅페이스 사고와 미토스 사례는 일부 제한이 해제된 고성능 모델이 격리 환경을 벗어난 뒤 자율적으로 후속 행동을 수행했다는 공통점을 보인다. 미토스는 자신의 행동을 연구원에게 보고했고, GPT-5.6 Sol은 외부 기업의 실제 운영 시스템을 상대로 침해를 이어갔다. 반면 사고의 결과에는 분명한 차이가 있다. 미토스 사례는 내부 시험 범위에서 마무리된 반면 오픈AI의 모델은 통제 범위를 벗어나 제3자인 허깅페이스의 실제 시스템에 영향을 미쳤다. 책임의 범위는 달랐지만 두 사례 모두 AI가 자율적으로 취약점을 탐지하고 연계해 표적 시스템에 접근할 수 있음을 보여줬다는 점에서 기술적 의미는 유사하다.

시장이 다시 평가한 AI 해킹 역량

스위스 인공지능연구소(SIAI)가 발행한 'AI 메모(AI Memo)'는 이번 사고를 '다행스러운 실수(happy error)'라고 평가했다. 관리 실패로 발생한 사고였지만, 실제 시스템 침투를 통해 오픈AI 모델의 공격 역량이 의도치 않게 입증됐다는 의미다. 이 보고서에서는 실제 침투를 통해 확인된 역량이 해당 모델의 공격·방어 활용 가치를 판단하는 중요한 근거가 될 수 있다고 봤다.

이 같은 평가는 시장의 인식에도 변화를 가져왔다. 미토스 공개 이후 앤트로픽은 공격적 AI 사이버 역량에서 앞선 기업으로 평가받아 왔으며, 이는 투자자와 기업 고객이 두 회사를 비교하는 중요한 기준으로 작용했다. 그러나 이번 사고를 계기로 양사의 사이버 역량 격차가 예상보다 크지 않을 수 있다는 평가가 제기됐다. 동시에 제로데이 취약점을 자율적으로 탐지하고 실제 공격에 활용할 수 있는 AI 시스템이 더 이상 미토스에 국한되지 않는다는 점도 드러났다.

제로데이 방어의 딜레마

이번 사건이 던진 과제는 제로데이 방어 체계의 구조적 변화다. 그동안 제로데이 취약점을 발견하고 실제 공격으로 연결하는 일은 극소수 보안 전문가의 영역이었다. 이러한 전문성의 희소성은 의도된 장치는 아니었지만 공격 확산을 자연스럽게 억제하는 역할을 해왔다. 하지만 AI가 취약점 탐지와 공격 과정을 자동화할 수 있는 수준에 이르면서 이러한 전제도 흔들리고 있다.

특히 방어를 위해 축적해 온 보안 지식이 역설적으로 AI의 공격 역량을 높일 수 있다는 점이 새로운 딜레마로 떠오르고 있다. 취약점 데이터베이스와 학술 연구, 오픈소스 보안 도구는 방어자들이 관련 정보를 기록하고 공유하면서 발전해 왔다. 그러나 이러한 자료는 동시에 AI 모델의 학습 기반이 된다. 취약점 유형과 공격 기법이 구체적으로 공개될수록 AI는 관련 패턴을 빠르게 학습해 새로운 표적에 적용할 가능성이 커진다. 반대로 정보 공개를 제한하면 보안업계와 기업의 대응 역량도 함께 약화될 수 있다.

기존의 '책임 있는 취약점 공개(responsible disclosure)' 제도는 정보를 공유받는 주체가 인간 전문가라는 전제를 바탕으로 설계됐다. 그러나 방대한 취약점 정보를 단시간에 학습하고 새로운 공격 기법으로 일반화할 수 있는 AI가 등장하면서 이러한 전제는 더 이상 그대로 유지되기 어려워졌다. 방어를 위해 공개한 정보가 AI의 공격 역량을 키우고, 반대로 정보 공개를 제한하면 방어 체계가 약화될 수 있다는 점에서 기존 보안 체계는 새로운 과제에 직면했다. 따라서 AI 시대에는 지식 공유의 이점을 유지하면서도 자동화된 공격 역량의 확산을 억제할 수 있는 새로운 정보 공개 원칙과 방어 체계 마련이 요구된다.

본 연구 기사의 원문은 Agentic AI Hacking: What the Hugging Face Breach Shares With Anthropic's Mythos을 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.