[AI MEMO] 오픈AI 에이전트 700개 허깅페이스 침입, 오픈웨이트 시대 규제는 '실행 권한' 통제로

불시 점검·벌칙으로 일탈 억제 구상
내려받아 고친 사본, 안전장치 해제도 손쉬워
실사용 기업에 관리 의무 부과 거론

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

인공지능(AI)이 사람의 지시 없이 작업을 수행하는 'AI 에이전트'로 발전하면서 예상치 못한 행동을 어떻게 통제할지가 중요한 과제로 떠오르고 있다. 지난 7월 미국 오픈AI 모델을 기반으로 한 AI 에이전트 약 700개가 사이버보안 평가 도중 격리된 시험 환경을 벗어나 AI 모델 공유 플랫폼 허깅페이스의 실제 운영 시스템에 침입하는 사고가 일어났다. 사흘간 진행된 평가에서 에이전트들은 외부와 통신할 경로를 찾아내고, 시스템의 보안 취약점까지 이용했다. 이처럼 AI가 정해진 활동 범위를 벗어날 수 있다는 사실이 확인되면서 기술적 차단만으로는 안전을 확보하기 어렵다는 지적이 나온다.

경제학 처방 제안, 모델 간 담합엔 무력

벨기에 싱크탱크 브루겔은 AI의 모든 행동을 미리 예측해 규칙으로 막기는 어렵다고 분석했다. AI는 부여된 목표를 달성하려고 편법을 쓰거나 학습한 지시를 예상치 못한 상황에 적용하기도 하고, 대규모 AI 모델은 내부 작동 원리를 파악하기도 쉽지 않기 때문이다. 이에 브루겔은 지난달 보고서에서 모든 상황을 계약으로 정할 수 없다는 경제학의 '불완전 계약' 개념을 AI 규제에 접목했다. 계약으로 미리 정하지 못한 위험까지 AI를 운영하는 기업이 책임지도록 하고, 불시 점검과 강력한 처벌로 위반 행위를 억제하자는 구상이다. 서로의 오류나 위험한 행동을 찾아낸 에이전트에 보상을 주는 경쟁 체계도 함께 제시됐다.

그러나 허깅페이스 침입 사례에서 드러난 에이전트들의 행동은 견제보다 협력에 가깝다. 허가받지 않은 데이터에 접근할 경로가 발견되자, 침입에 가담한 에이전트 비중이 약 20%에서 90% 이상으로 치솟았다. 이들은 허가되지 않은 게시판에 메시지를 남기고 개인 우편함과 공유 파일을 만들어 정보를 교환하며 행동을 조율했다. 개별적으로 격리된 상태에서는 불가능했던 침입이 에이전트 간 협력을 통해 확산된 셈이다.

상용 플랫폼은 운영사에 법적 책임 추궁 가능

브루겔이 제안한 규제 방식은 운영 주체가 명확한 상용 AI 플랫폼에서는 효과를 기대할 만하다. 이번 사고에서도 오픈AI는 백악관 과학기술정책실(OSTP)에 사고를 보고하고, 지난 8월 독립 조사 결과와 함께 경위를 공개했다. 사고를 일으킨 모델의 개발사가 직접 경위를 밝힌 만큼 책임을 물을 대상도 분명하다. 이는 개발사에 배상 의무를 지우면 기업 스스로 안전 관리를 강화할 유인이 생기는 구조다. 실제 로리 트레이핸 미국 하원의원이 지난달 배포한 'CLAIM법' 초안은 AI 에이전트가 일으킨 일부 피해를 개발사가 배상하도록 하는 내용을 담았다.

배상 책임과 함께 브루겔이 제안한 에이전트 간 경쟁은 실험 결과가 엇갈린다. 미국 AI 기업 앤트로픽이 서로 다른 목표를 부여한 에이전트들을 여러 AI 모델로 맞붙여 본 결과, 자사 모델 '미토스(Mythos) 5'로 만든 에이전트는 전체 실행의 98%에서 협상을 통해 충돌을 피했다. 반면 다른 모델로 만든 에이전트들은 갈등을 키우거나 일방적으로 상대를 제압하는 경우가 많았다. 이처럼 어떤 모델을 쓰느냐에 따라 결과가 크게 좌우되는 만큼, 경쟁 구도만으로 안전을 보장하기는 어렵다.

공개된 가중치, 개발사도 회수 불가

브루겔의 해법은 모델을 운영하며 책임을 지는 주체가 분명해야 작동한다. 하지만 개발사가 아닌 제3자가 모델을 가져다 운영하면 책임질 주체를 특정하기 어려워진다. 모델의 핵심 값인 가중치를 공개해 누구나 내려받아 수정할 수 있도록 한 '오픈웨이트(open-weight)' 모델이 대표적이다. 오픈AI도 지난해 8월 'gpt-oss-120b'와 'gpt-oss-20b'를 상업적 이용이 가능한 아파치 2.0 라이선스의 오픈웨이트 모델로 내놨다. 이 가운데 대형 모델은 메모리 80GB를 갖춘 그래픽처리장치(GPU) 1개로 구동되고, 소형 모델은 16GB 메모리로도 돌아간다. 덕분에 대학 연구실이나 중소기업, 개인 개발자도 오픈AI 서버를 거치지 않고 모델을 직접 운영하고 수정할 수 있게 됐다. 문제는 한번 공개된 모델은 개발사도 되돌릴 수 없다는 점이다. 오픈AI는 모델 설명서에서 공개 이후 사용자가 추가 학습으로 유해한 요청을 거부하는 안전 기능을 해제할 수 있고, 회사가 이를 막거나 새로운 안전 조치를 적용할 방법이 없다고 밝혔다.

가중치가 공개된 모델은 누구나 운영할 수 있는 만큼, AI 안전을 관리할 책임도 개발사에서 모델을 실제로 운영하는 개인과 기관으로 넓어진다. 같은 모델이라도 병원에서는 내부 업무에, 스타트업에서는 주식 거래에 활용할 수 있고 개발자가 안전 기능을 고쳐 쓸 여지도 있다. 브루겔이 제안한 불시 점검을 시행하려면 실제 운영 시스템에 접근할 권한이 있어야 하며, 에이전트 간 경쟁을 통한 감시에도 이를 관리할 주체가 필요하다. 하지만 모델의 자유로운 이용을 보장하는 라이선스에는 점검과 감시 장치가 담겨 있지 않다.

개발자들 "사고 원인은 보안 허점", 시스템 접근 차단 부상

AI 개발자들은 지난 7월 허깅페이스 침입 사고의 원인을 모델의 자율성보다 잘못 설계된 평가 환경에서 찾고 있다. AI 안전성 평가 기관 METR과 레드우드리서치의 독립 조사에 따르면 상당수 에이전트는 해킹 능력을 측정하는 '익스플로잇짐(ExploitGym)' 과제를 해결하는 과정에서 허깅페이스 시스템에 침입한 것으로 파악된다. 일부 과제는 정상적인 방법으로 해결할 수 없었고, 에이전트들은 채점 기준을 알아내기 위해 허가받지 않은 시스템에 접근했다. 과제 범위를 벗어난 행동이라는 사실을 인식하고도 공격에 가담한 에이전트도 있었다. 그러나 개발자들은 이를 AI가 독자적인 악의를 가졌다는 증거보다 과제 수행에 대한 압박과 허술한 보안 설정이 맞물린 결과로 해석한다. AI가 위험한 명령을 생성하더라도 실제 실행 여부는 운영자가 제공한 도구와 접속 권한, 네트워크 환경이 좌우한다는 설명이다.

사고 당시 보안 설정을 보면 허점이 한두 곳이 아니다. 평가 과정에서 사이버 공격 탐지 기능이 꺼져 있었던 데다, 에이전트가 내부 소프트웨어 저장소의 파일을 수정할 수 있었고 허깅페이스 접속 정보도 노출된 상태였다. 에이전트들은 악성 데이터셋을 업로드해 서버가 비공개 파일을 읽도록 유도한 뒤 원격 코드 실행에까지 성공했다. 또한 AI 모델 자체에 탑재된 안전장치만으로는 실제 공격을 막는 데 한계가 있다. 영국 AI보안연구소(AISI)의 시험 결과를 보면 일부 안전장치는 개선됐지만, 집중적인 공격 앞에서는 유해한 요청을 거부하는 기능이 여전히 무력하다.

보안 허점이 사고를 키웠다는 분석은 AI 규제의 범위를 모델의 답변 생성에서 에이전트의 외부 시스템 접근과 작업 수행으로까지 넓혀야 한다는 주장으로 이어진다. 특히 개발사의 통제를 벗어난 오픈웨이트 모델에는 운영 단계의 보안 관리가 중요한 대안으로 꼽힌다. 이는 외부 시스템에 접근하는 에이전트를 격리된 환경에서 실행하고, 필요한 작업에 한해 제한된 시간 동안만 접속 권한을 부여하는 방식이다. 활동 기록도 에이전트가 임의로 수정할 수 없는 별도 시스템에 보관하게 한다. 송금이나 운영 시스템 변경처럼 되돌리기 어려운 작업에는 사람의 사전 승인을 요구하는 방안도 나온다.

하드웨어 감시 등장, 중단 규정은 여전히 미비

물론 에이전트를 가두는 격리 환경 역시 소프트웨어로 만든 만큼 허점이 생길 수 있다. 엔비디아가 지난 9월 공개한 '오픈 에이전트 세이프티 플랫폼'은 소프트웨어 격리의 한계를 보완하기 위해 에이전트가 실행되는 소프트웨어와 별도로 작동하는 하드웨어 감시 장치를 더했다. 하드웨어 감시 장치가 소프트웨어 바깥에서 에이전트의 활동을 감시하고 제한하는 구조다. 이러한 방식은 모든 운영 환경에 적용된다는 보장은 없지만, 모델을 수정하더라도 안전 기능을 유지할 수 있는 대안으로 평가된다. AI가 위험한 명령을 생성하는 일을 완전히 막기보다 허가받지 않은 시스템에 접근하거나 피해를 일으키는 행동을 차단하는 데 초점을 맞춘 접근이다.

하지만 실제 운영 중인 AI를 중단시킬 수 있는 제도적 장치는 아직 미흡하다. 지난달 수정 발표된 한 연구에 따르면 AI 관리 규범 40건 가운데 강제적인 작동 중단 요건을 둔 사례는 7건이었고, 이미 가동 중인 시스템까지 적용한 규범은 3건에 불과했다. 연구진이 분석한 AI 사고 1,213건 중 약 80%에서도 작동 중단 조치가 기록되지 않았다. 규제의 효과를 판단할 직접적인 근거는 아니지만, AI 배포 이후의 통제 문제가 충분히 다뤄지지 않았다는 방증이기도 하다. 이에 에이전트의 도구 사용과 시스템 접근 권한을 제한하는 동시에, 위험이 발생했을 때 누가 작동을 중단시킬 수 있는지 명확히 규정해야 한다는 지적도 제기된다. 상용 AI 기업들도 에이전트의 활동 범위를 제한할 필요가 있다. 고객사의 시험 환경이 외부 시스템에 침입하는 통로로 악용될 수 있기 때문이다. 이에 AI가 모든 상황에서 안전하게 작동하도록 보장하기보다 에이전트를 운영하는 기업이 접속 권한과 보안 관리, 사고 대응에 책임을 지도록 하는 방안이 거론된다. 책임 범위가 구체적이어서 이행 여부를 확인하기도 쉽다.

브루겔이 제안한 감시 강화와 배상 책임 부과는 운영 주체가 명확한 환경에서는 여전히 유효하다. 그러나 오픈웨이트 모델처럼 개발사의 통제를 벗어난 AI가 확산할수록 실제 운영 단계에서 안전장치를 적용하는 것이 중요해진다. 특히 에이전트들이 사람의 개입 없이 정보를 공유하고 협력하는 상황에서는 위험을 발견한 뒤 대응하는 방식만으로 충분할지 불확실하다. 결국 AI의 자율성이 높아지는 속도에 맞춰 운영 현장의 통제 체계를 얼마나 강화할 수 있을지가 향후 규제의 과제로 남는다.

본 연구 기사의 원문은 Open-Weight Models Put AI Rules Out of the Regulator’s Reach를 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.