[딥테크] 실행 권한 가진 AI 에이전트, 차세대 보안 취약점으로 부상

AI 보안의 핵심 위험은 언어모델이 아닌 권한을 가진 에이전트
일상적 이미지나 문서도 에이전트를 조종하는 공격 통로로 활용 가능
에이전트는 최소 권한, 실시간 감시, 인간 검증이 필수

본 기사는 스위스 인공지능연구소(SIAI)의 SIAI Research Memo 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술·경제·정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적 의견이며, SIAI 또는 그 소속 기관의 공식 입장과 일치하지 않을 수 있습니다.

2025년 미국에서 발생한 데이터 유출의 평균 비용은 1,022만 달러(약 1,370억원)에 달했다. 전체 사고 중 13%는 AI 모델이나 애플리케이션이 관여했으며, 그중 97%는 접근 통제가 부실했다. 이는 기존 보안 방식만으로는 대응이 충분하지 않다는 경고 신호다.

그동안 논의는 주로 언어모델의 성능과 오류, 혹은 탈옥(jailbreak·보안 장치를 우회해 금지된 답변을 끌어내는 기법)에 집중돼 왔다. 그러나 실제 위험은 따로 있다. 사용자의 자격 증명을 바탕으로 버튼을 누르고, 파일을 열고, 웹사이트에 접속하며, 업무 절차까지 자동으로 수행하는 AI 에이전트다. 이는 단순한 대화가 아니라 시스템 내에서 사용자를 대신해 직접 행동하는 것이다.

이 때문에 무해해 보이는 이미지나 캘린더 초대장, 웹페이지도 에이전트를 속여 특정 지시를 수행하게 만들 수 있다. 피해는 잘못된 답변 출력에 그치지 않고, 사용자의 신분으로 파일을 전송하거나 내부 시스템에 접근하는 행위로 이어진다. 최근에는 사용자의 개입 없이 에이전트를 장악하는 조용한 하이재킹(silent hijacking·외부 명령이 자동 실행되는 현상) 사례도 보고됐다. 이를 단순히 모델의 결함으로만 본다면 통제 장치 없는 슈퍼유저를 계속 만들어내는 셈이다. 따라서 보안의 초점은 언어모델이 아니라 실제 행동을 실행하는 에이전트에 맞춰져야 한다.

대화형 도구에서 시스템 행위자로

AI 에이전트는 프롬프트 구조, 도구와 플러그인, 자격 증명, 정책으로 이루어져 있다. 이 조합을 통해 브라우징, 코드 실행, 이메일 열람, CRM 조회, 티켓 발행, 스프레드시트 편집, 구매까지 가능하다. 공격 표면이 기존 해커의 영역에서 새로운 인터페이스 속으로 옮겨온 것이다.

예를 들어 고객지원 에이전트가 PDF나 스크린샷을 처리하는 과정에서 악성 지시가 숨어 있다면, 민감한 파일 전송이나 공격자 사이트 접속, 인증 토큰 탈취로 이어질 수 있다. 이 때문에 이미지의 픽셀을 조작하는 방식까지 보안 위협으로 떠오르고 있다. 단순히 모델을 속이는 수준을 넘어 실제 도구 실행으로 이어지기 때문이다. 이런 위험을 단순히 콘텐츠 필터링 문제로 본다면 입력 처리, 권한 구분, 출력 검증, 신원 관리 같은 근본적 보안 요소를 놓치게 된다.

국제 웹 보안 재단 OWASP(The Open Web Application Security Project)는 LLM 애플리케이션 Top 10에서 프롬프트 인젝션, 불안정한 출력 처리, 플러그인·외부 API 취약성을 주요 위험으로 지적했다. 영국 정부의 가이드라인도 런타임 환경, 자격 증명, 저장소, 모니터링을 핵심 관리 대상으로 강조한다. 실제 사고 다수는 모델 자체의 오류가 아니라 과도한 권한, 검증되지 않은 도구 연결, 무제한 브라우징, 고위험 작업에 대한 인적 검증 부재 등 관리 실패에서 비롯됐다. 따라서 에이전트는 단순 채팅 도구가 아니라 특권 계정과 같은 자동화 시스템으로 취급해야 한다.

자격 증명은 보안의 약한 고리

보안업체 유닛42는 에이전트 자격 증명이 탈취되거나 오남용될 경우 연결된 모든 시스템이 위험해진다고 경고했다. 세계 최대 보안 행사인 RSA 컨퍼런스에서도 ‘AI 에이전트 신원 보안’이 주요 의제로 다뤄졌다. 헬프데스크 에이전트가 인사 관련 요청을 처리하거나 연구용 에이전트가 연구소 드라이브에 접근해 권한을 부여할 수 있는 상황이라면, 도용은 단순한 인터페이스 문제가 아니라 심각한 보안 침해다.

문제의 핵심은 단순하다. 에이전트가 여러 도구와 시스템을 연결한 상태에서 자격 증명까지 쥐고 있기 때문에, 공격자가 에이전트를 장악하면 곧바로 모든 권한에 접근할 수 있다.

증거가 보여주는 위험

최근 연구는 AI 에이전트가 이미 공격 표적임을 입증했다. 2025년 8월 발표된 연구에서는 사용자가 거의 개입하지 않아도 기업용 보조도구를 조종해 데이터 탈취와 업무 절차 변경을 가능하게 하는 '조용한 하이재킹' 기법이 공개됐다. 주요 업체의 상용 에이전트가 실제로 이런 위협에 노출됐다는 사실도 확인됐다. 이는 웹 보안에서 흔히 나타나는 패턴, 즉 오염된 입력과 과도한 신뢰 출력과 비슷하지만, 공격 대상이 기업 내부 권한을 가진 소프트웨어라는 점에서 차이가 있다.

이 같은 위협에 대응하기 위해 각국 정부와 표준 기구는 기존 보안 지침을 에이전트 환경에 맞게 확대하고 있다. 미국 정부와 국제 사회는 모델 인터페이스만이 아니라 전체 시스템 환경을 보호해야 한다고 권고했다. 미국 국립표준기술연구소(NIST)가 제시한 ‘생성형 AI 프로파일’은 오남용 시나리오 설계, 도구 접근 제한, 비정상 행위 모니터링 같은 구체적 통제를 담고 있다. OWASP도 출력 처리와 공급망 관리의 위험을 강조했다.

교육기관과 공공부문에 드러난 위험

IBM의 2025년 조사에 따르면 전 세계 데이터 유출 평균 비용은 약 444만 달러(약 600억원), 미국은 1,000만 달러(약 1,370억원)를 넘어섰다. 전체 사고의 20% 안팎은 관리되지 않은 ‘섀도우 AI’가 관여했으며, 이 경우 대응 비용이 수십만 달러 이상 늘어났다. 학생 기록이나 연구비 관리 시스템에 연결된 에이전트가 과도한 권한을 가진 상태에서 사고가 발생하면, 대학은 재정 손실과 운영 차질, 평판 악화를 동시에 겪을 수 있다. 2만 5,000명 규모 대학의 단일 사고만으로도 연간 예산이 흔들리고 주요 프로그램이 중단될 수 있다.

보안업체 트렌드마이크로(Trend Micro)의 연구도 같은 경고를 내놓았다. 에이전트가 외부 콘텐츠를 가져와 실행하거나 저장하는 과정에서 코드 실행 취약점과 데이터 유출이 발생할 수 있다는 점을 보여줬다.

안전한 운영을 위한 제언

이 같은 위험을 줄이려면 에이전트에도 기본 보안 원칙을 그대로 적용해야 한다. 첫째, 에이전트마다 전용 계정을 부여하고 임시 자격 증명을 사용해야 한다. 접근할 수 있는 도구는 허용 목록으로 제한한다. 둘째, 권한은 최소화해야 한다. 파일 수정, 네트워크 접속, 승인되지 않은 API 호출은 차단해야 한다. 셋째, 민감한 업무는 반드시 사람이 확인해야 한다. 재정, 성적, 자격, 의료 기록처럼 핵심 업무는 최종 승인권을 사람에게 두어야 한다. 넷째, 모든 행위는 기록으로 남기고 이상 징후는 즉시 탐지해야 한다.

중앙 IT 부서는 이를 제도화할 수 있다. 예를 들어 ‘캠퍼스 에이전트 카탈로그’를 운영해 기능별 위험도를 구분하는 방식이다. 녹색은 읽기 전용, 황색은 내부 쓰기 가능하지만 사람 검증 필요, 적색은 재정·신원 관련 고위험 영역으로 엄격 통제가 필요한 경우다. 또한 승인되지 않은 브라우저 확장이나 무단 API 키 사용을 막으려면, 승인된 경로를 가장 편리하게 제공해야 한다. 사용자가 안전한 선택을 자연스럽게 하도록 만드는 것이 핵심이다.

에이전트 보안은 필수 과제

일부는 언어모델이 내놓는 답변을 사후 검열하면 보안이 확보된다고 보거나, 인터넷에 연결되지 않은 모델은 안전하다고 주장한다. 그러나 실제 사례는 이를 반박한다. 출력만 검열해서는 공격을 막을 수 없고, 오프라인 모델도 플러그인이나 파일 접근이 열리면 똑같이 취약하다.

보안 강화가 비용과 복잡성을 늘린다는 지적도 있다. 하지만 학생 재정 시스템 같은 민감한 영역에서 추가 통제를 두는 비용은 사고 이후 복구 비용에 비하면 훨씬 적다.

결국 위험의 본질은 모델의 지능이 아니라 권한을 가진 채 행동하는 에이전트다. 이미지, 웹페이지, 파일이 새로운 공격 경로로 작동하는 지금, 에이전트는 특권 계정처럼 관리돼야 한다. 최소 권한, 도구 제한, 입력 검증, 행위 기록, 이상 탐지, 사람 검증은 더 이상 선택이 아니다.

본 연구 기사의 원문은 The Urgent Need to Address AI Security: Why AI Agents, Not LLMs, Are the Real Risk Surface를 참고해 주시기 바랍니다. 본 기사의 저작권은 스위스 인공지능연구소(SIAI)에 있습니다.