구글·MS, AI 악용하는 피싱 공격 취약점 발견
사용자에게 보이지 않는 악성 프롬프트 실행
생성형 AI 등장 이후 피싱 공격 1,265%↑

구글 ‘제미나이’, 마이크로소프트(MS) ‘코파일럿’ 등 생성형 AI(인공지능)를 피싱 공격에 악용할 수 있는 취약점이 발견됐다. 해커가 이메일에 악성 프롬프트를 숨긴 뒤 AI가 명령을 처리하는 과정에서 이를 읽도록 유도하는 것이다. AI 기술이 일상생활로 스며드는 가운데 이를 활용한 사이버 공격도 고도화되는 모양새다.

이메일에 악성 프롬프트 숨긴 뒤 AI가 읽도록 유도

17일 테크레이더 등 IT 매체에 따르면 미국 비영리단체 모질라재단의 보안 연구진은 버그 바운티 플랫폼 오딘(0DIN)을 통해 제미나이의 지메일 연동 기능에서 발생하는 프롬프트 공격 취약점을 공유했다. 해커는 악성 프롬프트가 담긴 피싱 이메일을 보낸다. 이 프롬프트는 사용자가 확인할 수 없도록 글꼴 크기를 ‘0′으로 설정하고 색상을 흰색으로 지정했다. 링크나 첨부파일을 사용하지 않기에 지메일 스팸 필터도 걸러내지 못했다.

사용자가 지메일에 탑재된 제미나이로 이메일 요약 생성을 요청하면 AI가 메일함 속 다양한 이메일을 읽어 들인다. 이 과정에서 제미나이는 사용자에게 보이지 않는 악성 프롬프트를 함께 분석하고 그 지시에 따르게 된다. 악성 프롬프트를 읽은 제미나이는 사용자의 지메일 비밀번호가 유출됐다는 경고와 함께 고객센터 번호가 담긴 메시지를 띄웠다. 사용자는 제미나이 대화창에서 나오는 정보인 만큼 이를 진짜 경고로 받아들일 가능성이 크다. 이런 취약점이 지메일뿐 아니라 구글 워크스페이스 전반으로 확산할 수 있는 점도 위험 요소다. 구글 문서 도구나 드라이브 등에도 비슷한 요약 기능이 있기 때문이다. 조직 내 공유 문서나 뉴스레터에 악성 프롬프트가 삽입될 경우 전사적으로 악성 메시지가 퍼질 가능성이 있다.

MS의 ‘MS 365 코파일럿’에서도 비슷한 보안 취약점이 발견됐다. 이스라엘 사이버보안 기업인 에임 시큐리티는 지난달 11일 취약점 ‘CVE-2025-32711’을 발견했다고 밝혔다. 이 취약점 역시 해커가 보이지 않는 악성 프롬프트를 포함한 이메일을 발송한다. 이후 코파일럿이 이 이메일을 요약하거나 분석하는 과정에서 지시가 실행된다. 이 경우 ‘거대언어모델(LLM) 범위 위반’이 일어나는데, 이는 특정 지침이 내려지면 AI가 사용자 동의 없이 신뢰할 수 있는 데이터에 접근하는 상황을 뜻한다. 해커는 AI 에이전트가 요약 정보를 제공하기 위해 이메일을 스캔하는 점을 악용했다. 이를 통해 MS가 마련한 AI 보호 장치를 우회할 수 있었던 것으로 파악됐다. 해커는 사용자의 아웃룩 이메일, 원드라이브 저장소, 오피스 파일 등 MS 워크스페이스 전반에서 민감한 정보를 추출할 수 있었다.

가짜 AI 챗봇도 기승

AI 플랫폼을 사칭하는 피싱 공격도 급증하고 있다. 딥시크, 챗GPT, 소라 등 인기 생성형 AI를 모방한 가짜 웹사이트들이 등장해 사용자 계정과 결제 정보를 탈취하고 있다. 일례로 가짜 소라 다운로드 사이트를 통해 악성 파일이 배포됐고, 해당 악성코드는 텔레그램(Telegram) API를 통해 피해자의 시스템 정보와 로그인 데이터를 공격자에게 전송했다. 이들은 가짜 소셜미디어(SNS) 계정을 이용해 피싱 사이트를 적극 홍보하기도 했다.

특히 교육기관을 겨냥한 피싱 공격이 224% 급증했다. 이는 신규 학생 등록 시즌과 학자금 지원 마감일 등 주요 시기에 집중됐다. 공격자들은 공식 대학 포털을 복제하거나, 구글폼(Google Forms)을 사칭한 설문조사 링크를 통해 로그인 정보를 수집했다. 또한 캡차(CAPTCHA)를 이용해 사이트의 합법성을 위장하고, AI 기반 자동 탐지를 방해하는 수법도 등장했다.

피싱 수법도 AI 기술과 함께 고도화되고 있다. 특히 기술 지원 사칭형 보이스피싱 공격이 확산되고 있는데, 2024년 한 해 동안 전 세계 1억5,914만8,766건의 기술 지원 사칭 피싱이 발생한 것으로 파악됐다. 이들은 전화 통화로 피해자에게 인증 코드를 요구하거나, 문자 메시지로 추가 행동을 유도한다.

AI로 영상·음성 위조 '맞춤 사기'

이처럼 불황을 모르고 기승을 부려온 보이스피싱 범죄가 AI 등 첨단 기술과 결합하면서 피해가 눈덩이같이 불어나고 있다. 불특정 다수에게 임의로 전화를 걸어 사기를 시도했던 과거와 달리, 최근엔 온라인이나 AI를 통해 개인 정보를 입수한 상태에서 실행하는 ‘맞춤형 사기’가 늘고 있기 때문이다.

특히 SNS 등에서 확보한 사진·영상을 바탕으로 영상과 목소리를 위조하는 딥페이크(Deepfake)·딥보이스 기술까지 등장하면서 가족들도 감쪽같이 속이는 수준까지 범죄가 진화했다. 경찰청에 따르면 올해 상반기(1~6월) 국내 보이스피싱 피해 액수는 6,421억원으로 집계됐다. 상반기 기준 역대 최고 액수다. 올해 보이스피싱 피해 액수도 사상 처음으로 1조원을 넘길 것이란 전망이다.

그간 보이스피싱은 금융·기술 범죄에 취약한 일부 5070 중장년층만 피해를 입는다는 인식이 강했다. 대포폰·대포통장 등 범행 수단만 잘 단속하면 억제할 수 있는 범죄쯤으로 여기는 분위기도 있었다. 그러나 범죄 조직 규모가 커지고, 수단까지 고도화하면서 보이스피싱 범죄는 연령대를 불문하고 누구든 당할 수 있는 수준으로 진화했다. 경찰 관계자는 “보이스피싱 수사는 창과 방패의 싸움”이라며 “최근에는 보이스피싱 조직이 캄보디아 등 해외를 근거지로 삼는 경우가 많아 검거하기 어려울뿐더러, 단속을 피하는 방법도 계속해서 발전하고 있어 억제가 쉽지 않다”고 전했다.