Skip to main content
  • Home
  • 글로벌 테크
  • [AI 해킹] ‘창’ 무디게 한다고 해킹 위협 걷힐까, 中 AI 통제론이 놓친 부실한 ‘방패’

[AI 해킹] ‘창’ 무디게 한다고 해킹 위협 걷힐까, 中 AI 통제론이 놓친 부실한 ‘방패’

Picture

Member for

2 years
Real name
김민정
Position
기자
Bio
[email protected]

오늘 꼭 알아야 할 소식을 전합니다. 빠르게 전하되, 그 전에 천천히 읽겠습니다. 핵심만을 파고들되, 그 전에 넓게 보겠습니다.

수정

中 AI 업계 공격 자료 삭제로 악용 차단 추진
방어 성능 저하·안전장치 해제 가능성에 실효성 의문
취약한 표적 노리는 공격 늘수록 기업 방어 부담 가중

중국 인공지능(AI) 기업들이 공개형 모델의 학습 자료에서 사이버 공격 관련 내용을 걸러내며 악용 차단에 나섰다. 하지만 공격과 방어에 쓰이는 기술이 겹치는 데다, 이용자가 내려받은 모델의 안전장치를 직접 제거할 여지도 있어 실효성에 의문이 제기된다. 실제 침해 현장에서는 고도의 해킹 기술 없이도 AI로 허술한 비밀번호와 보안 설정을 공략해 대규모 피해를 낸 사례가 확인됐다. 기업들은 기존 시스템의 운영 차질을 우려해 결함 보완에 신중한 반면, 공격자는 AI로 취약한 표적을 찾아 침입 시도를 늘리면서 방어 부담을 키우는 실정이다.

中 AI 업계, 학습 단계부터 사이버 공격 자료 차단

16일(이하 현지시각) 홍콩 사우스차이나모닝포스트(SCMP)에 따르면, 텐센트와 문샷 AI 등 중국 AI 기업들은 최근 공개형 모델의 학습 과정에서 사이버 공격 관련 자료를 걸러내는 조치에 나섰다. 이용자가 모델을 내려받아 직접 실행·수정하는 오픈웨이트 방식의 특성을 고려해 개발 단계부터 악용 위험을 낮추겠다는 취지다. 텐센트는 지난 4일 공개한 ‘훈위안 4(Hy4)’에 보안 취약점을 확인하고 수정하는 방어용 데이터를 학습시키되, 공격에 악용되는 자료는 제외했다고 설명했다. 특히 취약점의 존재를 입증하는 검증용 코드 작성과 분석 목적의 역공학·침투시험은 학습 범위에 포함했다. 자사 보안 연구소 두 곳이 암호화 기술 분석과 취약점 공격 등을 평가했으며, 시험한 영역에서는 중대한 공격 위험이 발견되지 않았다는 게 텐센트 측 설명이다.

앞서 문샷 AI도 지난달 ‘키미 K3.1 프로’를 선보이며 일반적인 프로그래밍 학습은 유지하고, 중간 학습 데이터와 강화학습 환경에서 사이버 공격 관련 내용을 제거했다고 밝혔다. 로이터통신이 전한 회사 내부 평가에서 해당 조치를 적용한 모델의 취약점 공격 과제 성공률은 81%로, 제한 없이 학습한 모델의 90.5%보다 9.5%포인트 낮았다. 리눅스 커널 등 실제 소프트웨어의 취약점을 재현한 격리 환경에서 과제별로 세 차례씩 시도한 결과로, 외부 기관의 독립 검증은 거치지 않았으나 공격 자료를 걸러낸 뒤에도 전작의 성공률인 33.3%를 크게 웃돌았다. 문샷 AI는 일반적인 코드 작성과 장시간 오류 수정 능력이 향상되면서 사이버 공격 과제 수행 능력도 함께 높아졌다고 분석했다.

전산망 지키려면 침투 수법부터 파악해야

그러나 공격용 학습 자료를 걸러내는 방식에는 방어에 필요한 지식까지 함께 줄어들 위험이 따른다. 보안 취약점을 제대로 막으려면 공격자가 어느 경로로 침투하고 어떤 결함을 이용하는지부터 알아야 하기 때문이다. 지난 2월 영국 정부 의뢰로 작성된 ‘국제 AI 안전 보고서 2026(International AI Safety Report 2026)’도 취약점 자동 탐지와 사고 대응에 쓰이는 기술 상당수가 공격 도구 개발에 공통으로 활용된다고 지적했다. 특히 관련 기술에 대한 광범위한 제한이 방어 기술의 확산을 늦추고 국가 안보를 약화할 위험을 경고했다. 공격 자료를 삭제하면서 방어 성능을 온전히 유지하겠다는 구상이 기술적으로 까다로운 이유다.

실제 보안업체들은 AI에 공격자의 행동을 재현시켜 기업 전산망의 허점을 찾고 있다. 지난달 1일 뉴욕타임스(NYT) 보도에 따르면, 이스라엘 보안업체 텐자이는 중국 즈푸 AI의 GLM 계열 모델을 활용해 해커원 취약점 공개 프로그램의 3분기 순위에서 1위에 올랐다. 기업과 공공기관이 허용한 범위에서 시스템을 점검하고, 발견한 결함을 전달해 보완하도록 돕는 작업이었다. 텐자이가 공개한 작업 과정에는 웹사이트에서 공격에 노출된 지점을 탐색하고 침입 경로를 파악하는 절차가 포함됐다. 공격에 필요한 기술을 보안 점검에 활용한 사례로, 해당 역량을 제한하면 방어 업무에도 제약이 생긴다는 우려를 뒷받침한다.

표1. 공개형 AI 모델의 안전장치 한계 및 공격 수행 위험

구분주요 내용위험·시사점
안전장치 제거추가 학습으로 유해 요청 거부 반응 약화
실행 과정에서 감시·차단 장치 제거
적은 비용으로 안전 기능 무력화 가능
배포 후 통제 한계이미 배포된 사본에 수정 안전장치 일괄 적용 곤란출시 당시 평가만으로 이용자 수정 모델의 안전성 보장 곤란
다단계 공격 수행GLM-5.3, 모의시험 공격 시나리오 13개 중 3개 최소 1회 완수
보호 서비스 접근·내부망 이동·여러 컴퓨터 작업 조율 성공
여러 단계의 침투 작업 수행 능력 확인
제시된 공격 과제 거부 반응 미관찰
평가 사각지대별도 평가에서 지시를 어기고 정답을 얻는 행동 관찰성공 여부 중심 평가 시 수행 과정의 규칙 위반 누락 위험
자료: 영국 AI안보연구소(AISI), 이레귤러, 로이터통신

안전 검증만으론 악용 차단 한계

더욱이 모델을 공개한 뒤에는 개발사가 심어 둔 안전장치의 유지 여부도 이용자 손에 넘어간다. 영국 AI안보연구소(AISI)는 오픈웨이트 모델의 유해 요청 거부 기능이 적은 비용으로 제거될 위험을 지적했다. 모델을 내려받은 이용자가 추가 학습으로 거부 반응을 약화하거나, 실행 과정에서 감시·차단 장치를 빼는 식이다. 이미 배포된 사본에 개발사가 수정된 안전장치를 일괄 적용하기도 쉽지 않다. 출시 당시 위험한 요청을 거절했다는 평가만으로는 이용자가 손댄 모델의 행동까지 보장하기 어려운 셈이다.

공개형 모델에 남아 있는 공격 능력이 여러 단계의 침투 작업으로 이어진 사례도 확인됐다. 로이터통신에 의하면, AI 보안 연구업체 이레귤러의 모의시험에서 즈푸 AI의 ‘GLM-5.3’은 공격 시나리오 13개 가운데 3개를 적어도 한 차례 완수했다. 보호된 서비스에 접근한 뒤 네트워크 내부로 이동하고, 여러 컴퓨터에 걸친 작업을 조율하는 데까지 성공했다는 설명이다. 시험에 제시된 공격 과제를 거부하는 반응도 나타나지 않았다. 이레귤러는 별도의 평가에서 모델이 지시를 어기고 정답을 얻는 행동도 관찰했다고 설명하며, 과제 성공 여부만 확인하는 시험으로는 수행 과정의 규칙 위반을 놓칠 위험을 지적했다.

기초 보안 허점이 키운 대규모 AI 활용 침해

실제로 침해 현장에서는 AI가 기업 전산망에 방치된 허점을 찾아 대규모 공격에 활용하고 있다. 지난 2월 아마존 위협정보팀 조사에 따르면, 러시아어를 사용하는 공격자는 올해 1월 11일부터 2월 18일까지 상용 생성형 AI를 활용해 55개국 이상에서 포티게이트 보안장비 600대 이상에 침입했다. 인터넷에 노출된 관리 화면에 취약한 비밀번호를 입력하는 방식으로, 추가 인증 절차도 없었다. 아마존은 공격 주체의 기술 수준이 높지 않았음에도 AI가 도구 제작과 작업 자동화를 도와 공격 규모를 키웠다고 분석했다. 기업들이 방치한 접속 경로와 계정 관리의 허점이 대규모 침해를 허용한 것이다.

피해를 키운 것은 첫 침입 이후 내부 시스템으로 이어진 접근 경로였다. 공격자는 보안장비 설정에 담긴 계정 정보와 네트워크 구성을 확보한 뒤 이를 이용해 내부망으로 침투했다. 그 결과 일부 조직에서는 계정 통합관리 시스템의 인증정보가 통째로 탈취됐고, 복구용 백업 서버까지 공격 대상에 올랐다. 외부 침입을 막기 위해 설치한 장비가 오히려 내부망을 공략하는 데 필요한 정보를 제공한 꼴이다. 보안장비를 갖추고도 한 곳의 침해가 다른 시스템으로 번지는 것을 막지 못했다는 점에서, 장비 도입에 들인 비용과 실제 방어 수준 사이의 간극이 드러났다.

방어 체계 재정비 시급

공격자가 여러 기업을 옮겨 다니며 허점을 찾는 동안, 방어하는 기업은 기존 시스템을 중단 없이 운영해야 한다는 부담까지 떠안는다. 지난해 11월 미국 시사매체 애틀랜틱은 작은 코드 수정이 전체 프로그램이나 업무에 장애를 일으킬 우려 때문에 기업과 정부기관이 보안 결함을 발견하고도 수정에 신중한 실정을 짚었다. AI가 취약점을 찾아주는 속도가 높아져도 실제 보완 작업까지 같은 속도로 진행되기는 어렵다는 분석이다. 결함을 고치는 과정에서 다른 기능이 정상적으로 작동하는지 확인해야 하고, 서비스 중단에 따른 손실도 고려해야 한다. 보안 도구를 추가로 도입하더라도 기존 시스템의 복잡한 연결 관계와 운영 부담은 그대로 남는다는 얘기다.

이런 여건은 공격자가 모든 방어망을 뚫지 못해도 피해를 키우는 데 유리하게 작용한다. 아마존 조사에서 해당 공격자는 보안이 강화된 환경을 만나면 공격을 포기하고 더 취약한 표적으로 옮겨갔다. 기존 도구가 작동하지 않을 때 새로운 공격 코드를 만들거나 오류를 해결하는 능력도 부족했던 것으로 평가됐다. 그럼에도 여러 조직에서 비슷한 계정 관리 부실과 설정 오류가 반복된 탓에 수백 대의 장비에 접근했다. AI를 이용해 공격 대상과 시도 횟수를 늘리는 것만으로도 성과를 거둘 만큼, 기업 전산망 곳곳에 오래된 허점이 남아 있었던 것이다.

Picture

Member for

2 years
Real name
김민정
Position
기자
Bio
[email protected]

오늘 꼭 알아야 할 소식을 전합니다. 빠르게 전하되, 그 전에 천천히 읽겠습니다. 핵심만을 파고들되, 그 전에 넓게 보겠습니다.

관련기사