“증류로 확보한 성능의 허상” 키미 K3 사이버 공격 역량 한계 노출, 中 AI 원천 기술력 시험대

키미 K3, 美·英 공동 연구서 미흡한 사이버 공격 능력 확인돼
모델 증류 학습 방식 한계로 심층 해킹 역량 확보 실패
증류 학습으로 美와 갈등 빚던 中, 원천적 역량 입증 필요성 대두   

중국 문샷AI가 개발한 ‘키미 K3’의 사이버 공격 수행 능력이 미국 최상위 인공지능(AI) 모델들에 크게 미치지 못한다는 영국과 미국 정부 공동 연구 결과가 나왔다. 최근 보안 취약점 탐지 분야에서 폐쇄형 모델에 근접한 성능을 보이며 중국 오픈소스 AI의 기술 추격을 상징하는 모델로 부상한 키미 K3가 복합적인 판단과 실행이 필요한 공격 영역에서는 뚜렷한 약점을 드러낸 것이다. 시장에서는 이러한 격차가 미국 선도 모델의 출력을 대량 학습하는 '증류' 기법의 한계에서 기인했다고 평가한다. 증류 학습은 개발 기간 및 비용을 줄여 표면적인 성능 격차를 좁히는 데는 효과적이지만, 학습 데이터에 담기지 않은 고난도 문제를 해결하는 독자적 역량 확보를 보장하기는 어렵다는 지적이다.

키미 K3의 성능 허점

24일(이하 현지시각) 영국 과학혁신기술부 산하 AI 안전연구소(AISI)와 미국 상무부 국립표준기술연구소(NIST) 산하 AI 표준·혁신센터(CAISI)는 공동 보고서를 통해 키미 K3의 사이버 보안 관련 성능을 평가한 결과를 공개했다. 연구진은 평가를 위해 공개 벤치마크인 '익스플로잇벤치(ExploitBench)'를 활용했다. 익스플로잇벤치는 AI 모델이 소프트웨어 취약점을 분석하고, 이를 악용하는 공격 코드를 얼마나 효과적으로 개발할 수 있는지를 측정하는 평가 체계다. 키미 K3의 익스플로잇벤치 종합 점수는 32.2%를 기록했다. 이는 함께 평가한 미국 최상위 AI 모델들의 평균 점수(76.2%)를 크게 밑도는 수준이다.

특히 격차가 두드러진 항목은 시스템의 완전한 제어권을 획득할 수 있는 최고 수준의 공격인 '임의 코드 실행(Arbitrary Code Execution)' 능력이었다. 키미 K3가 익스플로잇벤치의 41개 과제에서 임의 코드 실행에 한 번도 성공하지 못한 반면, 미국의 선도 AI 모델들은 20개에서 해당 공격을 성공적으로 수행했다. 기업 네트워크 환경을 모의한 '더 라스트 원즈(The Last Ones)' 사이버 레인지 테스트에서도 유사한 결과가 관찰됐다. 4개 서브넷과 20여 개 호스트로 구성된 32단계 공격 경로 과제에서 최첨단 미국 모델들은 평균 28.5단계까지 진입했지만, 키미 K3의 진입 수준은 평균 17단계에 그쳤다. 보고서는 키미 K3가 현재 중국에서 가장 강력한 대형언어모델(LLM) 중 하나로 평가받고 있지만, 사이버 공격 능력 자체는 최신 프런티어급 모델보다 현저히 부족하다고 결론 내렸다.

기존 분석과 정반대 결과

이는 최근 공개된 스위스 보안 기업 아이키도 시큐리티(Aikido Security)의 분석 결과와는 명백히 대조되는 평가다. 아이키도 시큐리티는 지난 16일 발표한 연구에서 키미 K3가 최신 보안 취약점 탐지 능력에서 오픈소스 계열 모델 가운데 가장 뛰어난 성능을 기록했다고 밝힌 바 있다. 이는 공개되지 않은 최신 보안 취약점 26개를 활용해 주요 AI 모델들의 버그 탐지 능력과 비용 효율성을 비교 평가한 결과다.

키미 K3는 26개 가운데 23개의 취약점을 찾아내며 오픈AI의 중간급 모델인 'GPT-5.6 테라(Terra)'와 동일한 수준의 성능을 보였다. 최고급 모델인 'GPT-5.6 솔(Sol)'과 비교하면 약간 밑도는 성과지만, 운영 비용 자체는 솔의 4분의 1 수준에 불과한 것으로 분석됐다. 필리프 두라소프 아이키도 시큐리티 연구원은 해당 평가가 최근 발견된 비공개 취약점을 기반으로 진행됐으며, 키미 K3가 테스트 데이터를 미리 학습했을 가능성은 사실상 없다고 설명했다. 아울러 "이번 결과는 키미 모델의 성능이 매우 큰 폭으로 향상됐다는 것을 보여준다"며 "오픈소스 모델이 더 이상 폐쇄형 최첨단 모델보다 뒤처진다고 보기 어렵다"고 평가했다.

증류 학습 한계 드러나

이처럼 단기간 내에 키미 K3에 대한 상반된 평가가 나온 배경에는 보안 영역의 특성 및 평가 방식의 차이가 있는 것으로 풀이된다. 아이키도 시큐리티의 평가는 코드 내 수동적 취약점을 찾고 방어적 요소를 분석하는 보안 취약점 탐지 능력에 초점을 맞췄다. 반면 미국과 영국이 채택한 익스플로잇벤치, 더 라스트 원즈 테스트는 소프트웨어 결함을 악용해 시스템 제어권을 획득하고 네트워크 침투를 완수하는 능동적 사이버 공격 역량을 측정하는 테스트다. 애초에 평가하고자 하는 요소 자체가 달랐던 셈이다.

전문가들은 이러한 격차가 모델 증류 학습 방식 특유의 구조적 한계에서 기인했다고 본다. 키미 K3는 앤트로픽, 오픈AI 등 미국 주요 AI 기업들이 개발한 최상위 모델의 출력 데이터를 대량 수집해 성능을 끌어올린 것으로 파악된다. 문제는 이들 모델이 유해 질문을 차단하는 고도의 안전 가이드라인에 따라 정교한 사이버 공격 코드, 고난도 익스플로잇 생성 요청 등에 대한 답변을 거부하도록 설계돼 있다는 점이다. 키미 K3가 학습에 사용한 데이터 세트 자체에 유의미한 사이버 공격 알고리즘과 실행 노하우가 담겨 있지 않았을 가능성이 크다는 의미다. 이러한 학습 데이터 공백은 곧 심층 해킹 역량의 부재로 직결된다.

美-中, 적대적 증류 두고 충돌

시장에서는 키미 K3를 둘러싼 갑론을박이 중국의 무분별한 증류 학습에 대한 비판에 재차 불을 붙일 것이라는 분석이 나온다. 증류 자체는 AI 업계에서 흔히 쓰이는 학습 기법이지만, 미국 측은 중국이 미국산 독점 모델 출력을 대규모로 학습해 사실상 복제하는 데 썼다며 이를 지식재산(IP)·안보 문제로 규정 중이다. 미국 AI 기업들 역시 이러한 중국의 행보에 대해 반발하고 있다. 중국 측이 단행하는 증류는 정상적인 연구 목적의 증류가 아닌, 허위 계정과 프록시 네트워크를 대량 동원해 상용 AI 서비스의 답변을 무단 수집하는 이른바 ‘적대적 증류’라는 것이다.

최근 앤트픽은 미 상원과 국방부에 중국 알리바바 산하 AI 연구소가 자사의 최신 AI 모델인 ‘클로드’를 겨냥해 대규모 무단 지식 증류 공격을 감행했다는 내용의 공식 고발 서한을 제출하기도 했다. 알리바바 측이 약 2만5,000개의 허위 계정과 자동 매크로 프로그램(봇넷)을 활용해 단 44일 만에 클로드와 2,880만 건의 대화를 주고받으며 데이터 족보를 통째로 훔쳤다는 것이다. 문샷AI, 딥시크, 미니맥스 등도 약 2만4,000개의 허위 계정을 이용해 클로드와 1,600만 회 이상 문답을 주고받았다고 전해졌다. 이들이 집중적으로 수집한 것은 에이전트 추론, 코딩, 도구 사용, 컴퓨터 제어 등 고난도 기능 관련 정보였다. 오픈AI 역시 앞서 미 의회에 제출한 의견서에서 중국 AI 기업들이 자사 모델을 대상으로 한 무단 증류 시도를 지속하고 있다고 경고한 상태다.

시장 평가 기준 바뀐다

중국 기업들의 증류 수법 역시 빠른 속도로 발전 중이다. 과거의 증류가 일종의 '정답지'를 베끼는 수준이었다면, 최근 들어서는 정답 도출을 위한 논리 구조 자체를 추출해 자사 모델에 주입하는 ‘다단계 심층 증류’가 보편화하는 양상이다. 이에 더해 중국 업체들은 미국 기업의 보안 차단 조치를 우회하기 위해 인터넷 프로토콜(IP)을 미국, 유럽 주소로 끊임없이 위장하며 데이터를 흡수하는 자동화 탈취 체계까지 가동하고 있으며, 미국의 폐쇄형 AI를 증류해 만든 모델을 오픈소스 형태로 전 세계에 무료 배포하는 ‘역수출’ 전략까지 구사 중이다. 시장에서는 이러한 행위가 방치될 경우, 현재 6~9개월 정도인 미국과 중국의 AI 기술 격차가 순식간에 좁혀질 수 있다는 우려가 꾸준히 제기돼 왔다.

하지만 키미 K3의 근본적인 한계가 조명된 현시점, 증류에 대한 시장 인식 역시 방향을 바꿀 가능성이 커졌다. 지금까지 증류 학습을 거친 모델의 주된 평가 대상이 단기간 내 낮은 비용으로 기존 모델에 얼마나 근접한 벤치마크 성능을 구현했는지였다면, 앞으로는 학습 데이터에 없던 문제를 해결하고 새로운 환경에 대응하는 데 필요한 '원천적 지능' 확보 여부가 더욱 중요해질 수 있다. 이와 관련해 한 AI 업계 관계자는 "무단 증류에 대한 미국 측의 반발이 거세지는 상황에서, 키미 K3는 증류가 독자적인 기술 역량 확보로 이어질 수는 없다는 증거가 됐다"며 "앞으로는 중국 AI 업체들도 단순한 성능 추격을 넘어 자체 데이터, 학습 체계, 원천 기술을 얼마나 축적했는지를 입증해야 하는 압박을 받게 될 것으로 보인다"고 진단했다.