인공지능 무기는 사람이 직접 조종하지 않고 목표를 공격할 수 있어
윤리적 문제, 책임 소재 불분명, 검증의 어려움 등 논란이 많아
오는 9월 유엔 총회에서 AI 무기 문제를 논의할 예정
2026년까지 인간 감독 없는 무기 사용 금지 조약 체결이 가능할 것으로 예상돼

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 글로벌AI협회 연구소(GIAI R&D)에서 콘텐츠 제휴가 진행 중입니다.

---

우크라이나의 드론이 국경에서 1,000km 이상 떨어진 러시아 영토 내부로 침투하여 석유 및 가스 시설을 파괴하는 영상이 공개되었다. 전문가들은 이 드론이 인공지능을 활용해 목표 지점에 도달했을 것으로 추정하고 있다. 이러한 무기는 일반적으로 인간의 직접적인 개입 없이도 작동한다.

AI를 탑재한 드론을 포함해, 치명적인 자율 무기(LAWS)의 개발이 가속화되고 있다. 예를 들어, 미국 국방부는 '레플리케이터 프로그램'이라는 소형 무장 자율 운송체 개발 프로젝트에 10억 달러를 투자했다. 자율적으로 조종하고 사격이 가능한 실험용 잠수함, 전차, 함정이 이미 제작되었다. 시중에서 판매되는 드론들도 AI 이미지 인식 기술을 이용하여 표적을 추적할 수 있다. LAWS는 AI 없이도 작동 가능하지만, AI는 이들의 속도, 정확성, 방어 회피 능력을 강화한다. 일부 전문가들은 곧 저렴한 비용으로 AI 드론 군단을 조직하여 특정 개인의 얼굴을 인식하고 제거할 수 있는 시대가 도래할 수 있다고 우려하고 있다.

AI 무기 논쟁, 윤리적 문제와 유엔의 대응

전쟁은 인공지능의 활용이 비교적 간단한 분야다. 미국 UC버클리대 컴퓨터과학 교수이자 AI 무기 반대 운동가인 스튜어트 러셀(Stuart Russell)에 의하면 사람을 식별해 살해하는 시스템을 기술적으로 구현하는 것은 자율주행차를 개발하는 것보다 훨씬 수월하며, 실제로 대학원 수준의 프로젝트로도 구현 가능하다고 한다. 러셀 교수는 2017년 AI 무기의 위험성을 알리는 '슬로터봇'이라는 바이럴 영상 제작에 참여한 바 있다.

전장에 AI가 등장하면서 연구자, 법률 전문가, 윤리학자들 사이에서 논쟁이 심화되고 있다. 일부는 AI가 지원하는 무기가 인간이 직접 통제하는 무기보다 정확도가 높아 민간인 사상자나 주거 지역 피해와 같은 부수적인 피해와 사망 및 불구가 된 군인의 수를 줄일 수 있으며, 취약한 국가와 집단이 스스로를 방어하는 데 도움을 줄 수 있다고 주장한다. 그러나 다른 이들은 자율 무기가 치명적인 실수를 저지를 수도 있다고 반박했다. 무엇보다도 많은 사람들이 결정권을 알고리즘에 맡기는 것이 윤리적 문제를 야기한다고 지적하고 있다.

지난해 12월, 유엔 총회는 국제사회에 위협이 될 수 있는 치명적 자율무기 시스템(LAWS)에 대응하기 위한 결의안을 152개국의 압도적 지지로 채택했다. 이 결의안은 오는 9월 유엔 총회의 의제에 LAWS에 대한 논의를 포함하는 것을 골자로 하고 있다. 안토니우 구테흐스 유엔 사무총장은 지난해 7월, 2026년까지 인간의 감독 없이 작동하는 무기 사용을 금지하는 것을 목표로 설정했다고 발표했다. 이와 관련하여, 하버드대 로스쿨의 인권 변호사이자 휴먼라이츠워치의 무기부서 선임 연구원인 보니 도처티(Bonnie Docherty)는 지난 10여 년 동안 별다른 진전이 없었던 이 주제가 유엔 의제로 채택된 것은 매우 의미 있는 진전이라고 평가하며, "외교는 느리지만, 이는 중요한 한 걸음이다"고 언급했다.

자율 무기 시스템의 정의, 국가별 입장 차이와 협상 방향

무기 사용의 통제와 규제는 수 세기에 걸쳐 이루어져 왔다. 중세 시대의 기사들은 서로의 말을 창으로 공격하지 않기로 합의했으며, 1675년에는 프랑스와 신성 로마제국이 독약 총알의 사용을 금지하기로 동의했다. 현대에는 무기에 대한 주요 국제적 제약이 1983년에 체결된 유엔 특정 재래식무기 금지협약(CCW)을 통해 이루어지고 있다. 이 협약은 예를 들어 실명을 유발하는 레이저 무기의 사용을 금지하는 데 사용됐었다.

자율 무기의 역사도 짧지 않다. 수십 년에 걸쳐 다양한 형태로 존재해 온 자율 무기에는 열 추적 미사일부터, 자율성의 정의에 따라, 미국 남북전쟁 시절의 압력 작동 지뢰까지 포함된다. 그러나 현재 AI 알고리즘의 발전과 적용으로 인해 자율 무기의 기능이 크게 향상되고 있어 문제가 되고 있다.

CCW는 2013년부터 인공지능을 탑재한 무기에 대해 공식적인 조사를 진행해 왔다. 하지만 규제를 통과시키려면 국제적인 합의가 필요하다. 관련 기술을 적극적으로 개발 중인 여러 국가가 금지에 반대하기 때문에 진행 속도는 더딜 수밖에 없었다. 이와 같은 상황을 고려하여, 미국은 지난 3월 법적 구속력이 있는 금지 조치보다는 모범 사례에 대한 자발적 지침을 중시하는 '책임 있는 군사용 인공지능 및 자율성에 관한 정치 선언'을 발표하는 회의를 개최했다.

미국의 선언은 분명 국제 사회의 관심과 참여를 유도하는 데 큰 역할을 했을 것이다. 그러나 더 긴급하고 중요한 문제는 자율 무기 시스템(LAWS)이 실제로 무엇인지에 대한 일관된 합의가 없다는 점에 있다. 2022년의 분석에 따르면, 북대서양조약기구(NATO)와 같은 기구가 제시한 자율 무기 시스템의 정의는 최소 12가지나 된다. 러셀 교수는 이러한 정의들이 너무나도 광범위하여 AI에 대한 명확한 합의는 물론이고 이해조차 제한적이라고 지적했다.

예를 들어 영국은 LAWS가 "더 높은 수준의 의도와 방향을 이해할 수 있다"고 말하는 반면, 중국은 이러한 무기가 "인간의 예상을 뛰어넘는 방식으로 자율적으로 배우고, 기능과 성능을 확장할 수 있다"고 이야기한다. 반면 이스라엘은 "기계가 스스로 발전하고, 제작되며, 작동하는 것은 공상과학 영화에서나 볼 수 있는 상상에 불과하다"고 명시했다. 독일은 "자아 인식"을 자율 무기에 필요한 속성으로 포함했는데, 대부분의 연구자는 현재 AI로는 이러한 특성을 가지는 게 불가능하다고 말하며, 설령 가능하더라도 상당한 시간이 걸릴 것이라고 꼬집었다.

보다 포괄적이고 구체적이며 현실적인 법의 정의가 마련되어야 하겠지만, 일부 전문가들은 이를 조금 미뤄둘 수 있다고 주장한다. 도처티 교수는 보통 군축법 분야에서 정의를 내리는 문제는 협상의 마지막 단계에서 다루는 경우가 많다고 설명했다. 기본적인 수준의 정의 정도만 있으면 협상 과정을 시작할 만하며, 동시에 이는 반대하는 국가들의 초기 반발을 누그러뜨리는 데도 도움이 될 수 있다고 한다.

AI 무기의 전략적 이점과 불확실성

덴마크 남부대학(SDU)의 전쟁연구센터가 지난해 발표한 분석에 따르면, 현재 군에서 사용 가능한 AI 기반 자율 무기는 아직 상대적으로 원시적인 수준이라고 한다. 이러한 무기들은 속도가 느리고 조작이 까다로운 드론이며, 본체와 목표물을 동시에 파괴할 수 있는 정도의 폭발물만 장착하고 있다.

하지만 AI 드론과 같은 '배회 폭탄'(loitering munition)은 최대 50km까지 폭발물을 운반해 차량을 파괴하거나 개별 병사를 사살할 수 있다. 이 무기들은 내장된 센서를 통해 광학, 적외선, 무선 주파수를 감지하여 잠재적인 목표를 찾고, AI는 이 센서 데이터를 탱크, 장갑차, 레이더 시스템, 심지어 인간에 이르기까지 미리 정의된 목표 프로필과 비교해 목표물을 식별할 수 있다.

또한 전문가들은 자율 폭탄이 원격 조종 드론에 비해 가지는 주요 이점 중 하나는 적이 전자 통신을 방해하는 장비를 사용하더라도 작동한다는 것이라고 강조했다. 아울러 자율 조작이기 때문에 원격 조종자가 적에게 추적되어 공격받을 위험도 없다.

사실 군에서 이러한 데이터를 공개하지 않기 때문에 AI 무기가 전장에서 얼마나 잘 작동하는지 정확히 파악하기는 어렵다. 일례로 지난해 9월 영국 의회 조사에서 AI 무기에 대해 직접적인 질문을 받은 영국 전략사령부의 부사령관인 톰 코핑거-심즈는 구체적인 언급을 피했다. 그는 단지 영국군이 자율 시스템과 비자율 시스템을 비교 평가하는 벤치마킹 연구를 진행 중이라고만 밝혔다. "옛날 방식처럼 10명의 이미지 분석가가 같은 대상을 살펴보는 것과 비교했을 때, 이것(AI)이 투자한 비용만큼의 가치를 제공하는지 확인하는 것은 불가피하다"고 그는 설명했다.

비록 실제 전투 데이터가 부족하지만, 연구자들은 AI가 뛰어난 처리 및 의사결정 능력으로 상당한 이점을 제공할 수 있다고 주장한다. 예를 들어, 매년 실시되는 이미지 인식 테스트에서 알고리즘은 거의 10년 동안 전문가들의 인지 능력을 능가해 왔다. 또한, 최근 연구에 따르면 AI는 과학 논문에서 중복 이미지를 인간 전문가보다 더 신속하고 광범위하게 탐지할 수 있다고 한다. 게다가 2020년에는 AI 모델이 가상 공중전에서 베테랑 F-16 전투기 조종사를 이겼고, 2022년에는 중국 군사 연구진이 AI 드론이 인간 조종사가 원격으로 조종하는 항공기를 제압한 것으로 보고했다.

워싱턴 DC 국제전략문제연구소(CSIS)의 보안 분석가인 잭 캘런본(Zak Kallenborn)은 드론 AI는 특정 기동 방법, 적기와의 거리, 공격 각도 등에 대해 매우 복잡한 결정을 내릴 수 있다고 강조했다. 그러나 캘런본은 특히 양측 모두 AI 무기에 접근할 수 있는 상황이라면, 이 무기들이 어떤 전략적 이점을 제공하는지는 아직 확실하지 않다고 지적했다. 그는 "문제의 대부분은 기술 자체가 아니라 군대가 그 기술을 어떻게 사용하는지에 달려있다"고 덧붙였다.

책임 소재의 모호성과 인간 개입의 필요성

자율 무기의 윤리성을 평가하는 데 자주 사용되는 핵심 기준 중 하나는 신뢰성, 즉 예상치 못한 사고의 가능성이다. 2007년 영국군은 자율 유도 미사일인 브림스톤이 아프가니스탄에서 버스에 탄 학생들을 무장 세력이 탄 트럭으로 오인할까 우려해 급히 설계를 변경한 적이 있다.

캘런본은 AI 무기가 적외선이나 강력한 레이더 신호를 쉽게 식별할 수 있기 때문에, 어린이가 고성능 레이더를 배낭에 넣고 다니지 않는 이상, AI 무기가 민간인에게 해를 끼칠 가능성은 매우 낮다고 말했다. 그러나 시각적 이미지 인식은 더 많은 문제를 안고 있다며, 카메라와 같은 센서에만 의존하는 시스템은 오류가 발생할 가능성이 훨씬 높다고 설명했다. AI가 이미지 인식에서 우수하지만 완벽하지 않으며, 연구에 따르면 이미지에 아주 미세한 변화만 주어도 신경망 모델이 이미지를 잘못 분류할 수 있다고 한다. 예를 들어, 항공기를 개로 잘못 인식하는 일도 발생한다고 그는 언급했다.

윤리학자들이 주목하는 또 다른 기준은 무기의 사용 용도다. 공격용이냐 방어용이냐에 따라 의견이 극명하게 갈린다. 방어형 무기는 사람이 아닌 무기 자체를 목표로 하며, 신호를 잘못 인식할 가능성이 작아 윤리학자들이 상대적으로 더 용인하는 경향이 있다. 인간의 개입 여부도 중요한 기준 중 하나다. 유일하게 연구원들과 군 관계자들 사이에서 공통적으로 제안하는 원칙 중 하나는 자율 무기 시스템에 인간의 개입이 필수로 있어야 한다는 것이다. 하지만 인간이 어디에서 어떻게 개입해야 하는지는 여전히 논쟁의 여지가 있다. 많은 사람은 일반적으로 인간이 공격을 승인하기 전에 목표물을 맨눈으로 확인해야 하며, 상황이 바뀌는 경우 (예: 민간인이 전투 지역에 진입할 경우) 공격을 중단할 수 있어야 한다고 입을 모았다.

이에 일부 시스템은 상황에 따라 완전 자율 모드와 인간 지원 모드 사이를 전환할 수 있도록 지원한다. 그러나 전문가들은 이것만으로는 부족하다고 지적하는데, 인간에게 자율 기능을 비활성화하라고 요구하는 것은 진정한 의미에서 통제가 아니라는 것이다. 하지만 완전 자율 무기 역시 책임 소재를 더욱 모호하게 만든다. 도처티 교수는 "당연히 무기 자체에 책임을 물을 수 없기 때문에, 자율 무기의 활용이 책임의 사각지대에 빠질 것을 매우 우려한다"고 말했다. 또한 무기가 자율적으로 작동하는 상황에서 조작자에게 책임을 묻는 것은 법적·윤리적으로 매우 어려울 것이라고 덧붙였다.

자율 무기에 관한 논의에서 최소한 한 가지 사항에는 모든 이들이 동의하는 것으로 보인다. 미국과 중국을 포함하여 일반적으로 통제를 반대하는 국가들도 AI를 포함한 자율 시스템이 핵무기 발사 결정에 관여해서는 안 된다는 점을 인정하고 있다. 그러나 러시아는 인간 개입 없이 서방에 대한 선제 핵 공격을 수행할 수 있는 '페리미터(Perimetr)'라는 냉전 시대의 프로그램을 부활시켰다고 알려져 있다. 이 문제로 인해 미국과 중국은 여러 자율 무기 회담에서 러시아에 전략 변경을 요구하며 압박을 가하고 있다.

AI 무기 규제, 검증과 감시 어려워

안타깝게도 캘런본의 보고에 따르면 자율 무기의 사용에 대한 금지 조치는 검사와 감시를 통한 집행이 어렵다고 한다. 이는 일반적으로 다른 규제 대상 무기들에 적용되는 '신뢰하되 검증하라'는 방식이 자율 무기에는 적용되지 않음을 의미한다. 예컨대 핵무기는 핵물질에 대한 현장 사찰과 감사 시스템이 잘 마련되어 있지만, AI는 상황에 따라 쉽게 숨기거나 변경될 수 있다.

단지 몇 줄의 코드를 변경함으로써 기계가 스스로 폭파를 결정하도록 만들 수 있는 것이다. 코드를 삭제했다가 무기 통제 검사관이 떠난 후 다시 추가하는 것도 가능하다. 이러한 사실은 무기 시스템과 군비 통제에서 '검증'이라는 개념을 재고해야 할 필요성을 시사한다. 이에 캘런본은 검사를 생산 시점이 아닌 사후에 실시해야 할 수도 있다고 제안했다.

이러한 문제들은 9월 유엔 총회에서 논의될 주요 안건이 될 예정이다. 또한 대화를 촉진하기 위해 오스트리아는 4월 말에 사전 컨퍼런스를 개최할 계획이다. 도처티 교수의 말에 따르면, 9월에 많은 국가들이 조치를 취하기로 결의하면 유엔은 이 문제를 구체화하기 위한 실무 그룹을 구성할 가능성이 높다고 한다.

2017년 유엔 핵무기 금지 조약 협상에서 중요한 역할을 한 도처티 교수는 조약이 3년 이내에 체결될 수 있다고 전망했다. "경험에 비추어 볼 때, 협상이 시작되면 상대적으로 빠르게 진행된다"고 그녀는 내다봤다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.