지난달 30일(현지 시간) CNN 등 외신에 따르면 350명 이상의 AI 관련 전문가로 구성된 ‘AI 안전센터(CAIS)’가 공동성명을 통해 "AI로 인한 핵전쟁 등 인류 멸종 위험"을 경고했다. 인공지능(AI) 위험성에 대한 과제를 논의하며 관련 문제를 전 세계에 알린다는 목적이다. 350인의 전문가에는 샘 알트만 오픈AI CEO, 케빈 스콧 마이크로소프트 최고기술책임자 등 주요 기업인이 포함된 것으로 알려졌다.

이처럼 최근 AI의 오남용으로 인한 우려가 끊이지 않는 가운데, 전 세계적으로 AI에 대한 규제 움직임이 확산되고 있다. 유럽연합(EU)은 2021년부터 논의된 ‘AI 규제법(AIA) 초안이 유럽의회 상임위원회를 통과하며 급물살을 타고 있다. 현재 유럽 의회는 5월 11일 마련된 법안 초안에 원칙적으로 합의가 이뤄진 상태며 이후 유럽 의회와 유럽연합 이사회, 유럽연합 집행위원회(EC) 대표들이 최종안을 마련하기 위해 논의할 예정이다.

생체 인식, 법 집행 등에 활용되는 고위험 AI 도구 규제

EU의 AI 규제법은 AI 시스템을 위험 수준에 따라 최소위험(minimal risk), 제한된 위험(limited risk), 고위험(high risk), 수용불가위험(unacceptable risk) 등 4단계로 분류하고, 단계별로 다른 강제 규칙을 적용하고 있다. 특히 '고위험' AI 시스템의 안전한 활용을 위해 시스템 공급자뿐만 아니라 사용자, 수입업자, 유통업자 및 제3자에게도 엄격한 법적 의무 부여하고 있다.

법안은 의료기기, 장난감, 기계 등 특정 제품의 안전부품과 생체인식·분류, 사회 기반시설의 관리·운영, 교육기관의 입학·평가, 채용·인사평가, 필수 공공·민간 서비스, 법 집행, 이민·난민·출입국 통제, 사법을 위해 활용되는 AI 시스템 등을 고위험으로 분류하고 있다.

공급자의 의무

공급자는 고위험 AI 관리를 위한 시스템을 구축, 문서화해야 한다. 여기에는 예측 가능한 오남용으로 발생할 수 있는 위험 추정 및 시판 후 모니터링을 통해 수집된 데이터에 기반한 단계별 위험 관리 조치 등이 포함된다. 특히 위험 관리는 AI 도구의 수명 주기 동안 실행되는 반복적인 프로세스로 구성돼야 하며, 정기적으로 업데이트해야 한다.

고위험 AI 시스템의 시장 출시 전에는 법률 사항을 준수하고 있음을 입증하기 위해 적합성 평가 및 기술문서를 작성해야 한다. 기술문서는 인증기관이나 감독기관의 평가에 필요한 모든 정보를 제공하는 방식으로 작성돼야 하며, 최신 상태로 유지돼야 한다. 또한 공개적으로 사용 가능한 EU 데이터베이스에 고위험 AI 시스템을 등록해야 하는 의무를 지닌다.

나아가 공급자는 사용자에게 디지털 형식의 사용 안내서 및 지침을 제공해야 하며, 고위험 AI 시스템의 오작동으로 심각한 사고 및 재산 피해가 발생한 경우에는 15일 이내에 감독기구에 보고해야 한다. 공급자가 수입업자를 확인할 수 없는 경우에는 EU 내에 권한을 가진 자연인 또는 법률가를 대리인으로 지정해야 한다. 또한 누구라도 자신의 이름, 상표로 고위험 AI 시스템을 시장에 출시하거나 서비스하는 경우 또는 이미 시장에 출시된 고위험 AI 시스템에 수정이 요구되는 경우에는 공급자로서의 법적 의무를 지게 된다.

사용자의 의무

사용자에게도 시스템 목적에 맞는 인풋 데이터 활용, 시스템 모니터링, 위험인지 시 통보, 데이터 보호 영향평가 수행 등의 의무가 부과된다. 여기서 사용자란 AI 시스템을 사용하는 자연인 또는 법률가, 공공기관, 에이전시 등 기관을 의미하며, 개인이 비영리적 활동을 위해 사용하는 경우는 제외한다.

사용자에게는 공급자가 제공한 사용 지침에 따라 고위험 AI 시스템을 사용해야 하며, 시스템에 의해 생성된 위험을 해결하기 위해 기술적․관리적 조치를 취해야 할 의무가 부여된다. 만일 고위험 AI 시스템이 건강·안전·기본권 위험을 초래할 수 있다고 판단되면 공급자 또는 유통업자에게 이를 알리고 시스템 사용을 중지해야 한다.

또한 사용자는 자신이 통제할 수 있는 범위 내에서 고위험 AI 시스템에서 자동 생성된 로그를 보관해야 하며, 해당 로그는 의도된 목적과 연합 또는 국내법에 따른 적용 가능한 법적 의무에 의거한다. 아울러 고위험 AI를 활용한 결과물이 EU에서 사용될 경우 회원국 외 타국에 존재하는 공급자, 사용자에게도 고위험 AI 시스템에 부과되는 의무가 적용된다. 위반 시 침해의 성격, 심각성, 침해기간·결과, 사업자 규모 및 시장 점유율, 시정노력 정도 등을 고려해 과징금을 부과한다.

수입업자의 의무

수입업자는 공급자가 시장 출시 전 적합성 평가 등 절차를 수행하고 기술문서를 작성했는지, 시스템에 요구되는 적합성 표시가 있는지, 필수 문서 및 사용 안내서가 함께 제공되는지 여부를 확인해야 한다. 만일 이를 준수하지 않았을 경우 해당 규정이 준수될 때까지 시스템을 시장에 출시할 수 없으며, 고위험 AI 시스템이 수입업자의 책임하에 있는 동안에는 보관 또는 운송 조건 등이 주어진 요구사항을 준수하는 데 위협이 되지 않도록 해야 한다.

또한 관할당국의 합리적 요청이 있을 경우에는 공급자가 주어진 요구사항을 준수하고 있음을 입증하는 데 필요한 모든 정보와 문서를 이해할 수 있는 언어로 제공해야 한다. 여기에는 사용자와의 계약 또는 기타 법률에 의해 공급자의 통제를 받는 범위를 비롯해 자동 생성된 로그 액세스 등 요구사항 준수 입증에 필요한 모든 정보가 포함된다. 이어 고위험 AI 시스템이 국가적 차원의 위험 징후를 보이는 경우에는 공급자와 감독기관에 통지해야 한다.

유통업자의 의무

유통업자는 고위험 AI 시스템을 시장에 출시하기 전에 CE 적합성 마크가 있는지, 필수 문서 및 사용 지침이 첨부됐는지, 공급자와 수입업자가 명시된 의무를 준수했는지 등을 반드시 확인해야 한다. 국가적 차원의 위험 징후가 보이는 경우에는 공급자, 수입업자에게 그 영향을 알려야 하며, 관할 당국에 즉시 보고하고 미준수 및 시정조치 등 세부 사항에 관한 정보를 제공해야 한다.

시장에 출시된 고위험 AI 시스템이 명시된 법률을 준수하지 않았다고 판단되는 경우에는 법규정 준수를 위한 시정조치, 회수, 리콜 등의 조치를 취하거나 공급자, 수입업자가 직접 해당 시정조치를 취하도록 해야 한다. 아울러 관할 당국의 합리적 요청이 있을 시에는 당국에 고위험 AI 시스템의 요구사항 준수 입증에 필요한 모든 정보와 문서를 제공하고 당국이 취하는 모든 조치에 대해 협력해야 한다.

집행과 처벌

EU는 AI 규제법은 각국의 규제기관을 대상으로 광범위한 집행 권한을 부여하고, 위반 행위에 대해서는 무거운 처벌 조항을 두고 있다. 구체적으로 수용불가 AI 시스템을 개발해 시장에 출시하거나 서비스에 투입한 경우 최대 3,000만 유로 또는 전년 회계년도 기준 전 세계 연매출액의 최대 6% 중 더 큰 금액을 지불해야 한다. 단, 에이전시나 위원회 또는 EU 기관은 최대 50만 유로가 부과된다.

그 외 고위험 AI 시스템 규정을 위반할 경우에는 최대 2,000만 유로 또는 전년 회계년도 기준 세계 연 매출액의 최대 4% 중 큰 금액을 과징금이 부과될 수 있으며, 인증기관 및 국가 관할 당국에 부정확·불완전하거나 오해의 소지가 있는 정보를 제공하는 경우 최대 1,000만 유로 또는 전 회계년도의 전 세계 연매출액의 2% 중 큰 액수가 부과된다.

컨트럴타워 신설

EU의 AI 규제법은 기업의 규모나 매출에 따른 예외를 두고 있지 않은 만큼, 고위험 AI 시스템을 취급하는 모든 기업은 엄격한 요건들을 준수해야 한다. 그러나 해당 규제법이 학습·검증·테스트 데이터의 구성이 편향적이지 않고 오류가 없도록 요구하고 있어 데이터 확보가 용이하지 않거나 전처리 역량이 부족한 기업의 경우 상당한 부담으로 작용할 것으로 보인다. 뿐만 아니라 AI 시스템의 개발 과정, 알고리즘의 작동 방식, 학습 데이터 등의 정보가 포함된 시스템 기술 명세서를 작성·유지·관리해야 하는 점도 부담 요소다.

한편 EU는 향후 컨트럴타워 역할을 수행할 '유럽인공지능위원회'를 신설할 예정이다. 유럽위원회가 의장직을 맡고 회원국 국가감독기관장과 유럽 데이터 보호 감독기구가 위원으로 참석해 법안 규정 마련과 시행을 지원하게 된다. 이를 통해 EU 회원국 간 일관된 행정 관행을 수립하는 것은 물론, 규정 이행 관련 이슈에 대한 의견 수렴, 권고안 등 보고서도 발행할 방침이다.