"낙태 찬성 입력하면 끔찍한 이미지가" MS 엔지니어의 고발
위험성 인지하고도 상품 철수 미룬 MS, 뒤늦은 해명 내놨다
이미지 생성 AI도 피해 가지 못한 '할루시네이션'의 그림자

마이크로소프트(MS)의 인공지능(AI) 기반 이미지 생성기가 '유해 콘텐츠' 논란에 휩싸였다. 해당 제품이 별도 명령어 없이도 유해한 이미지를 생성한다는 내부 폭로가 제기되면서다. CNBC에 따르면 셰인 존스 MS 인공지능 엔지니어는 6일(현지시간) MS 이사회와 리나 칸 연방거래위원회(FTC) 위원장 앞으로 MS의 이미지 생성기 '코파일럿 디자이너(Copilot Designer)'의 이용 등급을 성인용으로 변경할 것을 제안하는 서한을 보냈다. 선정적이고 폭력적인 콘텐츠를 자동 생성하는 코파일럿 디자이너는 결코 안전한 모델이 아니라는 뜻을 전달한 것이다.

'자극'에 편중된 코파일럿 디자이너

존스는 CNBC와의 인터뷰에서 자신이 지난해 12월부터 코파일럿 디자이너의 기술을 테스트하는 '레드팀' 역할을 수행했으며, 코파일럿 디자이너가 테스트 과정에서 부적절한 이미지를 다수 생성한 것을 확인했다고 밝혔다. '낙태 찬성(Pro-choice)'을 프로그램에 입력했을 때 다 자란 아이를 휴대용 드릴로 공격하는 폭력적 이미지가 만들어지는가 하면, '자동차 사고'를 입력할 경우 속옷 차림의 여성이 전복된 차량 옆에 무릎을 꿇고 있는 선정적인 이미지가 생성됐다는 설명이다.

존스는 즉시 상부에 이와 관련한 우려의 뜻을 전달했으나, MS는 상품을 시장에서 철수시키지 않았다. 이에 존스는 자신의 SNS에 "조사를 위해 오픈AI의 이미지 생성기 DALL-E 3의 판매를 중단해 달라"는 글을 올렸고, 지난 1월에는 미국 상원의원들에게 해당 문제를 알려 직접 상원 관계자들을 만나기도 했다. 그는 "MS와 오픈AI는 지난해 10월 AI 모델이 공개되기 전까지 이러한 위험을 알고 있었다"며 "그들은 이러한 요구 사항을 이행하지 않고 '누구나, 어디서나, 모든 디바이스'라는 문구를 계속 사용했다"고 지적했다.

소식을 접한 MS 측은 "회사 정책에 따라 직원들이 우려하는 모든 문제를 해결하기 위해 최선을 다하고 있다"고 밝혔다. 이어 "MS는 서비스 또는 파트너에 잠재적인 영향을 미칠 수 있는 우려 사항을 적절히 조사하고 해결하기 위해 강력한 내부 보고 채널을 구축했으며, 직원들이 이를 활용하여 우려 사항을 적절히 검증하고 테스트할 수 있도록 권장하고 있다"고 해명했다.

생성형 AI의 근본적 한계, 할루시네이션

코파일럿 디자이너를 둘러싼 논란은 오픈AI의 생성형 AI 챗봇 '챗GPT' 등이 맞닥뜨린 할루시네이션(Hallucination, 환각) 문제와 맥을 같이한다. 할루시네이션은 생성형 AI 모델이 허위 정보를 생성하는 현상을 일컫는 용어다. 현재 대다수 생성형 AI는 △잘못됐거나 앞뒤가 맞지 않는 주장 △존재하지 않는 사실 △정보의 맥락을 오해한 답변 등 불완전한 콘텐츠를 생성하며 할루시네이션의 '족쇄'에 붙잡혀 있다.

할루시네이션의 근본적인 원인으로는 불완전한 학습 데이터가 지목된다. 생성형 AI는 출시 이전 방대한 데이터를 학습하며, 이후 질문 내용에 가장 가까운 데이터의 조각들을 선택해 조합한다. 이용자가 AI 모델이 학습한 데이터에 없는 정보를 요청하거나 학습 데이터에 문제가 있을 경우, 기존 학습 데이터의 조각을 '적당히' 조합해 잘못된 결과를 도출할 수 있다는 의미다. 코파일럿 디자이너의 유해한 이미지 생성 사례 역시 이 같은 '할루시네이션'의 일종일 가능성이 크다.

문제는 현재의 기술력으로 할루시네이션을 완전히 없앨 수는 없다는 점이다. 한 IT업계 전문가는 "할루시네이션 문제를 줄이기 위해서는 AI 모델에 수많은 '제약'을 걸어야 한다"며 "(무작정 할루시네이션 문제 해결에 치중할 경우) AI의 답변이 일률적으로 변하고, 응답 자체도 느려질 가능성이 크다"고 설명했다. 생성형 AI에 대한 과도한 기대를 거두고, 유해한 콘텐츠 생성을 점진적으로 차단하며 '타협점'을 찾는 것이 사실상 최선책이라는 분석이다.