AI 가이드라인 마련 나선 정부, "워터마크 필요성에도 공감대 형성"
완전하진 않은 워터마크 기술, "현존하는 워터마크 대부분은 '세척' 가능"
"워터마크는 '최전 방어선' 될 수 없어, 근본적인 해결책 필요하다"

과학기술정보통신부와 IT 기업들이 급속도로 발전하는 AI의 위험성 우려에 대응하기 위해 생성형 AI 분야별 가이드라인이나 AI 생성물 워터마크 삽입 등 기술적·제도적 기반을 만들기로 했다. 워터마크 삽입을 통해 AI 시대의 부작용을 최소화하겠단 방침도 세웠다. 다만 일각에선 워터마크 삽입이 본질적인 문제 해결책이 될 수는 없다는 지적이 나온다. 실제 현존하는 워터마크 대부분을 '세척'할 수 있었다는 연구 결과가 도출된 바도 있다. 정부 차원의 보다 본질적인 대책 마련이 요구된다.

정부, 'AI 신뢰성 확보' 나섰다

이종호 과기정통부 장관은 25일 서울 강서구 LG 사이언스파크에서 AI 분야 민·관 최고위 관계자들과 안전한 AI 확산 방안을 논의하기 위한 제4차 AI 최고위 전략대화를 열었다. 이번 행사는 지난 9월 '대한민국 초거대 AI 도약' 행사에서 기업들이 AI 신뢰성 강화를 위해 필요한 안전 조치를 자발적으로 마련하겠다고 약속한 데 대한 후속으로, 고학수 개인정보보호위원장·임용 서울대 교수·네이버·SK텔레콤·KT·카카오·LG AI 연구원·이스트소프트·JLK·셀렉트스타·스냅태그·코난 테크놀로지 관계자 등이 참석했다.

이 자리에서 과기정통부는 지금까지 간담회와 현장 방문 등에서 수렴한 의견을 토대로 마련한 'AI 윤리·신뢰성 확보 추진계획'을 발표했다. 과기정통부의 추진계획엔 △민간 자율 AI 윤리·신뢰성 확보 지원 △세계를 선도하는 AI 윤리·신뢰성 기술·제도적 기반 마련 △사회 전반에 책임 있는 AI 의식 확산 등 내용이 담겼다. 정부와 기업은 이 같은 추진계획을 토대로 세부 추진 과제를 논의했다. 주요 세부 추진 과제는 △생성형 AI 기반 서비스 등 분야별 가이드라인 마련·확대 △민간 자율 AI 신뢰성 검·인증 추진(11월) △고위험 영역 AI 개발·실증 사업을 수행할 기업 선정 및 시범 인증 추진(12월) △편향성·불투명성 등 AI 한계 및 오작동 대응을 위한 신규 기술 '차세대 생성 AI 기술' 개발 추진(2024~2027년, 총 220억원 규모) △AI 생성 결과물에 대한 워터마크 도입 제도화 검토(2024년 1분기) △고위험 AI에 대한 해설서 마련(2024년 1분기) 등이다.

특히 기업들은 생성형 AI의 신뢰성 향상 및 책임 있는 거버넌스 구축 등을 위해 AI가 생성한 결과물에 '가시적 워터마크'를 도입할 필요가 있다는 데 공감대를 형성했다. 기업들은 기술적 완성도를 고려해 자사 AI 서비스에 워터마크를 단계적으로 적용하기로 결정했으며, AI 윤리교육 및 관련 전문인력 확충에도 뜻을 모았다. 이와 관련해 이 장관은 "AI는 디지털 심화 시대의 핵심 기술로 자리 잡았다"며 "AI에 대한 신뢰성 및 안전성 확보는 시대적 과제"라고 강조했다. 그러면서 "민간 자율 AI 신뢰성 검·인증 지원을 비롯한 AI 윤리 생태계 기반 조성, 적합한 규제 체계 정립 등에 힘쓰고 관계부처와 함께 AI 윤리·신뢰성을 확보할 수 있는 정책 방안을 보완해 새로운 디지털 질서의 모범이 되기 위해 최선을 다하겠다"고 덧붙였다.

AI 워터마크 삽입 기술 공개한 구글, "불안 요소 여전"

AI 생성 이미지에 워터마크를 삽입하는 시스템은 이미 앞서 구글이 공개한 바 있다. 구글 딥마인드는 지난 8월 구글 클라우드 컨퍼런스에서 AI 생성 이미지에 대한 워터마크·식별도구 ‘신스ID’를 공개했다. 신스ID는 눈에 보이는 워터마크 대신 이미지를 구성하는 픽셀마다 AI로 만들었다는 흔적을 남겨 원본 품질에 영향을 주지 않으면서 이미지에 눈으로 식별할 수 없는 투명한 워터마크를 덧입힐 수 있다. 기존의 워터마크는 이미지에 스탬프를 찍는 방식이어서 워터마크 부분을 잘라내는 방식으로 우회가 가능했지만, 신스ID는 필터나 압축으로 파일을 조작해도 여전히 워터마크가 원 상태를 유지할 수 있다.

그러나 해당 기술이 완전무결한 건 아니다. 신스ID 자체도 AI로 만들어진 기술이기 때문에 워터마크가 있는 이미지를 완벽하게 식별하는 건 불가능하기 때문이다. 특히 해당 기술은 구글 클라우드의 생성 AI 플랫폼인 '버텍스AI'에서만 사용할 수 있다는 치명적인 단점이 존재한다. 달리나 미드저니, 스테이블 디퓨전 등 여타 AI 생성 이미지를 구별하는 건 불가능하다는 의미다. 이와 관련해 딥마인드 측은 "워터마크가 존재할 가능성이 있는 이미지와 워터마크가 거의 확실히 존재하는 이미지는 구분할 수 있기에 가짜 가능성이 있는 이미지를 정밀하게 식별하면 100% 진짜 이미지를 가려낼 수 있다"고 강조했지만, 불안 요소는 여전히 잔재해 있는 상황이다.

"워터마크, 실질적 대응책 될 순 없어"

딥마인드의 신스ID 사례에서 알 수 있듯, AI 워터마크는 실질적인 대응책이 될 수 없다. 워터마크 자체의 문제점도 수북이 쌓여 있는 게 현실이다. 우선 워터마크는 어떻게든 조작이 가능하다. 가시적 워터마크나 비가시적 워터마크 모두 제거되거나 변경될 수 있기 때문에 AI 합성 이미지를 식별하는 장치로는 유용하지 않을 수 있다는 것이다. 실제 지난 5일 메릴랜드대학교 연구진의 연구에 따르면 현재 흔히 사용되고 있는 AI 워터마크는 대부분 '세척'이 가능했다. 이와 관련해 소헬 페이지 매릴랜드대 컴퓨터 과학 교수는 "연구진은 현재 상용화돼 있는 워터마크를 모두 깨뜨리는 데 성공했다"며 "현재로서 신뢰할 수 있는 워터마킹은 전무한 수준"이라고 지적했다. AI 탐지 스타트업인 리얼리티 디펜더의 벤 콜먼 CEO도 "워터마크는 언뜻 훌륭하고 유망한 솔루션처럼 보일 수 있지만, 결국 쉽게 위조하거나 제거할 수 있다"고 말했다.

이외 텍스트 콘텐츠에서 내장형 워터마크의 존재 의의가 희석될 수 있다는 비판도 존재한다. 시청각 콘텐츠에 대해 효과적인 모습을 보이는 워터마크 시스템도 텍스트 콘텐츠에서는 제힘을 발휘하지 못할 가능성이 높다는 것이다. 일각에선 실용성에 대한 지적도 나온다. 이와 관련해 한 업계 관계자는 "모든 AI 생성 콘텐츠에 라벨링을 하려는 건 다소 성급한 행위"라며 "이는 '거짓말쟁이의 배당금(liar’s dividend) 현상으로 이어질 수 있다"고 지적했다. 즉 자신에게 불리한 내용을 모두 '가짜 뉴스'라고 우길 가능성이 있다는 의미다. 이들의 주된 주장은 "워터마크를 통해 'AI 생성 콘텐츠 라벨'이 생성되면 시간이 지날수록 AI로 생성하지 않은 '진짜' 콘텐츠에 대한 신뢰까지 약화되는 현상이 발생할 수 있다"는 것이다.

최근 국내외 AI 업체들 사이에선 워터마크를 안전장치로 사용하는 경우가 늘었다. 특히 국내에선 제페토가 본격적으로 워터마크 도입에 나섰다. 제페토 측은 "생성 AI는 큰 잠재력을 갖고 있지만, 우려의 목소리도 적지 않다"며 "어떤 데이터를 사용해 AI 모델을 학습시키는지, AI가 생성한 콘텐츠를 인간의 창작물과 어떻게 구별할 수 있는지에 대한 우려가 있는 만큼 워터마크 삽입 등으로 부작용을 줄이는 데 힘쓸 것"이라고 역설했다. 실제 워터마크 삽입은 AI의 부작용을 더는 데 도움이 될 수 있다. 다만 명심해야 할 것은 워터마크 삽입이 AI 시대의 '최전 방어선'이 될 수는 없다는 점이다. 정부 차원에선 보다 근본적인 조치를 이뤄내야만 한다. 워터마크 삽입에 대한 여러 문제점이 산적해 있는 상황인 만큼, 어느 때보다 정부의 '각성'이 요구되고 있다.