현실적으로 효과적인 적용 어려운 워터마킹
다른 보조 기술과 함께 온라인 콘텐츠 위기 완화 시도
근본적인 문제 해결은 기술이 아니라 이용자의 비판적 사고력

[해외 DS] AI 콘텐츠 위기, 테크 기업의 미비한 대응 방안 ①에서 이어집니다.

성공적인 워터마킹 시스템 도입 위해 고려 해야할 요소 많아 

AI로 제작된 자료에 디지털 워터마크를 추가하는 것은 저작권 표시를 사진에 덧씌우는 것만큼 단순하지 않다. 이미지와 동영상에 디지털 마킹을 하려면 작은 픽셀 묶음에 임의로 색을 조정하여 일종의 바코드(기계는 감지할 수 있지만 대부분 사람에게는 효과적으로 보이지 않는 바코드)를 삽입해야 한다. 오디오 경우도 마찬가지로 추적 신호를 음향 파장에 삽입해야 판별이 가능하다. 

캘리포니아 버클리 대학의 디지털 포렌식 전문 컴퓨터 과학자인 하니 파리드(Hany Farid)에 따르면 텍스트는 AI로 생성된 콘텐츠 중 데이터 밀도가 가장 낮은 형태이기 때문에 워터마크를 삽입하는 데 가장 큰 어려움을 겪는다고 전했다. 하지만 텍스트 워터마킹이 불가능하진 않다. 올해 초 기계 학습 연구 논문집(Proceedings of Machine Learning Research, PMLR)에 발표된 한 연구에서 대규모 언어 모델(이하 LLM)을 위한 워터마크 프로토콜을 제안했다. LLM이 사용할 수 있는 모든 단어를 두 개의 데이터베이스에 무작위로 분류하고, 한 데이터베이스의 단어와 음절 세트를 약간 더 선호하도록 모델을 프로그래밍한 결과 워터마킹된 텍스트엔 선호하는 데이터베이스의 어휘가 훨씬 더 많이 포함됐다. 문장과 단락을 스캔했을 때 누구의 창작물인지 그 출처를 알 수 있다는 얘기다.

워터마크의 알고리즘 특성은 사용자에게 비밀로 유지되어야 하는데 사용자는 어떤 픽셀이나 음파가 변경되었는지 또는 어떻게 수정됐는지 알 수 없어야 하고, AI 생성기가 선호하는 어휘도 몰라야 한다. 위 연구에 참여하지 않은 파리드 교수는 효과적인 워터마크는 사람이 알아차리지 못할 정도로 만들어야 쉽게 제거되지 않는다고 설명했다. 하지만 워터마크를 성공적으로 적용하기 위해선 신경 써야 할 요소가 많다. 워터마크는 편집은 물론 적대적인 공격에도 견딜 수 있을 만큼 견고해야 하지만, 생성된 콘텐츠의 품질을 눈에 띄게 떨어뜨릴 정도로 방해가 되어서는 안 되고, 악의적인 공격자가 워터마킹 프로토콜을 리버스 엔지니어링하는 데 사용할 수 없도록 보안을 유지해야 하는 동시에 사람들이 사용할 수 있도록 접근성이 좋아야 한다.

홀로서기 어려운 워터마킹, 다른 보조 기술도 필요해 

이상적으로는 널리 사용되는 모든 생성기(예: OpenAI 및 Google의 생성기)가 워터마킹 프로토콜을 공유하는 것이 좋다. 그래야 AI 도구들이 서로의 신호를 쉽게 지우는 데 사용될 수 없다고 커쉬바움 교수는 강조했다. 하지만 모든 기업이 이러한 조율에 참여하도록 설득하는 것은 쉽지 않은 일이며, 애초에 AI 출시를 서두른 빅테크 기업에게 이 모든 것을 맡기는 것은 위험한 일이다.

누구나 수정할 수 있는 스테이블 디퓨전(이미지 생성기)이나 메타의 언어 모델 LLaMa와 같은 오픈 소스 AI 시스템도 다른 문제에 직면했다. 이론적으로 오픈소스 모델의 매개변수에 인코딩된 워터마크는 쉽게 제거할 수 있다. 매개변수 대신 학습 데이터를 통해 워터마크를 삽입할 수 있지만 이미 워터마크 없이 학습된 오픈소스 모델이 출시되어 콘텐츠를 생성하고 있으며, 이를 재학습한다고 해서 이전 버전이 제거되지 않기 때문에 근본적인 문제 해결이 아니라는 전문가들의 지적이 있다.

궁극적으로 완벽한 워터마킹 시스템을 구축하는 것은 불가능해 보이며, 이 주제에 대해 사이언티픽 아메리칸과 인터뷰한 모든 전문가는 워터마킹만으로는 충분하지 않다고 답했다. 잘못된 정보 및 기타 AI 악용과 관련하여 워터마킹은 "퇴치 전략이 아닙니다. 완화 전략일 뿐입니다."라고 파리드 교수는 전했다. 그는 워터마킹을 집 현관문을 잠그는 것에 비유했다. 문을 잠그면 도둑이 들어오기 쉽지 않지만 문을 부수고 들어오는 것은 막지 못한다는 이치다.

워터마킹 기술을 보완하는 다른 작업도 진행 중이다. Microsoft와 Adobe를 비롯한 많은 빅테크 기업에서 채택하고 있는 C2PA(Coalition for Content Provenance and Authenticity, 콘텐츠 출처 및 진위 확인을 위한 연합) 가이드라인에서는 워터마킹 시스템도 권장하지만, AI로 생성된 모든 콘텐츠를 추적하고 메타데이터를 사용하여 AI가 만든 콘텐츠와 사람이 만든 콘텐츠의 출처를 확인할 수 있는 장부형 시스템을 구축할 것을 요구했다. 메타데이터는 사람이 제작한 콘텐츠를 식별하는 데 특히 유용하다. 사용자가 촬영한 모든 사진과 동영상에 인증 스탬프를 추가하여 실제 영상임을 쉽게 증명하는 모바일 카메라를 떠올리면 이해가 쉽다. 또 다른 보안 강화 요소는 의도치 않게 생성된 AI 생성물의 잔재를 찾아내는 사후 탐지 기능을 개선하는 데서 비롯될 수 있다.

기술만으로 온라인 문제 해결 못해, 개개인의 비판적 사고력 중요

하지만 이러한 기술적인 해결책이 온라인에서 발생하는 불신, 허위 정보, 조작의 근본 원인을 해소하지는 못하며, 이는 모두 AI가 등장하기 훨씬 이전부터 존재해왔다. 머신러닝을 연구하는 스탠퍼드 대학교 컴퓨터 과학자 제임스 저우(James Zou)는 AI 기반 딥페이크가 등장하기 전에는 포토샵에 능숙한 사람이 사진을 조작하여 원하는 모든 것을 보여줄 수 있었다고 말했다. TV와 영화 스튜디오는 일상적으로 특수 효과를 사용해 영상을 사실적으로 수정해 왔고, 극 사실주의 화가도 수작업으로 트릭 이미지를 만들어 왔다. 생성형 AI는 단지 가능성의 범위를 넓힌 것일 뿐이라는 것이 그의 견해다.

웨버-울프 교수는 궁극적으로 사람들이 정보에 접근하는 방식을 바꿔야 한다고 조언했다. 사람들이 온라인과 오프라인에서 보는 정보의 맥락과 출처를 비판적으로 평가할 수 있도록 정보 활용 능력과 리서치 기술을 가르치는 것이 그 어느 때보다 중요 해졌다고 강조했다. "이는 사회적 문제입니다. 기술만으로는 사회 문제를 해결할 수 없습니다.”

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.