[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

현재 할리우드는 총체적 난국이다. 지난 5월 미국 작가조합(WGA)이 15년 만에 전면 파업에 돌입한 가운데, 이번 7월에는 배우・방송인 노동조합(이하 SAG-AFTRA)이 지난 1960년 이후 63년만에 파업에 동참했다. 전문가들은 이번 작가, 배우 노동조합의 동시 파업으로 인해 미국 뿐만 아니라 글로벌 영화 산업 전반이 큰 타격을 받게 될 것이란 예측을 내놓는다.

이번 파업의 중심에 있는 SAG-AFTRA는 WGA와 함께 '할리우드 양대 노조'라고 불린다. 특히 이번 파업은 맷 데이먼, 메릴 스트립, 제니퍼 로렌스, 마크 러팔로 등의 유명 배우들이 합류하면서 파급력이 급속도로 커질 전망이다. 여기에 오스트리아 제작자 연합 SPA 및 영국 배우 노조 에쿼티 등 영화에 몸 담고있는 세계적인 업계 종사자들이 SAG-AFTRA와 연대 의지를 밝히면서 파업은 미국을 넘어 글로벌로 확대될 가능성이 점쳐진다.

이같은 혼란은 최근 넷플릭스, 디즈니 등의 스트리밍 플랫폼으로 미디어 콘텐츠 소비 방식의 무게추가 기우는 한편, 생성형 AI의 등장으로 영화・TV 업계의 전반적인 산업 구조가 재편되면서 기존 업계 종사자들의 고용 안정성이 흔들리고 있기 때문으로 분석된다.

특히 이번 SAG-AFTRA 파업에서 배우들은 생성형 AI 기술을 적용해 가상의 얼굴을 만들어 내는 '디지털 더블(Digital Double)' 기술로 인해 자신들의 역할이 잠식될 것이란 우려의 목소리를 높이고 있다. 실제 지난 6월 개봉된 <인디아나 존스 5>에선 해리슨 포드의 젊은 시절 얼굴은 과거 영상 참고 없이 디지털 더블로만 만들어졌다. 또한 과거 초상권 침해 논란이 일었던 브루스 윌리스의 '메가폰' 광고 영상도 해당 기술로만 제작된 대표적인 예다.

이와 관련, 제작사 및 스트리밍 플랫폼 측과 배우・작가 노조 측 입장은 팽팽하게 대립하고 있다. 앞서 살펴봤던 AI가 기존 배우・작가의 일자리를 대체할 것이란 주장에, 디즈니를 포함한 할리우드 대기업 스튜디오가 속한 AMPTP(미국 영화・제작자연맹)은 AI를 통해 인건비와 제작비 등의 예산을 효과적으로 절감할 수 있는 것은 물론, 더 나은 퀄리티의 작품을 대중들에게 선보일 수 있다고 반박한다. 또한 생성형 AI는 아직 배우의 사실적인 움직임을 완전히 묘사할 수 없는 기술적 한계는 명확하기 때문에, 복합적인 감정을 예술적으로 표현할 수 있는 고급 배우들은 여전히 영화 산업에서 중요한 역할을 할 것인 반면, 단순한 엑스트라 역할을 수행했던 배우 등의 초급 인력들은 시장 경제 원리상 대체되는 수순을 따르는 것은 어쩔 수 없다는 게 이들의 입장이다.

디지털 더블 방식, 새로웠던 것 아냐

사실 미디어 콘텐츠 업계에선 'AI 열풍'이 불기 한참 이전부터 디지털 더블 기술이 사용돼 왔다. 막대한 예산이 투입되는 대부분 할리우드 영화의 경우, 적어도 25년 전부터 배우의 신체 일부, 예컨대 얼굴이나 몸에 디지털 더블을 적용함으로써 배우가 여러 연령대의 캐릭터를 묘사할 수 있게 하는 등 영화의 극적인 연출을 도왔다. 이에 미국 유명 시각 효과 감독 크리스 맥린은 "과거부터 디지털 더블은 업계 표준으로 자리 잡은 바 있다"며 "이를 통해 영화 퀄리티를 끌어 올려 많은 대중들의 시각적 흥미를 사로잡는 데 중요한 역할을 수행해 왔다"고 밝혔다.

전통적으로 디지털 더블은 크게 두 가지 단계를 거쳐 이뤄진다. 먼저 '사진 측량' 작업이다. 위 사진처럼 수백 대의 3D 카메라가 둘러싸인 공간에 배우를 배치하고, 수천 개의 2차원 얼굴 이미지를 고해상도로 캡처한다. 이때 만약 영화 시나리오상 주연 배우가 얼굴 표정을 통해 복합적인 감정을 표현해야 한다면 단역 또는 엑스트라보다 더 광범위한 스캔이 필요하게 된다. 비슷한 맥락으로 얼굴보다 더 큰 면적의 신체를 스캔해야 하는 경우, 얼굴 스캔보다 더 많은 카메라를 배치하는 등 추가적인 작업이 요구된다.

이러한 작업이 끝났다면, 두 번째 단계로 해당 2차원 스캔을 3차원으로 바꾸는 '3D 렌더링' 작업을 수행한다. 이때 시각 효과(이하 VFX) 아티스트는 그래픽을 최대한 실제 얼굴 및 신체와 가깝게 표현하기 위해, 카메라 좌표와 중복되는 지점을 기반으로 이미지를 매핑한 뒤 각 면과 모서리를 연결하는 일종의 '디지털 종이접기' 방식을 거친다. 이후 이렇게 생성된 3D 그래픽은 위 사진처럼 가상 골격에 할당되는 이른바 '리깅(Rigging)' 과정을 거치면서 더욱 입체적이고 정교한 움직임을 갖게 된다. 여기서 더 나아가 만약 3D 그래픽이 영화 씬에서 실제적으로 대사를 내뱉는 모습을 연출하고 싶다면, 배우의 실제 연기를 모션 캡쳐(motion capture) 한 다음, 앞서 컴퓨터에서 생성된 3D 그래픽과 결합해 디지털 풍경에 배치하면 된다. 우리가 영화를 보고 '우와'하며 깜짝 놀라는 수준의 사실적인 3D 가상 인물은 모두 이같은 디지털 더블 방식을 거쳐 탄생하게 되는 것이다.

한편 디지털 더블 방식을 통해 '인간이 아닌' 가상 캐릭터를 만들 수도 있다. 즉 배우의 일부 신체 연기만 모션 캡쳐 하고, 그 외 나머지는 모두 새롭게 3D 모델링 하는 것이다. 이는 보통 영화나 비디오 게임에서 괴물을 연출할 때 많이 활용된다. 예컨대 모션 캡처를 위해 별도 스튜디오에서 많은 신체적 장면을 연기한 뒤, 새로운 3D 모델에 해당 움직임들만 덧대는 방식이다. 이렇게 재탄생 된 캐릭터는 기존 배우와는 전혀 닮지 않았지만, 상상 속의 괴물들을 마치 사실인 것처럼 구현해 냈기 때문에 관객들에게 또 다른 시각적 즐거움을 선사한다.

그러나 이러한 디지털 더블 방식은 일반적으로 많은 예산이 투입된다. 앞서 살펴봤던 것처럼 배우의 감정적・신체적 연기를 포착하기 위해 많은 카메라 장비와 스태프가 필요한 것은 물론, 이를 정교하게 3D 렌더링하기 위해 수많은 아티스트들이 협업해 일일이 캐릭터의 움직임을 만들어 내야 하기 때문이다. 이같은 비용적 어려움으로 인해 디지털 더블 방식은 비교적 스케일이 큰 할리우드 영화에서 활용되는 것이 대부분이었고, 그마저도 투입되는 비용이 너무 지나쳐 업계에선 정말 필요한 부분만 해당 기술을 적용하고, 나머지는 어지간하면 직접 연출하는 경우가 다반사였다.

생성형 AI 등장으로 관련 작업 단순화되고 컨텐츠의 극적 재미 끌어 올릴 수 있게 돼

그런데 최근 챗GPT를 포함한 생성형 AI가 산업 전반에 스며들면서, 영화・TV 업계의 산업 구조 또한 변화를 맞이하게 됐다. 업계에선 디지털 더블 방식에 생성형 AI가 도입되면서 위 '사진 측량'과 '3D 렌더링' 작업이 간편화됐다는 평이다. 미국 모션 캡쳐 전문 기업 CTO 블라디미르 갈라트는 "생성형 AI의 발전으로 인해 디지털 더블의 '사진 측량' 단계를 일부 생략할 수 있게 됐다"며 "최근 우리가 작업한 '인디아나 존스 5'에 출연한 81세 나이의 해리슨 포드를 많은 비용 투입 없이 더 젊어 보이게 만들 수 있었던 것도 바로 이 덕분"이라고 전했다.

또한 '어벤져스: 엔드게임'을 제작한 VFX 기업 디지털 도메인(Digital Domain) CTO 하노 베스는 "이제는 고인이 된 배우들도 기존 사진과 영상을 기반으로 스크린에서 새롭게 찾아볼 수 있게 됐다"고 말했다. 약간은 섬뜩한 말이지만, 이는 그만큼 더 이상 디지털 더블의 '사진 측량'이 필요 없이 효율적으로 가상 인물을 만들어낼 수 있단 뜻으로 풀이된다.

이는 실제 우리 주변에서도 찾아볼 수 있다. 예컨대 지난해 국내 온라인 동영상 서비스(OTT) 티빙이 공개한 오리지널 '얼라이브'에서는 2013년 위암으로 사망했던 울랄라세션의 리더 임윤택이 디지털 더블 기술로 복원돼 시청자들의 벅찬 반응과 위화감을 동시에 이끌어낸 바 있다.

전문가들 "배우 일자리 완벽하게 대체하는 것 아냐, 다만 초상권 침해는 관련 법 논의 필요해"

이같은 생성형 AI가 가져온 변화로 인해 일각에선 머지 않아 오직 컴퓨터로만 미디어 컨텐츠가 제작되는 것 아니냐는 주장이 제기된다. 이는 곧 SAG-AFTRA가 우려하는 부분이기도 하다. 모든 장면에 디지털 더블 기술을 적용하게 돼 더 이상 배우가 필요 없게 된다는 것이다.

하지만 대부분의 AI 전문가에 따르면 현시점의 AI 기술은 일부 '정지된' 사물 및 사람에게 국한해 사실적으로 묘사해 줄 뿐, 과한 우려는 내려놔도 된다는 분석이다. 이와 관련해 실리콘 밸리 현업 컴퓨터 과학자 A씨는 "최근 디지털 더블이 비약적으로 발전한 것은 사실"이라면서도 "인간의 복잡한 감정, 미묘한 신체적 움직임까지 영화 런타임 내내 치밀하게 표현하는 것은 불가능하다"고 강조했다.

그러나 현재 AI 기술을 악용한 배우의 초상권 남용에 대해서는 제대로 된 법이 규정돼 있지 않은 만큼, 이와 관련해서는 국가 차원의 법률 제정 논의가 진지하게 이뤄져야 할 것으로 보인다. 예컨대 영화 제작자가 생성형 AI를 통해 액션 영화의 모든 등장인물에 톰 크루즈를 넣는다고 가정해보자. 이에 현시점 미국 저작권법은 아무런 제재를 가할 수 없다. 물론 미국은 모든 사람에 대한 초상권 보장을 주 법(state law)에 명시하고 있으나, 예술로 분류되는 영화 산업의 경우 '표현의 자유'를 인정한다는 명목하에 사실상 초상권 침해를 광범위하게 인정하고 있는 형국이기 때문이다. 이에 미국 기술 전문 변호사 조나단 블라빈은 "특히 넷플릭스와 같은 대형 OTT 스트리밍 기업이나 대규모 제작사의 경우 다양한 방식으로 배우들의 초상권 침해 문제를 피해 갈 수 있다"며 생성형 AI 기술의 남용에 대한 주의를 당부했다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.