젠슨 황 CEO, 엔비디아 GTC 2024에서 어스-2 첫 공개
기후 변화 예측 및 대비 위한 AI 기반 플랫폼, 실시간 예보 및 경보 가능해져
다양한 기업들과의 협력으로 기후 기술 산업 성장 촉진할 것으로 기대돼

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

기후 변화로 인한 1,400억 달러의 경제적 손실에 대응하기 위해 엔비디아는 혁신적인 기후 디지털 트윈 클라우드 플랫폼인 어스-2(Earth-2)를 선보였다. 엔비디아의 AI 콘퍼런스 GTC 2024에서 공개된 어스-2는 전례 없는 규모로 날씨와 기후를 시뮬레이션하고 시각화하도록 설계된 획기적인 API를 제공하며, 더욱 정확한 예측과 적시 경보를 위한 기반을 마련한다.

젠슨 황 CEO는 "역사적인 가뭄, 치명적인 허리케인, 대규모 홍수 등 기후 재해는 이제 일상이 됐다"라며, "어스-2 클라우드 API는 우리가 극심한 날씨에 더 잘 대비하고 이를 완화하기 개발됐다"라고 말했다.

2km 해상도, 1,000배 빠른 시뮬레이션, 실시간 예보와 경보로 기후 변화에 대응

어스-2 자체는 다양한 슈퍼컴퓨터에서 실행할 수 있는 소프트웨어로, 얼마나 많은 컴퓨터 성능을 투입하는지에 따라 세부적인 예측이 달라지는데, 최대 2km 단위로 날씨를 시각화하고 시뮬레이션할 수 있다.

2km 단위는 상당히 높은 해상도다. 속도가 느려지는 것이 아닌지 걱정할 수도 있지만, 그렇지 않다. 엔비디아 CUDA-X 마이크로서비스 소프트웨어의 일부인 어스-2 플랫폼은 고급 AI 모델과 CorrDiff 생성 AI 모델을 활용하여 기존의 수치 모델보다 1,000배 빠르고 3,000배 더 에너지 효율적인 고해상도 시뮬레이션을 생성한다.

따라서 어스-2는 사용자가 전 세계 대기 조건부터 태풍 및 난기류와 같은 지역 기상 현상에 이르기까지 다양한 대화형 시뮬레이션을 생성하여 몇 초 만에 실시간 예보 및 경보를 제공할 수 있도록 설계됐다.

대만 중앙기상청과 더 웨더 컴퍼니 등 어스-2 적극적으로 도입, 날씨 영향 분석 및 시뮬레이션 강화

이러한 점들을 높이 산 대만 중앙기상청(CWA)은 어스-2의 확산 모델을 최초로 도입했다. 글로벌 반도체 공급망의 핵심인 대만은 태풍으로 인한 대규모 홍수 피해가 자주 발생한다. CWA는 이 플랫폼을 사용하여 태풍의 위치를 더욱 정확하게 예측하고 조기 대피를 통해 인명 피해를 최소화할 것으로 기대한다고 밝혔다.

재난으로 인한 피해의 대부분이 전 세계 특정 지역에 집중되어 있다. 2000년 이후 136개 이상의 태풍이 필리핀을 강타했는데, 어스-2를 사용하여 이러한 영향을 완화하는 것은 재난 정보학의 품질과 해상도를 개선하는 데 핵심이라고 대만 국립재해경감센터(NCDR)는 설명했다.

한편 어스-2는 엔비디아 옴니버스와 통합되어 더 웨더 컴퍼니(The Weather Company)와 같은 조직이 실제 날씨 데이터를 통합하는 3D 워크플로를 개발할 수 있도록 지원하며, 날씨 영향에 대한 더 나은 분석 및 시뮬레이션을 가능케 한다. 더 웨더 컴퍼니는 기상 데이터 예측 및 인사이트 분야의 글로벌 리더다. 자사의 웨더버스(Weatherverse)를 옴니버스와 결합할 계획이다.

200억 달러 산업 혁신 이끌 것으로 기대, 기후 기술 산업의 핵심 플랫폼으로 자리매김할까?

"현재와 미래의 날씨, 그리고 기후 관련 문제를 효과적으로 해결하기 위해서는 신뢰할 수 있고 전 세계적으로 확장된 실제 날씨 데이터와 인사이트를 디지털 트윈 환경에 통합하여 날씨의 영향을 분석, 계획 및 시뮬레이션하는 것이 그 어느 때보다 중요하다"라고 더 웨더 컴퍼니의 CEO 셰리 바흐스타인(Sheri Bachstein)은 강조했다. "우리는 수년 동안 엔비디아와 함께 자체 기상 모델링 시스템인 GRAF의 GPU 가속화를 위해 협력해 왔으며, 어스-2 API를 채택하여 더 낮은 비용으로 더 높은 해상도의 에너지 효율적인 시뮬레이션을 생성할 계획이다."

어스-2 API의 또 다른 얼리 어답터로는 독점 데이터 소스 및 데이터 동화를 기반으로 정확한 예측을 생성할 수 있는 스파이어(Spire)와 메테오메틱스(Meteomatics) 같은 날씨 분석 플랫폼 기업과, 기후 기술 애플리케이션을 위한 새로운 솔루션을 모색하는 스타트업 투모로우(Tomorrow.io), 노스(north.io), 및 클라이마센스(ClimaSens)가 있다. 엔비디아는 200억 달러 규모의 기후 기술 산업에 종사하는 기업들이 보유한 독점 데이터와 결합하면 어스-2 API를 통해 사용자는 기존 CPU 기반 모델링에서 몇 분 또는 몇 시간이 걸리던 예측을 몇 초 만에 제공할 수 있을 것으로 전망했다.

마지막으로 어스-2 API는 DGX 클라우드를 사용하여 기후 및 날씨 솔루션을 위한 풀스택 가속화를 제공한다. 여기에는 포캐스트넷, 그래프캐스트, 딥 러닝 날씨 예측과 같은 모델을 위한 최적의 AI 파이프라인이 포함되며, 최신 NVIDIA Grace Hopper™ 시스템에서 ICON과 같은 수치 기상 예측 모델의 GPU 가속화가 포함되어 있다. NVIDIA DGX GH200, HGX™ H100 및 OVX™ 슈퍼컴퓨터에서 실행되는 어스-2는 전례 없는 속도와 규모로 전 세계 기후를 시뮬레이션하고 시각화할 수 있는 경로를 제공할 수 있다고 자부했다.

케이시 핸드머, AI 대신 육안으로 이미지 검사하며 잉크의 결정적인 단서 찾아내
우승팀은 패리터·나데르·실리거, 각자의 결과물을 결합해 AI 모델 구현
베수비오 챌린지 대장정의 끝, 2,000개 글자와 쾌락에 관한 철학 그리고 고고학의 르네상스

[해외 DS] 고대 헤르쿨레니움 두루마리를 해독한 AI 경진대회 ②, 베수비오 챌린지의 주요 과제와 어려움에서 이어집니다.

일부 참가자들은 다른 참가자들이 AI에 너무 집중하고 있다고 생각했다. 호주의 30대 물리학자인 케이시 핸드머(Casey Handmer)는 스캔 이미지를 AI 대신 맨눈으로 검사하기로 했는데, 시각적 특징을 감지하는 대부분의 머신러닝 알고리즘이 인간의 감지 방식에 기반을 두고 있으며, 인간의 시각 피질은 미묘한 패턴과 질감을 식별하는 데 매우 능숙하기 때문이었다. "기계가 볼 수 있다면 인간도 볼 수 있다"라고 핸드머는 강조했다.

핸드머는 태양과 공기로부터 탄소 중립적인 천연가스를 생산하는 캘리포니아 스타트업 테라폼(Terraform Industries)의 창립자이자 CEO다. 그는 테라폼의 투자자인 프리드먼이 못마땅해할 정도로 스캔 이미지를 검토하는 데 많은 시간을 보냈다. 그렇게 그는 불에 탄 파피루스 섬유의 시각적 특징에 점점 익숙해졌다. 그러던 5월, 그는 카일이 공유한 몬스터 세그먼트(두루마리의 큰 조각)를 조사하던 중 놀라운 사실을 발견했다. 파피루스 표면에 갈라진 진흙처럼 보이는 질감이 계속 반복적으로 나타난 것인데, 한 시간 정도 집중해서 바라본 끝에 그는 거꾸로 뒤집힌 알파벳 π를 발견해 냈다. 그 갈라진 질감은 바로 잉크였다.

끈기와 노력의 결실, 첫 글자에서 단어 그리고 전체 문단까지

핸드머는 같은 질감을 가진 다른 글자 모양을 더 많이 발견했고, 최초의 잉크를 발견한 공로로 1만 달러의 상금을 받게 됐다. 하지만 그가 발견했다고 주장한 서사시 뮤즈의 이름인 '칼리오페'(Καλλιόπη)라는 단어는 6월의 '첫 10글자 발견 상'에서 6명의 심사위원을 설득하는 데는 실패했다. 4만 달러의 상금은 못 받았지만, 그는 자신의 획기적인 발견을 거의 실시간으로 커뮤니티와 공유함으로써 모든 참가자들이 다음 단계로 나아갈 수 있는 길을 마련했다.

패리터는 텍사스에 있는 스페이스X에서 인턴으로 일하던 중 핸드머의 균열 텍스처 발견 소식을 접했다. 그는 가장 강력한 로켓인 스타십의 발사대 소프트웨어 팀에서 일하며 낮을 보냈고, 퇴근 후에는 금이 간 텍스처를 찾기 위해 모델을 개발하며 밤을 새웠다. 그 결과 패리터는 8월 파티가 있던 날 밤 πορ를 찾았고, 그 후로도 패리터는 πορ를 둘러싼 수십 개의 흐릿한 모양을 인식할 때까지 모델을 계속 다듬었다. 한편 베를린 자유대학의 이집트 출신 데이터과학 학생인 유세프 나데르(Youssef Nader)도 πορ를 찾는 데 성공했다. 나데르의 결과가 더 깔끔했지만 패리터의 결과가 더 빨랐다.

9월에 파피루스 학자들이 패리터의 결과물을 검사한 결과, 그들은 πορ가 보라색을 뜻하는 고대 그리스어인 πορφύραc 또는 porphoras의 어원이라는 사실을 깨달았다. 이 단어를 확인하는 데 도움을 준 나폴리대학의 파피루스 학자 페데리카 니콜라르디(Federica Nicolardi)는 이 용어가 드물다고 언급했다. 이전에는 발견된 적이 없는 새로운 텍스트에서 나온 것일 가능성이 높다는 의미였다.

몇 주 후 주최 측은 패리터를 켄터키로 보내 이 획기적인 발견을 주제로 심포지엄을 개최했다. 주최자 중 한 명인 JP 포스마는 패리터에게 4만 달러의 거액의 수표를 건네주었고, 나데르는 2등으로 1만 달러의 상금을 받았다. 하지만 이날의 주인공은 패리터만이 아니었다. 심포지엄에 참석하기 위해 파피루스 학자들이 도착할 무렵, 나데르는 파피루스 학자들이 평생 볼 수 없을 것으로 예상했던 네 개의 열을 가진 텍스트 πορφύραcin 이미지를 공개하며 대회에서 가장 큰 도약을 이뤄냈다. 해당 열에는 '음악과 관련된'이라는 뜻의 κατάμουσικήν(kata mousikēn)이라는 문구를 포함해 식별 가능한 다른 단어들이 있었는데, 니콜라르디에 따르면 이 두루마리는 철학 작품일 가능성이 가장 높다고 했다.

심포지엄이 열린 기간 동안, 패리터가 잠을 깨기 위해 호텔 방으로 다이어트 콜라를 들고 올라가는 모습이 목격되기도 했다. 그리고 당시 베를린에 있었던 나데르도 잠을 많이 자지 않았다. 70만 달러의 우승 상금이 그 어느 때보다 가까워 보였기 때문이다. 지난해 말, 대회가 막바지에 접어들었을 때 나데르는 파피루스의 분할을 가속화하고 3차원으로 매핑하는 소프트웨어로 앞서 상을 받은 스위스의 로봇공학 학생인 줄리안 실리거(Julian Schilliger), 패리터와 함께 팀을 이뤘다. 그리고 12월, 세 사람은 각자의 접근 방식을 결합하여 놀라운 결과물을 만들어냈다. 각자가 개별적으로 수행한 작업을 기반으로 AI 모델을 구축한 결과, 대회의 대상 기준인 140자 4개 문단을 훨씬 뛰어넘는 전체 4개 열에 2,000개의 글자를 밝혀낸 것이다. 번역되어 읽을 수 있는 텍스트는 첫 번째 두루마리의 약 5%를 차지했으며, 올해 2월 초 베수비오 챌린지에서는 이들에게 70만 달러와 함께 대상을 수여했다.

필로데모가 쓴 것으로 추정되는 이 글은 이전에 발견되지 않았던 쾌락에 관한 내용을 담고 있었다. 글에는 "많은 양의 좋은 것보다는 소량의 좋은 것이 더 즐거움을 주나요?"라는 물음이 적혀 있는데, 저자는 전혀 그렇지 않다고 결론 내렸다. "음식의 경우에도 마찬가지다"라며 "우리는 희소한 것이 풍부한 것보다 절대적으로 더 즐겁다고 믿지 않는다"고 말했다.

고대 텍스트의 르네상스, 침묵하는 사물을 말하게 하다

파피루스와 고전 분야가 완전히 바뀌고 있다. AI 개발 커뮤니티 덕분에 우리는 이제 헤라클레니움 파피루스를 읽을 수 있는 도구를 갖게 됐다. 수상작 검토에 도움을 준 옥스퍼드대학교의 고전학자 토비아스 라인하르트(Tobias Reinhardt)는 기술 발전이 계속되어 다른 두루마리에 적용될 수 있다면 "르네상스 이후 볼 수 없었던 양의 고대 텍스트가 복원되는 것을 목도할 수 있을 것"이라고 전했다.

한편 프리드먼은 더 큰 목표를 세웠다. 올해 그의 목표는 우승팀의 접근 방식을 기반으로 현재 고에너지 물리학을 사용하여 스캔한 두루마리 4종을 90%까지 판독하는 것이다. 이 작업이 성공하면 아직 개봉되지 않은 수백 개의 헤라클레니움 두루마리의 비밀이 풀릴 것으로 예상된다. 또한 그는 궁극적으로 더 많은 자료를 발굴하기 위해 이탈리아 당국을 설득하여 헤라클레니움 빌라의 추가 발굴이 성사되기를 희망하고 있다.

물론 아직 해결해야 할 몇 가지 숙제가 남아 있다. 연구자들은 시간과 비용이 많이 드는 수작업 분할 프로세스를 자동화할 방법을 찾아야 한다. 또한 수백 장의 두루마리를 스캔하기 위해 입자 가속기를 사용하는 것은 너무 비싸다. 고해상도 스캔 이미지를 생성하기 위한 더 저렴한 대안을 찾아야 한다. 그러나 파피루스 학자들은 지금까지도 이룬 게 많다고 언급했다. 현재 AI 파이프라인으로 식별할 수 있는 글자를 찾아내는 속도가 전문가의 작업 속도보다 훨씬 빠른데, 패리터, 나데르, 실리거가 한 달 만에 완료한 작업(세 글자에서 전체 단어와 구문, 텍스트 열로 전환)은 일반적으로 20년이 걸린다고 니콜라르디의 동료이자 캄파니아 루이지 반비텔리대학교의 고문서학 교수인 지안루카 델 마스트로(Gianluca Del Mastro)는 설명했다. 심포지엄에서 나데르가 발견한 텍스트를 본 델 마스트 교수의 눈에는 눈물이 맺혀있었다고 프리드먼은 말했다.

실즈 교수는 베수비오 챌린지를 통해 개발한 기술은 다른 잃어버린 문자를 해독하는 데에도 적용될 수 있다고 내다봤다. 1993년 요르단 페트라의 비잔틴 교회에서 기원전 6세기에 만들어진 140개의 탄화된 파피루스 두루마리는 검게 그을리고 깨지기 쉬워 읽을 수 없는 것으로 여겨졌었다. 또한 수만 장의 사해 두루마리 조각은 너무 많이 붙어 있어 한 번도 판독된 적이 없다. 고대 이집트의 미라 마스크도 파피루스로 만들어졌으며, 석고로 코팅된 층으로 배열된 카르토나쥬라는 재료, 즉 일종의 페이퍼 마셰로 만들어졌는데, 해당 파피루스는 석고를 파괴하지 않고는 해독하기 어려운 글씨가 적혀 있는 경우가 많았다. 이 두루마리들은 이제 각자의 차례를 기다리기만 하면 된다.

기원전 4세기 그리스 역사가 크세노폰(Xenophon)은 메소포타미아에서 돌아오는 길에 흑해 건너편에서 두루마리 무역이 활발하게 이루어졌다고 기록했다. 미시간대학의 고전학 교수이자 파피루스 학자인 리처드 얀코(Richard Janko)에 따르면 이는 해저에 파피루스 두루마리 상자가 가득 들어 있는 침몰한 선박이 거의 확실히 있다는 것을 의미한다고 예상했다. 또한 이 지역의 해양 환경이 유독 낮은 산소와 염도를 가져 두루마리들이 여전히 잘 보존되어 있을 것으로 추측됐다.

지금까지 인공지능에 대한 관심은 주로 채팅 방법을 학습하는 신경망에 집중되어 있었다. 하지만 이보다 더 흥미로운 것은 인공지능을 통해 침묵하는 사물을 어떻게 말하게 할 것인가 하는 사례들이다. 베수비오 챌린지 이외에도 어려운 연구에 도전하고 상상력과 호기심을 자극하는 챌린지가 AI 커뮤니티에서 더 많이 진행될 것으로 전망된다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

베수비오 챌린지에서 가장 중요한 두 작업, 분할과 잉크 감지
분할 과제의 어려움, 깨끗한 표면 추출에 많은 시간 할애
잉크 감지 모델의 한계, 양질의 학습 데이터 부족

[해외 DS] 고대 헤르쿨레니움 두루마리를 해독한 AI 경진대회 ①, 베수비오 챌린지의 시작과 그 비하인드에서 이어집니다.

기원 79년 베수비오 화산 폭발로 손상되고 변형된 헤르쿨라네움의 수백 개의 파피루스 두루마리는 고대로부터 현재까지 온전하게 남아 있는 유일한 그리스 로마 도서관으로 알려져 있다. 연구원들은 첨단 이미징 기술과 머신 러닝을 사용하여 수천 년 동안 발견되지 않았던 글자를 밝혀내고 있다.

스캐닝: 부서지기 쉬운 탄화 두루마리를 펼치려는 이전의 시도는 파피루스에 영구적인 손상만 입혔다. 오늘날에는 마이크로 CT를 사용하는 비침습적 방법으로 두루마리 내부 구조의 고해상도 3D 디지털 이미지를 추가 손상 없이 생성할 수 있게 됐다.

가상 언래핑: 이 디지털 이미지는 수만 개의 단면으로 구성돼 있으며, 이를 결합하면 전체 3D 이미지가 형성된다. 연구진은 스캔한 두루마리 시트를 추적하고 소프트웨어를 이용해 층들을 외삽하여 3D 메시를 생성한다. 그 후 3D 메시를 평평하게 만들어 '펼쳐진' 두루마리를 2D 이미지에 매핑한다.

잉크 감지: 두루마리에 쓰인 텍스트를 드러내는 것은 어려운 작업이다. 파피루스와 잉크가 모두 탄소 기반이기 때문에 CT 스캔에서 둘 사이의 대비가 낮아 구별하기 어렵다. 이에 연구진은 잉크가 묻어 있는 것으로 알려진 영역(갈라진 진흙 같은 질감을 가진 곳)을 AI에 보여주고, 해당 영역을 복셀 단위로 학습하도록 모델을 훈련했다. 복셀(voxel)은 기본적으로 3차원 픽셀을 의미한다.

AI 해석: AI는 마른 진흙처럼 갈라진 텍스처가 포함된 영역의 고유한 패턴과 기타 미묘한 신호를 학습해 잉크가 묻은 영역의 신호를 증폭시켜 수천 년 동안 보이지 않던 글자를 드러냈다. 특히 베수비오 챌린지에서는 필로데모가 쾌락에 대해 쓴 것으로 추정되는 2,000자 분량의 텍스트가 발견됐다.

다양한 과제와 참가자들의 열정적인 참여, 커뮤니티 협력의 중요성 대두

실즈 교수의 연구팀과 프리드먼은 함께 대회 구조를 고안했다. 잉크 감지, 두루마리에서 첫 글자 찾기, 유용한 오픈소스 소프트웨어 구축 등 다양한 과제에 대해 단계별로 독립적인 상이 주어졌다. 응모 기한은 2023년 12월 31일이었고, 최소 140자의 4개 문단으로 이루어진 응답이 요구됐다. 대회가 시작되자마자 참가자들은 게이머를 위해 만들어진 메시지 보드 플랫폼인 디스코드(Discord)의 대회 서버에 가입했다. 초기에는 약 400명의 참가자가 있었지만, 가을이 되자 회원 수는 1,428명으로 급증했다. 참가자들은 실즈 교수가 ‘바나나 소년’과 ‘뚱보 자식’(본명은 PHerc_Paris_3과 PHerc_Paris_4)이라는 별명을 붙인 두루마리 두 장의 스캔 이미지(5.5테라바이트)를 내려받고 이를 어떻게 처리할지 논의하고 있었다. 상당한 상금이 걸려 있음에도 참가자들은 놀라울 정도로 솔직하게 서로 아이디어를 주고받았다.

대회에서 중요한 두 가지 과제는 분할(segmentation)과 잉크 감지(ink detection)였다. 글자를 찾으려면 파피루스의 깨끗한 표면, 즉 세그먼트가 필요했다. 연구팀은 각 두루마리의 z축을 따라 수천 장의 단면 엑스레이를 촬영했는데, 이러한 단면에는 어두운 배경에 흰색 나선형 선이 드러나는 파피루스 두루마리가 나타났다. 롤을 풀고 평평한 표면을 추출하는 데는 시간이 오래 걸렸다. 마우스 클릭을 통해 모든 단면에서 시트의 위치 변화를 표시해야 하기 때문이었다. 또한 맞춤형 알고리즘이 개별 단면을 하나의 시트로 연결해야 하는데, 탄화로 인해 일부 시트가 서로 붙어버리는 문제가 발생하기도 했다. 때로는 파피루스가 다시 접히거나 한 장이 여러 장이 되어 어느 표면에 글씨가 있는지 알 수 없는 상태가 되기도 한다.

"마치 뭉쳐진 석탄 덩어리와 같다"라고 카일은 지적했다. 풀타임으로 프리드먼에게 고용된 카일은 세분화 작업에 매진하고 커뮤니티와 그 결과물을 공유하게 됐다. 다른 참가자들이 개발한 오픈소스 소프트웨어의 도움으로 카일과 그의 세분화 팀은 시간당 약 0.2제곱인치의 파피루스 표면을 세분화할 수 있었다. 주목할 점은 헤라클레니움 두루마리의 길이가 32피트를 초과할 수 있다는 것이다.

현실 세계를 반영하지 못한 학습 데이터, 우승 모델의 한계 초래해

이와 별개로, 잉크를 감지하는 것은 완전히 다른 도전이었다. 잉크 감지 작업 속도를 높이기 위해 주최 측은 데이터 과학 경진대회 플랫폼인 캐글(Kaggle)에서 머신 러닝 경진대회를 개최했다. 이 경진대회에는 10만 달러의 상금이 걸렸다. 과제는 상대적으로 간단했는데, 이미 글씨가 선명하게 보이는 파피루스 조각의 CT 스캔에서 잉크를 감지하는 머신러닝 모델을 구축하는 것이었다. 이 접근법은 이전에 실즈 교수의 켄터키 연구팀에서 성공한 적이 있으며, 주최 측은 선명한 조각에 대해 학습된 잉크 감지 모델이 가상으로 펼쳐진 파피루스 조각에도 적용할 수 있기를 바랐다.

한편 이 대회에는 중국 하얼빈 공과대학교 학생, 키예프의 고고학자 팀, 독일의 의료 영상 연구 그룹, 일본과 한국의 머신러닝 엔지니어 등 총 2,763명의 참가자와 팀이 참가했다. 이들은 스캔한 조각의 각 복셀(3차원 공간의 픽셀)에 잉크가 있는지를 예측하는 AI를 구축하고 결과를 제출했다. 그런 다음 참가자들이 제출한 내용은 두루마리 조각의 적외선 사진 데이터와 비교하여 검토를 받았다.

지난해 6월 14일 캐글 대회가 마감되기 몇 주 전, 샌디에이고의 한 팀이 순위표에서 최하위권에 머물러 있었다. 해당 팀원들은 모형을 만지작거리다가 특정 부분에서 잉크가 파피루스에 더 깊게 스며든 것을 발견했다. 이에 그들은 모델로 하여금 잉크의 깊이를 중요시하도록 학습시켰다. 하지만 이러한 접근 방식은 오히려 모델을 혼란스럽게 만들었고, 그들은 잉크의 깊이를 무시하도록 모델을 조정했다. 그 결과 놀랍게도 이 그룹은 리더보드의 최상위에 단숨에 올라섰다. 깊이 불변형 모델은 잉크 감지 대회에서 우승을 차지했다.

하지만 우승한 모델은 파피루스의 작은 조각이 아니라 더 넓은 영역에 적용했을 때 성능을 유지하지 못했다. 팀원 중 한 명인 라이언 체슬러(Ryan Chesler)가 우승한 모델을 가상으로 펼쳐진 파피루스의 큰 부분, 즉 몬스터 세그먼트에 적용한 결과를 보고는 크게 실망한 것이다. 파편으로 훈련된 모델은 전체 두루마리에서는 작동하지 않는 것 같았다. 미묵 미시간의 CT 엔지니어인 아론 웨인(Ahron Wayne)은 그 이유가 캐글 대회의 모델이 탄화된 파피루스로 데이터로 학습하지 않았기 때문이라고 생각했다. 그는 탄화된 파피루스를 더 많이 스캔하지 않으면 아무리 정교한 알고리즘도 어려움을 겪을 것이라고 지적했다.

로켓 모터나 바순과 같은 물체를 스캔하는 데 더 익숙한 웨인은 그의 고용주를 설득하여 여가 시간에 최첨단 CT 스캐너를 사용해 학습 데이터를 만들었다. 그는 파피루스 위에 복잡한 그리스어를 그린 다음 탄화하여 이미지를 스캔했다. 그리고 그 결과를 다른 사람들과 공유하여 모델의 잉크 탐지 능력을 향상시켰다. "대상을 받는다면 이 스캐너의 절반 정도는 살 수 있을 것"이라고 그는 덧붙였다.

[해외 DS] 고대 헤르쿨레니움 두루마리를 해독한 AI 경진대회 ③, 베수비오 챌린지의 게임체인저는 다름 아닌 인간 집단지성으로 이어집니다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

베수비오 챌린지, AI로 잃어버린 고전 문학을 찾다
소포클레스, 아이스킬로스, 리비 등의 잃어버린 작품 발견할 가능성 높아
과학기술의 발전이 역사 연구에 새로운 가능성을 열어

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

지난해 8월 말 따뜻한 토요일 밤, 미국 네브래스카대학교에 재학 중이던 루크 패리터(Luke Farritor)는 오마하의 한 하우스 파티 구석에 홀로 앉아 있었다. 당시 21살의 패리터는 소년 같은 얼굴에 네모난 검은색 안경을 쓰고 있었다. 음악이 시끄럽게 울려 퍼지는 가운데 그는 한 통의 문자를 받았다. 미국 브리티시컬럼비아주 출신의 45세 컴퓨터 과학자이자 피아니스트인 벤 카일(Ben Kyles)이 보낸 메시지였다. 카일은 급하게 공유할 소식이 있었는데, 그는 방금 탄화된 파피루스를 고해상도로 스캔해 두루마리를 디지털로 펼치는 작업을 완성했다고 공유 서버 모두에게 전했다. 이에 패리터는 "정말 대단해요"라며 "곧 실행해 볼게요"라고 답했다.

카일의 파피루스는 베수비오산 기슭에 나폴리 만을 끼고 있는 고대 로마 도시 헤르쿨레니움에서 가져온 것으로, 이곳에는 유일하게 보존된 고대 도서관이 자리 잡고 있었다. 지금까지 1,800여 개의 거의 읽을 수 없는 두루마리와 파편은 기원후 79년 폼페이를 파괴한 화산 폭발 당시 화산쇄설류에 의해 화씨 900도 이상의 고온에서 그을리며 60피트 아래에 묻혔다. 파피루스는 충분한 산소가 없어 타지 않고 숯으로 구워졌는데, 이 덕분에 습기로부터 보호되어 고대부터 지금까지 그 형태를 지켜왔다. 그러나 그것은 또한 먼지로 변하지 않고는 두루마리를 펼칠 수 없다는 것을 의미했다.

지난 6개월 동안 두루마리를 해독하기 위해 밤늦게까지 일했던 패리터는 차로 한 시간 거리에 있는 기숙사 방에 설치된 데스크톱 컴퓨터에 원격으로 전화를 걸었다. 그는 서버에서 카일의 새 파피루스 조각을 찾아 지난 몇 주 동안 구축해 온 인공 지능 기반 탐지기에 즉시 입력했다. 이 탐지기는 잉크와 글자, 그리고 단어를 찾아내도록 프로그래밍이 되어 있었다. 패리터는 프로그램을 실행한 다음 휴대폰을 치워뒀다. 그 후, 그는 대리운전 기사로서 친구들을 기숙사로 데려다 주기 위해 파티가 끝나기를 기다렸다.

2,000년의 침묵을 깨다, 인공지능이 밝힌 첫 세 글자 "πορ"

4세기 동안 수도사와 왕자, 파피루스 학자와 고고학자, 고전학자, 컴퓨터 과학자들은 축 늘어진 작은 갈색 부리토처럼 생긴 두루마리를 파괴하지 않고 그 안에 있는 글자나 단어를 알아내기 위해 애썼지만 별다른 성과를 거두지 못했다. 고전학자들과 파피루스 학자들이 오랫동안 바랐던 것처럼 두루마리를 읽을 수 있다면 잃어버린 고전 문학이나 철학 작품, 역사 및 과학 기록을 발견할 수 있을지도 모르는 일이었다. 소포클레스나 아이스킬로스의 비극이나 리비(티투스 리비우스)의 잃어버린 글이 담겨 있을지도 모른다. 미국 로스앤젤레스 캘리포니아대학교의 고전학 교수인 데이비드 블랭크(David Blank)는 "가능성은 무궁무진하다"고 덧붙였다.

거의 모든 고전 문학은 중세 수도사들에 의해 전해져 내려왔다. 그들은 필사 대상을 까다롭게 선정했는데, 그 결과, 원본은 상대적으로 적게 남았고 우리가 아는 고전 문학은 빙산의 일각에 불과했다. 현재 아이스킬로스의 작품이 일곱 편 남아 있지만, 그보다 10배 이상 많은 작품이 존재했던 것으로 알려져 있다. 따라서 헤르쿨레니움에 보존된 파피루스는 잃어버린 작품을 만날 수도 있는 유일한 희망이었다. 일부 고전학자들은 아직 발굴되지 않은 별장의 다른 구역에 더 많은 텍스트가 남아 있을 것으로 기대하고 있다. 이탈리아 볼로냐대학의 고전 고고학 교수이자 ‘헤르쿨레니움의 친구들’(Friends of Herculaneum Society)의 이사인 아날리사 마르자노(Annalisa Marzano)는 시인 버질(베르길리우스)과 호레이스(호라티우스) 같은 거장들의 작품 외에도 "우리가 전혀 알지 못하는" 작가들의 글도 발견될 가능성이 있다고 강조했다.

친구들을 배웅한 후, 패리터는 기숙사 밖에 차를 세우고 건물로 걸어가면서 주머니에서 휴대전화를 꺼냈다. 화면 잠금을 해제한 그는 그 자리에 얼어붙었다. 인공지능이 무언가를 출력한 것이었다. 휴대전화 화면에는 세 개의 검은색 그리스 소문자가 선명한 순서로 배열돼 있었다. 파이(π), 오미크론(ο), 로(ρ) - "πορ"로 흐릿하지만 틀림없는 글자였다. 약 2,000년 만에 처음으로 이 글자들을 본 이 청년은 늦은 여름밤 미국 링컨의 한 주차장에서 고대 화산 폭발에서 구해낸 글자들을 엿보았다. 작년 11월에 패리터를 만났을 때 그는 "깜짝 놀랐다"고 당시를 회상했다. 또한 패리터는 이 글자들이 포함된 단어가 무엇일지, 그리고 어떤 책에 그 단어가 포함되어 있을지 궁금해했다.

잃어버린 고전을 찾아서, 투자자 넷 프리드먼과 고대 도시 헤르쿨레니움의 만남

베수비오 챌린지는 46세의 투자자 넷 프리드먼(Nat Friedman)의 아이디어로 시작됐다. 프리드먼은 2021년까지 마이크로소프트의 오픈소스 소프트웨어 개발 플랫폼인 깃허브(Git-Hub)의 CEO였다. 그는 오랜 투자 파트너인 다니엘 그로스(Daniel Gross)와 함께 오늘날의 AI 열풍에 일찍이 투자한 금융가 중 하나다. 2010년대에 프리드먼과 그로스는 머신러닝 연구자들을 후원했고, 이후 이 분야가 폭발적으로 성장하자 AI 회사에 자금을 지원하기 시작했다. 오늘날 두 사람은 자신들이 투자한 AI 모델을 개발하기 위해 대부분의 국가보다 더 많은 엔비디아 AI 칩을 보유하고 있다.

한편 샌프란시스코 북쪽의 농지에 유토피아적인 도시를 건설하려는 기술 억만장자들이 있다는 소식을 들어봤을 것이다. 프리드먼도 이 프로젝트에 돈을 쏟아부었다. 하지만 2020년 봄, 전 세계 대부분이 코로나19로 인해 봉쇄된 상황에서 프리드먼은 그저 전염병에 대한 걱정에서 벗어나기를 바랐다. 샌프란시스코의 자택에 격리된 채 고대 로마에 매료된 프리드먼은 고대 재난과 재해에 관한 위키피디아 기사를 읽고 있었다. 그러던 중 1709년 나폴리 인근의 레지나라는 마을에서 노동자들이 우물을 판 적이 있다는 사실을 알게 됐다. 약 60피트 아래에서 거대한 극장이 발견됐는데, 2,500명을 수용할 수 있는 이 건물은 말과 귀족의 동상으로 가득 차 있었다. 고대 도시 헤르쿨레니움의 존재가 세상에 처음으로 드러나는 순간이었다.

그 후 수십 년 동안, 고대 예술품이 탐났던 수많은 군 관련 기술자들은 극장에서 뻗어나가는 지하 터널을 파헤치기 시작했다. 당시에는 보존 중심의 고고학적 방법이 개발되지 않아서 이들의 발굴 작업은 고대 유물에 심각한 손상을 남겼다. 그러던 중 1750년 스위스 엔지니어인 칼 베버(Karl Weber)는 지하 벽을 따라가다가 호화로운 별장을 발견했다. 이 바닷가 저택은 한때 율리우스 카이사르의 장인인 루시우스 칼푸르니우스 피소 카에소니누스가 소유했던 것으로 추정되는데, 건물 한구석에서 인부들이 검은색 원통형 산더미를 찾았다. 처음에는 탄화 목재로 생각되어 일부는 버려졌지만, 베버는 곧 그 방이 도서관이라는 사실을 알아챘다. 작업자들은 1,000개가 넘는 파피루스 두루마리와 파편들을 수거하여 지역 박물관에 보관했다.

초기 해독 노력의 실패와 과학 기술의 등장

이 파피루스에서 아직 알려지지 않은 문학 작품을 발견할 수 있다는 가능성에 많은 유럽인이 매료되었고, 학자들은 파피루스를 읽기 위해 다양한 접근 방식을 시도했다. 한 박물관 큐레이터는 두루마리 몇 장을 칼로 세로로 잘라 층층이 긁어냈다. 이 방법으로 일부 읽을 수 있는 텍스트를 발견했지만 두루마리는 망가져 버렸다. 스페인 왕을 위해 방수 망토를 발명했던 한 이탈리아 왕자는 액체 금속이 두루마리 페이지를 분리할 수 있기를 바라며 수은에 두루마리 몇 장을 담갔다. 하지만 이내 수은도 두루마리를 망가뜨렸다. 다른 사람들은 악취가 나는 식물성 가스에 두루마리를 노출하거나 두루마리를 장미수에 담그는 방법도 시도했다.

더 정밀한 작업을 위해 1753년 바티칸 도서관에서 고대 필사본을 관리하던 수도사 안토니오 피아지오(Antonio Piaggio)가 로마에서 소환됐다. 나폴리에 도착한 그는 파피루스를 천천히 펼치는 기계를 발명하여 비단실을 시트 가장자리에 붙이고 하루에 1/10인치의 속도로 층을 부드럽게 떼어내는 방법을 고안했다. 피아지오는 이 방법으로 어느 정도 성공을 거뒀다. 그의 방법으로 시인 버질을 가르쳤으며 그리스 에피쿠로스 철학자 중 한 명으로 허공에서 원자가 흔들리고 충돌하여 우주를 창조했다고 주장한 필로데모스의 작품이 세상에 공개됐다. 그러나 피아지오의 접근 방식은 절망적일 만큼이나 느렸다. 아직 개봉되지 않은 330여 개의 두루마리를 손상하지 않고 읽는다는 것은 불가능해 보였다.

그로부터 몇 세기가 지난 후 프리드먼은 최근의 획기적인 연구 성과에 대해 알게 됐다. 컴퓨터 공학과 교수인 브렌트 실즈(Brent Seales)가 이끄는 켄터키대학교의 한 연구팀이 성공의 문턱에 다다른 듯 보였다. 2019년 실즈 교수팀은 두루마리 두 개를 맞춤형 케이스에 담아 잘려진 조각 네 개와 함께 영국 옥스퍼드셔에 싱크로트론 입자 가속기가 있는 다이아몬드 광원(Diamond Light Source)으로 운반했다. 실즈 교수와 그의 팀은 싱크로트론의 고에너지 광자를 사용하여 적혈구 지름 정도인 8마이크론의 해상도로 파피루스를 마이크로 CT로 스캔했다.

실즈 교수의 계획은 싱크로트론 스캔을 맞춤형 컴퓨터 프로그램으로 가져와 파피루스의 각 층을 가상으로 펼쳐서 렌더링 된 표면의 잉크를 들어내는 것이었다. 하지만 두루마리에 사용된 탄소 기반 잉크는 파피루스와 비슷한 방사능 밀도를 가지고 있어서 스캔본에서 잉크가 드러날 만큼 대비가 뚜렷하지 않았다. 이 문제를 해결하기 위해 실즈 교수의 팀은 카본 잉크로 쓰인 필사본으로 학습된 머신러닝 모델을 구축했다. 잉크 감지 AI 모델이 성공적으로 작동하면 두루마리의 표면에도 적용할 수 있다고 예상한 것이다.

베수비오 챌린지 탄생, 공개 콘테스트로 전환된 실즈 연구팀의 연구 주제

프리드먼은 실즈 교수의 연구팀에 대해 알게 된 후 실리콘밸리의 AI 커뮤니티가 이 프로젝트에 투자하거나 전문 지식을 제공함으로써 도움을 줄 수 있을 것이라는 아이디어를 떠올렸다. 2022년 프리드먼은 약 200명의 창업자와 CEO로 구성된 기술자 중 엄선된 사람들이 매년 며칠 동안 추위 속에서 야영하며 아이디어를 쏟아내는, 프리드먼이 공동 주최하고 캘리포니아 북부의 외딴 숲에서 열리는 독점적이고 은밀한 모임인 프런티어 캠프에 실즈 교수를 초대했다.

하지만 처음에 실즈 교수는 이메일을 무시했다. 프리드먼에 대해 들어본 적은 있지만 그 서신이 진짜인지 믿지 않았기 때문이다. 그러나 프리드먼은 집요했고, 2022년 10월 실즈는 소노마 카운티의 레드우드 숲에 있는 스파르타식 여름 캠프 장소에 도착했다. 그날 밤, 캠프의 나무 별채 중 한 곳에서 실즈 교수는 머신러닝 엔지니어 그룹을 대상으로 강연을 진행했다. 프리드먼은 실즈 교수가 강연하는 동안 그로스에게 "한 시간 안에 이 문제를 해결할 수 있을 것이다"라고 장담했다. 그러나 머신러닝 엔지니어들은 이를 해결하지 못했고, 행사가 끝나자 프리드먼과 그로스는 실즈 교수가 빈손으로 켄터키로 돌아갈까 봐 걱정했다. 그래서 그날 저녁, 실즈 교수가 묵고 있던 팔로알토 호텔의 바에서 버번을 마시며 프리드먼은 대신 공개 콘테스트를 열자고 제안했다.

실즈 교수는 집으로 돌아와 연구실의 다른 구성원들과 이 아이디어를 논의했다. "우리가 해온 모든 작업을 그냥 포기하고 싶지 않았다"라고 박사 학위 논문을 마무리하던 디지털 복원 연구원 스티븐 파슨스(Stephen Parsons)는 말했다. 동시에 그들의 머릿속엔 더 많은 사람이 이 문제를 고민하면 두루마리를 읽을 가능성이 높아질 것이라는 생각도 들었다. 궁극적으로 연구팀이 목표하는 바와 일치하기 때문에 이들은 프로젝트를 세상에 공개하기로 했다. 프리드먼은 열정을 억누르느라 애를 썼다. "매우 흥미롭고 이상한 새로운 프로젝트를 진행하고 있다"라고 그는 트위터(지금은 X)에 글을 올렸다. "평생의 꿈 같은 일이다."

[해외 DS] 고대 헤르쿨레니움 두루마리를 해독한 AI 경진대회 ②, 베수비오 챌린지의 주요 과제와 어려움으로 이어집니다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

고대 문자를 해독하고, 올림피아드 문제를 풀고, 인간의 의식에 대한 새로운 인사이트를 제공하는 인공지능
더 이상 미래의 기술이 아닌 우리의 현실로 다가와
이젠 선택 아닌 필수, AI 기술을 올바른 방향으로 활용하여 인간과 AI가 공존하는 미래를 만들어야

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

인공지능이 드디어 그 이름에 걸맞은 본격적인 성장의 시대를 맞이하고 있다. 책과 기사 및 기타 데이터를 기반으로 유창한 글을 작성할 수 있는 텍스트 생성 AI에 관한 이야기를 많이 들어봤을 것이다. 이번 호에서는 AI 연구를 통해 얻은 흥미로운 인사이트 몇 가지를 소개한다.

여러 분야에서 괄목할 만한 성과 이룬 인공지능, "더 이상 아무도 의심하지 않아"

기원 79년 베수비오 화산 폭발로 로마의 도시 폼페이와 헤르쿨레니움은 파괴됐지만, 1709년에 발견된 두루마리로 가득 찬 필로데무스의 도서관은 학자들에 의해 발굴되어 세상에 알려졌다. 학자들은 불에 탄 파피루스를 펼쳐서 읽으려 했지만, 그 과정에서 두루마리가 크게 훼손되는 일이 발생했다. 이에 숯덩어리가 된 두루마리를 가상으로 '펼쳐' 그 속에 있는 고대 그리스 문자를 해독하는 AI 경연 대회가 열렸고, 학생 세 명으로 구성된 연구팀이 오랫동안 잊혔던 쾌락에 관한 철학적 구절을 해독해 냈다. 이러한 소식을 들은 많은 전문가들은 아직 번역되지 않은 다른 파피루스 속에 더 다양한 주제들이 숨겨져 있을 것이라며 흥분을 감추지 못하는 반응을 보였다. 또한 이 대회의 공동 창립자인 브렌트 실즈(Brent Seales)는 “이번 대회를 통해 모든 사람의 의구심이 말끔히 씻겼다”며, 이제 해독 가능성에 대해 “더 이상 아무도 의심하지 않는다”고 강조했다.

아울러 AI 기술은 인간의 의식을 탐구하는 도구로도 사용되고 있다. AI를 더욱 지능적으로 만들기 위한 탐구는 인간 지능에 대한 우리의 이해를 발전시키고 있다고 사이언티픽 아메리칸의 기고 편집자인 조지 머서(George Musser)는 말했다. 한 이론에 따르면 의식은 다양한 뇌 영역의 입력과 분석을 이해하는 것으로, 문제를 해결하기 위한 일종의 작업 공간이다. 이러한 뇌의 구조를 반영하기 위해 AI 개발자들은 플러그인이나 네트워크가 특정 작업(수학, 논리, 이미지 구별, 인터넷 검색)에 특화된 모듈형 시스템을 설계하고 있다. 그러나 모듈형 AI가 서로 어떤 방식으로 통신하여 일관된 '자아'를 형상하는지는 아직 풀리지 않은 숙제다. 이에 대해 일부 전문가들은 신경과학의 작업 공간 모델을 탐구하는 것은 의식이 있는 기계를 만들지 못하더라도, 유연하고 창의적인 인간 마음의 비밀을 밝혀낼 수 있을 것이라며 긍정적으로 해석했다.

실제로 인간의 유연한 사고력을 일정 부분 흉내 낸 구글 딥마인드의 알파지오메트리(AlphaGeometry)는 수학적 추론 능력에 있어 상당한 발전을 보여줬다. 알파지오메트리는 올림피아드 금메달리스트 수준으로 기하학 문제를 풀었는데, 국제수학올림피아드(IMO)는 예비 대학생을 대상으로 하는 가장 권위 있는 수학 대회다. 구글 딥마인드와 뉴욕대학교의 공동 연구팀은 IMO 수준의 기하학 문제를 풀 수 있는 알파지오메트리를 개발했고, 이 AI 프로그램은 과거 IMO에서 출제된 기하학 문제 30개 중 25개를 성공적으로 풀었다. 알파지오메트리는 인간이 생성한 증명을 공식 언어로 번역할 필요가 없는 합성 데이터 세트를 사용하는데, 연역적 알고리즘과 대규모언어모델(LLM)을 결합하여 추론 과정에서 어려움을 겪을 때, 맥락을 고려한 새로운 단서를 생성하는 유연한 대처 방식으로 어려운 증명 문제를 풀어 나갔다. 인공지능이 수학 분야에서도 인간 수준의 능력을 발휘할 수 있다는 가능성을 보여줬으며, 앞으로 AI 모델이 더욱 발전하면 수학 연구와 교육에 큰 영향을 미칠 것으로 기대됐다.

AI의 부정적 영향 방지해야, 모델 투명성과 법제화의 필요성 강조

한편 다소 논란이 있지만 창의적인 적용 사례도 있다. 최근 챗봇 개발자들은 종교 텍스트, 즉 쿠란, 성경, 불교 경전 등을 학습하여 사용자에게 영적 통찰력을 제공하는 AI 챗봇을 만들었다. 종교 텍스트를 학습한 LLM은 학자와 일반인에게 종교적인 작품을 번역하고 이해하는 데 도움을 주고 있지만, 과학 저널리스트인 웹 라이트(Webb Wright)가 설명한 것처럼 일부 신학자들은 챗봇이 종교 텍스트의 깊이 있는 이해를 제공하지 못하며, 오해를 불러일으킬 수 있다고 우려하고 있다. 특히 학습 자료로 쓰였을 인터넷상의 종교에 관한 내용은 해석의 편차가 심한 특징이 있고, 방대한 역사적 맥락과 각종 세계관의 차이를 종합하여 판단해야 하므로 챗봇이 민감한 질문에 대해 잘못된 조언을 제공하여 더 큰 논란을 키울 수 있다는 것이다. 하지만 종교 텍스트에 대한 접근성 향상 측면과 새로운 종교적 통찰을 얻을 기회를 고려하면 종교 챗봇이 가져오는 이점도 적지 않다.

기술의 발달이 가시화될수록 부정적인 영향 또한 가중되고 있는 것도 사실이다. 사이언티픽 리포트에 발표된 심리학 연구에 따르면 AI 모델에 의해 전염된 편견은 AI 프로그램 사용을 중단한 후에도 사람의 의사결정 행동에 지속될 수 있다고 한다. 인공지능에 대한 신뢰가 높고 챗봇의 답변에 자신감이 묻어 나올수록 그 효과는 배가 되므로, AI 모델의 편향성을 줄이기 위해서는 모델의 투명성을 높이고 AI의 사용에 대한 사전 교육 필요하다는 비판도 제기됐다. 여기서 한 가지 주목해야 할 점은 인간 사용자에게 모든 책임을 전가해서는 안 된다는 것이다. 인간 사용자의 데이터 리터러시를 강조하고 이를 위한 교육을 강화하는 것도 중요하지만, AI 챗봇이 영향력이 걷잡을 수 없이 커지고 있는 만큼, AI 서비스의 생산자를 향한 법적 제재(학습 데이터의 품질 관리나 인간 사용자의 심리를 악용하는 것을 방지하는 법안)도 강화돼야 한다.

이렇듯 인공지능은 더 이상 미래의 기술이 아니다. AI 시대는 우리의 현실이다. 과거의 유물을 발굴하고, 인간 지능의 비밀을 풀고, 난해한 수학적 문제를 해결하며, 심지어 종교적 탐구까지 돕는 등 우리 삶의 다양한 측면에 이미 깊숙이 영향을 미치고 있다. 단 몇 년 만에 AI는 인간의 능력을 뛰어넘는 수준에 도달했고, AI의 영향력을 의심할 여지가 없다. 이 새로운 시대에 적응하고, AI 기술을 올바른 방향으로 활용하여 인간과 AI가 함께 성장하는 미래를 만들어 나가야 한다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

최대 300억 개의 매개변수 지원, 사용자의 지시에 따라 이미지 전반을 추론
인컨텍스트 학습, 다중 이미지 추론, 효율적인 MoE 변형 및 최적화된 데이터 처리 전략 등의 기능을 갖추고 있어
어떤 용도로 사용될지 아직 밝히지 않았지만, 향후 Siri 개선·iMessage 기능 강화 등에 활용될 것으로 기대돼

최근 애플은 이미지와 텍스트를 처리할 수 있는 멀티모달 모델 'MM1'을 미국 코넬대 논문 저장 사이트 ‘아카이브(arXiv)’에 공개했다. 이 모델은 최대 300억 개의 매개변수를 지원하며 사용자의 지시에 따라 이미지 전반을 추론할 수 있는 능력이 있다.

효율성과 확장성을 위한 MoE 변형과 최적화된 데이터 처리 전략

MM1은 인컨텍스트 학습(in-context learning)을 지원하므로 새로운 유형의 쿼리나 작업에 대해 명시적으로 재교육하거나 미세 조정할 필요 없이 현재 대화에서 제공되는 문맥을 기반으로 질의를 이해하고 응답할 수 있다고 연구진은 밝혔다. 인컨텍스트 학습은 모델이 이전에 본 적이 없는 콘텐츠를 기반으로 이미지에 대한 설명을 생성하거나 사진 기반 프롬프트의 내용에 관한 질문에 답할 수 있게 한다.

MM1은 또한 다중 이미지 추론도 지원하므로 동일한 쿼리 내에서 여러 이미지를 이해하고 해석하여 결론을 도출할 수 있다. 다중 이미지 추론을 통해 시각적 콘텐츠와의 보다 복잡하고 미묘한 상호작용을 처리할 수 있다고 전했다. 향후 MM1의 다중 모드 이해 기능을 통해 애플은 이미지를 기반으로 질문에 답할 수 있게 함으로써 음성 비서 시리(Siri)를 개선하고, 아이메시지(iMessage) 내에서 공유된 이미지와 텍스트의 맥락을 이해하여 사용자에게 더욱 관련성 높은 답변을 제안할 수 있을 것으로 기대된다.

애플의 새로운 대형 멀티모달 모델에는 성능을 향상하는 몇 가지 메커니즘이 있다. 그중에는 시각적 데이터와 텍스트 데이터를 동시에 처리하는 하이브리드 인코더가 있는데, 이를 통해 MM1은 두 가지 데이터 형식을 통합한 콘텐츠를 이해하고 생성할 수 있게 된다. MM1의 또 다른 핵심 구성 요소는 비전-언어 커넥터다. 이는 이미지 인코더가 처리하는 시각적 인식과 언어 모델이 처리하는 텍스트 이해 사이의 틈을 메워준다. 기본적으로 비전-언어 커넥터는 이미지와 텍스트를 처리하는 모델의 개별 기능을 통합하여 이미지의 시각적 인식과 언어 이해가 함께 작동할 수 있도록 한다.

아울러 MM1은 기존의 신경망 모델과 전문가 혼합 모델(Mixture-of-Experts, MoE) 변형을 모두 사용하기 때문에 확장 가능하고 효율적이다. 특히 MoE를 사용하면 추론 중 계산 비용을 늘리지 않고도 모델 용량을 늘릴 수 있는 장점이 있다. 간단히 말해 MM1은 효율적이면서도 더 많은 것을 처리할 수 있다. 또한 이름에서도 알 수 있듯이 각 전문가 모델이 단어, 그림, 코드를 분리해 해를 찾고 이를 종합하여 답하는 방식으로 작동한다. 더 나아가 연구팀은 다양한 데이터 유형이 모델 성능에 미치는 영향을 조사하는 광범위한 연구를 통해 최적화된 데이터 처리 전략을 발굴했다. 예를 들어, 연구팀은 이미지-캡션이 있는 이미지-텍스트와 텍스트 전용 데이터를 혼합하여 사용하는 대규모 멀티모달 사전 학습의 경우가 최고의 성능을 달성하는 데 결정적이라는 사실을 밝혀냈다.

인공지능 영역에 큰 기여, 효율적인 AI 시스템 개발을 위한 핵심 정보 제공

성능 측면에서 300억 개의 파라미터가 포함된 MM1은 멀티모달 벤치마크에서 다른 모델보다 뛰어난 성능을 보였다. MM1은 크기가 두 배 이상 큰 플Flamingo 및 IDEFICS와 같은 모델을 능가했다.

일부 업계 관계자들은 애플의 이번 연구 결과 발표는 인공 지능 영역에 크게 기여 했다고 높게 평가했다. 먼저 연구의 내용이 포괄적이다. 모델의 아키텍처와 데이터의 다양한 조합의 절충, 그리고 각 부분이 학습된 모델의 결과에 어떤 영향을 미치는지에 대해 논의한 인사이트를 공유함으로써 애플은 챗GPT와 같은 모델에 도전할 뿐만 아니라, AI 커뮤니티가 그 결과를 바탕으로 더 정교하고 유능한 AI 시스템을 구축하도록 도왔다는 것이다. 또한 대규모 모델을 학습시키는 데에 막대한 비용이 드는 시대에 이러한 인사이트는 투자 대비 최대의 효과를 얻기 위해 어디를 최적화하고 어디를 줄여야 하는지를 알려주는 핵심적인 정보를 담은 지침서라고 일부 전문가들은 바라봤다.

지난달에는 애플이 자율주행차 프로젝트 타이탄을 중단하고 제너레이티브 AI에 집중한다는 소식이 전해졌다. 애플은 마이크로소프트나 구글과 달리 조용히 AI 프로젝트를 진행해 왔는데, 아직 구체적인 내용은 공개되지 않았지만, 지난여름에는 자체 웹 애플리케이션 기반 챗봇 서비스인 'Apple GPT'를 개발 중이라는 보도가 있었고, 개발자들이 애플의 하드웨어에서 대규모언어모델을 학습하고 실행할 수 있는 오픈소스 툴킷인 'MLX'를 공개했다. 멀티모달 모델을 연구하는 애플 수석 연구 엔지니어 브랜던 매켄지(Brandon McKinzie)에 따르면 MM1은 "시작에 불과하다"고 한다. 또한 그는 애플이 "이미 차세대 모델을 개발하기 위해 열심히 노력하고 있다"고 언급했다. 한편 애플은 MM1이 어떤 용도로 사용될지 아직 밝히지 않았다.

파이(원주율)는 완벽한 원을 지배하는 무질서한 수다
정규수를 찾는 것은 흔한 일이며, 파이도 정규수일 가능성이 높아 
파이가 정규수라면 셰익스피어의 작품, 미래에 일어날 일, 그리고 상상할 수 있는 모든 정보가 파이의 소수점 아래 어딘가에 담겨 있어

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

모든 원은 지름보다 원주가 약 3배 더 길다는 특성을 공유한다. 더 정확하게 말하면 원주율은 3.14159로 지름보다 원주가 파이(pi) 배 만큼 크다. 원은 가장 기본적인 도형이기 때문에 이를 지배하는 수인 파이는 수학계 전반에 걸쳐 그 존재감을 드러낸다. 또한 파이의 소수점은 4분의 1(0.25)처럼 끝이 나거나 3분의 1(0.33333…)처럼 반복되지 않는 무리수다. 따라서 이처럼 완벽한 대칭을 이루는, 한때 신성한 도형으로 여겨졌던 원이 파이처럼 무질서하고 비정상적인 수에 의존한다는 사실이 놀랍게 느껴질 수도 있다. 아니면 "왜 우주는 가장 단순한 모양에 3과 같은 일반적인 비율을 선택하지 않았을까"라는 의문이 들 수도 있다.

무작위 속에 담긴 모든 가능성, 파이는 정규수일까?

사실 수학자들은 구어적 의미와 기술적 의미 모두에서 파이가 정규수(normal number)라고 믿는다. 앞으로 살펴보겠지만, 정규수는 기괴하면서도 평범한 숫자다. 10진수의 숫자가 영원히 계속되는 수열이 있다고 상상해보자. 이것이 정규수라면 각 숫자(0, 1, 2.... 9)가 똑같은 빈도로 나타난다. 또한 가능한 두 자리 조합(00, 01, 02.... 99)도 똑같은 빈도를 가진다. 따라서 직관적으로 일반 숫자에서 무작위로 한 자리를 선택하면 7이 될 확률은 10의 1, 0이 될 확률도 10의 1이고, 연속된 두 자리를 선택하면 63 또는 다른 두 자리 수열이 될 확률은 100분의 1이어야 하는 것이다.

이러한 패턴은 세 자리 조합, 네 자리 조합 등에도 적용되는데, 균일 분포에서 오는 무작위성 덕분에 정규수는 이론적으로 가능한 모든 수열을 포함할 수 있다. 다시 말해, 숫자를 문자로 바꾸면 숫자열 어딘가에는 특정 노래의 가사나 책의 전체 텍스트, 심지어 미래에 대한 예언까지도 포함될 수 있다. 더 구체적으로는 01은 'a', 02는 'b'로 번역해 모든 문자와 문장 부호에 고유한 두 자리 숫자를 지정하는 암호화 방식이다. 또한 160905를 'pie'로 인코딩하는 것과 같이 연속된 숫자 문자열로 단어를 지정하는 것도 가능하다. 이러한 설정으로 정규수는 작성되었거나 작성될 수 있는 가능한 모든 경우의 텍스트를 포함할 수 있는 것이다.

따라서 파이의 소수점 이하의 무한 수열이 정규수라면 그 어딘가에는 비욘세의 모든 가사, 이 기사의 사본, 내일 일어날 일에 대한 자세한 설명, 지금까지 나눈 모든 대화, 셰익스피어의 모든 작품이 그대로 담겨 있다. 물론 찾고자 하는 텍스트가 길수록 소수점 이하를 지나 더 멀리 검색해야 할 가능성이 높다. 예를 들어 02011804로 인코딩된 'bard'라는 단어는 8,200만 자리가 넘는 원주율에서 처음 나타난다. 전체 희곡은 말할 것도 없고 소네트 한 편을 찾으려면 상상할 수 없는 깊이로 뛰어들어야 한다. 하지만 원주율 소수점은 무한대로 이어지기 때문에 로미오와 줄리엣의 대사를 찾는 일은 시간의 문제일 뿐, 불가능의 영역이 아니다.

하지만 소수가 무한하고 반복되지 않는다고 해서(즉, 무리수라고 해서) 그 숫자가 반드시 정규수로 분류되는 것은 아니다. 예를 들어 0.01001000100001…과같이 1과 1 사이에 있는 0의 숫자가 계속 늘어나는 소수점 이하 숫자를 생각해 보면, 이 수열은 영원히 계속되고 반복되는 루프에 빠지지 않지만, 단순한 숫자 '7'과 '11'은 절대 나타나지 않는다. 현재 수학자들은 파이가 정규수라는 것을 증명하지 못한 상태다. 이론적으로 숫자는 정규수에서 요구하는 것처럼 모든 문자열이 똑같은 빈도로 나타나지 않고도 모든 텍스트를 포함할 수 있기 때문이다. 이를 불연속성(정규성보다 약한 조건)이라고 부르는데, 파이가 불연속적인지도 알지 못하고 있다.

무한 원숭이 정리, 타자기로 쓴 셰익스피어

실제로 파이에서 어떤 한 자릿수가 무한히 여러 번 나타나지 않을 수도 있다. 우리가 아는 한, 4조 번째 숫자 이후에는 5가 다시는 파이에 나타나지 않을 가능성이 있다. 수조짜리의 파이에 대해선 정규성에 부합하는 통계적 검증 결과가 존재한다. 하지만 유한한 수로 테스트한 결과이기 때문에 정규성을 증명했다고 주장할 수는 없는 단계다. 이렇듯 특정수에 대해 정규성을 증명하는 것은 매우 어려운 일이다. 인류는 몇 가지 구체적인 예만 알고 있는데, 가장 간단한 예가 바로 챔퍼나운 수다. 이 숫자를 만들려면 소수점 뒤에 오름차순으로 모든 정수를 연결하기만 하면 된다:

.12345678910111213…

챔퍼나운 수는 우스꽝스럽지만, 특정 숫자가 정규수임을 가장 먼저 증명한 예 중 하나이며, 이 증명마저도 간단하지 않다. 그런데도 수학자들은 파이, 오일러의 수(e), 2의 제곱근, 그리고 많은 사람이 좋아하는 대부분의 다른 무리수가 정규수라고 전제한다. 정규수의 이상한 속성과 우리가 아는 구체적인 예가 거의 없다는 점을 감안할 때, 왜 수학자들은 파이가 정규수라고 의심할까? 평범하지만 놀라운 사실은 거의 모든 숫자가 정규수라는 것이다. 눈을 감고 숫자 선의 한 점을 무작위로 고른다면, 정규수(따라서 셰익스피어를 모두 암호화하는 수)를 선택할 확률은 100%다. 일반적으로 우리는 100% 확률을 "반드시 일어날 것"이라고 생각하지만, 무한 집합을 다룰 때는 이 의미가 무너진다. 물론 743과 같은 정수나 ⅘과 같은 정규수가 아닌 것을 선택할 수도 있지만, 정규수의 밀도(무한대)는 그러한 가능성을 완전히 압도하기 때문에 확률을 100%라고 부르는 것이 적절하다.

이 모든 것은 원숭이가 타자기로 무작위로 타이핑을 하면 결국 셰익스피어의 작품이 나온다는 유명한 사고 실험 '무한 원숭이 정리'와 비슷하다. 다시 말하지만, 원숭이들이 맥베스의 1막을 끝내기까지 영겁을 기다려야 할지도 모르지만 영겁은 무한대 앞에서 티끌에 불과하다. 숫자 선에서 한 점을 고르는 것과 타이핑하는 원숭이 두 가지 비유 모두 정규수가 임의의 숫자 문자열처럼 작동한다는 점을 암시한다. 0에서 9까지의 숫자가 포함된 10면 주사위를 무한히 굴려서 그 결과를 기록하면 정규수가 나오는 것과 같은 맥락이다. 숫자의 연속체 대부분은 이 정적 노이즈에 따른 혼란스러운 정규수로 채워져 있으며, 우연히도 가끔 일관된 질서를 엿볼 수 있게 된다. 우리에게 익숙한 743과 같은 정수와 ⅘과 같은 분수는 예외적인 이상값이라고 할 수 있다.

우리는 철학적 질문으로 시작했다. 단순하고 대칭적인 원이 왜 파이처럼 무질서한 상수의 지배를 받는 것일까? 이 수수께끼에 대한 한 가지 대답은 그 사실이 실제로 우리를 전혀 놀라게 하지 않아야 한다는 것이다. 파이가 정규수일 가능성이 높으며, 자연에서 정규수를 찾는 것은 건초더미에서 건초를 찾는 것만큼이나 흔한 일이기 때문이다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

코로나19는 브레인 포그 외에도 다양한 방법으로 뇌 기능 저하를 유발해
감염 이력이 있는 환자는 뇌 부피의 감소와 구조적 변화 등으로 장기적인 기능 저하에 노출돼
인지적 기능 장애가 있는 사람이 증가했으며 이를 대처하기 위한 사회적 비용도 함께 증가할 것으로 예상

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소(GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

팬데믹 초기부터 브레인 포그는 코로나19 이후 많은 사람이 경험하는 심각한 건강 상태로 떠올랐다. 브레인 포그는 집중력, 기억력, 명료한 사고를 어렵게 만드는 정신적 둔화 또는 명확성 부족과 흐릿함의 상태를 설명하는 용어다.

4년이 지난 지금, 코로나19의 원인 바이러스인 SARS-CoV-2에 감염되면 뇌 건강에 다양한 방식으로 영향을 미칠 수 있다는 수많은 증거가 입증됐다. 코로나19는 브레인 포그 외에도 두통, 발작 질환, 뇌졸중, 수면 장애, 신경 마비 및 일부 정신 질환 등 다양한 문제를 유발하는 것으로 나타났다.

또한 팬데믹 동안 축적된 데이터는 코로나19가 뇌에 지울 수 없는 손상을 남기는 것을 증명했다. 그러나 바이러스가 뇌를 손상하는 구체적인 경로는 아직 밝혀지지 않았으며, 치료법도 아직 존재하지 않는다.

코로나19, 단순한 호흡기 질환이 아닌 뇌 건강까지 위협하는 바이러스

대규모 역학 분석에 따르면 코로나19에 걸린 사람들은 기억력 문제와 같은 인지 기능 결함의 위험이 크다고 한다. 코로나19 감염 전후의 사람들을 대상으로 벌인 영상 연구에서는 감염 후 뇌 부피가 줄어들고 뇌 구조가 변화한 것으로 나타났다. 또한 경증에서 중증 코로나19 감염자를 대상으로 한 연구에서는 뇌의 염증이 상당히 오래 지속되고 7년간의 뇌 노화에 상응하는 변화가 나타난 것으로 조사됐다.

게다가 입원이나 집중 치료가 필요한 중증 코로나19 감염자는 20년의 노화에 해당하는 인지 결핍 및 기타 뇌 손상이 발생했다. 인간 뇌의 변화를 모방하도록 설계된 인간 및 실험용 쥐의 뇌 오가노이드를 이용한 실험에 따르면 SARS-CoV-2 감염은 뇌세포의 융합을 유발하는 것으로 나타났는데, 이는 뇌의 전기 활동을 효과적으로 단락시키고 기능에 손상을 일으킨다.

한편 중증 코로나19에 걸렸지만 수개월 후 다른 원인으로 사망한 사람들을 대상으로 한 부검 연구에 따르면 바이러스가 여전히 뇌 조직에 존재했다. 이는 이름과는 달리 SARS-CoV-2가 호흡기 바이러스일 뿐만 아니라 일부 사람의 뇌에도 침입할 수 있다는 것을 증명하는 결과다. 그러나 뇌 조직에 바이러스가 남아 있는 것이 코로나19에 걸린 사람들에게서 나타나는 뇌 문제를 유발하는지는 아직 명확하지 않다.

하지만 연구에 따르면 바이러스가 경미하고 폐에만 국한되어 있어도 뇌에 염증을 유발하고 뇌세포의 재생 능력을 손상할 수 있다. 또한 코로나19는 우리 몸의 통제 및 명령 센터인 신경계를 보호하는 혈액-뇌 장벽을 파괴하여 '누수'를 일으킬 수 있는데, 코로나19로 입원한 사람들의 뇌를 영상으로 평가한 연구에 따르면 브레인 포그를 경험한 사람들의 뇌에서 혈액 뇌 장벽이 파괴되거나 새는 현상이 관찰된 바 있다.

마지막으로 코로나19 감염자 약 100만 명과 비감염자 600만 명 이상을 대상으로 한 11개 연구의 데이터를 종합한 대규모 예비 분석에 따르면 코로나19는 60세 이상 고령자의 신규 치매 발병 위험을 증가시켰다고 한다. 부검 결과 코로나19로 사망한 사람들의 뇌에 치명적인 손상이 있는 것으로 밝혀진 것이다.

후유증으로 인한 인지 기능 저하, 사회적 비용 증가로 이어져

최근 뉴잉글랜드 의학 저널에 발표된 새로운 연구에서는 이전에 코로나19에 걸린 적이 있는 약 113,000명의 기억력, 계획, 공간적 추론과 같은 인지 능력을 평가했다. 연구진은 감염된 적이 있는 사람들의 기억력과 실행 작업 수행 능력이 현저히 떨어진다는 사실을 발견했고, 이러한 저하 현상은 팬데믹 초기에 감염된 사람들과 델타 및 오미크론 변종이 우세했던 시기에 감염된 사람들 사이에서 동일하게 나타났다. 이는 팬데믹 바이러스가 시간의 흐름과 변종으로 진화함에 따라 인지 기능 저하의 위험이 줄어들지 않았음을 보여준다.

같은 연구에서 코로나19를 경증으로 앓고 완치된 사람들은 IQ가 3점 하락했다. 아울러 숨 가쁨이나 피로감 등의 증상이 해결되지 않은 지속적 증상을 가진 사람들은 IQ가 6점 하락했고, 코로나19로 중환자실에 입원한 적이 있는 사람은 IQ가 9점이나 하락했다. 그리고 바이러스에 재감염된 경우는 재감염되지 않은 경우에 비해 IQ가 2점 더 떨어졌다.

일반적으로 평균 IQ는 약 100이다. IQ가 130 이상이면 영재성이 높은 개인을 의미하고, 70 미만이면 일반적으로 상당한 사회적 지원이 필요할 수 있는 수준의 지적 장애를 나타낸다. 뉴잉글랜드 의학 저널의 연구 결과를 종합해 보면, IQ가 3점 낮아지면 미국 성인 중 IQ가 70 미만인 사람의 수가 470만 명에서 750만 명으로 증가하여 사회적 지원이 필요한 수준의 인지 장애를 가진 성인이 280만 명 증가할 것으로 추정된다. 이는 곧 엄청난 사회적 비용의 증가를 의미한다.

같은 호에 실린 또 다른 연구에서는 2020년 3월부터 2023년 4월까지 노르웨이인 10만 명 이상이 참여했다. 이 연구에서는 SARS-CoV-2 검사 양성 판정 후 최대 36개월까지 여러 시점에 걸쳐 기억력 기능이 악화하는 것으로 나타났다. 이러한 연구 결과를 종합해 보면 코로나19는 경증인 경우에도 뇌 건강에 심각한 위험을 초래하며, 그 영향은 이제 전체 인구 수준에서 드러나고 있다.

연구자들의 공동 노력과 인지 장애의 원인 규명 및 치료법 개발 시급

최근 미국 인구 조사 분석에 따르면 코로나19 팬데믹이 시작된 후, 지난 15년 동안 그 어느 때보다 기억력, 집중력, 의사 결정에 '심각한 어려움'을 겪는 노동 연령대 미국인이 100만 명 더 늘어난 것으로 나타났다. 가장 당황스러운 점은 이러한 현상이 대부분 18세에서 44세 사이의 젊은 성인층에서 발생했다는 점이다. 유럽연합의 데이터에서도 비슷한 추세가 확인됐는데, 2022년에는 유럽연합 인구의 15%가 기억력과 집중력에 문제가 있다고 보고했다.

따라서 앞으로는 인지 장애로 인해 누가 가장 위험에 처해 있는지 파악하는 것이 중요하다. 또한 이러한 추세가 어린이와 청소년의 교육 성취도와 노동 연령 성인의 경제적 생산성에 어떤 영향을 미칠 수 있는지에 대한 더 나은 이해가 필요하다. 이러한 변화가 치매와 알츠하이머병의 역학에 어느 정도 영향을 미칠지도 명확하지 않은 실정이다.

현재 코로나19를 뇌에 중대한 영향을 미치는 바이러스로 간주해야 한다는 연구 결과가 속속 발표되고 있다. 인지 장애를 겪는 개인부터 인구와 경제에 미칠 잠재적 영향에 이르기까지 그 영향이 광범위하기 때문이다. 브레인 포그를 비롯한 이러한 인지 장애의 진정한 원인을 밝히기 위해서는 전 세계 연구자들의 공동 노력으로 수십 년은 아니더라도 수년이 걸릴 것이라고 전문가들은 내다봤다. 그리고 안타깝게도 거의 모든 사람이 이 전례 없는 글로벌 프로젝트의 실험 대상이 되고 있다고 전했다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

게리맨더링은 특정 정당, 인종에 유리하도록 선거구를 조작하는 행위
수학적 도구는 공정한 선거구 획정에 도움이 될 수 있지만, 악용될 가능성도 존재
근본적으로 가치 기반의 사회 문제임을 깨닫고 법적 조치와 사회적 가치 변화 촉구해야

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

슈퍼 화요일로 알려진 지난 5일, 미국 15개 주에서 대통령뿐만 아니라 11월 총선에 출마할 공화당과 민주당의 후보를 선출하는 가장 큰 규모의 예비선거가 열렸다. 예비선거가 열리는 주에는 공화당이 투표에서 유리하도록 선구가 짜인 노스캐롤라이나주와 텍사스주도 포함되는데, 이 두 주는 2022년 선거에서 하원을 공화당에 넘겨주는 데 중요한 역할을 했다. 게리맨더링으로 인해 만들어진 기형적인 선거구 분할 방식은 올해에도 같은 결과를 가져올 수 있다고 전문가들은 예측하고 있다.

1812년에 만들어진 용어인 게리맨더링은 특정 정당이나 인종 집단에 유리하도록 투표구 경계를 고의로 조작하는 것을 말한다. 이러한 관행은 당파적 이해관계와 인종적 박탈의 역사에 힘입어 수년 동안 지속되어 왔다. 10년마다 주 정부는 새로운 미국 인구조사 데이터를 기반으로 선거구를 다시 그리는데, 이 과정에서 정치적 당파성과 역사적 불공정성으로 인해 복잡한 문제가 발생한다.

수학적 접근 방식의 한계, 정치적 동기와 가치관 불일치의 문제

게리맨더링을 방지하기 위한 노력의 하나로 정치학자와 수학자를 비롯한 연구자들은 1986년 대법원의 권고에 따라 현존하는 게리맨더링을 파악하고 새로운 선거구를 만드는 데 도움이 되는 도구를 개발했다. 이러한 도구는 고급 기하학 및 고성능 컴퓨터의 계산 능력을 활용하여 게리맨더링 사례를 식별하고 더 공정한 선거구 획정 솔루션을 제안하는데 기여했다.

그러나 수학적 접근 방식은 게리맨더링을 유발하는 근본적인 정치적 동기와 가치체계의 불일치 문제를 해결하지 못한다. 게리맨더링 문제의 뒷면엔 더 깊은 사회적 가치와 정치적 이데올로기가 숨어 있다. 따라서 게리맨더링으로 이익을 얻는 사람들과 선거 공정성을 옹호하는 사람들 사이의 이해관계가 충돌하고 있음을 먼저 인식해야 한다. 이익 다툼에서 수학과 과학의 논리는 큰 효력을 발휘하지 못한다. 때문에 게리맨더링을 억제하기 위한 법률을 시행하려는 크고 작은 노력에도 불구하고 이 문제가 오랫동안 우리 곁에 남아 있는 것이다.

게다가 수학도 악용될 수 있다. 메트릭 기하학(Metric Geometry)과 게리맨더링 그룹(Gerrymandering Group)과 같은 조직이 선거 공정성을 위해 헌신적으로 연구하고 있지만, 반대 진영의 싱크탱크에서도 편향된 선거구 획정에 수학적 광택을 부여하는 것은 어렵지 않은 일이다. 판사나 수학자도 편향되어 있으면 수학적 접근은 실패할 수 있다.

물론 수학적 노력이 아무런 의미가 없는 것은 아니다. 게리맨더링을 식별하고 공정한 선거구가 어떤 모습인지 보여주기 위해서는 과학적 도구가 필요하다. 다만 그 방법이 비수학자가 쉽게 이해할 수 없을 정도로 복잡하다면 수학은 더 이상 해결법이 될 수 없다. 이땐 사실 관계를 따지는 대신 뿌리 깊은 가치관의 차이에 근거해 반대하는 사람들을 설득해야 한다.

다양한 게리맨더링 수법과 이를 위한 법제화의 필요성

한편 게리맨더링은 소외된 커뮤니티, 특히 유색인종에게 부정적인 영향을 미치는 것으로 분석됐다. 소수 집단을 특정 선거구에 집중시킴으로써 선거 영향력을 희석해 제도적 불평등을 고착하는 증거들이 보고되고 있다. 예를 들어 민주당에 투표하는 소수계 인구의 대부분은 도시 지역에 집중됐지만, 공화당의 백인 지지층은 주로 교외와 외곽에 거주하고 있다. 그 결과, 게리맨더링은 종종 도시 안팎에서 이상한 형태의 선거구를 만들어내고, 민주당 당원과 유색인종 유권자를 최소한의 의회 선거구에 집중시켜 다른 곳에서는 공화당의 힘을 극대화하는 결과를 낳았다.

하지만 민주당도 다른 종류의 게리맨더링 사용에 적극적이다. 민주당은 당파적 게리맨더링에 관여하는 경향이 덜하지만, 주 및 지역 수준에서 인종적 게리맨더링을 광범위하게 사용하여 흑인 또는 라틴계 유권자 집단을 분리하거나 희석해, 백인이 소수인 지역에서도 백인 정당 지도자와 그들이 선호하는 후보가 계속 지배력을 유지할 수 있게 조작하고 있다. 대부분의 유색인종 유권자가 정당을 옮길 가능성이 낮은 점을 이용한 것이다. 그 결과, 시카고나 뉴욕과 같은 대도시에서는 소수인종이 많음에도 불구하고 흑인이나 라틴계 시장이 거의 선출되지 않는다. 따라서 특히 도시에 살고 있지 않은 유색인종 유권자들은 당파적·인종적 게리맨더링으로 인해 선거권을 박탈당할 가능성이 훨씬 더 높다.

물론 선거구 획정에서 당파적·인종적 공정성을 보장하기 위한 가장 확실한 방법은 유권자가 지지하는 정당과 그들의 인종에 따라 대표성을 갖는 선거구를 계획하는 것이다. 하지만 눈에 잘 띄지 않은 게리맨더링도 함께 고려해야 한다. 예를 들어 이민자, 이주자, 수감자는 인구조사에 포함되지만 대부분 투표할 수 없다. 이러한 사정을 잘 아는 정치인들은 교도소를 포함하도록 선거구를 획정하여 해당 선거구의 인구가 인위적으로 높아져 수감되지 않은 유권자의 목소리가 불균형적으로 크게 들리도록 교도소 게리맨더링을 사용한다. 더군다나 미국은 전 세계 주요 국가 중 수감자 비율이 가장 높기 때문에 교도소 게리맨더링이 선거를 결정하는 데 큰 역할을 하는 것으로 알려져 있다.

기후 변화 해결을 지지하는 사람들은 아무리 많은 증거를 제시해도 상대방의 마음을 바꾸지 못한다는 사실을 안다. 과학적 증거가 아니라 상대방의 가치관이 그들의 현재의 입장을 만들었기 때문인데, 게리맨더링 문제도 마찬가지다. 따라서 한 정당과 한 인종 집단이 다른 인종의 권리를 박탈하는 문제에 대해서는 객관적인 해결책을 제시할 수 없음을 자각하고, 불공정을 완화하기 위한 적극적인 조치가 필요하다. 다른 이니셔티브와 마찬가지로 인종, 당파, 성별 등의 게리맨더링을 없애기 위해 차별금지법을 만들고 이러한 가치를 거부하는 정치 행위자를 적극적으로 처벌하는 가치가 필요한 시점이다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

원격 근무는 워터쿨러 효과 감소와 협업 강도 약화로 창의성 저해 가능성이 높아
협업 도구에도 차별점 존재, 동기적 채널 vs. 비동기적 채널
획기적인 발견을 위한 대면 회의와 작은 발전을 위한 비대면 회의, 상황에 따른 균형 잡힌 접근 방식 필요해

[해외 DS] 창의성과 연결성을 극대화하는 하이브리드 업무 환경 ①, 재택근무의 업무효율은 장기적인 관점에서 바라봐야에서 이어집니다.

영국 옥스퍼드대학의 경제학자 칼 프레이(Carl Frey)의 장기 연구에 따르면 원격 근무가 창의적인 아이디어를 저해한다고 한다. 이에 "아이디어 발상 과정이 기술을 매개로 이루어지면 왠지 더 어려워지는 것 같다"고 미국 일리노이주의 노스웨스턴대학교에서 원격 근무의 영향을 연구하는 커뮤니케이션 및 컴퓨터과학 연구원인 아그네스 호바트(Ágnes Horvát)도 동의했다. 아직 원인 규명이 안 된 상태지만, 프레이 교수는 원격 근무의 혁신 감소를 몇 가지로 설명할 수 있다고 말한다.

하나는 산발적인 만남의 가치다. 직접 사람들을 만나다 보면 더 다양한 지식을 접하게 된다. 점심시간이나 휴식 시간을 통해 다른 사람들이 읽고 소화한 아이디어를 얻을 기회가 생기기 때문이다. 또한 다른 분야의 아이디어를 한데 모으면 협업 강도가 높아져 혁신을 촉진할 수 있다고 프레이 교수는 바라봤다. 특히 아이디어를 융합하는 데는 시간과 노력이 필요한데, 같은 장소에 있지 않고 정기적으로 소통하지 않으면 번뜩이는 아이디어를 만들기가 더 어려워진다는 것이다.

혁신적인 연구 감소, 캐주얼한 소통 부족이 원인

또한 온라인 커뮤니케이션의 특성상 일정과 우선순위가 사전에 잡혀있어, 소통 방식이 상당히 구조화되고 계층화되어 있다고 프레이 교수와 함께 연구를 수행한 미국 펜실베이니아 피츠버그대학의 정보과학자 링페이 우(Lingfei Wu)는 덧붙였다. 이는 비공식적인 대화와 캐주얼한 아이디어 창출을 방해할 수 있으며, 젊은 과학자들이 선배 과학자들과 소통하는 것을 어렵게 만들 수 있다고 지적했다. "주니어 단계를 겪어본 사람이라면 선배 교수에게 이메일에 답장을 받는 것이 얼마나 어려운 일인지 잘 알고 있다"라며, "하지만 복도에서 선배 교수를 만나면 몇 가지 아이디어가 있다고 대화를 시도하기가 더 쉬워진다"고 그는 언급했다.

우 교수는 원격 협업 연구를 위해 수집한 데이터에서 이러한 효과를 확인할 수 있었다고 밝혔다. 발표된 논문에서 공동 저자들의 상대적 지위(인용 횟수 기준)를 평가하여 분석한 결과, 지위가 현저히 다른 두 연구자가 사무실이나 건물을 공유하는 경우, 서로 원격으로 근무할 때보다 훨씬 더 자주 협업하는 것으로 나타났다. 또한 아직 동료 심사를 거치지 않은 논문에서는 젊은 과학자가 나이가 많은 과학자를 도와 더 혁신적인 연구를 할 수 있다는 사실을 보여줬다. 따라서 협업 부족은 지위고하를 막론하고 과학자에게 부정적인 결과를 초래할 수 있다고 그는 경고했다.

게다가 우 교수의 연구팀은 지난 2세기 동안 2억 4,400만 명 이상의 연구자가 발표한 논문 2억 4,100만 건을 분석하고 관련 인용 패턴을 조사한 결과, 과학자들이 한 분야에서 오래 일할수록 그들의 연구가 획기적인 것으로 받아들여지는 빈도가 줄어든다는 사실을 발견했다. 이러한 경향은 최근 수십 년 동안 더욱 뚜렷해졌는데, 1960년대에는 20년 경력을 가진 연구자들이 가장 혁신적인 연구를 2% 이상 수행했지만, 1990년대에는 그 비율이 0.5% 미만으로 떨어졌다. 초기 경력 연구자라면 놀랄 만한 현상이다. 더 나아가 출판물과 그 인용 방식을 분석한 결과, 나이가 많은 과학자들은 혁신적인 연구를 직접 생산하기보다는 새로운 연구를 비판할 가능성이 훨씬 더 높았던 것이다. 여기에 원격 협업에서 강화된 위계와 캐주얼한 대면 만남의 부족이 더해지면 이러한 추세는 더욱 악화될 수 있다고 우 교수는 강조했다.

작은 화면에 갇힌 시선, 생각하는 힘도 시선에 묶여 제한적

아이디어 창출을 위한 자발적인 대면 만남의 가치, 즉 워터쿨러 효과는 특히 창의성과 관련이 있다. 두 명의 미국 사회과학자가 2022년에 발표한 연구에 따르면 스크린을 통한 소통은 이러한 인간적인 접촉을 재현할 수 없다고 한다. 미국 뉴욕 컬럼비아대학교의 멜라니 브룩스(Melanie Brucks)와 캘리포니아 스탠퍼드대학교의 조나단 레바브(Jonathan Levav)는 실험 참여자에게 '원반'과 '뽁뽁이' 같은 물건의 다른 용도를 생각해 보도록 요청했다. 실험 참가자들은 두 명씩 짝을 지어 절반은 같은 방에서 작업했고 나머지 절반은 노트북을 사용하여 화상 통화로 소통했다. 연구진은 전 세계 5곳의 사무실에서 제품 설계를 담당하는 엔지니어 쌍을 대상으로도 비슷한 연구를 진행한 적이 있다.

결과적으로 원격 협업팀은 대면 협업팀보다 더 적은 수의 아이디어를 창출했다. 그러나 아이디어가 생성된 후 후속 테스트에서는 원격 팀도 대면 팀과 마찬가지로, 또는 그보다 더 효과적으로 옵션을 분석하고 어떤 것을 추구해야 할지 결정할 수 있었다. 시선 추적 기술로는 별다른 차이점을 발견할 수 없었다. 오히려 가상 커플이 서로에게 더 많은 주의를 기울였고, 스크린은 커플이 연결감과 신뢰감을 형성하거나 서로의 언어나 표정을 모방하는 것을 막지 못하는 것으로 보였다. 다만 상대적으로 작은 화면에 집중하면 인지적 집중력도 함께 좁아진다고 연구진은 해석했다. 아이디어의 기초가 되는 개념을 연관시키고 결합하는 정신적 능력이 스크린에 의해 차단됐다는 것이다.

하지만 같은 스크린이어도 그 용도에 따라 업무효율이 달라진다. 화상 회의는 직접 만나는 것만큼 효과적이지는 않지만 이메일이나 인스턴트 메시징과 같은 도구보다 더 높은 수준의 커뮤니케이션을 전달할 수 있다. 그 이유는 전화와 화상 통화는 '동기적' 미디어라서 대화의 참여자들이 실시간으로 소통하기 때문에 더욱 복잡한 정보의 의미를 수렴할 수 있게 된다. 반면 이메일과 메시징은 단순한 정보 전달에 더 적합한 '비동기적' 채널인데, 사람들은 원격으로 작업할 때 이메일을 보내는 경향이 있어 의사소통의 오해에 더욱 취약해진다.

이러한 효과는 마이크로소프트에서 2020년 상반기에 미국 내 61,000명의 직원을 대상으로 원격 근무로의 강제 전환을 자연스러운 실험으로 삼아 그 반응을 평가해 나타난 결과다. 실제로 직원들이 원격 근무로 인해 이메일과 메시징으로 전환하면서 회사 전체의 화상 통화나 전화 통화 횟수가 감소한 것으로 나타났다. 트립닷컴(Trip.com)의 분석 데이터에서도 비슷한 결과가 확인됐는데, 이 연구에 따르면 하이브리드 근무자들은 동료들이 모두 사무실에 있을 때도 전화를 사용하거나 직접 통화하는 것보다 메시지를 보내는 비율이 더 높았다고 한다. 이에 호바트 교수는 기술의 지속적인 발전이 창의성에 미치는 영향을 포함하여 원격 근무의 일부 문제를 해결할 수 있지만 전부는 아니라고 꼬집었다.

기술 발전과 원격 협업의 긍정적 영향

그러나 기술의 발전은 실제로 업무 효율에 긍정적인 영향을 미친다. 가상현실을 이용한 실험에 따르면 참가자들은 제스처와 바디랭귀지를 사용해서 상대방에게 비언어적 의미를 효과적으로 전달할 수 이었다. 또한 클라우드를 통한 파일 및 데이터 공유는 원격지에 있는 팀들이 공동 프로젝트를 수행하는 방식을 간소화하는 데 일조했다. 아울러 프레이 교수와 그의 동료들은 2022년에 발표한 논문(아직 동료 심사를 거치지 않음)에서 1961년부터 2020년까지의 원격 협업과 과학 혁신을 살펴본 결과 놀라운 반전을 발견했는데, 2010년 이후에는 원격 공동 작업자가 작성한 과학 논문이 단일 위치 팀이 작성한 논문보다 혁신적인 내용을 포함할 가능성이 더 크게 집계됐다.

스탠퍼드 대학교의 경제학자인 닉 블룸(Nick Bloom)은 2010년 이후의 전환에서 연구계에 구조적인 변화가 발생했다고 설명했다. 그 시기가 바로 드롭박스(Dropbox)와 같은 파일 공유 기술이 등장한 시기며, 2010년 이후의 추세는 경제학자들이 지식 파급 효과라고 부르는, 각 공동 작업자가 소속 기관의 다른 사람들에게 아이디어를 노출하는 현상 때문일 수 있다고 덧붙였다. 다른 한편으로는 프레이 교수의 2022년 논문은 현장에서 시작하여 원격 근무로 전환한 연구팀의 결과물로 대상이 한정되어, 항상 원격 근무를 해온 팀의 영향을 포착하지 못했기 때문일 수 있다. 앞서 언급한대로 프레이 교수의 2023년 논문에선 원격 근무를 한 연구팀의 창의성이 제한적이었으며 연구 초기에 현장 근무 경험의 여부가 유의미한 차이를 만들어냈다.

마지막으로 업무 패턴을 연구하는 연구자들은 특히 과학 분야에서 모든 업무를 최적화하는 단일 솔루션은 존재하지 않는다고 경고한다. 연구에서 획기적인 발견이 중요하지만, 이를 위해서는 사람들을 모으는 것과 같은 대규모 투자가 필요한 경우가 많다. 주워진 연구 자원에 맞게 혁신적인 발견과 작은 발전의 균형을 찾아 하이브리드 근무의 장점을 극대화하는 방안으로 유연하게 대처할 필요가 있다고 전문가들은 조언했다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.