베수비오 챌린지에서 가장 중요한 두 작업, 분할과 잉크 감지
분할 과제의 어려움, 깨끗한 표면 추출에 많은 시간 할애
잉크 감지 모델의 한계, 양질의 학습 데이터 부족

[해외 DS] 고대 헤르쿨레니움 두루마리를 해독한 AI 경진대회 ①, 베수비오 챌린지의 시작과 그 비하인드에서 이어집니다.

기원 79년 베수비오 화산 폭발로 손상되고 변형된 헤르쿨라네움의 수백 개의 파피루스 두루마리는 고대로부터 현재까지 온전하게 남아 있는 유일한 그리스 로마 도서관으로 알려져 있다. 연구원들은 첨단 이미징 기술과 머신 러닝을 사용하여 수천 년 동안 발견되지 않았던 글자를 밝혀내고 있다.

스캐닝: 부서지기 쉬운 탄화 두루마리를 펼치려는 이전의 시도는 파피루스에 영구적인 손상만 입혔다. 오늘날에는 마이크로 CT를 사용하는 비침습적 방법으로 두루마리 내부 구조의 고해상도 3D 디지털 이미지를 추가 손상 없이 생성할 수 있게 됐다.

가상 언래핑: 이 디지털 이미지는 수만 개의 단면으로 구성돼 있으며, 이를 결합하면 전체 3D 이미지가 형성된다. 연구진은 스캔한 두루마리 시트를 추적하고 소프트웨어를 이용해 층들을 외삽하여 3D 메시를 생성한다. 그 후 3D 메시를 평평하게 만들어 '펼쳐진' 두루마리를 2D 이미지에 매핑한다.

잉크 감지: 두루마리에 쓰인 텍스트를 드러내는 것은 어려운 작업이다. 파피루스와 잉크가 모두 탄소 기반이기 때문에 CT 스캔에서 둘 사이의 대비가 낮아 구별하기 어렵다. 이에 연구진은 잉크가 묻어 있는 것으로 알려진 영역(갈라진 진흙 같은 질감을 가진 곳)을 AI에 보여주고, 해당 영역을 복셀 단위로 학습하도록 모델을 훈련했다. 복셀(voxel)은 기본적으로 3차원 픽셀을 의미한다.

AI 해석: AI는 마른 진흙처럼 갈라진 텍스처가 포함된 영역의 고유한 패턴과 기타 미묘한 신호를 학습해 잉크가 묻은 영역의 신호를 증폭시켜 수천 년 동안 보이지 않던 글자를 드러냈다. 특히 베수비오 챌린지에서는 필로데모가 쾌락에 대해 쓴 것으로 추정되는 2,000자 분량의 텍스트가 발견됐다.

다양한 과제와 참가자들의 열정적인 참여, 커뮤니티 협력의 중요성 대두

실즈 교수의 연구팀과 프리드먼은 함께 대회 구조를 고안했다. 잉크 감지, 두루마리에서 첫 글자 찾기, 유용한 오픈소스 소프트웨어 구축 등 다양한 과제에 대해 단계별로 독립적인 상이 주어졌다. 응모 기한은 2023년 12월 31일이었고, 최소 140자의 4개 문단으로 이루어진 응답이 요구됐다. 대회가 시작되자마자 참가자들은 게이머를 위해 만들어진 메시지 보드 플랫폼인 디스코드(Discord)의 대회 서버에 가입했다. 초기에는 약 400명의 참가자가 있었지만, 가을이 되자 회원 수는 1,428명으로 급증했다. 참가자들은 실즈 교수가 ‘바나나 소년’과 ‘뚱보 자식’(본명은 PHerc_Paris_3과 PHerc_Paris_4)이라는 별명을 붙인 두루마리 두 장의 스캔 이미지(5.5테라바이트)를 내려받고 이를 어떻게 처리할지 논의하고 있었다. 상당한 상금이 걸려 있음에도 참가자들은 놀라울 정도로 솔직하게 서로 아이디어를 주고받았다.

대회에서 중요한 두 가지 과제는 분할(segmentation)과 잉크 감지(ink detection)였다. 글자를 찾으려면 파피루스의 깨끗한 표면, 즉 세그먼트가 필요했다. 연구팀은 각 두루마리의 z축을 따라 수천 장의 단면 엑스레이를 촬영했는데, 이러한 단면에는 어두운 배경에 흰색 나선형 선이 드러나는 파피루스 두루마리가 나타났다. 롤을 풀고 평평한 표면을 추출하는 데는 시간이 오래 걸렸다. 마우스 클릭을 통해 모든 단면에서 시트의 위치 변화를 표시해야 하기 때문이었다. 또한 맞춤형 알고리즘이 개별 단면을 하나의 시트로 연결해야 하는데, 탄화로 인해 일부 시트가 서로 붙어버리는 문제가 발생하기도 했다. 때로는 파피루스가 다시 접히거나 한 장이 여러 장이 되어 어느 표면에 글씨가 있는지 알 수 없는 상태가 되기도 한다.

"마치 뭉쳐진 석탄 덩어리와 같다"라고 카일은 지적했다. 풀타임으로 프리드먼에게 고용된 카일은 세분화 작업에 매진하고 커뮤니티와 그 결과물을 공유하게 됐다. 다른 참가자들이 개발한 오픈소스 소프트웨어의 도움으로 카일과 그의 세분화 팀은 시간당 약 0.2제곱인치의 파피루스 표면을 세분화할 수 있었다. 주목할 점은 헤라클레니움 두루마리의 길이가 32피트를 초과할 수 있다는 것이다.

현실 세계를 반영하지 못한 학습 데이터, 우승 모델의 한계 초래해

이와 별개로, 잉크를 감지하는 것은 완전히 다른 도전이었다. 잉크 감지 작업 속도를 높이기 위해 주최 측은 데이터 과학 경진대회 플랫폼인 캐글(Kaggle)에서 머신 러닝 경진대회를 개최했다. 이 경진대회에는 10만 달러의 상금이 걸렸다. 과제는 상대적으로 간단했는데, 이미 글씨가 선명하게 보이는 파피루스 조각의 CT 스캔에서 잉크를 감지하는 머신러닝 모델을 구축하는 것이었다. 이 접근법은 이전에 실즈 교수의 켄터키 연구팀에서 성공한 적이 있으며, 주최 측은 선명한 조각에 대해 학습된 잉크 감지 모델이 가상으로 펼쳐진 파피루스 조각에도 적용할 수 있기를 바랐다.

한편 이 대회에는 중국 하얼빈 공과대학교 학생, 키예프의 고고학자 팀, 독일의 의료 영상 연구 그룹, 일본과 한국의 머신러닝 엔지니어 등 총 2,763명의 참가자와 팀이 참가했다. 이들은 스캔한 조각의 각 복셀(3차원 공간의 픽셀)에 잉크가 있는지를 예측하는 AI를 구축하고 결과를 제출했다. 그런 다음 참가자들이 제출한 내용은 두루마리 조각의 적외선 사진 데이터와 비교하여 검토를 받았다.

지난해 6월 14일 캐글 대회가 마감되기 몇 주 전, 샌디에이고의 한 팀이 순위표에서 최하위권에 머물러 있었다. 해당 팀원들은 모형을 만지작거리다가 특정 부분에서 잉크가 파피루스에 더 깊게 스며든 것을 발견했다. 이에 그들은 모델로 하여금 잉크의 깊이를 중요시하도록 학습시켰다. 하지만 이러한 접근 방식은 오히려 모델을 혼란스럽게 만들었고, 그들은 잉크의 깊이를 무시하도록 모델을 조정했다. 그 결과 놀랍게도 이 그룹은 리더보드의 최상위에 단숨에 올라섰다. 깊이 불변형 모델은 잉크 감지 대회에서 우승을 차지했다.

하지만 우승한 모델은 파피루스의 작은 조각이 아니라 더 넓은 영역에 적용했을 때 성능을 유지하지 못했다. 팀원 중 한 명인 라이언 체슬러(Ryan Chesler)가 우승한 모델을 가상으로 펼쳐진 파피루스의 큰 부분, 즉 몬스터 세그먼트에 적용한 결과를 보고는 크게 실망한 것이다. 파편으로 훈련된 모델은 전체 두루마리에서는 작동하지 않는 것 같았다. 미묵 미시간의 CT 엔지니어인 아론 웨인(Ahron Wayne)은 그 이유가 캐글 대회의 모델이 탄화된 파피루스로 데이터로 학습하지 않았기 때문이라고 생각했다. 그는 탄화된 파피루스를 더 많이 스캔하지 않으면 아무리 정교한 알고리즘도 어려움을 겪을 것이라고 지적했다.

로켓 모터나 바순과 같은 물체를 스캔하는 데 더 익숙한 웨인은 그의 고용주를 설득하여 여가 시간에 최첨단 CT 스캐너를 사용해 학습 데이터를 만들었다. 그는 파피루스 위에 복잡한 그리스어를 그린 다음 탄화하여 이미지를 스캔했다. 그리고 그 결과를 다른 사람들과 공유하여 모델의 잉크 탐지 능력을 향상시켰다. "대상을 받는다면 이 스캐너의 절반 정도는 살 수 있을 것"이라고 그는 덧붙였다.

[해외 DS] 고대 헤르쿨레니움 두루마리를 해독한 AI 경진대회 ③, 베수비오 챌린지의 게임체인저는 다름 아닌 인간 집단지성으로 이어집니다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.