[기고] 계산 비용을 절감할 인재를 기르는 비용과 수명 2년 짜리 엔비디아 그래픽 카드를 구매하는 비용

최신 그래픽 카드만 수만장 구매한다고 AI 기술력 향상되는 것 아냐
글로벌 트렌드는 고급 그래픽 카드보다 계산비용 절감에 더 초점 맞춰져 있는 상황
계산 비용 절감하는 고급 인력 기르는 것이 AI 그래픽 카드 구매하는 비용보다 압도적으로 더 저렴
보여주기식 문화에 이끌려 활용도 낮을 고가의 그래픽 카드에 막대한 비용 쓰는 것 의문점 던져야

지난 4월 런던 출장 길에 올해 가을학기부터 MIT 슬론 경영대 교수로 자리를 옮기는 후안 안톨린(Juan Antolin) 교수와 짧은 점심 식사를 했다. 대화의 주제는 한국이나 영국이나 가릴 것 없이 남들이 다들 AI 기술력을 쌓고 있는 것 같으니까, 우리 회사도 뒤처지면 안 된다면서 무작정 엔비디아 그래픽 카드만 사고 있는 세태, 효율적인 계산을 위해 알고리즘을 개선하기 보다, 서버 확충에만 열을 내는 AI 추종자들에 대한 지식인들의 불만이었다.

당시 나눴던 대화 중에는, 안톨린 교수가 최근에 쓴 논문에 나온 푸리에 변환(Fourier Transform)도 있었는데, 경제학계에서는 거시 경제의 데이터를 변환 처리해 주기를 찾아내거나, 신호 효과를 확인하기 위해서 주로 쓰이는 변환법이지만, 필자가 전공한 계산과학에서는 '고속 푸리에 변환(Fast Fourier Transform)' 방법을 이용해 데이터를 구간화하고, 각 구간별 분리된 계산을 통해 전체 계산 속도를 개선하는 데 쓰이는 경우가 많다. 지난 2011년 런던정경대 경제학 석사 이후에 가끔 보스턴의 전미경제학회(NBER)에서 만나는 것 이외에 달리 학문적인 대화를 나눠본 적이 없었는데, 당시 짧은 점심 식사 동안 AI 업계에서 앞으로 그런 계산 속도, 정확성-속도 상충 관계 문제, 알고리즘 변환 문제가 대두될 가능성이 높은지, 둘이 알고 있는 관련 학문들의 계산법들이 어떻게 변화할지에 대해서 대화를 나눴다. 짧은 대화에도 불구하고 다양한 가능성들을 짚으면서 스페인이 낳은 천재가 얼마나 빠른 속도로 계산 과학이라는 학문이 쌓아올린 계산 효율성의 개념을 흡수하는지 목격할 수 있는 경험이 됐다.

푸리에 변환이 계산 비용 절감에 쓰이는 논리를 따라오지 못하는 한국 실정

지난 2021년, 필자가 스위스AI대학 교육 과정을 국내에 갖고 와 실험실 밖의 통계학이 어떻게 AI 및 데이터 과학의 근간을 형성하는지, 그래서 현장에서 어떻게 쓰이는지를 설명하면서, 무조건적으로 비싼 그래픽 카드에 의존하기 보다 적절한 수학적, 통계학적 변형을 통해 계산 속도를 대폭 절감할 수 있는 방법을 학위 과정 초반에 곁다리로 함께 설명한 적이 있다. 해당 노트 중 일부와 시험 문제를 외부에 공개했더니, 필자더러 경제학을 가르치면서 AI를 가르친다고 거짓말을 했다는 혹평이 국내 주요 관련 커뮤니티들에 돌았다. 그런 폄하는 만 3년 반이 지난 올해 2월에 중국에서 딥시크가 계산 비용을 대폭 절감한 사실이 알려지고 나서야 반성하는 댓글들로 덮여졌다. 그 이외에 수많은 억울한 부분들이 있는데, 교육과정의 가치를 폄하당하면서 얻은 감정의 상처는 억울함이 다 풀리는 날이 되면 나을까?

국내 학회들에 참석하는 교수진들에게서 최근 들어 급격하게 푸리에 변환이 왜 계산비용 절감인지 궁금하다는 질문을 자주 받는데, 올 한 해 동안 계산 비용 절감이 AI 및 데이터 과학 업계에서 상당히 중요한 쟁점이 됐었음을 미뤄 짐작할 수 있다. 다만 그런 질문을 받을 때마다, 점심 식사 도중에 짧은 대화만으로 바로 푸리에 변환이 갖고 있는 무한한 가능성을 인지하고 다양한 아이디어를 내놓던 안톨린 교수가 떠오른다.

교육을 받은 한국인 학생들이 푸리에 변환을 졸업 논문에 쓰고 싶다며 다양한 데이터에 응용을 하고, 때로는 국내 학계에 출판된 논문들을 인용하기도 하는데, 국내 학계는 시간, 전력 소모, 하드웨어 비용이라는 계산 비용을 절감하기 위해 수학적으로 데이터의 형태를 바꾸는 작업을 거의 하지 않았던 것을 다양한 논문들에서 확인할 수 있다. 하나의 예시를 들면, 2진법과 같은 맥락으로 데이터를 분리하는 과정을 설명하기 위해 흰색과 검은색으로 된 단순 이미지를 갖고 와, 그 이미지의 색상 구분이 세로, 가로, 대각선일 때 각각 어떻게 푸리에 변환 식이 변형되는지를 설명한 것을 응용했던 적이 있는데, 구간이 나눠진 후에는 각각의 그룹별로 계산이 동일한 것을 응용해 수천번의 계산을 해야 할 작업을 데이터 분리, 2가지 색상 별 영역 내 계산, 다른 구간에서 오차 나는 부분 확인이라는 단 4가지 단계로 변환하는 것을 보고 학생들이 놀랐던 적이 있다. 이걸 응용해보려던 학생이 국내 논문의 예시를 갖고 온 걸 보니, 주기 함수 데이터를 변형한 후 단순히 계산을 돌린 것에 지나지 않길래, 국내 논문은 그만찾고 해외 논문을 뒤져보라고 한 적이 있다.

그렇게 자기 논문을 쓰며 푸리에 변환의 다양한 가능성들을 논문들에서 확인한 학생은 졸업 후에도 푸리에 변환을 쓸 수 있을법한 다양한 아이디어를 수시로 갖고 와서 질문하는데, 그런 학생들이 많았다면 안톨린 교수와의 대화 중에 좀 더 다양한 예시들을 들고, 그걸 한국의 똑똑한 학생들이 이미 쓴 논문에 응용된 방법이라는 식으로 자랑도 할 수 있었을 것이다.

안타깝게도 여전히 국내 AI 관련 업계는 계산 비용 절감을 위해 수학적으로 식을 변형하는 작업 보다는, 서버에 그래픽 카드를 얼마나 '최신형'을 쓰고 있는지, 얼마나 많은 그래픽 카드를 보유하고 있는지에 대해서만 이야기 한다.

계산 비용 절감보다 보여주기식 그래픽 카드 확보에만 신경 쓰는 기업·기관·정부 관계자들

국내 모 대기업 관계자와 AI 연구를 회사 업무에 적용하는 사례에 대한 짧은 대화를 나누는 중에, 필자가 재직 중인 스위스AI대학 산하의 연구 기관의 AI 관련 업무 역량을 확인하는 질문으로 당시 엔비디아의 최신 그래픽카드였던 H100을 몇 대 갖고 있는지, H100이외에 다른 그래픽 카드는 몇 대를 갖고 있는지 질문을 받았다. 계산 비용을 절감할 수 있도록 컨설팅을 해 준 업무를 이야기하면서, 베이지안(Bayesian) 계산법을 이용해 간단한 샘플 데이터로 함수를 역추적하고, 함수 구간별 가중치를 다르게 해 정확도를 높인 사례를 하나 답변으로 드렸는데, 알아들으셨는지 판단할 수 있는 다음 질문을 받지 못했다.

정부가 내년에 728조원에 달하는 슈퍼 예산을 책정하면서, 엔비디아 그래픽 카드 15,000장을 무려 2조원을 들여서 사겠다고 선언했다. 국내에 합계 26만 장을 풀겠다고도 발표했는데, 그중 5만 장을 공공 AI에 투입하겠다는 보도를 봤다.

다시 2주일이 지난, 20일에는 중동에서 사우디아라비아와 아랍에미리트(UAE)가 엔비디아 최신 블랙웹 칩을 수입할 수 있도록 미국 트럼프 대통령이 승인했다는 보도가 나왔다.

업계 사정을 잘 모르는 분들은 한국과 중동이 최신형 AI 하드웨어를 수입하면서 적극적으로 AI 산업에 투자한다고 생각할 것이다. 그런데, 지난 1년간 계산 비용 절감을 위해 미국, 유럽의 주요 학회들이 얼마나 적극적으로 수학 모델을 활용하는지 고민했고, 그래서 마이크로소프트(Microsoft)를 비롯한 주요 클라우드 기업들이 그래픽 카드 확보에 더 이상 적극적이지 않은 현실을 알고 있는 관계자들이라면 생각이 다를 것이다. 실제로 마이크로소프트 CEO인 사티아 나델라는 지난 10월에 '컴퓨팅 과잉(Compute Glut)' 단계에 도달할 가능성이 높아진 상태라면서 한 세대까지만 그래픽 카드를 구매하겠다고 발표했다. 매년 나오는 그래픽 카드를 계속 구매하지 않고, 한 해 걸러 구매하면서 비용 절감에 나서겠다는 것이다.

AI 거품을 강조하는 측에서는 회계적으로 하드웨어의 잔존가치는 5년이지만, 실제 현장에서는 길어봐야 2년이 지나면 새 하드웨어를 갈아 끼워야 하는 것이 AI 데이터 센터 경쟁이 낳은 현실이라는 지적과 함께, 비싼 비용을 들여 구매하는 것이 결국 손실로 돌아올 것이라는 경고를 연이어 내놓는다.

비관론이 강해지면서 엔비디아 측에서는 미국에서 판매량이 줄어드니 돈이 있고, 구매에 적극적으로 나설 것 같은 지역을 골랐고, 한국과 중동이 그 미끼를 문 것이다.

중동처럼 돈으로 접근하기보다, 한국 강점 내세워 인력부터 키워야

한국과 중동에 과연 얼마나 많은 인재가 최신 엔비디아 블랙웰 칩을 이용해서 연구와 서비스 개발을 해야 할 만큼 글로벌 시장 최고의 도전을 하고 있나? 글로벌 시장에서 중동 국가들은 석유 팔아서 번 돈만 있고, 인재와 인프라는 부족한 나라라는 부정적인 이미지가 강하다. 그간 업계 관계자들이 봐 왔던 사례가 반복된다면, 저렇게 보여주기 식으로 구매했던 고급 그래픽 카드들도 몇 년동안 먼지만 쌓이다가 헐값에 중고로 매각이 될 가능성이 높다. 한국의 사정은 얼마나 다를까?

위의 푸리에 변환 사례처럼, 점심 시간에 잠깐 이야기를 나눈 것만으로 자기 학문에서 쓰는 방식을 응용해 다양한 계산법을 만들어 낼 수 있는 인재가 모여 있는 시장과, 글로벌 선진국에서 쓰는 교육 커리큘럼을 'AI 가르친다더니 경제학 가르친다'고 힐난하고, 교과서 수준의 푸리에 변환만 논문들에 쓰고 있는 실정이고, 그래픽 카드 숫자가 많은 것이 AI 역량이라고 착각하면서 정작 진짜 활용에 대해서는 꿀먹은 벙어리가 되는 대기업 관계자들이 주류인 시장 사이에는 얼마나 큰 격차가 날까?

정부가 쓰는 2조원, 기관 및 기업들이 구매할 26만 장의 그래픽 카드는 엔비디아의 수익성을 확보하고 주가를 끌어올리는 데는 매우 효과적이겠지만, 인재가 없는 한국에 그런 최신 칩은 결국 빛 좋은 개살구에 불과할 가능성이 매우 높다.

우리나라가 푸리에 변환, 역변환을 수식 단계, 공학 계산식 단계 이상으로 쓸 수 없고, 계산 비용을 절감하는 아이디어로 활용하는 인력을 길러내는데 오랜 시간이 걸리는 나라라면, 차라리 엔비디아 칩 구매 비용을 내는 대신에 국내 인력들이 도전하는 하드웨어 대체 산업에 자금을 투입했으면 어떨까? 중국은 미국의 금수조치 때문에 강제로 그렇게 하고 있지만, 이대로라면 한국은 영원히 엔비디아의 노예가 되어야 하는 반면, 중국은 언젠가 엔비디아로부터 독립하는 나라가 될지도 모른다.