딥러닝 분야에 혁신을 불러일으킨 '트랜스포머', 다양한 분야에서 뛰어난 성능을 보여주고 있어
양자 트랜스포머, 양자 컴퓨팅과의 만남으로 트랜스포머는 더욱 강력해질 것으로 기대돼
고전·양자 컴퓨팅의 장점을 결합한 클래식-퀀텀 하이브리드 형태로 발전할 것으로 전망

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 글로벌AI협회 연구소(GIAI R&D)에서 콘텐츠 제휴가 진행 중입니다.

딥러닝 분야에 혁신을 불러일으킨 트랜스포머는 2017년 구글 연구원들에 의해 처음 소개된 이후 놀라운 속도로 발전해 왔다. 기존 방식과는 비교할 수 없을 만큼 정확한 처리 능력을 보여주며 단숨에 딥러닝의 주류 모델로 자리매김했다.

딥러닝 혁신의 주역, 트랜스포머가 가능케 한 것들

챗GPT를 비롯한 최근 등장한 챗봇들의 자연스럽고 유창한 대화를 가능하게 하는 핵심 기술 역시 바로 트랜스포머다. 트랜스포머는 문장의 맥락을 이해하고 관련 단어 간의 관계를 파악하는 능력을 갖추고 있어 이전 챗봇들 보다 정교하고 인간적인 대화를 구현할 수 있게 한다.

7년간 놀라운 성과를 거둔 트랜스포머는 이제 양자 컴퓨팅과의 만남을 통해 더욱 강력한 진화를 모색하고 있다. 양자 트랜스포머라고 불리는 이 새로운 모델은 기존 슈퍼컴퓨터로는 해결하기 어려웠던 복잡한 문제들까지도 해결할 수 있는 잠재력을 지닌 것으로 평가받고 있다.

최근 'Quantum' 학술지에 발표된 연구에서는 간단한 하드웨어를 사용한 기초적인 양자 트랜스포머 모델이 실제로 작동한다는 것을 보여주었다. 이는 양자 트랜스포머가 실제 응용 분야에 적용될 가능성을 보여주는 중요한 성과다. 적어도 이론적으로는 더 발전된 양자-AI 조합이 암호 해독이나 새로운 화학 물질 개발 등의 문제들까지 해결할 수 있을 것으로 기대된다고 한다.

인간처럼 생각하는 컴퓨터, 트랜스포머와 어텐션 메커니즘

트랜스포머는 단순히 입력 정보를 처리하는 컴퓨터 모델이 아니다. 마치 인간처럼 입력의 어떤 부분이 중요하고 서로 어떤 관계가 있는지 파악하는 능력을 갖추고 있다. 예를 들어, "그녀는 초록색 사과를 먹고 있다"라는 문장을 만난 트랜스포머는 '먹다', '초록색', '사과'와 같은 핵심 단어를 골라낸다. 그리고 학습된 데이터를 기반으로 '먹는다'라는 행위는 '초록색'보다는 '사과'와 더 관련이 있다는 것을 파악한다. 이 놀라운 능력은 '어텐션 메커니즘'(Attention Mechanism)이라고 불리며, 인간 언어 처리 방식을 모방한 기술이다.

어텐션 메커니즘은 인공지능 분야에 획기적인 발전을 가져왔다. 이전에는 불가능했던 자연스러운 언어 이해, 정확한 이미지 분석, 뛰어난 단백질 시퀀스 모델링 등이 가능해졌다. 챗GPT와 같은 챗봇 시스템도 어텐션 메커니즘을 기반으로 작동하며, 인간과 자연스러운 대화를 가능하게 한다. 과거에는 컴퓨터에 매우 어려웠던 작업을 이제는 능숙하게 수행할 수 있게 된 것이다.

현재 어텐션 메커니즘은 강력한 프로세서를 갖춘 슈퍼컴퓨터에서 실행되고 있다. 하지만 여전히 0 또는 1의 값을 저장하는 기본 이진 비트를 사용하고 있어 비실용적인 측면이 남아 있는 컴퓨팅 방식이다. 반면 양자 컴퓨팅은 양자역학의 특성을 활용해 기존 컴퓨터로는 불가능했던 복잡한 문제들을 해결할 수 있는 잠재력을 지녔다. 큐비트(qubit)라고 불리는 양자비트는 0과 1뿐만 아니라 다양한 상태를 동시에 가질 수 있으며, 이를 통해 훨씬 더 빠르고 효율적인 계산이 가능하기 때문이다.

아직은 초기 단계지만, 정확도는 유지하면서 복잡도는 획기적으로 낮춰

양자 컴퓨터와 트랜스포머의 만남은 이미 실제 연구 단계에 접어들었다. 앞서 언급한 'Quantum' 학술지에 발표된 연구의 저자인 조나스 랜드먼(Jonas Landman)와 그의 동료들은 의료 분석용 트랜스포머를 양자 컴퓨터에 적용하여 1,600명의 건강한 눈과 당뇨병으로 인한 실명 환자의 망막 이미지 데이터베이스를 기반으로 양자 트랜스포머 모델의 정확도를 검증했다. 각 이미지를 손상 없음에서 가장 심각한 수준까지 5단계 중 하나로 분류해야 하는 과제였다.

결과를 확인하기에 앞서 이번 연구에서 3단계로 진행된 양자 트랜스포머 개발 과정을 자세히 들여다보자. 첫 단계에서는 양자 하드웨어에 적용하기 전에 트랜스포머를 위한 양자 회로를 설계해야 했다. 연구원들은 수학적 증명을 통해 기존 트랜스포머보다 더 효율적인 세 가지 버전의 양자 회로를 만들었다. 두 번째 단계에서는 실제 양자 컴퓨터에 적용하기 전에 큐비트 에뮬레이터에서 설계를 테스트했다. 에뮬레이터는 실제 양자 컴퓨터에서 발생하는 오류 문제(열, 전자기파 및 기타 간섭)를 방지하여 설계의 정확성을 검증하는 데 도움이 된다.

시뮬레이터에서 각 양자 트랜스포머는 망막 이미지 세트를 50~55%의 정확도로 분류했는데, 이는 망막을 무작위로 다섯 가지 범주 중 하나로 분류했을 때의 정확도 20%보다 더 높은 수치다. 50~55% 범위는 훨씬 더 복잡한 네트워크를 가진 두 개의 일반 트랜스포머가 달성한 정확도(53~56%)와 거의 동일한 수준이었다. 마지막 단계에서는 실제 IBM 양자 컴퓨터에서 트랜스포머 모델을 구현했다. 연구원들은 한 번에 최대 6개의 큐비트를 사용하여 세 가지 버전의 양자 트랜스포머 모델을 작동시켰다. 그 결과, 모든 모델은 45~55%의 정확도를 유지했다.

물론 큐비트 6개는 그리 많지 않은 개수다. 일부 연구자들은 구글의 제미나이나 오픈AI의 챗GPT와 같은 거대 챗봇에 맞설 수 있는 양자 트랜스포머를 개발하려면 수백 큐비트를 사용하는 코드를 만들어야 한다고 목소리를 높였다. 그 정도 크기의 양자 컴퓨터는 이미 존재하지만, 간섭과 잠재적 오류로 인해 비교적 거대한 양자 트랜스포머를 설계하는 것은 아직 실용적이지 않다. 해당 연구진도 더 높은 큐비트 수를 시도했지만 동일한 성공을 거두지 못했다고 전했다.

양자 vs 기존 트랜스포머, 클래식-퀀텀 하이브리드가 열쇠

반대로 1,000개 이상의 큐비트가 있고 간섭이 최소로 유지되는 신뢰할 수 있는 양자 컴퓨터가 존재한다고 가정하면, 양자 트랜스포머가 항상 유리할까? 아닐 수도 있다. 양자 트랜스포머와 기존 트랜스포머는 서로 다른 강점을 가지고 있기 때문에 1:1로 직접 비교하는 것은 올바른 접근 방식이 아니다. 양자 컴퓨터와 기존 머신러닝은 각각 다른 종류의 문제에서 탁월한 능력을 발휘한다.

최신 딥러닝 알고리즘은 학습 데이터 내에서 패턴을 감지한다. 큐비트가 동일한 패턴을 인코딩하는 방법을 배울 수는 있지만, 큐비트가 해당 작업에 최적인지는 확실하지 않다. 큐비트는 문제가 '구조화되지 않은', 즉 애초에 찾을 수 있는 명확한 패턴이 없는 데이터일 때 가장 큰 이점을 제공하기 때문이다. 예를 들어 전화번호부에서 알파벳이나 순서가 전혀 없는 이름을 찾으려고 할 때 양자 컴퓨터는 기존 컴퓨터가 걸리는 시간의 제곱근 안에 해당 단어를 찾아낼 수 있다.

반면 기존 컴퓨팅은 비용과 친숙함이라는 이점이 있다. 양자 컴퓨팅 기술이 성숙하더라도 양자 컴퓨터가 그 영역을 확장하는 데는 수년이 걸릴 것이며, 그동안 고전 컴퓨터의 성장은 멈추지 않을 것이다. 세계적 양자컴퓨팅 기업 자나두(Xanadu)의 소프트웨어 책임자 네이선 킬로란(Nathan Killoran)은 고전적인 머신러닝은 매우 강력하고 자금이 풍부하기 때문에 우리가 살아있는 동안 양자 컴퓨팅과 같은 새로운 기술로 완전히 대체할 가치가 없을 수도 있다고 강조했다.

하지만 이 두 가지 옵션이 배타적인 것은 아니다. 많은 양자 연구자들은 양자 트랜스포머의 이상적인 형태는 클래식-퀀텀 하이브리드 시스템일 것으로 내다봤다. 양자 컴퓨터는 화학과 재료 과학의 까다로운 문제를 처리할 수 있는 반면, 기존 시스템은 방대한 양의 데이터를 처리할 수 있다. 또한 양자 시스템은 데이터를 해독하는 암호 키나 아직 존재하지 않는 물질의 특성 등 기존 컴퓨터가 수행하기 어려운 작업을 생성하는 데 유용할 수 있으며, 이를 통해 현재 거의 접근이 불가능한 작업을 수행하도록 기존 트랜스포머를 훈련하는 데 도움이 될 수 있다고 바라봤다.

양자 트랜스포머는 또 다른 이점을 가져다줄 수도 있다. 현재 사용되고 있는 규모의 기존 트랜스포머는 너무 많은 에너지를 소비하기 때문에 전력 회사들은 새로운 데이터센터의 전력 수요를 충족하기 위해 탄소를 뿜어내는 석탄 발전소를 계속 가동하고 있다. 따라서 양자 트랜스포머의 꿈은 에너지 부하를 줄여주는 더 가볍고 효율적인 기계에 대한 꿈이기도 하다.

한편 다른 곳에서도 양자 트랜스포머에 대한 연구가 활발하게 진행되고 있다. 지난해 IBM 왓슨 연구 센터의 연구원들은 '그래프 트랜스포머'로 알려진 트랜스포머 계열의 양자 버전을 제안했다. 그리고 호주 시드니 공과대학교의 양자 컴퓨팅 연구원 크리스토퍼 페리(Christopher Ferrie)는의 연구팀은 자체 트랜스포머 양자 회로를 설계했다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집방향과 일치하지 않을 수도 있습니다.