“AI로 줄이는 연구 시행착오” ‘스스로 진화하는 AI’ 가능성에 경고음, 반복 연구 줄어도 검증은 인간 몫

힌턴·벤지오 등 AI 연구진 ‘지능 폭발’ 경고
AI 연구 자동화→뛰어난 AI→‘자기 증폭’ 시나리오 
완전 자동화는 가정 단계, 성과 검증할 인간 역할 여전

인공지능(AI)이 사람을 대신해 차세대 AI를 연구개발(R&D)하기 시작하면 AI 기술의 발전 속도가 지금보다 10배가량 빨라지는 ‘지능 폭발(Intelligence Explosion)’이 일어날 수 있다는 경고가 나왔다. AI가 더 뛰어난 AI를 개발하고, 새로 만들어진 AI가 다시 다음 AI 개발에 투입되는 과정이 반복되면서 지금은 1년 걸리는 기술 발전이 불과 수주 만에 이뤄질 수 있다는 것이다. 다만 이는 R&D의 완전 자동화 등을 전제로 한 가상 시나리오로, 현재 AI의 연구 수행에는 인간의 지시와 검토가 수반된다. AI 내부의 판단 과정을 모두 파악하는 데는 한계가 있어도, 연구 목표를 정하고 개발 성과의 적용을 승인하는 권한은 여전히 인간의 몫이다.

AI에 맡기는 연구개발, 자율 수행 비중 급증

1일 AI 업계에 따르면 지난달 28일(현지시간) 영국 케임브리지대의 AI 과학·정책 프로그램(CASP)은 ‘AI R&D 자동화가 지능 폭발을 촉발한다면?(What if automating AI R&D triggers an intelligence explosion?)’이라는 제목의 연구 논문을 공개했다. 논문은 지능 폭발을 현재 속도라면 수년이 걸릴 AI 발전이 수개월 또는 그 이하로 압축되는 현상으로 정의했다. 논문에는 실제 최첨단 AI를 개발하고 있는 연구자들이 대거 참여했다. 오픈AI 수석과학자 야쿠프 파초키, 앤트로픽 공동창업자 잭 클라크, 마이크로소프트 최고과학책임자 에릭 호비츠를 비롯해 ‘AI 대부’로 불리는 제프리 힌턴과 요슈아 벤지오, UC버클리의 돈 송 교수 등이 공동 저자로 이름을 올렸다.

연구진이 현시점 지능 폭발 가능성을 꺼내든 이유는 AI 기업 내부에서 이미 AI가 AI를 개발하는 작업이 빠르게 늘고 있기 때문이다. 논문에 따르면 앤트로픽에서 AI가 작성한 뒤 실제 승인된 코드의 비중은 지난해 1월 한 자릿수 초반에서 올해 5월 80% 이상으로 치솟았다. 사람이 일일이 지시하지 않고 큰 방향만 제시한 상태에서 AI가 자율적으로 완료한 R&D 업무의 비중도 올해 3월 1%에서 8월 26%로 증가했다. 오픈AI에서도 AI가 미래 모델을 훈련하고 평가하며 보안을 점검하는 작업에 투입되고 있다. 구글 역시 코드 작성뿐 아니라 기술 설계와 새로운 연구 아이디어를 찾는 과정까지 AI를 활용하고 있다고 논문은 설명했다.

AI가 맡을 수 있는 연구의 난도도 높아지고 있다. 2023년에는 AI가 안정적으로 처리할 수 있는 업무가 인간에게 몇 초 걸리는 수준에 그쳤지만, 현재 최고 수준의 AI는 인간 전문가가 몇 시간에서 며칠 동안 해야 하는 AI R&D 업무까지 수행할 수 있다. AI가 인간보다 뛰어난 AI 안전 연구 방법을 찾아낸 사례도 있으며, 연구 아이디어를 만들고 직접 실험한 뒤 논문까지 작성한 자동화 시스템이 실제 머신러닝 학술행사의 워크숍 심사를 통과하기도 했다. 연구진은 최근 추세를 바탕으로 한 일부 추정에서는 사람에게 수개월 걸리는 AI R&D 프로젝트까지 2028년 중반께 자동화될 수 있다고 설명했다. AI 연구는 대부분 컴퓨터 안에서 이뤄지는 데다 성과를 빠르게 확인할 수 있고, AI 기업들이 자신들의 연구 과정에 관한 방대한 데이터를 가지고 있어 다른 업무보다 먼저 자동화될 가능성이 있다는 것이다.

개발한 AI를 다시 연구에 투입, 성능 향상 반복

연구진이 우려하는 변화는 AI가 단순히 인간 연구자의 생산성을 높여주는 데서 끝나지 않는 경우다. 가령 AI가 인간 연구자 수준으로 새로운 알고리즘과 학습 방법을 찾아낼 수 있게 됐다고 가정할 때, 인간 연구자와 달리 AI 연구자는 컴퓨팅 자원이 허용하는 만큼 복제할 수 있다. 수많은 AI 연구원이 동시에 연구해 기존보다 뛰어난 AI를 개발하면 새 AI는 다시 연구에 투입된다. 더 뛰어난 AI 연구원이 다시 더 뛰어난 AI를 만드는 과정이 반복되는 것이다. 논문은 이를 ‘재귀적 피드백 루프(recursive feedback loop)’라고 설명한다. AI의 연구 능력이 높아질수록 실질적인 R&D 인력이 늘어나고 늘어난 연구 인력이 더 뛰어난 AI를 개발하면서 연구 능력이 다시 확대되는 구조다.

연구진의 계산에 의하면 AI가 인간 전문가 수준의 R&D 능력을 갖추면서 현재와 비슷한 비용으로 작동할 경우 한 프런티어 AI 기업이 현재 보유한 컴퓨팅 자원만으로도 최상급 인간 연구자 최소 수백만 명에 해당하는 AI 연구 인력을 가동할 수 있다. 현재 주요 AI 기업이 수천 명의 연구자를 두고 있는 것과 비교하면 연구 인력 자체가 순식간에 압도적으로 늘어날 수 있다는 얘기다. AI R&D가 완전히 자동화된 뒤에도 현재 수준의 효율 개선이 이어질 경우 자동화된 연구 인력은 수개월~수년에 걸쳐 100배로 증가할 수 있다고 연구진은 추산했다. 미국의 연구자 인구가 같은 비율로 증가하는 데는 약 70년이 걸렸다.

연구진은 기존 연구에서 추정한 ‘연구 노력에 대한 수익’을 이용해 이를 계산했다. 쉽게 말해 연구 인력을 늘렸을 때 기술 발전 속도가 얼마나 빨라지는지를 나타내는 수치다. 기존 AI 연구 데이터를 분석한 연구에서는 이 수치의 중심 추정값이 분야에 따라 1.2~1.9로 나타났다. 연구진은 AI R&D가 완전히 자동화되고 이 같은 관계가 계속 유지되며 GPU나 데이터 같은 다른 제약이 생기지 않는다는 조건에서 AI 발전 속도가 약 1.5년 만에 10배까지 빨라질 수 있다고 분석했다. 그렇게 되면 지금 속도로 1년 동안 이뤄지는 AI 기술 발전이 약 5주 만에 일어날 수 있다.

표1. 재귀적 자기개선의 전제와 AI 반복 개선의 실제 적용

완전 자율 연구에는 미도달

다만 논문이 제시한 지능 폭발은 여러 전제가 충족됐을 때를 상정한 가상 시나리오다. 그 전제에는 AI가 자신이나 후속 모델을 개선하고, 향상된 연구 능력을 다음 개발에 다시 활용하는 ‘재귀적 자기개선(recursive self-improvement·RSI)’이 자리한다. RSI는 앞서 설명한 재귀적 피드백 루프가 이어지면서 AI의 개선 능력까지 높아지는 과정이다. 현재 개발 현장에는 코드를 실행하고 오류를 찾아 수정한 뒤 다시 시험하는 반복 작업이 도입된 상태다. 이를 RSI의 진전으로 평가하려면 수정된 시스템이 실제로 성능을 높였는지, 그 성능 향상이 후속 개선에도 기여했는지 확인할 필요가 있다. 앤트로픽 역시 최근 공개한 자료에서 AI가 후속 모델의 설계·개발을 전적으로 수행하는 단계에는 아직 도달하지 못했다고 밝혔다. 연구 목표를 선택하는 판단력에는 여전히 한계가 있으며, 사람이 작업 방향을 정하고 결과를 검토하는 절차도 유지된다는 설명이다.

이 같은 반복 개선이 실제로 어떻게 이뤄지는지는 구글 딥마인드의 ‘알파이볼브(AlphaEvolve)’ 사례에서 확인할 수 있다. 알파이볼브는 AI가 여러 코드 수정안을 제시하면 자동 평가 프로그램으로 정확성과 효율을 시험하고, 성과가 좋은 결과를 다음 작업에 활용하는 방식이다. 미국 기술 전문매체 와이어드에 따르면 데이터센터의 작업 배분과 반도체 설계, AI 연산 최적화 등이 주요 활용 분야로 꼽혔다. 이러한 작업은 결과를 수치로 측정하고 자동으로 검증할 수 있어 수정과 시험을 반복하기에 유리한 조건을 갖췄다. 그러나 실제 적용 단계에는 변경 사항이 기존 기능에 미치는 영향을 살피는 절차가 뒤따랐다. 딥마인드가 공개한 반도체 설계 사례에서도 AI가 제안한 회로 수정안은 기능의 정확성을 확인하는 엄격한 검증을 거쳐 반영됐다.

쏟아지는 AI 연구 성과, 검토 역량 한계 노출

검증 과정에서는 AI가 남긴 시험 기록의 신뢰성도 점검 대상이다. 일본 AI 연구소 사카나AI가 지난해 공개한 자기개선형 코딩 에이전트 ‘다윈 괴델 머신(Darwin Gödel Machine, DGM)’ 연구에서는 실행하지 않은 시험을 수행한 것처럼 기록한 사례가 보고됐다. AI가 코드의 정상 작동 여부를 확인하는 도구를 사용했다고 꾸민 데 이어, 시험에 통과했다는 결과까지 만들어낸 것이다. 이후에는 자신이 작성한 기록을 다시 참조하면서 해당 수정안이 검증을 마쳤다고 오인했다. 이런 오류가 반복 과정에 섞이면 잘못된 수정안이 다음 작업의 출발점으로 채택될 위험이 따른다. 연구진은 이를 평가 체계의 허점을 이용하는 ‘보상 해킹’ 사례로 설명했으며, 실험은 인터넷 접근을 제한한 격리 환경에서 인간의 감독 아래 진행했다고 밝혔다.

수정안의 성능과 검증 기록을 함께 확인해야 하는 만큼 인간의 검토 부담도 커지고 있다. 앤트로픽은 최근 AI 활용으로 코드 생산량이 늘면서 사람이 이를 검토하는 과정에서 병목이 발생하기 시작했다고 밝혔다. 여기에 연구 아이디어와 실험 도구까지 급증하면서 조직이 감당할 수 있는 업무량을 웃돌았다는 설명이다. 검토 대상이 쌓이면 우선 시험할 제안을 추리고 후속 연구에 반영할 결과를 선별하는 데도 상당한 시간과 인력이 필요하다. 개별 작업을 빠르게 처리하더라도 검토와 의사결정이 지연되면 연구 전반의 속도를 높이는 데 제약이 생기는 셈이다. 앤트로픽이 제시한 향후 발전 시나리오에도 이러한 역할 분담이 담겼다. AI가 연구 업무의 상당 부분을 자동화하는 가운데, 인간은 연구 방향을 설정하고 결과의 타당성을 판단하는 체계다.

AI 자율성 커질수록 중요해지는 인간 판단

그러나 이러한 감독 체계에서도 AI 내부의 판단 과정을 모두 파악하기는 어렵다. 앤트로픽이 지난해 발표한 연구에서는 AI가 외부에서 주어진 단서를 바탕으로 답을 바꾸고도, 추론 과정을 설명할 때 해당 단서의 영향을 누락한 사례가 확인됐다. 사람이 읽을 수 있도록 제시된 설명만으로 실제 판단 근거를 온전히 추적하기에는 한계가 있다는 의미다. 연구진도 AI가 서술한 추론 과정에 의존하는 감시 방식에는 추가적인 보완이 필요하다고 평가했다. 이는 감독 과정에서 AI의 설명과 실제 행동을 함께 살펴야 할 필요성을 보여주는 대목이다.

앤트로픽이 외부 검증을 제안한 데는 자체 평가의 한계도 작용했다. 앤트로픽은 지난 8월 클로드로 직원들의 업무 기록을 분석해 연구개발 과제를 분류한 뒤, 각 과제의 자동화 수준을 다시 클로드에 평가하도록 했다. 이렇게 집계한 클로드의 연구개발 주도율은 26%였다. 여기서 ‘주도’는 사람이 제시한 목표에 따라 AI가 업무 대부분을 수행하되 인간의 감독을 받는 단계를 뜻한다. 당시 조사 대상 중 인간의 개입 없이 완전 자율로 진행된 업무는 없었다. 앤트로픽이 제시한 사례에서도 클로드는 오류 분석과 코드 수정·시험을 맡았고, 수정안을 실제 시스템에 적용할지는 담당 엔지니어가 결정하도록 했다. AI의 내부 판단을 모두 추적하기 어려워도 결과물을 검토하고 적용을 승인하는 권한은 인간에게 남아 있는 셈이다.