상시 학습 AI 모델 가동한 오픈AI, 인프라 투자 앞세워 이례적 토큰 부담 감당할까

오픈AI, 자사 AI 모델에 '상시 학습' 기술 적용한다
대규모 투자 통해 확보한 인프라, 지속적 학습 현실화에 활용되나
컴퓨팅 비용 증가 필연적, 토큰 가격 뛰어오를 시 이용자 이탈 우려

챗GPT 개발사 오픈AI가 인공지능(AI) 모델을 ‘상시 학습형’으로 운영하는 새로운 훈련 방식을 본격 가동하고 있다. 지속적인 인프라 투자를 통해 확보한 여유 설비를 적극적으로 활용, AI 모델의 근본적인 성능을 개선하겠다는 구상으로 풀이된다. 다만 시장은 이 같은 훈련 방식 변경 과정에서 발생할 막대한 비용 지출에 대한 우려를 감추지 못하고 있다.

오픈AI, '끊임없이 학습하는 AI' 구현 나서

27일 IT업계에 따르면, 피터 호셀레 오픈AI 스타게이트 총괄은 최근 미국 라스베이거스에서 개최된 오라클 AI 월드 2025 행사에 참여해 “이제 훈련과 추론을 구분할 필요가 없어졌다”며 “모델이 끊임없이 실행되고 샘플링과 훈련을 반복하며 실시간으로 더 똑똑해지는 새로운 체제로 진입했다”고 밝혔다. AI가 대규모 사전 학습을 마친 뒤 사용자 질의에 응답해왔던 기존 구조에서 벗어나 응답 단계에서도 추가 연산을 수행하면서 스스로 성능을 개선하는 ‘테스트 타임 컴퓨트’ 개념을 본격화한 것이다. 호셀레 총괄은 “모델이 단지 응답만 하는 게 아니라 추론 중에도 더 많은 계산 자원을 사용해 스스로 개선된다”고 설명했다.

IT 전문매체 더 인포메이션에 따르면 오픈AI는 이미 1년 전 첫 추론 모델을 출시한 이후부터 꾸준히 테스트 타임 컴퓨트를 시험해 왔으며, 여기에 인간 피드백 기반 강화 학습(RLHF) 기술을 결합하고 있다. 사용자가 챗GPT 답변에 ‘좋아요’나 ‘싫어요’를 표시하는 것도 모델의 실시간 학습용 데이터로 쓰이며, 이는 강화 학습과 추론의 경계를 허물면서 AI가 실제 환경 속에서 진화하도록 만든다.

이러한 변화는 오픈AI가 그동안 예고해 왔던 ‘지속적 학습’의 개념이 현실화하고 있음을 보여준다. 샘 올트먼 오픈AI 최고경영자(CEO)는 지난 8월 GPT-5 출시 전날 열린 기자간담회에서 “GPT-5는 아직 완전한 AGI(범용 인공지능)라 보긴 어렵다”며 “그중 가장 큰 이유는 이 모델이 배포 이후에도 새로운 정보를 받아들이고 학습하는 능력, 즉 지속적 학습을 하지 못하기 때문”이라고 발언한 바 있다. 당시 그는 “진정한 AGI에는 이러한 능력이 반드시 포함돼야 한다”고 강조했다. 오픈AI의 상시 학습 구조 도입은 올트먼 CEO가 언급한 AGI의 핵심 조건을 실험적 형태로 구현한 사례인 셈이다.

오픈AI의 공격적 인프라 투자

일각에서는 이 같은 오픈AI의 성능 개선 시도가 지금껏 확보해 온 인프라를 최대한 활용하기 위한 전략이라는 분석이 나온다. 오픈AI는 이전부터 막대한 비용을 데이터센터를 비롯한 인프라에 투자해 왔다. 미국의 초대형 AI 인프라 구축 사업 스타게이트 프로젝트에 참여한 것이 대표적인 예다. 스타게이트 프로젝트는 오픈AI가 오라클·소프트뱅크 등과 함께 4년간 5,000억 달러(약 716조원)를 투입해 추진하는 사업으로, 미국 내 여러 지역에 수 기가와트(GW)급 데이터센터를 건설해 수십만 개 그래픽처리장치(GPU)급 연산 능력을 확보하는 것이 목표다. 

지난달에는 오라클과 오픈AI가 2027년부터 5년간 지속되는 3,000억 달러(약 417조원) 규모의 클라우드 컴퓨팅 계약을 체결하기도 했다. 당시 오라클은 분기 실적 발표에서 3,170억 달러(약 440조원)의 신규 수주 계약을 공개했는데, 이 중 대부분이 오픈AI와의 계약에서 비롯된 셈이다. 이번 계약에 따라 오라클은 약 4.5GW의 전력 용량을 필요로 하는 대규모 데이터센터를 구축할 예정이다.

같은 달 엔비디아도 오픈AI와 전략적 파트너십을 체결했다. 이들은 2026년 하반기 엔비디아의 CPU(중앙처리장치)-GPU 결합 플랫폼 ‘베라 루빈(Vera Rubin)’을 통해 새로운 AI 모델 학습 체계를 구축할 예정이다. 이 같은 계획을 실현하기 위해서는 신규 데이터센터 하드웨어와 총 10GW 전력 용량 확보가 필요하며, 엔비디아는 오픈AI에 최대 1,000억 달러(약 139조원)를 투자해 이를 지원할 계획이다.

비용 문제 무시하기 어려워

문제는 대규모 인프라를 확보한다고 해도 상시 학습 구조로 인해 발생하는 비용 부담을 메꾸기는 어렵다는 점이다. 오픈AI는 이미 수익에 비해 막대한 규모의 지출을 감행하고 있다. 지난달 오픈AI가 최근 주주들에게 제시한 매출 및 지출 예상을 살펴보면, 오픈AI는 올해부터 2029년까지 현금 소모량이 기존 예상치인 350억 달러(약 50조1,800억원)보다 2.3배가량 증가한 1,150억 달러(약 164조9,000억원)에 이를 것으로 전망했다.

오픈AI의 지출이 불어난 가장 큰 원인은 컴퓨팅 비용이다. 챗GPT 사용자는 올해 초부터 급격하게 증가하고 있다. 오픈AI는 이 같은 추세가 지속될 시 몇 년 뒤에는 모델 서비스를 위해 1,000억 달러에 달하는 자금이 투입될 것으로 봤다. AI 모델을 개발하는 데 드는 훈련 비용 전망도 당초 예상치를 훌쩍 웃돌았다. 오픈AI는 올해 해당 분야에 90억 달러(약 12조5,000억원) 이상을 지출할 것으로 예상했는데, 이는 이전 예상보다 약 20억 달러(약 2조8,700억원)가량 증가한 수치다.

상시 학습 구조가 도입되며 AI 모델 이용 비용이 상승할 경우, 챗GPT의 시장 경쟁력 자체가 약화할 위험도 있다. 중국의 AI 모델들이 압도적으로 저렴한 비용을 앞세워 이용자를 끌어모으고 있기 때문이다. 일례로 중국 AI 스타트업 딥시크의 딥시크 챗은 100만 토큰당 쿼리 0.27달러, 응답 시 1.1달러를 받는다. 반면 오픈AI의 GPT-4o의 쿼리 및 응답 시 비용은 각각 5달러와 15달러에 달한다. 쿼리 비용은 수십여 배, 응답 시 비용은 십여 배가량 차이가 나는 셈이다.