“모델 성능에서 효율성으로 이동” 성능 평준화에 ‘원가 경쟁’ 본격화, 저가 전력 갖춘 中에 승산 있나

최상위 AI 모델 간 성능 격차 축소
업무별 최적 모델 조합 및 오케스트레이션 확산
모델 성능에서 작업당 비용으로 시장 경쟁축 이동

인공지능(AI) 시장의 경쟁 규칙이 바뀌고 있다. 거대 모델 중심의 파라미터(매개변수) 덩치 키우기 경쟁이 한계에 직면한 가운데, 기업 고객들이 AI 모델 도입 단계에서 비용을 절감하는 구조 전환에 나서면서, 개발사 간 경쟁축 또한 성능에서 비용으로 급격히 이동하는 분위기다. 다만 이 같은 비용 중심의 경쟁 구도는 저렴한 전력과 고효율 모델을 앞세운 중국에 유리한 만큼, 미국의 AI 주도권을 흔드는 변수로 작용할 가능성이 높다.

최고 성능 모델보다 작업별 최적 모델 조합이 핵심

12일(현지시간) 퍼플렉시티 최고경영자(CEO) 아라빈드 스리니바스는미국 CNBC와의 인터뷰에서 “이제 모델 단독으로는 상품이 될 수 없다”며 “상황에 맞춰 적절한 모델과 도구를 연결하는 오케스트레이션(조정) 시스템이 핵심”이라고 말했다. 고객 응대나 내부 업무 자동화는 상대적으로 저렴한 모델이 처리하고 복잡한 코딩이나 추론 작업에만 고성능 모델을 투입하는 방식이 확산하면서 AI 시장의 경쟁 기준도 모델 성능에서 운영 효율성으로 옮겨가고 있다는 설명이다.

이어 그는 "AI 도입 과정에서 정답은 해당 작업에 가장 적합한 모델을 사용하는 것"이라고 강조했다. 업무별로 요구되는 성능과 감당 가능한 비용이 다른 만큼 하나의 모델로 모든 작업을 처리하기보다 분야별로 적합한 AI를 골라 써야 한다는 취지다. 단순 고객 문의는 저비용 모델이 처리하고, 복잡한 프로그래밍 업무는 고성능 모델이 담당하는 방식으로, 최고 성능의 단일 모델로 모든 요청을 처리하기보다 업무 특성에 따라 적합한 모델을 선택하는 것이 비용과 성능 측면에서 더 합리적이라는 게 스리니바스 CEO의 판단이다.

AI 시장의 패러다임이 전환된 건 기업 고객들의 ‘비용 피로감’ 영향이 크다. 폐쇄형 API(응용프로그램 인터페이스)를 사용할 때 발생하는 토큰(Token·AI 사용량 단위)당 단가 비용은 워크로드와 최적화 수준에 따라 수배에서 수십 배까지 격차가 발생하기 때문이다. 이에 기업 현장에서는 연산 난도에 따라 오픈 모델과 폐쇄형 모델을 분산 배치하는 '혼합형 전략'이 표준으로 자리 잡아가고 있다. 예컨대 동일 업무 처리 시 폐쇄형 API 단가가 1.0달러(정확도 95%), 사내 구축한 오픈웨이트(기업이 직접 수정·운영) 모델의 추론 단가가 0.6달러(정확도 92%)라고 가정할 때, 오케스트레이션 시스템을 통해 일상 업무의 80%를 오픈 모델로 처리하고 고난도 작업 20%만 폐쇄형으로 라우팅하면, 정확도를 유지하면서도 평균 원가를 32% 절감할 수 있다.

미국 벤처캐피털(VC) 벤치마크의 피터 펜턴(Peter Fenton) 제너럴 파트너는 이러한 변화가 예상보다 더 빠르게 진행될 수 있다고 전망했다. 그는 오픈모델 확산이 AI 산업 구조 자체를 바꿀 수 있다고 분석했다. 특정 업무에 최적화된 소형 모델이 범용 대형 모델보다 더 빠르고 우수한 성능을 보이는 사례가 늘고 있어서다. 펜턴 파트너는 "향후 18~24개월 동안 생성되는 AI 토큰의 90% 이상이 오픈웨이트 모델에서 나올 수 있으며, 경우에 따라 올해 말에도 가능할 수 있다"고 내다봤다.

실제 AI 개발사인 오픈AI, 메타, 스페이스XAI 등은 최근 잇달아 저비용 고효율 AI를 출시하며 '가성비' 경쟁을 이어가고 있다. 오픈AI가 내놓은 'GPT-5.6'은 토큰을 종전보다 적게 쓰면서 더 많은 작업을 할 수 있는 데 중점을 뒀다. 스페이스XAI도 '그록 4.5' 모델을 출시하며 타사의 동급 AI와 비교해 토큰 효율성이 2배에 달한다는 점을 판촉 포인트로 내세웠다. 메타의 새 '뮤즈 스파크 1.1' 모델 역시 가격 경쟁력 강화에 집중할 방침이다.

오픈모델 확산에 시장 경쟁 구도 변화

이처럼 AI 산업이 가성비 경쟁에 진입한 배경에는 최상위 모델 간 성능 격차 축소가 자리한다. 그동안 AI 경쟁력은 파라미터 수와 학습 규모, 추론 성능 등으로 평가됐으나, 고성능 오픈소스 모델이 잇따라 등장하면서 모델 간 성능 격차는 빠르게 좁혀지고 있다. AI 성능 비교 플랫폼 LMSYS 챗봇 아레나에 따르면 GPT-4o, 클로드 3.5 소네트, 라마 3.1(405B), 제미나이 1.5 프로 간 점수 차이는 15점 안팎이다. 업계에선 50점 이내의 차이는 체감하기 어려운 수준으로 본다.

스탠퍼드대학교 인간중심AI연구소(HAI)가 발간한 ‘2026 AI 인덱스’의 분석 결과도 다르지 않다. 올해 3월 기준 앤트로픽과 스페이스XAI, 구글, 오픈AI는 인간 선호도를 반영한 아레나 리더보드에서 25점 이내의 엘로(Elo) 점수 차를 기록했다. 미국과 중국의 최상위 모델 격차도 2.7%까지 축소됐다.

품질이 일정 수준에 도달한 시장에서 미세한 성능 향상을 위해 지불해야 하는 비용이 커지자 가격과 지연시간, 안정성, 업무 적합도가 구매 결정을 좌우하기 시작했다. 특히 이 같은 변화는 모델 개발에 투입되는 연산 자원이 계속 늘어나는 상황에서 나타나고 있다. AI 인덱스는 공개된 매개변수 규모가 최근 3년간 1조 개 안팎을 유지한 가운데, 학습에 사용되는 연산량은 꾸준히 증가했다고 집계했다.

막대한 연산 자원을 투입하고도 경쟁사를 압도할 정도의 성능 차이를 벌리기 어려워지면서 대규모 모델 개발의 비용 부담도 한층 커졌다. 비용 압박을 증폭한 직접적인 요인은 추론형 모델과 AI 에이전트의 확산이다. AI 모델 라우팅 플랫폼 오픈라우터와 글로벌 VC 앤드리슨호로위츠가 100조 개의 토큰을 분석한 자료를 보면, 추론 특화 모델이 처리한 토큰 비중은 지난해 초 미미한 수준에서 같은 해 연말 50% 이상으로 상승했다. 평균 입력 토큰은 2024년 초 약 1,500개에서 2025년 말 6,000개 이상으로 늘었고, 평균 출력 토큰도 약 150개에서 400개로 증가했다. 코드베이스와 문서, 대화 이력을 장시간 유지하면서 도구 호출과 재검증을 반복하는 작업 방식이 토큰 청구액을 밀어 올린 것이다.

기업 현장에서는 사용량을 생산성의 대리 지표로 삼았던 ‘토큰 맥싱(Tokenmaxxing)’의 부작용도 표면화됐다. 최근 아마존은 직원들의 AI 토큰 사용량을 순위화한 비공식 ‘키로랭크(KiroRank)’를 중단했고, 고객 및 사업 문제 해결에 초점을 맞추라는 지침을 내렸다. 우버도 올해 초 AI 토큰 사용량 순위표를 만들 정도로 적극 사용을 권장했지만, 앤트로픽의 클로드 코드 사용이 급증하면서 2026년 관련 예산을 4개월 만에 소진한 것으로 알려졌다. 단일 최고급 모델만 고집하다가 서비스 운영 비용이 기하급수적으로 늘어난 것이다. AI 이용 횟수를 늘리는 초기 확산 전략이 비용 대비 산출물을 측정하는 ‘밸류 맥싱(Valuemaxxing)’으로 교체되고 있는 배경이다.

가격·사용량에서 존재감 키우는 中 AI 모델

다만 효율성 중심의 경쟁은 미·중 AI 구도에도 직접적인 변화를 가할 수밖에 없다. AI 인덱스에 따르면 현재 양국 최상위 모델의 성능 차이는 2.7%까지 좁혀졌으며, 중국은 AI 논문 수와 인용 횟수, 특허 등록 건수에서 선두를 차지했다. 미국은 지난해 주목할 만한 모델 59개를 내놓으며 중국의 35개를 앞섰지만, 최상위권 모델의 성능 차이는 갈수록 줄어들고 있다.

이 같은 변화는 가격에서 더욱 두드러진다. 중국 AI 업체 딥시크의 V4 프로는 100만 토큰당 입력 0.435달러, 출력 0.87달러로 책정됐다. 캐시가 적중한 입력 토큰 가격은 0.003625달러까지 내려간다. 오픈AI의 GPT-5.6 솔과 앤트로픽의 오퍼스 4.8이 입력 토큰 100만 개당 5달러를 받는 점을 고려하면 10배가 넘는 가격 차이다.

가격 우위는 실제 사용량 증가로 이어지고 있다. 오픈라우터에 따르면 지난해 기준 중국계 오픈 모델은 일부 주간 전체 토큰 사용량의 약 30%를 차지했으며, 연간 평균 점유율도 13%에 달했다. 같은 기간 딥시크 계열은 14조3,700억 개, 알리바바 큐원 계열은 5조5,900억 개의 토큰을 처리했다. 특히 프로그래밍과 기술 업무가 중국계 오픈 모델 사용량의 39%를 차지했다. 저렴한 중국 모델이 개발과 데이터 처리, 시스템 운영 등 실제 생산 현장으로 확산하고 있음을 알 수 있는 대목이다.

중국의 가격 경쟁력은 미국의 기술 규제에 대응하는 과정에서 강화됐다. 미국의 첨단 AI 칩 수출 제한으로 고성능 가속기 확보가 어려워지자 중국 기업들은 제한된 연산 자원에서 처리량을 끌어올리는 기술 개발에 집중했다. 특히 딥시크와 큐원은 필요한 매개변수만 선택적으로 가동하는 희소 활성화 기술과 캐시 압축 등을 적용해 메모리 사용량과 연산 부담을 줄였다. 여기에 오픈AI와 호환되는 API를 제공해 기존 서비스를 중국 모델로 교체하는 데 필요한 비용과 시간을 낮췄다. 같은 자원으로 더 많은 작업을 처리하는 능력이 가격 경쟁력으로 이어지면서 미국 기업들이 누려 온 가격 결정력을 흔들고 있는 셈이다.

풍부한 전력 공급 능력도 중국의 가격 공세에 힘을 싣고 있다. 월스트리트저널(WSJ)에 따르면 중국의 지난해 전력 생산량은 미국의 두 배 이상이었으며, 일부 중국 데이터센터의 전기요금은 미국 시설의 절반에도 미치지 않았다. 국제에너지기구(IEA)는 세계 데이터센터의 전력 소비량이 2024년 415테라와트시(TWh)에서 2030년 945TWh로 두 배 이상 증가할 것으로 내다봤는데, AI 추론 수요가 빠르게 불어날수록 전력 단가와 발전 능력, 데이터센터의 계통 연결 속도가 모델 가격을 좌우하는 핵심 변수로 자리 잡을 전망이다.

물론 미국은 여전히 자본과 첨단 반도체, 클라우드 인프라에서 우위를 점하고 있다. 미국의 민간 AI 투자액은 중국의 23배에 달하며, 보유한 데이터센터도 5,427개로 세계 어느 국가보다 많다. 또한 엔비디아가 세계 AI 연산 자원의 60% 이상을 공급하는 가운데 미국 기업들은 첨단 가속기와 대형 클라우드, 프런티어 모델, 기업 고객망을 긴밀하게 결합하고 있다. 하지만 막대한 투자와 첨단 기술이 낮은 추론 단가를 보장하지는 않는다. 미국이 보유한 자산을 작업당 비용 절감과 전력 공급 확대로 연결하지 못하면 중국은 대량 처리 시장에서 확보한 사용량을 발판으로 개발자 생태계와 기업 시장에서 영향력을 더욱 확대할 가능성이 크다는 게 전문가들 목소리다.