“토큰 비용 관리가 LLM 최대 화두” 오픈AI부터 스페이스XI까지, ‘저비용·고효율’ 가성비 경쟁 격화

플래그십 ‘솔’부터 경량 ‘루나’까지 3종 라인업
‘GPT-5.6’에 내재화된 라우팅·캐싱·배치 처리
공급업체 간 가격 경쟁 격화, 활용 체계로 승부처 이동

글로벌 인공지능(AI) 시장에서 모델 성능과 추론 비용을 함께 겨루는 가격 경쟁이 격화하고 있다. 구글과 스페이스XAI, 메타, 앤트로픽 등이 경량 모델과 캐싱·배치 할인 등을 앞세운 가운데, 오픈AI도 비용 효율성을 강화한 GPT-5.6 제품군을 출시하며 경쟁 대열에 합류했다. 기업 고객들이 AI 지출과 투자수익률을 면밀히 따지기 시작하면서 토큰 사용량과 실제 작업당 비용이 모델 선택의 핵심 기준으로 부상한 만큼, 향후 시장의 승부처는 데이터 품질과 업무 설계, 유통망을 아우르는 활용 역량으로 이동할 것으로 분석된다.

이전 세대 대비 추론 단가 절반 축소

12일(이하 현지시간) 월스트리트저널(WSJ) 등 외신에 따르면, 9일 오픈AI는 미국 정부의 요청에 따라 지난 2주간 일부 기관에만 선공개했던 GPT-5.6 제품군을 일반에 공개했다. GPT-5.6은 고성능 최상위 모델인 솔(Sol), 차상위 모델 테라(Terra), 비용 효율성이 높은 루나(Luna)로 이뤄져 있다. 이용자는 모든 요청에 최고 성능 모델을 투입하는 방식에서 벗어나 작업 난도와 예산에 따라 모델을 배정할 수 있다. 오픈AI는 새 모델이 코딩과 지식 업무, 과학 연구 등의 분야에서 최고 성능을 기록했을 뿐만 아니라 경쟁사의 최상위 모델과 비교해 더 적은 토큰과 낮은 비용으로 동일한 작업을 수행할 수 있어 '달러당 성능(performance per dollar)'이 개선됐다고 설명했다. 토큰은 AI 모델이 정보를 처리하고 답변을 생성하는 데 사용하는 기본 단위다.

샘 올트먼 오픈AI 최고경영자(CEO)는 최근 CNBC 인터뷰에서 "GPT-5.6 솔은 에이전틱 코딩 작업의 토큰 효율성을 54% 높였다"고 말했다. 그는 "기업들은 AI에 지출하는 비용의 대가로 어떤 가치를 얻고 있는지를 중시하고 있다"며 GPT-5.6이 성능 대비 비용 효율성이 뛰어나다고 강조했다. 불과 1년 전만 해도 경영진은 고성능 AI 모델의 경쟁 우위를 바탕으로 기업 구독료를 계속 올릴 수 있다고 공언했지만, 최근 들어서는 가격 경쟁력 확보의 필요성을 언급하는 빈도가 크게 늘었다. 앞서 올트먼 CEO는 7일 아이다호주에서 열린 앨런앤드컴퍼니 선밸리 콘퍼런스에서 "올해 처음으로 AI 지출이 주요 관심사로 떠올랐다"고 밝힌 바 있다. 경영진이 AI 도입 자체보다 지출액과 투자수익률을 집중적으로 점검하기 시작했다는 설명이다.

GPT-5.6의 성능 지표도 이 같은 시장 변화에 맞춰 제시됐다. AI 모델 평가기관 아티피셜 애널리시스(Artificial Analysis)에 따르면 GPT-5.6 솔의 최대 추론 모드는 종합지능지수에서 59점을 기록했다. 앤트로픽의 클로드 페이블 5보다 1점 낮지만, 평가 과제당 비용은 1.04달러로 페이블 5의 약 3분의 1에 그쳤다. 최고점 확보에 집중하던 모델 경쟁이 지능과 비용을 함께 측정하는 방식으로 이동하고 있음을 보여주는 수치다. 에이전트 코딩 영역에서는 GPT-5.6 솔의 우위가 더욱 뚜렷했다. 솔은 딥SWE, 터미널벤치 2.1, SWE-아틀라스-QnA를 종합한 코딩 에이전트 지수에서 80점을 획득해 평가 대상 가운데 가장 높은 점수를 기록했다. 과제당 비용은 클로드 페이블 5보다 약 40%, 클로드 오푸스 4.8보다 약 10% 낮았다.

토큰 사용량 역시 줄었다. GPT-5.6 솔은 종합 지능 평가 과제당 약 1만5,000개의 출력 토큰을 사용해 GPT-5.5의 1만6,000개보다 적은 자원으로 더 높은 점수를 냈다. 또한 오픈AI는 추론 수준을 세분화해 비용 통제 범위도 넓혔다. GPT-5.6에는 복잡한 문제에 더 많은 연산 자원을 투입하는 ‘맥스(max)’ 추론 단계가 추가됐으며, 여러 하위 에이전트가 작업을 분담하는 ‘울트라(ultra)’ 모드도 도입됐다. 이용자가 작업의 중요도에 따라 추론 예산을 조절하도록 설계함으로써 과도한 토큰 소비를 시스템 차원에서 억제한 셈이다.

활용률 계산에 달린 실질 비용

이 같은 비용 통제 기능에는 기업 고객과 개발자들이 개별적으로 활용해 온 절감 기법이 반영됐다. 그동안 생성형 AI를 이용하는 기업 고객들은 모델 라우팅과 프롬프트 축약, 캐싱, 배치 처리 등을 조합해 비용을 낮춰 왔다. 정형화된 문의는 저가 모델에 맡기고 복잡한 분석만 고성능 모델로 보내거나, 반복되는 문맥을 캐시에 저장해 입력 토큰을 줄이는 방식이 대표적이다.

개발자들의 운용 경험에 의존하던 이러한 기법은 GPT-5.6에서 제품군과 API(응용 프로그래밍 인터페이스) 기능으로 내재화됐다. 솔·테라·루나의 계층화는 모델 라우팅을 용이하게 만든다. 솔은 코딩과 과학, 사이버 보안, 장기 분석 등 고난도 작업을 담당하고, 테라는 일반적인 지식 업무, 루나는 반복성과 처리량이 중요한 작업에 배치된다. 기업은 요청마다 동일한 모델을 호출하는 대신 성능 요구치와 예상 수익을 기준으로 연산 자원을 배분할 수 있다.

모델별 용도와 성능에 따라 가격도 차등 책정됐다. GPT-5.6 솔의 API 가격은 입력·출력 토큰 100만 개당 각각 5달러(약 7,500원)와 30달러(약 4만5,000원)로 책정됐고, 테라는 2.5달러(약 3,700원)와 15달러(약 2만2,000원), 루나는 1달러(약 1,500원)와 6달러(약 9,000원)다. 아티피셜 애널리시스 평가에서 테라와 루나의 과제당 비용은 각각 0.55달러(약 830원)와 0.21달러(약 320원)로 집계돼 솔보다 약 50%, 80% 낮았다.

가격을 세분화한 오픈AI는 API 운용 과정에서 발생하는 토큰 비용을 줄이기 위해 명시적 프롬프트 캐싱 제어와 추론 상태 보존 기능도 추가했다. 반복되는 입력을 캐시에서 불러올 경우 비용을 90% 할인하고, 여러 단계로 이어지는 작업에서는 이전 추론 결과를 유지해 불필요한 재계산을 줄이는 식이다. 도구 호출 절차도 프로그램 형태로 조정할 수 있어 모델과 외부 도구가 주고받는 횟수와 중간 출력 토큰을 감축할 수 있다.

캐시 저장에는 별도의 비용 원칙이 적용된다. GPT-5.6은 오픈AI 모델 최초로 캐시 쓰기에 일반 입력 가격의 1.25배를 부과했다. 저장된 토큰이 메모리 자원을 점유하는 원가를 가격에 반영한 조치다. 재사용 빈도가 낮은 문맥까지 무분별하게 저장하면 비용 절감 효과가 약해질 수 있어, 기업에는 캐시 활용률을 정밀하게 관리해야 할 필요성이 커졌다.

기업 고객들은 이미 다중 모델 운용을 비용 통제 수단으로 활용하고 있다. 브라이언 암스트롱 코인베이스 CEO는 엔지니어들의 '기본 모델로 저렴한 중국산 AI 모델을 시험하고, 요청 유형에 따라 적합한 모델로 연결하는 방식'을 검토하고 있다고 밝혔다. 클라우드 플랫폼 버셀도 오픈AI와 앤트로픽, 구글, 중국 AI 기업의 모델을 업무별로 조합해야 투자 대비 효율을 높일 수 있다고 진단했다.

고성능 AI도 예외 없는 가격 경쟁, 요금 하향 압력 확대

기업의 모델 선택 기준에서 비용 효율성이 차지하는 비중이 커지면서, AI 업체 간 가격 경쟁도 한층 치열해졌다. 구글은 지난 3월 대량 에이전트 작업과 번역, 데이터 처리에 특화한 제미나이 3.1 플래시-라이트를 공개하고, 5월부터 정식 공급에 들어간 상태다. API 가격은 입력 토큰 100만 개당 0.25달러, 출력 토큰 100만 개당 1.5달러로 책정했다. 비동기 방식으로 요청을 묶어 처리하는 배치 요금은 각각 0.125달러와 0.75달러까지 낮아진다. 반복 문맥을 불러오는 캐시 입력 가격도 100만 개당 0.025달러로 설정해 대규모 서비스를 운용하는 기업의 비용 부담을 낮췄다.

일론 머스크가 이끄는 스페이스XAI는 GPT-5.6 공개 하루 전인 8일 코딩·에이전트 업무용 모델 그록 4.5(Grok 4.5)를 출시했다. API 가격은 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 6달러로, 앤트로픽의 클로드 오푸스 4.8이 책정한 5달러와 25달러를 크게 밑돈다. 머스크 CEO는 그록 4.5가 오푸스급 성능을 더 빠른 속도와 낮은 토큰 비용으로 제공한다고 설명했다.

메타도 지난 9일 코딩과 AI 에이전트 작업을 겨냥한 뮤즈 스파크 1.1(Muse Spark 1.1)을 공개하며 가격 경쟁에 합류했다. 메타가 제시한 API 가격은 입력 토큰 100만 개당 1.25달러, 출력 토큰 100만 개당 4.25달러다. 마크 저커버그 메타 CEO는 블룸버그통신과의 인터뷰에서 고성능 지능을 훨씬 저렴한 비용으로 공급할 여지가 크다고 강조했다. 메타 최고AI책임자(CAIO) 알렉산드르 왕도 대규모 코딩 작업을 감당할 수 있는 가격대를 설정했다고 밝혔다.

앤트로픽 역시 제품별 가격 차등과 캐싱·배치 할인을 통해 비용 민감형 수요에 대응하고 있다. 최상위 모델 클로드 페이블 5의 API 가격은 입력·출력 토큰 100만 개당 각각 10달러와 50달러지만, 배치 처리 시 5달러와 25달러로 절반까지 내려간다. 경량 모델 클로드 하이쿠 4.5는 각각 1달러와 5달러이며, 캐시 입력에는 90% 할인된 0.1달러가 적용된다.

전문가들은 가격 격차가 축소되면 AI 기업의 경쟁력은 모델 이용료보다 활용 체계에서 갈릴 공산이 크다고 입을 모은다. 업무 데이터를 정제해 모델에 연결하는 역량, 적절한 모델을 자동 배정하는 라우팅 체계, 오류를 검증하는 관리 절차, 고객 접점을 확보한 유통망이 사업 성과를 좌우하게 된다는 것이다. 동일한 모델을 사용하더라도 조직의 데이터 품질과 업무 설계에 따라 생산성 차이가 확대될 수 있다.