구글, 토큰 비용 대폭 절감한 제미나이 3.5 플래시 모델 공개
토큰 처리 비용에 허덕이는 AI 시장, 서비스 제공 기업·고객 부담 상당
"성능보단 가격이 중요" 구글 점유율 확대 기회, 공공 부문 활용도까지 높아져

구글이 토큰(인공지능(AI) 연산 최소 단위) 비용을 대폭 절감한 차세대 AI 모델을 내놨다. 설계 개선 및 ‘텐서처리장치(TPU·Tensor Processing Unit)’ 활용을 통해 성능과 가격 경쟁력을 동시에 제고한 것이다. 이는 생성형 AI 시장 경쟁이 성능을 넘어 비용 중심으로 변모하는 가운데, AI 도입 부담을 낮춰 시장 점유율을 확대하기 위한 행보로 풀이된다. 다만 일각에서는 AI 에이전트 확산으로 기업들의 전체 AI 토큰 소비가 급증한 만큼, 해당 모델 도입에 따른 비용 절감 효과가 기대만큼 크지 않을 수 있다는 분석도 나온다.

베일 벗은 제미나이 3.5 플래시

19일(현지시각) 순다르 피차이 구글 최고경영자(CEO)는 미국 캘리포니아주 마운틴뷰 쇼어라인 엠피시어터에서 개최된 개발자 회의 ‘구글 I/O 2026’에서 차세대 경량 AI 모델 ‘제미나이 3.5 플래시(이하 3.5 플래시)’를 공개했다. 피차이 CEO는 3.5 플래시 모델이 에이전트, 코딩 등의 분야에서 기존 자사의 최고 성능 모델인 제미나이 3.1 프로보다 향상된 성능을 보였으며, 출력 속도는 경쟁사보다 4배 빠르고 비용은 절반 또는 3분의 1이라고 강조했다. 토큰 1조 개를 쓰는 기업이 업무량의 80%를 3.5 플래시로 전환하면 연간 10억 달러(약 1조5,000억원) 이상의 비용을 경감할 수 있다는 설명이다.

이 같은 비용 절감 효과가 발생한 배경에는 구글의 자체 AI 반도체 TPU 및 경량화 설계가 있다. TPU는 엔비디아의 범용 그래픽처리장치(GPU)와 달리 AI 연산만을 위해 설계된 칩으로, 대규모 행렬 계산 및 추론 작업을 빠르게 처리하는 데 특화돼 있다. 구글은 3.5 플래시의 모델 크기와 연산 구조를 최적화해 추론 과정에 필요한 부동소수점 연산(FLOPs)을 크게 줄였고, TPU 하드웨어와의 병렬 처리 효율도 제고했다. 그 결과 3.5 플래시는 동일한 지연 시간(Latency) 기준에서도 더 많은 요청을 처리할 수 있게 됐고, 전력 및 서버 비용까지 낮추면서 속도와 가격 경쟁력을 동시에 끌어올렸다.

구글은 3.5 플래시를 제미나이 앱과 구글 검색 내 AI 모드에 기본 모델로 우선 탑재한 뒤, 다음 달 중 내부 검증을 거쳐 연산 제어가 무겁고 정교한 '제미나이 3.5 프로' 모델을 선보일 예정이다. 이러한 출시 순서 배치는 자사 모델의 대중화를 위한 전략적 선택으로 읽힌다. 한 시장 전문가는 "일반적으로 AI 모델은 일반·상급·경량 일반 순서로 출시되는 것이 일반적"이라며 "일반 모델과 상급 모델의 학습 정보를 토대로 경량 모델이 나오는 것"이라고 짚었다. 이어 "구글이 경량 모델인 플래시를 먼저 내놓은 것은 빠르고 비용 부담이 덜한 모델로 대중화를 선도하기 위한 전략적 행보로 보인다"고 분석했다.

토큰 비용 부담, 인건비 육박한다

이 같은 구글의 '비용 혁신'은 AI 시장 판도를 뒤바꾸는 대형 변수가 될 수 있다. 그간 생성형 AI 업계에서는 토큰 처리 비용이 수익성을 악화하는 핵심 요인으로 지목돼 왔다. AI 모델의 규모가 커지며 추론당 필요한 연산량 및 GPU 사용 시간이 늘고, 인프라 비용 부담이 대폭 가중된 것이다. 이에 따라 오픈AI는 고성능 추론 모델 확대 이후 월 200달러(약 30만원) 고가 요금제 '챗GPT Pro'를 출시하며 수익성 방어에 나섰다. 앤스로픽은 고성능 추론 모델 ‘클로드 4 오퍼스’의 운영 비용이 급증하자 API 사용량 기반 과금 단가를 높이고, 대기업 대상 전용 계약을 확대하기도 했다.

AI 서비스를 이용하는 개인 및 기업의 부담 역시 막대한 상황이다. 글로벌 시장조사기관 가트너의 보고서에 따르면 주요 최신 AI 모델의 토큰 비용은 입력 토큰 기준 100만 개당 2.5달러(약 3,700원), 출력 토큰 기준 100만 개당 20달러(약 3만원) 수준이다. 이러한 토큰 부담은 고객의 이용 형태에 따라 기하급수적으로 불어날 가능성이 있다. 가격 부담이 큰 대표적 이용 방식으로는 △요청마다 이전 대화 전체를 다시 모델에 입력하는 멀티턴 △외부 문서를 검색해 답변에 활용하는 검색 증강 생성(RAG) △대규모 병렬 연산이 반복되는 이미지·영상 생성 등이 꼽힌다.

기업들이 AI 서비스에 투입하는 비용이 1명분의 인건비에 육박한다는 분석도 존재한다. 실리콘밸리 유명 엔젤 투자자 제이슨 칼라카니스는 지난달 한 팟캐스트에서 "내가 속한 조직이 클로드 API를 사용하는 과정에서 에이전트 비용이 하루 300달러(약 45만원)까지 빠르게 상승했다"고 밝힌 바 있다. 단순 계산한다면 연간 10만9,500달러(약 1억6,500만원)에 달하는 지출이 발생한 셈이다. 글로벌 차량 공유 플랫폼 우버 역시 같은 달 사내 AI 사용이 급증해 연간 AI 예산이 소진됐다고 밝혔다. 특히 앤스로픽 ‘클로드 코드’의 영향으로 개발자 1인당 월 AI 비용이 500~2,000달러(약 75만~300만원) 수준까지 치솟았다는 전언이다. 토큰 비용이 대폭 절감된 구글의 새로운 AI 모델은 이 같은 기업들의 AI 서비스 이용 부담을 일정 부분 상쇄할 수 있는 매력적 대안인 셈이다.

점유율 성장세 '청신호'

다만 일각에서는 토큰 단가 하락이 기업의 AI 비용 절감으로 직결되지는 않는다는 지적도 나온다. AI 기술이 고도화될수록 토큰 소비량 역시 증가하고 있기 때문이다. 이러한 흐름을 보여주는 대표적인 예가 AI 에이전트다. 스스로 판단하고 작업을 수행하는 AI 에이전트는 기존 챗봇 대비 작업당 최소 5배에서 최대 30배 많은 토큰을 사용한다. 향후 AI 에이전트 사용이 보편화할 경우, 전체 사용량 증가세가 토큰 단가 하락 효과를 상쇄하면서 기업의 추론 비용 총액이 오히려 상승할 가능성이 크다는 의미다. 이와 관련해 윌 소머 가트너 시니어 디렉터 애널리스트는 “제품 총괄 책임자(CPO)는 범용 토큰 가격 하락을 고급 추론 역량의 대중화로 오해해서는 안 된다”며 “기본적인 AI 기능은 사실상 제로 비용에 가까워지고 있지만, 고급 추론을 뒷받침하는 컴퓨팅 자원과 시스템은 여전히 희소하다”고 설명했다.

이 같은 변화는 고객사 입장에서 또 다른 부담으로 작용할 수 있지만, 구글 측에는 명백한 시장 점유율 확대 기회가 될 것으로 보인다. 구글은 전 세계 최대 규모의 검색 데이터를 통해 AI 기술을 고도화하고, 검색·유튜브·워크스페이스 등 기존 서비스에 AI 모델을 결합해 사용자를 확보해 왔다. 보유 중인 사업 기반을 활용해 유의미한 경쟁력을 갖춘 셈이다. 생성형 AI 시장이 초기 성능 경쟁 단계를 지나 가격·인프라 경쟁 국면에 접어들었다는 사실도 구글에는 호재다. 주요 모델 간 성능 격차가 눈에 띄게 줄어들면서 모델 품질보다 토큰 비용·운영 효율성이 기업 고객의 핵심 선택 기준으로 부상한 것이다.

이에 더해 미국 국방부와의 협력 역시 구글의 시장 입지를 강화하는 요인으로 꼽힌다. 지난달 월스트리트저널(WSJ)과 IT 전문매체 디인포메이션은 소식통을 인용해 구글이 국방부의 기밀 업무에 자사 AI 모델을 사용할 수 있도록 하는 계약을 맺었다고 보도했다. 당초 국방부는 고위험 군사 임무의 데이터 분석에 앤스로픽의 모델을 사용해 왔으나, 최근 기술 활용 제한 해제를 둘러싼 이견으로 인해 양측의 협력 관계에 금이 갔다. 이후 미국 국방부는 앤스로픽 제품의 군사 시스템 사용을 단계적으로 중단하라며 일종의 퇴출 명령을 내렸고, 그 대체재로 구글의 제미나이를 낙점했다.