“토큰 소모 줄여라” AI 비용 최적화 나선 기업들, 시장 경쟁 중심축 성능서 효율로 이동

기업 AI 토큰 소모량 나날이 급증, 비용 부담 가시화
불필요한 토큰 소비 최소화하는 효율적 모델 운용 전략 확산
AI 기업들도 비용 절감에 집중한 서비스·솔루션 선보여

AI 산업의 중심축이 ‘비용 관리’ 측면으로 이동하고 있다. AI 서비스가 개념 검증(PoC) 단계를 지나 본격적인 상용화 단계에 접어든 가운데, 막대한 토큰 소모로 인한 기업들의 비용 부담이 속속 가시화한 결과다. 이에 기업들은 고성능 모델을 무조건 확대 적용하기보다 비용 대비 성과를 높이는 방향으로 전략을 수정하고 있으며, AI 업계 역시 모델 성능 중심이었던 시장 경쟁의 기준을 운영 효율성 방면까지 넓혀 가는 추세다.

AI 서비스 보편화의 그림자

20일(현지시각) IT 연구·자문 기업 가트너가 발표한 분석에 따르면, 올해 세계 AI 플랫폼과 모델 시장 규모는 642억5,200만 달러(약 94조9,500억원)로 전년 대비 63.4% 확대될 것으로 예상된다. 특히 도메인 특화 언어 모델(DSLM) 및 전문화한 생성형 AI 모델 시장의 경우, 기존 대비 210.0% 성장한 49억1,000만 달러(약 7조2,550억원)까지 덩치를 불릴 것이라는 전망이다. 이는 같은 기간 범용 초거대 모델 시장의 성장률 전망치(104.2%)를 훌쩍 웃도는 수준이다. 범용 모델과 비교해 연산 비용이 낮고 투자 대비 성과(ROI)가 뚜렷한 특화형 모델에 시장 수요가 쏠리고 있는 셈이다. 아울러 가트너는 기업들이 엄격하게 AI 예산을 검증하기 시작하면서 비용 투명성, 사용량 추적, 성능 평가 모듈 등을 통합 제공하는 플랫폼 기업의 수익성이 제고될 것이라고 내다봤다.

이처럼 AI 시장이 비용 중심으로 움직이기 시작한 것은 생성형 AI의 사용량에 비례해 발생하는 토큰 비용 부담이 나날이 가중되고 있기 때문이다. 토큰이란 AI 모델이 언어를 이해하고 생성할 때 쓰는 최소 데이터 단위다. 전통적인 기업용 소프트웨어 시장에서는 직원 한 명당 매월 일정 금액을 내는 좌석 기반 구독 방식이 일반적이지만, AI 서비스 요금은 토큰 소비량을 기준으로 매겨지는 경우가 많다. 문제는 AI가 기업 업무 전반에 내재화될수록 각 기업의 토큰 소비량이 기하급수적으로 증가한다는 점이다. 대화형 AI는 일반적으로 새 요청을 처리할 때 이전의 대화 내용을 문맥으로 전달받는다. 사용자가 이전 기록을 별도로 요약하거나 제거하지 않을 경우, 맥락이 누적되며 전체 누적 처리량은 제곱에 가까운 속도로 증가할 위험이 있는 구조다.

여기에 모델 외부 데이터와 문서를 답변에 활용하는 검색 증강 생성(RAG) 기술이 적용되면 토큰 소모는 한층 커진다. AI 모델이 정확도를 높이기 위해 검색한 문서 원문, 표, 업무 지침 등이 모두 입력 토큰에 포함되기 때문이다. 특히 관련성이 낮거나 중복된 문서까지 무분별하게 답변에 이용될 경우, 답변 품질은 크게 개선되지 않으면서 비용 증가 및 응답 지연 문제만이 심화하게 된다. 최근 보편화하고 있는 AI 에이전트도 기업의 AI 비용 부담을 대폭 가중하는 요인으로 꼽힌다. AI 에이전트는 사용자의 요청에 따라 목표를 세분화하고, 생성한 결과가 적절한지 평가한 뒤 다시 작업하는 과정을 반복한다는 특징이 있다. 하나의 업무를 완료하기 위해 모델이 반복적으로 호출되고, 호출이 발생할 때마다 기존 작업 기록과 도구 실행 결과가 다시 문맥에 포함돼 토큰 소모량이 기하급수적으로 불어나는 형태다.

토큰 비용 구조적 절감 전략

이런 가운데 기업들은 AI 토큰 비용을 줄이기 위한 전략 수립에 힘쓰고 있다. 모델 호출 구조 자체를 효율화해 각 단계에서 발생하는 불필요한 토큰 소모를 줄이기 시작한 것이다. 가장 기본적인 전략으로는 프롬프트를 간결하고 구조적으로 작성하는 것이 꼽힌다. 사람이 읽기 좋은 인사말, 정중한 표현, 반복적인 배경 설명 등은 모델의 수행 능력에 실질적인 도움을 주지 않으면서 입력 토큰만 늘릴 수 있다. 이에 따라 실무 현장에서는 프롬프트를 대화문보다 작업 사양서에 가깝게 구성할 것이 권장된다. 요청 목적을 문장 앞부분에 배치하고, 이미 시스템이나 이전 문맥에 포함된 정보는 반복하지 않는 식이다. 여기에 XML 태그나 구분자, 코드 블록 등을 활용해 지시문과 참고 자료를 분리하면 모델이 입력 구조를 보다 명확하게 인식할 수 있다.

프롬프트 캐싱을 통해 불필요한 입력을 줄이는 것도 방법이다. 기업용 AI 서비스는 보안 지침, 응답 규칙, 업무 매뉴얼 등 긴 시스템 프롬프트를 모든 요청에 반복적으로 포함하는 경우가 많으며, RAG 서비스에서도 동일한 문서나 지식 기반이 여러 질문에 반복적으로 활용될 수 있다. 이러한 문맥을 캐시를 통해 미리 처리한 뒤 재사용하면 입력 토큰 비용을 줄고, 응답 속도가 개선되는 효과가 있다. 업무 난도에 따라 모델을 구분하는 것도 중요한 전략으로 꼽힌다. 모든 요청을 고성능 모델로 처리하면 정확도는 높일 수 있지만, 단순 분류, 정보 추출, 형식 변환 등 간단한 작업을 수행할 때도 불필요한 비용이 발생하게 된다. 이러한 문제를 해결하기 위해서는 비교적 저렴한 소형 모델이 요청의 난도와 성격을 먼저 판단하고, 복잡한 작업만을 상위 모델로 넘기는 '계단식 라우팅' 구조를 활용할 필요가 있다.

출력 토큰 관리도 비용 경감을 위한 핵심 요소 중 하나다. 주요 AI 모델은 출력 토큰 단가가 입력 토큰보다 높은 경우가 많다. 필요 이상으로 답변이 길어지면 비효율적인 지출이 발생할 수 있다는 의미다. 이를 방지하기 위해서는 답변 출력 형식을 사전에 명확히 지정해야 한다. 분류 작업을 지시할 시 정해진 라벨만을 반환하도록 하고, 데이터 추출 작업을 지시할 시 JSON·표 형태 등으로 응답을 제한하는 식이다. 여기에 응답 최대 길이 설정값도 작업의 성격에 따라 유연하게 조정할 필요가 있다.

고객 수요 발맞추는 AI 업계

이러한 '토큰 다이어트'는 단순 실무 현장의 권장 사항을 넘어 기업 차원의 지침으로 속속 자리 잡고 있다. 우버는 올해 AI 코딩 예산을 4개월 만에 모두 소진하자 직원 1명당 할당된 AI 모델 월 사용액을 1,500달러(약 222만원)로 제한했다. 월마트도 직원들에게 간단한 업무에는 저렴한 모델을 사용하도록 지시했으며, 여러 직원이 동일한 질문이나 업무를 중복 입력해 발생하는 낭비를 차단하는 시스템도 도입했다. 아마존은 AI 활용 독려를 위해 운영하던 임직원 사용량 순위표를 폐지했다. 직원들이 순위 경쟁에 매몰돼 불필요한 작업에도 AI를 사용하는 것을 막기 위한 조치다. 삼성전자는 AI가 줄인 노동량과 투입된 토큰 양을 비교해 성과를 측정하는 제도를 마련했다. 토큰 ‘가성비’를 조직별로 비교하고, 적은 비용으로 더 많은 성과를 낸 조직을 우대하겠다는 취지다.

AI 기업들 역시 고객사의 비용 부담을 경감하기 위한 서비스와 솔루션을 앞다퉈 선보이고 있다. 세일즈포스의 경우, 최근 고객 서비스용 AI 에이전트 구축·운영을 지원하는 ‘에이전트포스 헬프 에이전트’를 공개하며 문제 해결 기반 과금 모델을 신규 도입했다. 에이전트가 고객의 문제를 처음부터 끝까지 자율적으로 해결한 경우에만 이용 요금을 부과하고, 고객이 상담원 연결을 요청하거나 결과에 불만을 표시할 시 과금이 이뤄지지 않는 구조다. 해당 모델과 관련해 세일즈포스 측은 “기업은 에이전트의 단순 응대 건수나 사용량이 아닌 실제로 고객의 문제를 해결한 업무와 성과를 기준으로 고객 서비스 부문에서의 AI 투자 효율성을 제고할 수 있다”고 설명했다.

마이크로소프트(MS)는 고객사의 토큰 소비 자체를 줄이는 접근 방식을 채택했다. MS 리서치는 앞서 지난달 29일 장기 작업을 수행하는 AI 에이전트를 위한 메모리 프레임워크 ‘메모라’를 공개한 바 있다. 메모라는 대화 및 업무 기록의 세부 내용을 대부분 보존하되, 현재 작업에 필요한 기억과 연관 정보를 선별적으로 불러오는 방식으로 작동한다. MS는 장문 대화 벤치마크에서 메모라가 전체 이력을 한꺼번에 입력하는 방식보다 문맥 처리 토큰을 최대 98% 줄이면서도 정확도는 높였다고 밝혔다.