[딥테크] 대형언어모델(LLM) 사용료가 오르는 이유

인공지능, 사용량 늘고 추론 과정 정교화
단위당 비용 줄어도 ‘전체 비용 늘어나’
기술 및 관리 결합하면 ‘문제 해결 가능’

본 기사는 스위스 인공지능연구소(SIAI)의 SIAI Researh Memo 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술·경제·정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적 의견이며, SIAI 또는 그 소속 기관의 공식 입장과 일치하지 않을 수 있습니다.

대형언어모델(large language models, LLMs) 사용료는 최근 2년 사이 백만 토큰(token, AI 모델에서 처리되는 단어의 단위)당 20달러(약 28,000원)에서 0.07달러(약 98원)로 줄었다. 대폭적인 인공지능(AI) 비용 감소로 이어질 것으로 기대됐지만 결과는 그렇지 않다. 오히려 대학과 신생 기업들은 비용 및 복잡성의 증가로 훨씬 더 큰 애를 먹고 있다.

사용량 늘어난 탓

간단히 말하면 단위당 모델 비용이 대폭 줄었는데 사용량이 훨씬 더 많이 늘어난 것이다. 추론 모델(reasoning model, 복잡한 문제를 작은 단계로 세분화하는 대형 언어 모델)의 증가도 토큰 사용량을 늘린 원인이다. 토큰 당 가격 인하가 사용량을 늘려 전체 비용 상승을 일으킨 셈이다.

실제로도 스탠퍼드 AI 지수(Stanford AI Index, 전 세계 인공지능의 동향을 분석하는 데이터 기반 보고서)를 보면 가격 인하 흐름이 보이는데, 고삐 풀린 비용 때문에 고민이라는 사용자들은 증가하고 있다. 그렇다면 이제 토큰당 비용을 따지는 것보다 작업에 사용되는 토큰 수를 줄이는 것이 숙제가 됐다.

비용 상승을 완화하기 위한 도구들도 이미 등장했다. 프롬프트 캐싱(prompt caching, 이전에 처리한 프롬프트를 저장 후 반복적으로 사용해 처리 시간을 단축하고 비용을 절감)이 대표적이고, 라우터(router)를 통해 간단한 업무는 가벼운 모델에 전달하고 복잡한 업무만 첨단 모델에 배정할 수도 있다. 추론에 들어가는 노력(effort)의 정도를 조절하는 모델들까지 나오고 있지만 어떤 기술이든 적극적으로 활용해야 실제 도움을 받는다는 사실은 두말할 필요가 없다.

‘사용 시간’ 늘고 ‘복잡한 모델’ 증가

현재 비용 상승으로 가장 큰 경제적 압박에 놓인 곳은 신생기업이다. 초기 AI 벤처들은 대폭 할인된 정액 요금으로 사용자 유치에 주력했지만, 이제 자동화 에이전트(automated agent, 인공지능 소프트웨어 프로그램)가 24시간 돌아가고, 추론 모델의 인기로 토큰 사용이 폭증했다. 비용을 견디지 못하고 마이크로소프트, 아마존 등 대형 기업에 합병을 택하는 기업들도 생겨나고 있다.

교육 기관도 사정은 비슷하다. 대학교들도 최초에는 작은 규모로 AI를 도입했지만, 이제 향후 비용을 예상하기 어려운 상황이 됐고 비용 대비 효과에 대해서도 엇갈린 분석이 나온다. 그래도 확실한 것은 업무 흐름을 재편하지 않고 단순히 AI 도구만 갈아 끼운다고 시스템적 성과가 나오지는 않는다는 것이다. 성과 측정 지표도 토큰당 비용이 아니라 ‘채점 시험지당 비용’, ‘절약된 상담 시간’ 등으로 구체화해야 한다.

여기에 미국-중국 간 AI 경쟁 구도도 불확실성을 더하는 요소다. 양국의 연구소들이 지속적으로 가격을 낮추고 신규 제품을 출시하기 때문에 분기마다 순위가 뒤바뀔 정도여서 자금 사정이 괜찮은 업체들조차 새로운 흐름을 쫓아가기 버거울 정도다. 대학도 잦은 공급자 교체에 필요한 기술적, 법적, 재정적 준비를 갖출 필요가 있다.

토큰 아닌 ‘성과 기반 지표’ 필요

대폭적인 가격 인하를 다시 한번 기대하며 가만히 있는 것은 좋은 방법이 아니다. 대학이 먼저 AI 구매 및 관리 방식을 바꾸는 것이 선제적인 대응으로 보인다. 가장 먼저 토큰이 아닌 성과 위주의 지표에 기반해 계약해야 대학과 공급업체의 목표를 하나로 만들 수 있다. 투명성도 중요하다. 라우팅(routing)을 사용한다면 어떤 모델이 사용되고, 어느 정도의 추론 노력(reasoning effort)이 사용되며, 관련 내용이 얼마나 기록되는지 계약서에 명시해야 한다. 캐시 효율성(cache efficiency, AI가 처음부터 계산하는 대신 이전 답변을 얼마나 자주 재사용했는지)도 성과 지표로 취급해 일정 수준을 유지하도록 정해야 한다.

대학 자체의 운영 방침도 필요하다. 예를 들어 개인 교습 및 채점, 초안 작성 등에는 가벼운 모델을 활용하고, 필요할 때만 업그레이드하는 것을 원칙화하는 것이다. 라우터를 사용해 추론 수준 상한선을 정하는 것도 중요하다. 월간 AI 비용 보고서를 만들고, 라우팅과 캐싱 사용 여부를 점검하는 등 철저한 관리도 함께 이뤄져야 한다.

지금까지 어려움에 대해 언급했지만 전망이 그렇게 어둡지는 않다. 일부 AI 모델은 비용 대비 강력한 성과를 실현하고 있으며, 쉬운 작업을 작은 모델에 할당하는 라우팅 기술도 계속 발전하고 있다. 추론 노력 상한을 정해 낭비를 줄이려는 노력에도 업체와 대학이 함께하고 있는 듯하다. 그렇다면 지금부터라도 비용 대비 성과를 기준으로 관리를 강화하면 토큰당 비용 하락으로 인한 혜택을 거두어들일 수 있을 것이다.

본 연구 기사의 원문은 The LLM Pricing War Is Hurting Education—and Startups를 참고해 주시기 바랍니다. 본 기사의 저작권은 스위스 인공지능연구소(SIAI)에 있습니다.