“토큰값 내렸는데 비용은 증가” AI 인프라 병목에 비용 역설 심화, 공급 안정 시 고용 시장 지각변동 전망

수년 사이 급락한 AI 토큰 비용, 실질적 비용 소모는 오히려 커져
연산 수요 폭증하며 데이터센터 등 AI 인프라 사업자 우위 강화 
인프라 병목 해소 시 자동화 효율 급등, 고용 시장 격변기 맞이할까

인공지능(AI) 시장의 토큰 비용 하락세가 지속되는 가운데, 기업들이 체감하는 전체 AI 비용은 오히려 증가하고 있다. AI 에이전트 확산으로 절대적인 토큰 사용량이 급증한 데다, 이를 처리할 AI 인프라 공급도 수요를 따라가지 못하고 있기 때문이다. 다만 향후 AI 인프라가 확충되며 연산 수요-공급의 균형이 맞춰질 경우, 낮아진 토큰 가격이 기업들의 실제 자동화 비용에 반영되며 시장 전반에서 거대한 지각변동이 발생할 가능성이 크다.

AI 비용 구조의 변화

지난 3일(현지시각) 미국 투자 전문 매체 배런스 보도에 따르면, 최근 프리미엄 AI 모델의 평균 토큰 가격은 100만 토큰당 0.50~30달러(약 755~4만5,000원) 선에서 형성돼 있다. 이는 생성형 AI 시장이 막 개화했던 2022~2023년과 비교하면 눈에 띄게 하락한 수준이다. 컨설팅 업체 옵티머스 파트너스 역시 지난 5월 기업용 AI 애플리케이션 프로그래밍 인터페이스(API)의 100만 토큰당 호출 단가가 지난해 1분기 18.40달러(약 2만7,700원)에서 올해 1분기 6.07달러(약 9,170원)까지 낮아졌다고 분석했다. 이는 특정 모델의 공식 단가가 아닌 다수 모델 및 기업용 워크로드의 API 호출 24억 건을 합산해 산출한 실사용 기준 단가다.

다만 이러한 토큰 가격 하락세에도 불구하고, 기업들이 실질적으로 소모하는 AI 비용은 오히려 증가하는 추세다. AI 에이전트 서비스의 확산으로 개별 업무를 처리하는 데 필요한 토큰의 양이 대폭 늘어났기 때문이다. 기본적으로 대규모언어모델(LLM)은 각각의 호출 사이에서 이전 작업 내용을 자체적으로 기억하지 않는다. AI 에이전트가 작업을 수행하기 위해서는 매 단계마다 지금까지의 대화, 읽어 온 파일, 검색 결과, 중간 계산값, 기존 출력물 등을 다시 입력값에 포함해야 한다는 의미다. 이처럼 작업 루프가 길어지면 입력 토큰 소비량은 눈덩이처럼 불어나게 된다.

여기에 검색 증강 생성(RAG) 기능과 외부 도구 호출이 결합되면 토큰 비용 부담은 한층 가중된다. AI 에이전트는 표면적으로 단일한 질문에 단일한 답변을 내놓는 것처럼 보이지만, 실제로는 질문에 답하기 위해 자료 검색, 문서 요약, 내용 비교, 오류 검토, 결과 재작성 등의 단계를 거친다. 각 단계마다 새로운 입출력이 발생하고, 이전 단계의 결과가 다음 단계에 영향을 미치며 처리해야 할 맥락이 누적되는 구조다. 이에 더해 AI 에이전트는 출력이 지정된 형식에 맞지 않거나, 검증 기준을 통과하지 못한다고 판단될 시 같은 작업을 수 차례 다시 시도하며 폭발적으로 토큰을 소모한다.

AI 인프라, 핵심 병목으로 부상

이처럼 토큰 사용량이 늘어나면 AI 모델을 운용하기 위한 인프라 시설의 수요는 자연히 증가하게 된다. 이와 관련해 한 시장 전문가는 "현재 AI 모델 개발사는 성능 경쟁과 가격 인하 압력에 동시에 노출돼 있다"며 "오픈소스 모델과 저가 모델이 확산하면서 토큰 단가는 계속 낮아지는데, 고성능 모델을 개발하기 위한 연구개발비와 학습 비용은 여전히 막대한 실정"이라고 짚었다. 이어 "반면 AI 관련 인프라 사업자의 경우 공급 부족 국면 속 급증한 토큰 수요를 고스란히 흡수하며 입지를 강화하고 있다"며 "AI용 데이터센터는 부지 확보, 전력망 연결, 변압기·냉각 설비 조달, 고밀도 서버 구축 등에 시간이 걸려 단기간 내 증설이 어렵기 때문"이라고 덧붙였다.

각 기관들 역시 이러한 상황에 주목하고 있다. 미국 상업용 부동산 서비스·투자관리 기업 JLL은 올해 내놓은 글로벌 데이터센터 전망을 통해 최근 데이터센터 시장에서 임대인들이 명백한 협상 우위를 유지 중이며, 2030년까지 임대료 상승세가 이어질 것이라고 진단했다. 미국 투자은행(IB) 골드만삭스 역시 전력 밀도, 냉각 요구 수준, 건설비·운영비 등 AI 데이터센터 특유의 높은 진입 장벽이 인프라 보유 사업자의 가격 결정력을 강화했다고 평가했다. 단기간 내 공급 확충이 어려운 만큼, 기존 데이터센터 사업자들이 높은 가동률과 임대료 상승 혜택을 동시에 누리고 있다는 분석이다.

이 같은 AI 인프라 대란은 노동 시장에도 영향을 미쳤다. 데이터센터 투자가 급증하며 건설 현장에서 숙련 인력 부족 문제가 심화한 것이다. 미국 북버지니아와 댈러스-포트워스 등 데이터센터 밀집 지역에서는 전기공 부족으로 공정이 수 주씩 지연되는 사례가 속속 보고되고 있으며, 유의미한 임금 프리미엄도 발생하는 추세다. 뉴욕포스트는 지난 5월 "미국 데이터센터 건설 붐으로 젊은 전기공 일부가 연간 최대 26만 달러(약 3억9,140만원) 수준의 보수를 받는 사례가 등장했다"고 전했다. 이는 2024년 미국 일반 전기공의 전국 중위 임금이 6만2,350달러(약 9,830만원)였다는 점을 고려하면 매우 높은 수준이다. 메타, 구글 등 빅테크 기업들은 자체 데이터센터 건설·운영에 필요한 숙련 인력을 확보하기 위해 직접 대규모 훈련 투자에 나서기도 했다.

고용 시장 전환점 다가온다

전문가들은 향후 이 같은 AI 인프라 대란이 마무리되고 연산 병목이 해소될 경우, 관련 시장이 재차 새로운 국면을 맞이할 가능성이 크다고 본다. 토큰 가격 하락세가 실제 업무 자동화 비용을 끌어내리며 인력 운용의 문법 자체가 개편될 것이라는 전망이다. 기존 업계에서는 AI 도입 비용이 기존 인건비를 웃돈다는 비관적 평가가 지배적이었다. 앞서 지난 4월 브라이언 카탄자로 엔비디아 딥러닝 응용 부문 부사장은 악시오스와의 인터뷰에서 "우리 팀은 컴퓨팅 비용이 직원 인건비를 훨씬 초과한다"고 발언한 바 있다. 프라빈 나가 우버 최고 기술책임자(CTO) 역시 같은 달 디 인포메이션과의 인터뷰에서 "클로드 코드를 비롯한 AI 코딩 도구의 사용이 급증하면서 올해 AI 예산이 불과 몇 달 만에 소진됐다"며 "예산이 예상보다 훨씬 초과돼서 처음부터 다시 계획을 세워야 할 것 같다"고 밝혔다.

이 같은 AI의 비효율적 비용 소모 문제는 다수 연구 및 분석에서도 확인된다. 2024년 1월 메사수세츠 공과대학교(MIT) 연구진이 컴퓨터 비전 업무를 대상으로 AI 자동화 경제성을 분석한 결과, AI 대체를 통해 비용 측면에서 이점을 얻는 업무는 관련 임금의 약 23%에 그쳤다. 나머지 77%는 기술적으로 자동화가 가능하더라도, 시스템 구축·운영 비용을 고려하면 인력을 투입하는 편이 효율적이라는 의미다. MIT는 지난해 ‘State of AI in Business 2025’ 보고서를 통해서도 유사한 진단을 내놨다. 기업들이 생성형 AI 도구와 시스템에 300억~400억 달러(약 45조1,600억원~60조2,160억원)에 육박하는 비용을 사용했음에도 불구, 95%의 조직은 측정 가능한 재무적 수익을 확인하지 못했다는 평가다.

그러나 데이터센터 증설이 본격화하고 연산 자원 공급 제약이 완화되면 상황은 달라질 수 있다. △반복적 사무 업무 △고객 응대 △기초 리서치 △코드 보조 △문서 작성·검토 등 표준화된 업무를 중심으로 자동화 효율이 빠르게 제고되면서, 기업이 AI 도입 비용을 단순한 혁신 투자비가 아닌 인건비와 직접 비교 가능한 '운영비'로 인식하게 되는 구조다.