“정부 주도 성장의 한계” 中 AI 발목 잡는 ‘중국어 데이터 기근’, 반도체 다음 병목으로

중국어 공개 데이터 1.3%, AI 학습 원료 품귀
폐쇄형 플랫폼·숏폼 편중이 장문 지식 축적 제동
번역·합성 의존 확대 속 성능 저하 및 비용 급증

국가 동원으로 하드웨어 외형을 키운 중국의 인공지능(AI) 굴기가 ‘중국어 데이터 절벽’과 맞닥뜨렸다. 11억2,500만 명의 인터넷 이용자와 세계 최대급 통신·연산 인프라를 갖췄음에도, 전 세계 웹사이트에서 중국어가 차지하는 비중은 1.3%에 그친다. 정부 통제형 미디어와 모바일·영상 중심의 폐쇄형 플랫폼, 공개 웹 축소가 겹치면서 대규모언어모델(LLM) 학습에 필요한 장문·전문 텍스트도 충분히 쌓이지 못했다. 중국 AI 업계는 영어 문서 번역과 합성데이터로 공백을 메우고 있으나 의미 왜곡과 모델 붕괴, 저작권 비용이 개발 속도를 압박하는 형국이다.

고품질 공개 데이터 6년 내 고갈 전망

10일 홍콩 사우스차이나모닝포스트(SCMP)에 따르면, 최근 중국 AI 전문가와 연구진은 고품질 학습 데이터의 부족이 하드웨어 수급난을 뛰어넘는 중국 기술 야망의 새로운 병목(Bottleneck)이 될 것이라고 경고하고 나섰다. 특히 글로벌 연구기관 에포크 AI(Epoch AI)는 인류가 생성한 고품질의 공개 텍스트 데이터 공급이 향후 6년 내에 완전히 고갈될 것으로 전망했다.

앞서 오픈AI 공동 창립 멤버인 안드레이 카르파티 역시 10년 안에 AI 모델의 성장이 정체되는 ‘데이터 장벽(Data Wall)’이 도래할 것이라고 경고한 바 있다. 현재 미국 빅테크 기업들은 오프라인 도서를 디지털화하기 위해 수천만 달러를 투입하며 종이책을 스캔하는 등 공격적인 행보를 이어가고 있다. 앤트로픽이 수백만 권의 종이책 제본을 잘라 스캔한 '프로젝트 파나마(Project Panama)' 사례는 데이터 확보 경쟁이 얼마나 치열해졌는지를 방증한다.

다만 중국이 직면한 데이터 장벽은 중국어 특유의 언어적 구조 때문에 더욱 치명적이라는 평가다. 웹 분석업체 W3Techs에 따르면, 전 세계 웹 텍스트 데이터 중 영어 비중은 절반(48.8%)에 육박하는 반면, 중국어 비중은 스페인어(6%), 독일어(5.9%), 일본어(5%)에도 훨씬 못 미치는 단 1.3%에 불과하다. 웹페이지를 직접 수집하는 커먼크롤의 최신 집계에서도 격차가 확인된다. 지난달 수집한 HTML 문서의 주 사용 언어 가운데 중국어 비중은 4.43%, 영어는 40.58%였다. 고품질의 중국어 독자 AI 모델을 훈련시킬 데이터 절대량이 터무니없이 부족하다는 얘기다.

영어 제친다던 중국어, AI 학습 데이터 1.3% 불과

2000년대 초반만 해도 중국 인터넷 이용자의 급증이 영어의 지배력을 끝낼 것이라는 전망이 잇따랐다. 2011년에도 중국어 인터넷 이용자가 4억 명에 이르자 향후 5년 안에 중국어가 영어를 추월할 것이라는 관측이 제기됐다. 당시 전망은 이용자 수를 언어별 콘텐츠 생산량과 동일한 궤도에 놓고 계산했다.

이후 중국의 인터넷 이용자는 기하급수적으로 늘어났다. 중국인터넷정보센터(CNNIC)가 지난 2월 발표한 자료를 보면 지난해 말 중국의 인터넷 이용자는 11억2,500만 명, 보급률은 80.1%에 달했다. 5G 기지국은 483만8,000개, 대규모 AI 연산 클러스터는 42개, 지능형 컴퓨팅 성능은 1,590엑사플롭스(EFLOPS)를 기록했다. 생성형 AI 이용자도 6억200만 명으로 불어났다.

접속망과 연산시설은 세계 최대 규모로 팽창했지만 언어 기반 문화 자산을 장문·전문 텍스트로 생산하고 공개 축적하는 속도는 이를 따라가지 못하고 있다. 이용자 증가가 검색 가능한 문서와 전문 지식, 장기 보존 콘텐츠의 축적으로 연결되지 않은 결과다. LLM 학습에 투입할 수 있는 고품질 데이터는 논리적 완결성과 출처 추적성, 전문 어휘의 정확성, 교정·개정 이력에 따라 가치가 달라진다. 통신망과 데이터센터는 재정 투입과 공정 표준화를 통해 단기간에 증설할 수 있지만, 언어 자산은 출판·학술·언론·기록 생태계가 장기간 생산하고 검증한 문서에서 형성된다. 전문 분야별 개념 체계와 시대별 언어 변화, 상충하는 해석과 사례까지 보존된 자료가 지속적으로 누적돼야 한다.

표1. 중국어 LLM용 고품질 학습 데이터의 주요 제약 요인

숏폼 편식이 키운 ‘지식 공백’

하지만 중국 인터넷 생태계는 스마트폰과 영상 콘텐츠에 과도하게 집중돼 있다. CNNIC의 제57차 인터넷 발전 보고서에 따르면 인터넷 이용자의 99.6%가 스마트폰으로 접속했고, 숏폼 영상 이용자는 10억7,400만 명으로 전체 이용자의 95.4%를 차지했다. 소셜미디어(SNS) 이용률도 98.9%에 달했다. 방대한 이용시간이 짧은 영상과 실시간 소통에 투입되면서 검색과 재활용이 용이한 장문 텍스트의 축적 기반은 상대적으로 약해졌다.

영상과 음성도 AI 학습 자원으로 활용할 수 있긴 하나, 전사와 문맥 분류, 화자 식별, 저작권 정리, 전문 표기 검수까지 별도의 가공 절차가 필요하다. 더욱이 짧은 영상과 댓글은 반복 표현과 유행어, 광고성 문구의 비중이 높아 지식 밀도를 확보하기도 어렵다. 소비자 활동에서 발생한 막대한 데이터 총량이 LLM 학습용 고품질 토큰 규모와 직접 연결되지 않는 이유다.

플랫폼에 갇히고 검열에 지워지고

정부 통제 아래 편집·유통되는 미디어 환경도 공개 데이터의 공급을 가로막는 요소다. 중국 인터넷은 거대 애플리케이션(앱) 내부에서 소비되는 비중이 크다. 일례로 중국 최대의 모바일 메신저 플랫폼 위챗의 공중계정 문서와 중국 대표 숏폼 플랫폼 더우인의 영상·댓글은 각 플랫폼 내부에 축적되며 외부 검색엔진과 일반 웹 크롤러의 접근이 제한된다.

이 같은 정부 통제형 미디어 환경은 중국어 콘텐츠의 깊이와 다양성을 제약한다. 당국이 언론과 플랫폼의 편집 방향, 유통 범위, 존속 여부를 광범위하게 관리하면서 장기 탐사보도와 정책 비판, 사회적 논쟁을 담은 기록은 생산 단계부터 위축되고 있는 실정이다. 게다가 짧은 영상과 실시간 게시물, 관제 해설이 정보 소비의 중심에 자리 잡으면서 복합적인 인과관계와 상반된 관점을 축적한 장문 콘텐츠도 충분히 성장하지 못했다. LLM에 투입할 중국어 자료는 양적 결핍과 함께 논증 밀도 저하, 관점 편중, 시계열 단절이라는 질적 제약까지 떠안았다.

공개 웹의 축소도 장기 축적을 훼손하고 있다. CNNIC 통계에서 중국 내 웹사이트 수는 2017년 530만 개에서 2023년 390만 개로 감소했다. 같은 기간 인터넷 이용자는 빠르게 증가했지만 독립 웹사이트와 블로그, 온라인 게시판은 모바일 플랫폼으로 흡수되거나 폐쇄됐다. 여기엔 서버 유지 비용과 모바일 플랫폼 이동, 게시물 삭제, 검열이 복합적으로 작용했다. 신문 기사와 블로그, 온라인 포럼, 개인 홈페이지에 축적됐던 장문 기록이 사라지면서 역사적 맥락과 사회적 논쟁을 담은 학습 자료도 함께 증발한 것이다.

규제의 문턱도 높다. 중국 국가인터넷정보판공실(CAC)은 2023년 생성형 AI 관리 규정을 시행하며 학습 데이터 규율을 대폭 강화했다. 데이터 출처의 적법성과 지식재산권 보호, 개인정보 처리 동의에 더해 정확성·객관성·다양성까지 기업의 관리 책임으로 규정했다. 생성물에는 ‘사회주의 핵심 가치관’ 준수 의무도 부과했다. AI 기업이 확보한 자료는 저작권·개인정보·정치적 적합성 기준에 따른 재분류와 검증을 거쳐야 하는 셈이다. 규제 민감도가 높은 법률·정치·현대사 분야에서는 학습 문헌의 활용 폭이 좁아지고 데이터 정제와 안전성 심사 비용까지 가파르게 불어나는 구도다.

중국어 원문 말라붙자 번역·합성으로 우회

이에 중국 AI 업계가 꺼내 든 처방은 번역과 합성데이터다. 영어권의 논문·도서·전문 문서를 중국어로 옮기고, 기존 모델이 만든 교과서형 문장과 대화 자료를 다시 학습에 투입하는 방식이다. 실제 알리바바의 큐웬(Qwen)3는 119개 언어·방언으로 구성된 36조 개 토큰을 사전학습에 사용했다. 알리바바 연구진은 방대한 PDF에서 텍스트를 추출하고 수학·코딩 특화 모델로 합성데이터를 생성해 학습 자료를 확장한 것으로 알려졌다. 여기엔 공개 웹에서 중국어 원문을 확보하는 방식만으로는 필요한 데이터 규모를 충족하기 어렵다는 판단이 반영됐다.

중국어 중심 모델도 영어 데이터에 상당 부분 의존하고 있다. 홍콩과학기술대와 베이징대·푸단대·워털루대·콰이쇼우 등 국제 공동 연구진이 2024년 공개한 중국어 중심 모델 CT-LLM은 총 1조2,000억 개 토큰을 학습에 활용했는데, 중국어가 8,000억 개, 영어가 3,000억 개, 코드가 1,000억 개를 차지했다. 연구진은 중국어 웹 자료를 선별한 데이터셋과 AI가 작성한 교과서형 합성데이터, 대화형 자료를 별도로 구축했다. 이처럼 영어 자료를 중국어로 옮기는 전략은 과학·기술·의학 분야의 지식을 짧은 시간 안에 흡수할 수 있다는 장점을 지닌다. 지난달 전산언어학협회(ACL)에 공개된 연구에서도 지식 밀도가 높은 영어 문서를 저자원 언어로 번역해 사전학습에 투입하자 복합적인 지식 과제의 성능이 높아졌다.

데이터 부족 메우려다 모델 성능 흔들

그러나 번역 데이터 비중이 커지면 언어의 자연스러움과 의미의 정밀도가 흔들릴 수 있다. 기계번역에서 생긴 어색한 문장과 부정확한 용어가 대규모 사전학습을 거쳐 모델의 상투적 표현으로 굳어지는 탓이다. 특히 법률·역사·철학처럼 제도와 문화적 맥락이 중요한 분야에서는 왜곡 가능성이 한층 높다. 같은 용어도 언어권에 따라 의미의 범위와 판단 강도가 달라 개념 왜곡과 인과관계 오독으로 번질 공산이 크기 때문이다. 원문 대조와 용어 표준화, 분야별 전문가 감수가 필수적으로 따라붙으며 데이터 정제 기간과 비용 증가도 피하기 어렵다.

합성데이터는 더 복잡한 위험을 안고 있다. AI가 만든 문장을 다음 세대 모델의 학습 자료로 반복 투입하면 저빈도 표현과 예외 사례가 사라지고 기존 오류가 증폭될 수 있다. 2024년 국제학술지 네이처에 발표된 연구는 생성형 모델의 결과물을 재귀적으로 학습시킬 경우 실제 데이터의 분포를 잃어버리는 ‘모델 붕괴’ 현상이 발생한다는 사실을 확인했다. 특히 다수 의견과 전형적인 문장은 과잉 재생산되고 희귀한 지식과 비주류 표현은 학습 과정에서 밀려나는 위험이 따른다.

이런 상황에서 해외 웹을 직접 수집하는 통로도 좁아지고 있다. 바이트댄스는 웹 크롤러 ‘바이트스파이더(Bytespider)’를 가동하며 영어권 사이트의 문서를 광범위하게 확보했지만, 클라우드 보안업체 클라우드플레어가 집계한 주요 크롤러 요청 비중은 2024년 7월 14.1%에서 2025년 7월 2.4%로 급락했다. 콘텐츠 사업자들이 AI 크롤러 차단과 학습 데이터 유료화에 나서면서 무상 수집이 어려워진 영향이다. 중국어 원천 자료의 빈자리를 번역량으로 채우는 전략에 성능 상한과 검증 비용이 따라붙고 있는 것이다.