[AI MEMO] AI 지능 향상이 정직함을 보장하진 않는다, 데이터 검증 시스템 마련 시급

생성형 AI, 검증되지 않은 정보 사실처럼 반영
신뢰성의 핵심은 데이터 흐름 관리
정보 출처 관리와 데이터 관리 체계 강화 필요

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

영국 BBC방송 소속 토머스 저메인(Thomas Germain) 기자는 간단한 실험을 진행했다. 방문자가 거의 없는 개인 블로그에 ‘핫도그를 가장 잘 먹는 기자들’이라는 제목의 글을 올린 것이다. 글에는 미국 사우스다코타에서 열린 가상의 핫도그 먹기 대회 결과를 소개하며 해당 기자가 우승을 차지했다는 설정을 담았다. 동료 기자 몇 명과 가상의 인물도 순위에 포함시켰다. 결과는 예상보다 빠르게 나타났다. 글이 올라간 지 24시간도 지나지 않아 구글의 인공지능(AI) 오버뷰와 챗GPT는 이 내용을 사실처럼 인용하기 시작한 것으로 확인됐다. AI는 ‘핫도그를 가장 잘 먹는 기자’를 묻는 질문에 해당 기자의 이름을 그대로 내놨다.

이번 사례는 생성형 AI가 검증되지 않은 정보를 그대로 받아들일 수 있는 구조적 취약성을 드러냈다. 앞서 온라인 가짜뉴스 추적단체 뉴스가드(NewsGuard)는 챗봇의 취약성을 지적한 바 있다. 2023년 조사에서 사용자가 의도적으로 오도하는 질문을 던질 경우 챗봇이 상당한 비율로 부정확하거나 왜곡된 정보를 생성하는 것으로 나타났다. 기술 발전이 곧바로 문제 해결로 이어지는 것도 아니다. 지난해 챗GPT 개발사 오픈AI가 실시한 자체 분석에서도 추론 능력을 강화한 최신 모델이 오히려 이전 모델보다 사실과 다른 내용을 만들어낼 가능성이 더 높은 것으로 확인됐다. 특히 잘못된 정보를 더욱 확신에 찬 어조로 제시하는 경향까지 나타났다. 결국 ‘양질의 데이터가 양질의 결과를 만든다(Garbage in, Garbage out)’는 오래된 원칙은 생성형 AI 시대에도 여전히 유효하다. 입력 데이터의 신뢰성이 확보되지 않는 한 AI가 생산하는 정보 역시 왜곡될 수밖에 없다.

모델 아닌 데이터 흐름 관리

AI 오류를 단순히 언어모델(LM)의 문제로만 보기는 어렵다. 관건은 거짓 정보가 어떤 경로를 통해 시스템에 유입되는지에 있다. 문제의 원인이 모델의 알고리즘에 있는지, 아니면 모델이 참고하는 정보원과 데이터 흐름에 있는지부터 따져봐야 한다. BBC 기자의 핫도그 실험은 이 문제를 분명히 보여준다. 생성형 AI가 웹 정보를 실시간으로 활용하는 구조에서는 왜곡된 웹페이지 하나만으로도 잘못된 내용이 빠르게 퍼지며 사실처럼 인용된다. 결국 핵심 과제는 AI가 참고하는 정보가 어떤 경로로 수집되고 반영되는지를 관리하는 체계를 마련하는 데 있다.

개인화가 만든 정보 불균형

현재의 챗봇은 일반 지식과 실시간 웹 정보, 사용자 정보 등을 결합해 답변을 생성한다. 이 과정에서 최신 웹 정보를 활용하는 구조는 검증된 자료뿐 아니라 새로 만들어진 저품질 정보까지 함께 반영할 가능성을 안고 있다. 연구에 따르면 온라인 콘텐츠가 검색 시스템에 포착되는 순간 생성형 AI는 별도의 검증 절차 없이 해당 내용을 반복할 가능성이 높다. 이는 잘못된 정보가 짧은 시간 안에 여러 AI 응답을 통해 확산될 수 있음을 의미한다.

문제는 개인화 기능이 더해질수록 상황이 복잡해진다는 점이다. 시스템이 사용자 행동과 선호에 맞춰 응답을 조정하는 과정에서 일부 이용자에게는 검증되지 않은 정보가 신뢰할 만한 내용처럼 제시되기도 한다. 실제로 정보가 정정된 이후에도 일부 사용자에게는 이전의 잘못된 내용이 계속 노출되는 사례가 확인됐다. 이처럼 동일한 사안을 두고도 이용자마다 서로 다른 정보를 접하게 되면 정보 인식의 격차가 발생할 수 있다. 교육계와 정책 당국이 이를 단순한 오정보 문제로만 볼 수 없는 이유다. 개인화된 정보 환경이 확산될수록 사회 구성원 사이에서 현실 인식 자체가 달라질 가능성도 커지기 때문이다.

실천 가능한 대응 과제

잘못된 입력이 잘못된 결과로 이어진다는 진단이 내려졌다면 대응도 구체적이어야 한다. 우선 실시간 정보를 활용하는 AI 시스템은 정보의 출처와 신뢰도를 이용자가 쉽게 확인할 수 있도록 하는 장치 마련이 요구된다. 검색 엔진과 AI 서비스 역시 콘텐츠의 성격을 명확히 구분해 표시하는 체계를 강화할 필요가 있다. 예를 들어 해당 정보가 기사인지 광고인지, 기업이 작성한 홍보 콘텐츠인지 등을 이용자가 한눈에 식별할 수 있도록 표기 기준을 분명히 하는 방식이다.

평가 체계 역시 손질이 필요하다. AI 성능을 점검할 때 의도적으로 가짜 웹페이지를 포함해 시스템이 얼마나 쉽게 잘못된 정보에 영향을 받는지 지속적으로 점검해야 한다. 의료나 교육처럼 민감한 분야에서는 검색증강생성(RAG) 기술이 검증된 지식 기반 안에서만 작동하도록 설계할 필요도 제기된다. 정보의 근거가 충분하지 않을 경우 답변을 제공하지 않는 ‘안전 모드’를 도입하는 방안도 검토될 수 있다.

AI 신뢰의 조건, 데이터 관리 체계

일각에서는 생성형 AI의 오류를 기술의 한계로 보고 관리 자체가 무의미하다는 주장이 나오기도 한다. AI의 구조적 한계를 고려하면 거버넌스를 강화해도 근본적 해결이 어렵다는 회의론이다. 그러나 이는 기술적 한계와 관리 가능한 영역을 혼동한 시각에 가깝다. 데이터 수집 방식과 검색 알고리즘을 어떻게 운영하느냐에 따라 결과의 신뢰도는 크게 달라진다.

데이터 출처를 관리하는 과정에서 소수 의견이 위축될 수 있다는 우려도 제기되지만, 해결 방향은 검증 절차의 단계적 운영에 있다. 확인되지 않은 정보는 일정 기간 별도로 관리하되, 이의 제기와 수정 절차를 열어두면 다양성과 정확성 사이의 균형을 유지하는 데 효과적이다. 또한 AI 모델의 지능이 높아지면 문제도 자연스럽게 해결될 것이라는 기대는 성급한 판단이다. 오픈AI의 사례에서 보듯 추론 능력이 강화된 모델이 더 설득력 있는 형태로 잘못된 정보를 제시하는 경우도 나타난다.

결국 핵심은 모델의 성능보다 정보 흐름을 어떻게 관리하느냐다. 작은 오류나 왜곡된 정보도 AI 시스템을 통해 순식간에 확산될 수 있기 때문이다. 따라서 검색 시스템의 투명성을 높이고 정보 출처를 명확히 표시하며, 이용자의 정보 문해력을 강화하는 실질적인 대응이 필요하다. 정보 인프라 관리에 소홀해질 경우 공공 지식 체계의 신뢰도 역시 흔들릴 수밖에 없다. 디지털 사회에서 정보의 신뢰는 데이터 관리와 제도적 장치에 달려 있다.

본 연구 기사의 원문은 Garbage in, Garbage out: Why the Hot-dog Prank Matters을 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.