[딥에듀] AI로 쏟아지는 논문, 연구 성과 평가 기준 바꿔야
입력
수정
AI 활용 확대로 학술논문 작성 속도 상승 허술한 검증 틈타 논문공장 부작용 확대 인용 성과·재현성 반영한 성과 측정 필요
본 연구 기사는 글로벌 교육 전문지 The EduTimes의 연구위원(Fellow)들이 작성한 The EduTimes Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The EduTimes 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.
2024년 말 기준 컴퓨터과학 분야 논문의 22.5%에서 챗봇을 활용한 흔적이 발견됐다. 스탠퍼드대 연구진이 100만 건이 넘는 논문 초록을 분석한 결과다. 생의학 분야에서도 인공지능(AI)이 작성에 관여한 논문 비중은 14%에 달했다. AI가 논문 작성에 필요한 시간과 작업을 줄이면서, 같은 기간 생산할 수 있는 논문 수도 늘어날 가능성이 커진 셈이다. 그러나 각국 정부와 대학, 인증기관은 여전히 논문 편수를 주요 평가 기준으로 삼는다. 이에 따라 논문 수에 무게를 둔 기존 평가 방식은 연구의 질과 영향력을 중심으로 재편할 필요가 있다.
AI가 높인 연구 생산성
에이전틱 AI 기반 글쓰기 도구는 논문 작성에 걸리는 시간을 크게 단축한다. 코넬대와 스탠퍼드대 연구진이 지난해 학술지 ‘사이언스(Science)’에 발표한 연구에서 200만 건이 넘는 프리프린트 논문 초록을 분석한 결과, 대규모언어모델(LLM)을 사용하기 시작한 연구자의 논문 생산성이 크게 높아진 것으로 조사됐다. AI가 초안 작성과 형식 정리, 문헌 요약 등 반복적인 업무를 맡으면서, 연구자는 주제 설정과 분석, 판단에 더 집중할 수 있기 때문이다. 그만큼 연구 질문을 논문으로 완성하는 데 필요한 시간과 작업량도 줄어든다.
논문 작성 부담이 낮아짐에 따라 AI 활용도 빠르게 확산하는 추세다. 유니버시티칼리지런던(UCL)은 특정 단어의 사용 빈도가 급증한 점을 분석해 2023년 발표된 논문의 최소 1%인 6만 편 이상에 AI가 일부 활용된 것으로 추산했다. 미국암연구학회(AACR) 학술지 조사에서도 2024년 4분기 연구방법 섹션의 약 15%, 동료평가 보고서의 7%에서 AI 생성 문장이 확인됐다.
심사 허술한 학술지에 몰리는 부실 논문
AI가 논문 작성 속도를 높이는 것 자체가 문제는 아니다. 문제는 연구 내용과 성과보다 형식 요건을 중시하는 심사 방식이 AI 확산과 맞물릴 때 발생한다. 실제로 AI를 상당 부분 활용해 작성한 논문이 형식과 인용 요건을 갖춰 동료평가를 통과했지만, 독창적인 연구 성과는 부족했던 사례도 보고됐다. AI로 논문의 외형을 손쉽게 갖출 수 있게 되면서 형식 위주의 심사만으로 연구의 질을 가려내기 어려워진 것이다.
이러한 허점은 심사가 취약한 학술지에서 더 두드러진다. 2023년 철회된 학술논문은 1만 편을 넘어 사상 최대치를 기록했으며, 증가 속도도 전체 논문 출판 증가율을 웃돌았다. 특히 허위 논문을 만들어 저자 자격을 판매하는 ‘논문공장(paper mill)’은 AI를 활용해 논문을 대량 생산할 수 있어 심사가 허술한 학술지의 위험 요인으로 꼽힌다.
부실 논문이 일부 학술지에 집중되는 경향도 뚜렷하다. 학술 출판사 힌다위(Hindawi)는 한 해 동안 논문공장과 관련된 논문 8,000편 이상을 철회했다. 모회사 와일리(Wiley)가 입은 매출 손실은 약 3,500만~4,000만 달러(약 490억~560억원)로 추산됐다. 관련 연구에서도 조사 대상 142개 학술지 가운데 4곳에서 각각 100편이 넘는 논문 철회가 이뤄졌다.
논문 편수에 머문 연구 평가
더 큰 문제는 논문 생산 방식이 달라졌는데도, 연구 성과를 평가하는 기준은 과거에 머물러 있다는 점이다. 연구비 지원기관과 교수 임용·승진 심사위원회, 국가 인증제도는 여전히 논문 편수를 주요 평가 기준으로 활용한다. 논문 한 편을 완성하는 데 상당한 시간과 노력이 필요했던 과거에는 논문 수가 연구 생산성을 보여주는 지표로 어느 정도 기능했다. 그러나 AI가 작성에 필요한 시간과 작업을 줄이면서 같은 기준만으로 연구 성과를 판단하기는 어려워졌다.
세계 논문 출판량도 빠르게 늘고 있다. 중국의 스코퍼스(Scopus) 등재 논문은 2018년 약 60만4,000편에서 2025년 131만 편으로 증가했으며, 이 가운데 중국 연구자만 참여한 논문이 전체의 82%를 차지했다. 네이처인덱스(Nature Index)에서도 중국은 2023년 연구 주도력에서 미국을 추월한 데 이어 2024년에는 격차를 더 벌렸다.
물론 논문 증가 자체를 연구 부정행위로 볼 수는 없다. 그러나 논문 편수는 연구 성과뿐 아니라 AI 활용 정도와 각국의 출판 관행, 연구자에 대한 보상 체계 등에 따라 달라질 수 있다. 특히 논문을 많이 발표할수록 높은 평가를 받는 구조에서 AI가 작성 비용과 시간을 낮추면 논문 생산을 늘릴 유인도 커진다. 이로 인해 논문 수만으로는 연구자가 얼마나 의미 있는 성과를 냈는지 정확하게 가려내기 어려운 환경이 만들어지고 있다.
AI 시대에 맞는 연구 평가 기준
이에 따라 연구의 질과 영향력에 무게를 두는 방향으로 전환해야 한다. 인증기관은 분야별 특성을 반영한 ‘분야 정규화 인용 영향력(field-normalized citation impact)’과 다른 연구진이 같은 결과를 확인했는지를 보여주는 재현성에 더 큰 비중을 둘 수 있다. 또한 논문공장이 악용하는 자기인용이나 연구자끼리 인용 횟수를 인위적으로 늘리는 인용 담합은 평가에서 제외하거나 반영 비중을 낮추는 방안이 요구된다.
AI 활용 범위를 투명하게 공개하는 장치도 필요하다. 연구비 지원기관이 논문 작성 과정의 AI 사용 범위와 방식을 공개하도록 하면 분야와 국가별 이용 현황을 파악하는 데 도움이 된다. AI 사용 자체를 제재하기보다 향후 연구 평가 기준을 마련하는 데 필요한 데이터를 확보하는 방식이다. 출판 단계에서도 부실 논문을 걸러내는 심사 체계를 강화해야 한다. 출판사는 주요 학술지가 활용하는 AI 탐지 절차를 투고 심사에 적용해 형식만 갖춘 논문이 심사를 통과할 가능성을 낮출 수 있다. 실제 연구 내용과 기여도를 확인하는 심사 역시 중요해진다.
AI가 논문 작성에 필요한 시간과 노력을 크게 줄이면서 논문 편수만으로 연구의 질을 평가하던 방식은 한계를 드러내고 있다. 특히 심사가 취약한 학술지를 중심으로 부실 논문이 대량 유통될 가능성까지 커진 만큼 평가 기준도 달라져야 한다. 앞으로는 논문 수보다 연구의 질과 영향력을 중심으로 성과를 평가하고, AI가 논문 작성에 어떤 역할을 했는지 투명하게 공개하는 체계를 마련하는 것이 중요하다.
본 연구 기사의 원문은 The Publication Count Is Broken: Why AI-Generated Academic Papers Demand New Metrics을 참고해 주시기 바랍니다. 본 기사의 저작권은 The EduTimes에 있습니다.
