인공지능, 연구 효율 높이지만 ‘학문적 양심’ 문제 제기
경험적 발견들에 적절한 이론 덧입히는 능력 “탁월”
‘통계적 유의성’에만 치중하면 ‘현실 적용 가능성’ 놓쳐

더 이코노미(The Economy) 및 산하 전문지들의 [Deep] 섹션은 해외 유수의 금융/기술/정책 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 본사인 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

인공지능(AI)은 학문 분야에 대변혁을 일으키고 있다. 재무학(academic finance) 분야에서도 전체 보고서를 생성할 수 있는 AI의 능력은 연구 속도를 급격히 높여 주고 있지만 동시에 학문적 양심(academic integrity)에 대한 우려도 키우고 있다. AI는 경험적 발견들에 타당해 보이는 이론을 덧입혀 연구 효율을 향상시키지만 엄격한 연구 성과와 대량 생산된 보고서를 구분하기 어렵게 만들기 때문이다. AI가 발전할수록 학계는 양이 질을 희생시키는 결과를 막기 위한 기준과 안전장치를 마련해야 할 것이다.

AI, 학문 연구도 ‘자동화’, ‘대량화’

AI의 발전이 다양한 영역에 미치는 작용은 최근 뜨거운 논란거리 중 하나지만 학문 연구 분야에 대한 영향은 비교적 관심을 덜 받아 왔다. 하지만 최근 연구는 AI가 학문 연구 과정 역시 놀라운 속도로 자동화한다고 밝히고 있다. 재무학 분야에서도 AI의 활용은 경험적 연구의 양상을 새롭게 바꾸고 있다. 연구자 대부분이 진화한 연산 능력(computing power)에 방대한 자료 분석을 맡김으로써 효율을 극대화하고 있지만 한편으로는 연구 결과의 신뢰성에 대한 우려도 커지고 있는 것이다.

AI 기반 대형 언어 모델(large language model, LLM)은 여기서 한 걸음 더 나아간다. 데이터 분석에 머물지 않고, 이론 체계와 인용은 물론 구조적 논증까지를 포함한 온전한 연구 보고서를 인간 연구원과 비교하면 눈 깜짝할 사이에 생성할 수 있기 때문이다. 이는 학문적 진정성에 커다란 문제를 안기는데, AI가 생성한 연구 결과가 온전한 학문적 기여와 자동화된 생산품 사이의 경계를 흐리기 때문이다.

AI ‘대량 생산’ 보고서, ‘품질 관리’ 문제

AI의 가능성을 평가하기 위해 한 연구는 주식 수익률 자료를 변수로 활용해 자동화된 연구 과정을 만들어 냈다. 회계 자료에서 3만 개의 주식 수익률 예측 변수를 추출한 다음 통계적 검증 기술을 이용해 96개의 강력한 예측 신호를 분리해 냈다. 그리고 AI로 하여금 각각의 예측 신호를 이용해 3개의 완전히 다른 이론적 배경을 가진 보고서를 생성하게 했다. 이렇게 경험적 일관성은 유지하되 이론적 배경이 다른 288개의 보고서가 만들어졌다.

AI 활용의 효율성 증진 효과는 놀라웠다. 당초 데이터 분석에만 하루가 걸리던 일이 전체 보고서 생성까지 몇 분 만에 끝난 것이다. 보고서는 잘 구조화된 논증과 인용은 물론 재무적 신호와 시장 수익률 간 연결성까지 포함하면서 학계 전통을 벗어나지도 않았다. 외양과 구성 면에서 인간의 연구와 사실상 구분이 불가능한 것이다.

하지만 이러한 AI의 보고서 대량 생산 능력은 심각한 문제를 제기한다. 미심쩍은 연구에 대한 전통적 견제 장치인 동료 평가나 평판에 대한 부담 정도로는 AI 생성 보고서를 식별할 수 없기 때문이다. 현재 학문적 신뢰는 출판물의 양이 아닌 지속적인 기여에 주어진다. 하지만 AI가 데이터 분석 패턴을 합리화하는 그럴듯한 이론 체계를 수백 개씩 만들어낸다면 학문적 성과에 대한 의미 있는 품질 관리는 불가능해진다.

‘인위적 인용 네트워크’도 학문적 위협

또 하나 우려되는 것은 ‘인위적 인용 네트워크’(artificial citation networks) 생성의 가능성이다. AI 생성 연구보고서도 가설을 뒷받침하기 위해 기존 연구를 인용하는 것은 당연하지만 인용 가능한 보고서가 수천 개로 확장된다면 인용 기준은 물론 학문적 영향력까지 왜곡하는 사태에 이를 수 있다. 더구나 실제적 근거가 없는 내용에 이론적 일관성을 입히는 AI의 능력은 거짓 상관관계를 의미 있는 시사점으로 제시해 데이터 분석 문제를 더욱 악화시킬 수 있다.

따라서 학문적 엄격성을 평가하는 기존의 방법은 AI 발전에 맞춰 조정돼야 한다. 통계적 유의성(statistical significance)만 보지 말고 실제 관련성과 새로운 시사점 여부도 함께 따질 수 있어야 한다. AI는 데이터 검증을 용이하게 해주지만 특정 학습 데이터에 맞춘 왜곡(overfitting)을 초래하고, 기존 연구의 반복 적용(replication)을 용이하게 하기 때문이다.

따라서 이론 체계와 인용에 대한 검증 기준을 강화해 학문적 왜곡을 방지해야 한다. 동료 평가 과정도 강화해 AI 생성 보고서가 인간 연구 결과와 동일한 기준으로 평가받도록 해야 한다. 단순한 출판량보다 실제 적용 가능성과 이론적 참신성을 강조하는 평가 지표의 개발도 필요하다. 마지막으로 모든 학술 보고서가 연구 과정에서 AI 활용 정도를 공개해 독자들이 연구자의 책임감과 학문적 엄격성을 판단할 수 있도록 해야 한다.

AI는 방대한 정보를 빠르게 처리하고 귀중한 시사점을 발견하는 능력으로 학문 연구에 크게 기여할 수 있다. 하지만 적합한 안전장치가 없다면 지식 발전보다 보고서 생산을 우선시하는 풍조를 불러 학문적 기반 자체를 악화시킬 수 있다. 오늘 만들어진 기준이 AI가 지식 발전의 도구가 될지, 아니면 약화의 장치가 될지 결정할 것이다.

원문의 저자는 로버트 노비-마크스(Robert Novy-Marx) 로체스터 대학교(University of Rochester) 교수 외 1명입니다. 영어 원문 기사는 AI-powered research generation: Promise and perils for academic finance | CEPR에 게재돼 있습니다.