[딥에듀] 생성형 AI, 과제 성적 높였지만 실제 학습 효과는 뒷걸음

AI 활용 늘수록 과제·시험 성적 격차 확대 
사고 과정 줄면 학습 손실 증가 
AI 학습 효과 높일 교육 환경 조성 필요

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

생성형 인공지능(AI)이 교육 현장에 빠르게 확산하면서 실제 학습에 미치는 영향을 둘러싼 논의가 본격화되는 모습이다. 중·고등학생 2만6,811명을 대상으로 한 연구에서 AI를 6개월간 과제에 활용한 학생들의 과제 성적은 18% 상승한 반면, AI 없이 치른 비오픈북 시험 성적은 20% 하락했다. 두 성적 간 격차는 시간이 지나도 좁혀지지 않았고, 학생들이 AI 사용에 익숙해질수록 더 벌어졌다. 이처럼 과제 수행 능력의 향상이 실제 학습 성과로 이어지지 않을 수 있다는 점이 확인되면서 기존 교육과정에 AI 도구만 추가하는 방식에도 변화가 요구되고 있다.

AI 활용 전 기초 역량 확보 필요

AI 활용에 따른 학습 효과는 학생이 과제에 들인 시간과 노력에 따라 달라지는 것으로 나타났다. AI 도입 이전과 비슷한 수준으로 과제에 시간을 들인 소수 학생은 AI를 사용하지 않은 학생과 유사한 학습 성과를 유지했다. 반면 50분 이내에 과제를 마치고 높은 점수를 받은 대다수 학생은 시험 성적이 떨어졌다. 이러한 차이는 학생이 학습 과정에서 얼마나 직접 사고했는지와 관련이 있었다. 학생이 먼저 논리를 구성한 뒤 AI를 활용해 오류나 부족한 부분을 확인하고 스스로 수정한 경우 학습 과정에 지속적으로 참여하는 모습을 보였다. 반대로 AI가 최종 결과물까지 작성하면 학생이 직접 내용을 이해하고 판단하는 과정은 줄어드는 것으로 분석됐다.

학습 손실은 과목별로도 차이가 뚜렷했다. 논리적 이해와 사고 과정의 비중이 큰 사회 과목의 시험 성적은 27% 하락해 감소 폭이 가장 컸다. STEM(과학·기술·공학·수학) 과목은 22%, 영어는 17% 떨어졌으며 중국어의 하락 폭은 상대적으로 작았다. 학생의 기존 성취도에 따라서도 결과가 엇갈렸다. 노동시장에서는 AI가 경험이 적은 근로자의 생산성을 상대적으로 크게 높이는 경향을 보이는 반면, 학교에서는 기존 성적이 높았던 학생에게서 학습 손실이 더 크게 나타났다. 이는 이미 갖춘 능력을 AI가 대신하면서 직접 문제를 이해하고 해결하는 과정이 줄어든 영향으로 풀이된다.

학습 단계별 AI 활용 기준 필요

학생의 기초 역량을 확보하는 것과 함께 AI를 사용하는 과정 자체를 수업과 평가에 반영하려는 움직임도 이어지고 있다. 호주 뉴캐슬대 뉴캐슬비즈니스스쿨은 20개월간 대학 수업에 AI를 적용한 결과를 토대로 최종 결과물과 함께 학생의 사고 과정도 평가하는 교육 체계를 마련했다. 이 체계는 교사의 AI 활용 수업 준비, 학생별 맞춤형 학습, 교사의 코칭 중심 수업, AI를 활용한 평가와 교사의 최종 검토, 학생별 학습 진척도 관리 등 5가지 축으로 구성된다. 여기에 학생이 AI를 어디에 어떻게 활용했는지 기록하고 학습일지를 작성하도록 해 문제 해결 과정까지 확인하도록 했다. 평가 범위가 넓어지면서 교사는 AI 활용 기록을 통해 학생이 직접 수행한 부분과 AI의 도움을 받은 과정을 구분할 수 있다. 학생도 자신의 사용 방식을 되짚으며 어느 단계에서 AI의 도움이 필요한지 판단하게 된다. 이는 최종 결과물에 집중했던 기존 평가에서 벗어나 학생이 문제를 해결하는 과정까지 살펴보는 방식이다.

AI 활용 과정을 평가하려면 학생의 학습 수준에 따라 사용 범위도 함께 조정해야 한다. 연령이 낮을수록 자신의 사고 과정을 점검하고 AI가 제시한 결과를 판단하는 능력이 충분히 형성되지 않은 만큼 기초 역량 습득에 우선순위를 두는 방식이 적절하다. 이에 중학교 저학년에서는 AI 사용을 최소화하고 학년이 올라갈수록 특정 과제를 중심으로 활용 범위를 점차 넓히는 방식이 제시된다. 고등학교 마지막 학년에는 학생의 자율성을 확대하되 AI를 언제, 어떻게 활용할지 스스로 판단할 수 있도록 교사의 지도를 병행하는 식이다.

실제 연구에서도 저학년 학생에게서 학습 손실이 상대적으로 크게 나타나 이러한 단계적 접근에 힘을 실었다. 그러나 연령별 차이가 메타인지 능력에서 비롯됐는지는 확인되지 않았다. 따라서 학년만을 기준으로 일률적인 규정을 적용하기보다 학생이 해당 분야의 기초 역량을 어느 정도 갖췄는지 고려해 AI 활용 범위를 단계적으로 넓히는 것이 필요하다.

AI 교육 효과 제고 위한 평가 체계 개편

학생 수준에 맞는 AI 도구를 제공하더라도 실제 사용을 이끌어내지 못하면 기대한 학습 효과를 얻기 어렵다. 정답을 바로 제시하는 대신 학생이 스스로 문제를 해결하도록 돕는 AI 학습 도구 ‘칸미고(Khanmigo)’를 2년간 제공한 실험에서도 학생들의 지속적인 사용은 제한적이었다. 오히려 학생들은 칸미고보다 빠르고 직접적인 답을 제공하는 범용 AI 도구를 선호했다. 이 같은 선택에는 교육과정과 평가 방식도 영향을 미친다. 최종 결과물에 평가가 집중될수록 학생 입장에서는 사고 과정을 요구하는 학습 도구보다 짧은 시간에 답을 얻을 수 있는 AI를 선택할 유인이 커지기 때문이다. 따라서 AI를 교육에 활용할 때는 학생이 학습 과정에 참여하도록 수업과 평가 체계도 함께 뒷받침해야 한다.

평가 방식의 변화는 교사 연수와 시험제도 개편으로도 이어진다. 교사는 학생이 어느 정도의 역량을 갖춘 뒤 AI에 일부 작업을 맡길 수 있는지 판단할 수 있어야 한다. 평가 역시 완성된 과제에 초점을 맞추기보다 학생이 자신의 주장을 직접 설명하거나 주어진 글의 오류를 찾아내도록 해 실제 이해도를 확인하는 방향으로 바뀌어야 한다. 이 과정에서 학생이 스스로 익히고 판단해야 할 부분과 AI의 도움을 받을 수 있는 범위도 구체화할 수 있으며, 이를 수업과 평가에 일관되게 적용할 기준도 함께 마련할 필요가 있다. 성공적인 AI 통합을 위해 교육 체계 전반의 일관된 기준 정립이 시급한 시점이다.

본 연구 기사의 원문은 Generative AI in Education: Better Homework, Worse Learning을 참고해 주시기 바랍니다. 본 기사의 저작권은 The EduTimes에 있습니다.