[AI MEMO] “생산성은 높아졌지만 판단력은 별개” AI가 좁힌 성과 격차, 중간층 재교육이 관건

AI 도입으로 저숙련 근로자 생산성 향상 및 업무 격차 축소
AI 활용 성과 좌우하는 판단력과 오류 검증 역량
중간층 재교육 투자 확대 필요성 및 저숙련층 일자리 위축 우려

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

인공지능(AI) 도입이 확산되면서 근로자 간 생산성 격차가 좁혀지고 있다. 스탠퍼드대와 미국 매사추세츠공과대(MIT) 연구진이 고객지원 상담원 5,172명을 분석한 결과 AI 도구를 사용한 상담원의 생산성은 평균 15% 향상됐다. 특히 경험이 적거나 숙련도가 낮은 상담원은 약 30%의 증가율을 기록했다. 이러한 결과는 AI가 근로자 간 성과 격차를 줄이는 데 기여한다는 점에서 긍정적으로 평가된다. 그러나 AI를 활용해 생산성이 높아졌다고 해서 근로자 개인의 업무 능력까지 향상됐다고 볼 수는 없다. 해당 연구에서는 AI의 도움 없이도 개선된 성과를 유지할 수 있는지 확인하지 않았기 때문이다. 결국 중요한 것은 AI를 활용해 높은 성과를 내는 것뿐 아니라, 그 결과가 정확한지 스스로 판단할 수 있는 능력을 갖추는 데 있다.

경력별 AI 학습 효과

경제학자 데이비드 오터(David Autor)가 이끄는 구글·MIT 연구진은 지식재산권(IP) 전문 로펌 11곳에서 변호사 133명을 대상으로 실험을 진행했다. 참가자들을 무작위로 두 집단으로 나눠 한 집단에는 구글 랩스(Google Labs)가 개발 중인 특허 작성 도구 '인플로우(InFlow)'와 사용 교육을 제공하고 나머지는 대조군으로 설정했다. 참가자들이 작성한 문서는 실험 집단을 알지 못하는 외부 로펌의 특허 전문 변호사들이 평가했다. 평가 기준은 권리집행 가능성, 정확성, 완결성, 명확성, 전략적 모호성 등으로 구성됐다. 전략적 모호성은 특허 청구 범위를 전략적으로 설정하는 방식을 뜻한다.

평가 결과 AI 활용 집단의 문서 품질은 실험 10일 차에 0.34 표준편차, 90일 차에 0.38 표준편차 개선돼 효과가 지속된 것으로 나타났다. 품질 개선은 주로 성과가 낮은 변호사들에게 집중됐다. 저품질 문서는 줄고 중간 수준의 문서는 늘었지만, 최상위 수준의 문서 수에는 변화가 없었다. 특히 경력 7년 미만의 주니어 변호사에게서 품질 개선과 시간 절감 효과가 가장 컸다. 이들은 실험 10일 차 과제를 AI를 사용하지 않은 동료보다 18분 빨리 마쳤다. 그러나 두 번째 과제에서는 경력에 따라 결과가 엇갈렸다. 참가자들은 오류가 포함된 특허 출원서를 검토하고 문제점을 찾아내야 했다. 앞서 인플로우를 사용한 집단은 대조군보다 0.32 표준편차 높은 점수를 받았지만, 개선 효과는 경력 7년 이상의 시니어 변호사에게 집중됐다. 이들의 점수는 대조군의 같은 경력자보다 0.45 표준편차 높았다.

반면 주니어 변호사들은 평균적으로 성과가 개선되지 않았으며 점수 분포도 양극화됐다. 매우 낮은 점수와 비교적 높은 점수를 받은 사람은 늘었지만, 중간 수준은 줄었고 최상위 점수자 수에는 변화가 없었다. 연구진은 AI가 일부 변호사에게는 독립적인 문제 해결 능력을 키우는 계기가 된 반면 다른 일부에게는 도구에 대한 의존도를 높여 학습을 저해했을 가능성이 있다고 분석했다.

AI 성과 좌우하는 판단력

이처럼 AI를 사용한 업무에서는 성과 격차가 줄어들더라도 개인의 판단력에 따라 실제 학습 효과는 달라질 수 있다. 검색, 계산, 문서 분석, 대안 검토 등 AI 활용도가 높은 업무에서는 평균적인 역량을 갖춘 근로자도 뛰어난 전문가보다 높은 성과를 낼 수 있다. 하지만 이를 위해서는 적절한 질문을 제시하고 결과의 정확성을 검증하는 능력이 뒷받침돼야 한다.

하버드경영대학원(HBS)과 보스턴컨설팅그룹(BCG)이 컨설턴트 758명을 대상으로 진행한 연구에서도 AI의 생산성 향상 효과가 확인됐다. GPT-4를 사용한 컨설턴트는 평균 12.2% 더 많은 업무를 처리했고 작업 속도는 25.1% 빨라졌으며 결과물의 품질은 40% 향상됐다. 특히 성과 하위 절반에 속한 컨설턴트의 개선 폭은 43%로 상위 집단의 17%를 크게 웃돌았다. 비슷한 결과는 MIT가 전문적인 글쓰기 과제를 대상으로 진행해 2023년 국제학술지 '사이언스(Science)'에 발표한 연구에서도 나타났다. 초기 숙련도가 낮은 참가자일수록 ChatGPT 사용에 따른 성과 개선 폭이 컸다. 그러나 AI를 사용한다고 해서 모든 업무에서 성과가 높아지는 것은 아니다. AI 활용에 따른 개선 폭은 근로자의 기존 역량과 업무 특성에 따라 달라진다. 실제로 BCG 연구에서는 AI 모델의 처리 능력을 벗어난 과제를 수행할 때 GPT-4를 사용한 집단의 정답률이 오히려 낮았다.

결과물 검증 능력 강화가 핵심

이러한 한계를 고려하면 직원 AI 교육은 도구 활용 능력뿐 아니라 결과물의 오류를 찾아내고 수정하는 역량을 강화하는 방향으로 이뤄져야 한다. 앞선 로펌 실험에서도 경력에 따라 AI를 활용하는 방식에 차이가 있었다. 시니어 변호사들은 AI를 자신의 논리를 점검하는 수단으로 활용했다. 기존에 작성한 문서를 무조건 고수하기보다 수정이 필요한 이유와 방법을 검토하는 데 집중했다. 반면 주니어 변호사들은 문체나 형식적인 수정에 치중하는 경향을 보였다. 중대한 결함을 발견하고도 바로잡지 못하는 경우가 많았으며 일부는 직접 수정하는 대신 다른 사람에게 작업을 지시하는 듯한 의견을 남겼다.

이번 실험에서 제공한 교육은 도구 사용법에 한정됐으며 판단력 향상을 위한 별도 과정은 포함되지 않았다. 이를 고려하면 기업은 AI의 도움 없이 문서의 오류를 찾아내고 문제점을 설명하는 능력을 평가해 교육 대상을 선별하는 방안을 검토할 수 있다. 특히 중간 계층 직원에게는 AI 결과물을 검증하고 수정 근거를 직접 작성하도록 훈련하는 방식이 효과적일 수 있다. 일각에서는 AI가 근로자 간 성과 격차를 줄여주는 만큼 별도의 교육이 불필요하다는 주장도 있지만 연구 결과는 이와 다른 가능성을 시사한다. 도구를 활용하면 일정 수준 이상의 결과물을 쉽게 작성할 수 있지만 검증 능력이 부족하면 오류를 발견하지 못할 위험이 있기 때문이다.

중간 계층 교육과 하위 계층 고용 문제

전문성과 판단력을 갖춘 상위 계층은 별도의 지원 없이도 AI를 효과적으로 활용할 수 있지만, 단순 업무에 의존하는 최하위 계층은 기존 역할을 대체당할 가능성이 있다. 실제로 스탠퍼드대와 MIT의 고객지원 연구에서는 AI가 우수 직원들의 업무 노하우를 다른 직원들에게 전달하는 효과가 확인됐다. 이는 저숙련 근로자가 수행하던 업무의 상당 부분을 AI가 대신할 수 있음을 시사한다. 이에 따라 기업의 인력 수요도 AI가 제공하기 어려운 판단력과 문제 해결 능력을 갖춘 근로자 중심으로 재편될 가능성이 크다.

이러한 변화에 대응하려면 기업은 기본적인 판단력을 갖춘 중간 계층에 AI 교육 자원을 집중할 필요가 있다. 반면 기초 역량이 부족한 최하위 계층은 교육만으로 경쟁력을 확보하기 어려울 수 있어 고용 문제에 대한 사회정책 차원의 대응도 요구된다. 물론 기존 연구는 기간과 범위가 제한적이어서 AI가 근로자의 장기적인 역량과 고용에 미칠 영향을 단정하기 어렵다. 기술 발전에 따라 학습 효과가 달라질 가능성도 배제할 수 없다. 하지만 AI가 수행할 수 있는 업무가 늘어날수록 단순한 도구 활용 능력보다 결과를 스스로 검증하고 판단하는 역량의 중요성이 커질 전망이다.

본 연구 기사의 원문은 AI Training for Employees and the Future of the Middle Tier을 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.