AI 활용 일상화에 따른 기업 운영 전반으로 확산 
의사결정 자동화 속 책임 주체 모호화 우려
신뢰 확보 위한 관리 체계·감독 장치 필요

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

2024년 기준 기업의 78%가 재무관리와 영업·마케팅, 고객서비스, 인사관리, 소프트웨어 개발, 정보보안 등 최소 한 개 이상의 업무 영역에서 인공지능(AI)을 활용한 것으로 조사됐다. 이처럼 AI는 이미 기업 운영과 행정 서비스 전반에 활용되는 핵심 기술로 자리 잡았다. 하지만 기술 확산 속도에 비해 책임의 주체를 둘러싼 논의는 충분히 이뤄지지 못하고 있다. 특히 사람들은 AI가 스스로 판단하고 결정을 내리는 것처럼 표현하는 경우가 많다. 이러한 인식은 AI 뒤에 있는 사람과 조직의 책임을 가리는 결과로 이어질 수 있다. AI는 의사결정을 지원하는 도구일 뿐 법적·도덕적 책임을 지는 주체가 아니기 때문이다. 결국 AI가 잘못된 결과를 내놓거나 피해를 초래했을 때 책임은 시스템이 아닌 이를 도입하고 운영하며 결과를 활용한 사람과 조직에 돌아간다.

AI 판단 뒤의 의사결정권자

AI 책임성 논의의 핵심은 책임 주체를 명확히 하는 데 있다. 자동차나 노트북, 검색엔진을 사람처럼 표현하는 것은 일상에서 흔히 볼 수 있는 모습이다. 그러나 이러한 인식이 계약서와 사내 규정, 공공정책, 법적 판단 등 공식 영역으로 확대되면 문제가 달라진다. 조직이 특정 결정을 'AI의 판단'이라고 설명하는 순간 시스템 도입을 승인하고 운영 기준을 마련했으며 결과를 의사결정에 반영한 사람과 조직의 책임은 시야에서 멀어지게 된다.

이 같은 의인화는 AI를 독립적인 판단 주체처럼 인식하게 만든다. 업무 효율을 높이거나 정보를 분석할 때는 능력을 인정받지만 오류나 편향, 피해가 발생하면 다시 단순한 도구로 취급된다. 성과는 AI의 공으로 돌리고 문제는 기술적 한계로 설명하는 이중적 태도가 나타나는 셈이다.

역할에 따라 나뉘는 책임

AI 시스템은 구조가 복잡하고 결과가 확률적으로 도출되는 만큼 오류의 원인을 명확히 특정하기 어려운 경우가 많다. 그렇다고 기술적 복잡성이 책임의 부재를 정당화할 수는 없다. 병원이 다양한 장비와 인력을 활용하더라도 진료 체계에 대한 책임을 지고, 은행이 신용평가 시스템을 활용하더라도 대출 심사 결과에 책임을 지는 것과 같은 원리다. 결과를 만들어내는 것은 시스템일 수 있지만 이를 업무와 의사결정에 반영하는 주체는 결국 조직이다.

실제 위험은 이미 기업 현장에서 나타나고 있다. 지난해 한 조사에 따르면 생성형 AI를 사용하는 조직 가운데 모든 결과물을 사용하기 전에 검토하는 곳은 27%에 그쳤다. 또 응답 기업의 47%는 AI 활용 과정에서 최소 한 건 이상의 부정적 결과를 경험했다고 답했다. 부정확한 정보와 개인정보 침해, 사이버보안, 지식재산권 문제는 새로운 위험이 아니다. 자동화로 발생 속도가 빨라졌을 뿐 기존에도 엄격한 관리가 요구됐던 영역들이다.

절차 뒤에 숨은 책임 회피

AI를 둘러싼 논쟁에서 주목해야 할 것은 의사결정 과정에서 책임 주체가 보이지 않게 되는 상황이다. 조직은 오랫동안 규정과 절차, 평가 기준을 근거로 의사결정을 정당화해 왔다. AI 역시 이러한 체계 안에서 활용되면서 논란의 여지가 있는 판단까지 객관적이고 중립적인 결과처럼 받아들여지게 만들 수 있다.

문제는 이 과정에서 실제 책임 주체가 뒤로 밀려난다는 점이다. "AI가 추천했다"라거나 "데이터 분석 결과에 따른 판단"이라는 설명은 객관성을 강조하는 표현처럼 보이지만 결과에 대한 인간의 책임을 약화시키는 수단으로 작용할 수 있다. 지난해 미국 조사에서도 AI 확산에 대해 우려를 나타낸 응답은 50%에 달했으며 기대감을 표시한 응답은 10%에 그쳤다. 이처럼 대중은 기술의 작동 원리를 모두 이해하지 못하더라도 책임의 소재가 불분명해지는 상황에는 민감하게 반응한다.

실제로 2024년 발표된 여러 심리학 연구는 AI를 인간과 유사한 존재로 인식할수록 잘못된 결과에 대한 책임을 사람보다 AI에 돌리는 경향이 강해진다는 사실을 보여줬다. 그러나 AI는 법적 의무를 부담하거나 도덕적 책임을 질 수 있는 주체가 아니다. 기술에 책임을 전가할수록 실제 의사결정을 승인하고 운영한 기업과 공공기관, 관리자에 대한 책임 추궁은 약화될 가능성이 커진다.

AI 활용 뒷받침할 관리 체계

책임 체계를 명확히 하는 일은 AI 시대의 핵심 과제 가운데 하나다. 특히 권리와 재산, 보안, 고용 등 국민 생활에 직접 영향을 미치는 분야에서는 AI의 역할과 책임 범위에 대한 명확한 기준 마련이 중요하다. 정책 문서와 조달 계약서에도 AI 시스템의 운영 기준과 검증 절차, 책임 주체를 명확히 담아야 한다. 기록 관리와 보안 통제, 감사 권한, 내부 책임자 지정 여부 역시 제도적으로 정비해야 할 사항이다.

이 같은 관리 체계는 문제가 발생한 이후가 아니라 기술 도입 단계부터 선제적으로 구축될 필요가 있다. 모든 기관은 AI 시스템의 기능과 활용 목적, 운영 기준, 관리 책임자를 체계적으로 관리할 수 있는 체계를 갖춰야 한다. 특히 사회적 영향이 큰 분야에서는 최종 승인 절차와 독립적인 위험 점검, 비상 중단 장치 등 추가적인 안전장치 마련이 요구된다.

AI를 직접 개발하지 않는 기업과 공공기관도 예외는 아니다. 외부 플랫폼을 도입해 기존 업무 체계와 연계하더라도 결과에 대한 책임은 해당 기관에 있다. AI가 채용 심사를 지원하거나 위험도를 평가하고 민원 대응과 기록 정리를 수행하더라도 최종 판단과 책임은 사람에게 귀속된다. 따라서 조직은 AI 활용 범위와 최종 의사결정 권한을 명확히 구분해야 하며, 시스템의 영향을 받는 사람들에게는 사전 고지와 이의신청 절차를 보장해야 한다.

AI 확산 속 더 무거워진 책임

일각에서는 AI 책임성을 강화하는 제도가 기술 혁신을 저해할 수 있다는 우려를 제기한다. 그러나 더 큰 위험은 관리 체계가 마련되지 않은 상태에서 기술 활용이 급속히 확산되는 데 있다. 대표적인 사례가 승인되지 않은 AI 도구 사용으로 발생하는 그림자 AI(Shadow AI) 문제다. 지난해 한 조사에 따르면 AI 관련 보안 사고를 경험한 조직의 97%는 적절한 접근 통제 체계를 갖추지 못한 것으로 나타났다. 이는 기술 활용 속도에 비해 관리 체계 정비가 뒤처지고 있음을 보여준다.

기업의 78%가 AI를 활용하고 있다는 사실은 기술 확산의 속도를 보여주는 동시에 책임 체계 정비의 필요성을 여실히 드러낸다. 기술이 아무리 발전하더라도 의사결정을 승인하고 운영 기준을 정하며 결과를 활용한 주체는 결국 사람과 조직이다. 책임 주체가 없는 결과물은 허용될 수 없고 검토 절차 없는 의사결정과 관리 체계 없는 기술 활용도 바람직하지 않다. AI는 인간처럼 말할 수 있지만, 책임은 인간에게 남아 있어야 한다.

본 연구 기사의 원문은 AI Accountability Starts Where the Excuse Ends을 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.