LLM의 불투명한 의사결정 과정을 설명하는 XAI 기술 연구의 필요성 대두
심리학적·신경과학적 기법 등 다양한 방법을 통해 LLM의 작동 원리를 규명하고자 노력해
그러나 기업의 AI 모델 설명을 의무화하는 법적 규제는 아직 미흡한 상황, 공개된 정보 또한 제한적

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 글로벌AI협회 연구소(GIAI R&D)에서 콘텐츠 제휴가 진행 중입니다.

최근 인공지능 기술은 눈부신 발전을 이루며 다양한 분야에서 두각을 나타내고 있다. 하지만 AI의 복잡한 학습 과정은 마치 '블랙박스'처럼 베일에 싸여 있어 그 원리를 파악하기 어려운 경우가 많다.

이러한 문제를 해결하기 위해 AI의 의사결정 과정을 투명하게 밝히는 '설명 가능한 AI(Explainable AI, 이하 XAI)' 연구가 주목받고 있다. XAI는 AI가 특정 결론에 도달한 이유를 사람이 이해할 수 있는 형태로 제시하는 기술이다. 예를 들어 이미지 인식 AI가 특정 이미지를 고양이로 분류한 이유를 사람이 알 수 있도록 설명하는 기술이 대표적이다.

복잡한 LLM, XAI로 설명 가능해질까?

아울러 XAI는 단순히 AI의 판단 근거를 제시하는 것을 넘어 AI 시스템의 안전성, 효율성, 정확성을 높이고, 사용자의 신뢰를 얻는 데 중요한 역할을 한다. 나아가 규제 당국의 AI 관리를 돕고, 인간의 사고 과정을 이해하는 데에도 새로운 통찰을 제공할 수 있다.

하지만 XAI도 아직 완벽하지 않다. 특히 수백억 개의 매개변수를 가진 대형언어모델(Large Language Model, 이하 LLM)의 복잡성은 XAI의 설명력을 더욱 제한한다.

LLM은 압도적인 편의성과 자연스러움으로 이미 의료 상담, 컴퓨터 코드 작성, 뉴스 요약, 학술 논문 작성 등 다양한 분야에 깊숙이 통합되고 있지만, 이와 동시에 잘못된 정보 생성, 사회적 편견 강화, 개인 정보 유출 등의 문제를 일으켜, LLM의 작동 원리를 설명하는 XAI의 개발 필요성이 더욱 커지고 있는 실정이다.

LLM의 작동 원리에 대한 이해, 확률적 앵무새 vs 사고하는 존재

연구자들 사이에서는 LLM을 '확률적 앵무새'라고 부르는 시각이 지배적이다. 이는 LLM이 이전에 본 텍스트의 패턴을 결합하여 글을 생성할 뿐, 그 내용을 진정으로 이해하지 못한다는 의미다. 게다가 이러한 모델은 종종 예측 불가능한 행동을 보이는데, AI 기업들이 안전장치를 강화하려 노력하지만, '환각'이나 '탈옥' 현상은 여전히 빈번하게 발생하고 있다.

하지만 모든 연구자가 이러한 견해에 동의하는 것은 아니다. '클로드(Claude)' 모델을 개발한 AI 회사 앤스로픽(Anthropic)의 연구팀은 LLM이 특정 발언을 하는 이유를 분석한 결과, 인간과 유사한 논리적 사고 능력이 있다고 주장했다.

이들은 520억 개의 매개변수를 가진 LLM에 관한 연구를 통해 모델이 질문에 답할 때 사용하는 학습 데이터를 조사했다. 그 결과 모델의 최종 발언이 특정 시퀀스 데이터에만 의존하지 않고 다양한 시퀀스에 걸쳐 영향을 받는 것으로 나타났다. 연구팀은 이를 근거로 모델이 단순히 암기하는 것이 아니라 최소한의 사고와 추론을 통해 일반적인 답변을 생성한다고 해석했다.

심리학적 접근을 통한 챗봇 작동 원리 분석

LLM은 단순히 학습 데이터를 기반으로 텍스트를 생성하는 확률적 앵무새에 불과하다는 주장과, 인간과 유사한 논리적 사고 능력을 갖추고 있다는 주장이 대립하고 있는 가운데, 챗봇의 작동 원리를 새로운 관점에서 해석하려는 시도도 등장하고 있다.

일부 연구자들은 챗봇이 대화할 수 있다는 점을 활용해, 인간 심리학에서 적용되는 방식과 유사하게 챗봇에 직접 질문하고 그 답변을 분석함으로써 챗봇의 작동 원리를 이해하려고 시도하고 있다. 독일 슈투트가르트대학의 컴퓨터 과학자인 틸로 하겐도르프(Thilo Hagendorff)는 이러한 접근 방식을 ‘기계 심리학’이라고 부르고, 챗봇과의 대화를 통해 복잡한 학습 과정을 밝혀낼 수 있다고 주장했다.

한편 2022년 구글의 연구팀은 ‘연쇄적 사고 프롬프트'(Chain of Thoughts, 이하 CoT)라는 기법을 통해 LLM의 ‘사고’를 이해하고 더 정확한 답변을 도출할 수 있다고 제안했다. 사용자가 예시 질문과 단계별 답변 과정을 보여준 후 실제 질문을 하면, 모델이 이를 따라 사고 흐름을 출력하여 더 정확한 답변을 제공한다는 것이다. 그러나 챗봇이 정확한 답을 찾지 못할 경우 엉뚱한 논리를 정당화하는 환각 현상이 발생할 수도 있다. 이는 앞서 언급한 챗봇의 심리 분석을 어렵게 만드는 요인으로 작용 한다.

신경과학 기법 활용한 새로운 접근

결국 인공지능 모델의 내부 작동 메커니즘을 이해하기 위해서는 환각 현상에 대한 깊이 있는 분석이 필수적이다. 즉 LLM이 생성하는 거짓 정보를 탐지해야 하는데, 최근에는 거짓말 탐지기 설계에도 활용되는 신경과학의 뇌 영상 스캔 기술을 응용한 연구가 주목받고 있다.

미국 카네기멜런대학의 컴퓨터 과학자 앤디 저우(Andy Zou)와 그의 연구팀은 챗봇에 거짓말과 진실을 번갈아 말하게 하면서 ‘뉴런' 활동 패턴을 분석했다. 이를 통해 진실성을 수학적으로 표현하고, 새로운 질문에 대한 챗봇 답변의 진실성을 90% 이상 정확하게 예측하는 데 성공했다. 또한 특정 패턴을 활성화시켜 챗봇의 정직성을 높이는 성과도 거뒀다.

또 다른 연구에서는 '인과 관계 추적' 기술을 통해 AI 모델이 특정 답변을 생성하는 데 중요한 신경망 영역을 식별하고, 해당 매개변수를 조정하여 모델의 지식을 수정하는 방법을 개발했다. 이는 모델 전체를 재학습시키지 않고도 부정확하거나 오래된 정보를 수정하는 데 유용하다. 이러한 인과 관계 추적 기술은 신경과학 기반의 거짓말 탐지 기술과 함께 AI 환각 현상을 제어하고 LLM의 작동 원리를 이해하는 데 새로운 돌파구를 제시할 것으로 전망된다.

AI 모델 설명의 중요성과 규제 필요성

AI 연구자들이 모델의 작동 방식을 이해하기 위해 노력하는 가운데, 기업 역시 모델에 대한 설명 책임을 다해야 한다는 목소리가 커지고 있다.

유럽 연합은 AI 법안을 통해 고위험 AI 시스템에 대한 설명 가능성을 의무화하고 있으나 안타깝게도 LLM은 아직 고위험 시스템으로 분류되지 않아 법적 규제를 피해 갈 수 있는 상황이다.

이에 대해 자연어 연구의 전문가인 샘 보우먼(Sam Bowman) 뉴욕대 교수는 오픈AI와 같은 일부 기업이 자사 모델의 작동 방식을 공개하지 않는 것에 대해 비판적인 입장을 밝혔다. 오픈AI는 안전상의 이유로 모델 정보를 공개하지 않는다고 주장하지만, 이는 AI 기술 발전과 신뢰 구축에 걸림돌이 될 수 있다고 보우먼 교수는 지적했다.

이렇듯 AI 기술의 발전과 함께 투명성과 설명 가능성에 대한 요구는 더욱 커질 것으로 예상된다. 전문가들은 기업의 자발적인 노력과 함께 명확한 규제 마련을 통해 AI 기술의 건강한 발전을 이끌어내야 할 시점이라고 강조했다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.