챗GPT 오류, '환각'보다는 '헛소리'라는 표현이 더 적절해
챗GPT, 진실인지 거짓인지 검증하지 않고 답변 내놓아
정확한 단어로 표현해야 인공지능 실체에 더 가까워질 수 있어

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

인공지능 붐이 일어나고 나서 인공지능은 분야를 가르지 않고 널리 사용되고 있다. 문서 작성 시 ‘인공지능’ 비서가 문서 작성을 도와주며 PDF를 열면 인공지능이 내용을 요약해 준다. 그러나 인공지능 챗봇은 마치 사실인 것처럼 내용을 지어내어 종종 사람들을 당황스럽게 만든다.

챗GPT, 헛소리하는 기계

이러한 오류를 ‘환각’이라고 표현한다. 하지만 이 표현은 오해의 소지가 있으며 잠재적으로 피해를 줄 가능성이 크다. 따라서 오류가 발생했을 때는 ‘헛소리’라는 더 적절한 단어로 표현하자는 주장이 제기된다. 말장난처럼 들리지만, 단어 정의는 사람들에게 큰 영향을 미쳐 섬세하게 다루어야 하는 문제다.

미국 철학자 해리 프랑크푸르트는 철학자들 사이에서 ‘헛소리’라는 단어를 유행시켰다. 헛소리는 전문적인 의미가 있다. 누군가 헛소리하는 것은 진실을 말하는 것은 아니지만, 그렇다고 거짓말을 하는 것도 아니다. 프랑크푸르트는 헛소리하는 사람의 특징으로 자신이 하는 말이 진실인지 아닌지 전혀 신경 쓰지 않는다는 점을 강조했다. 챗GPT는 진실을 신경 쓰지 않고 결과를 내뱉기 때문에 기술적인 의미에서 ‘헛소리하 기계’라고 부르는 것이 타당하다.

챗GPT가 헛소리를 늘어놓아 피해를 준 사례가 한둘이 아니다. 작년 한 변호사는 법률 자료를 요약하면서 챗GPT를 사용했다가 곤경에 처한 적이 있다. 그 이유는 챗GPT가 가상의 판례를 인용했기 때문이다. 챗GPT가 인용한 판례는 그 어디에서도 존재하지 않았다.

헛소리 기계의 작동 원리

챗GPT가 거짓 정보를 제공하는 이유는 대형언어모델(LLM) 작동 원리 속에 숨어있다. 대형언어모델은 방대한 양의 텍스트를 학습 데이터로 삼고 훈련하는데, 챗GPT는 인터넷에 있는 수십억 페이지의 텍스트로 훈련한다.

대형언어모델은 학습 데이터를 바탕으로 다음에 나올 내용을 예측한다. 다음에 나타날 확률이 가장 높은 단어 목록 중에서 유력한 후보를 하나 선택한다. 매번 가장 확률이 높은 단어를 선택하는 것은 창의적이고 인간적인 면이 떨어진다. 따라서 이를 방지하기 위해 유력한 후보 중에서 하나를 선택한다. 모델 후반부에는 사람이 직접 결과물을 판단하여 예측을 더욱 구체화한다.

대형언어모델의 작동 방식을 이해하면, 챗GPT가 헛소리하는 기계라는 것을 알 수 있다. 잘 훈련된 챗봇은 인간과 유사한 텍스트를 생성하지만, 그 과정에서 텍스트가 사실인지 확인하는 절차는 없다. 따라서 대형언어모델이 답하는 내용을 실제로 이해하고 있는지 의심스러운 눈초리로 쳐다볼 수밖에 없다.

챗GPT 오류, 환각보다는 헛소리에 더 가까워

최근 몇 년 동안 사람들은 인공지능에 익숙해지면서 이러한 행동을 ‘환각’이라고 부르기 시작했다. 이 표현은 은유적이지만, 사람들이 인공지능을 제대로 이해하기에 좋은 표현은 아니라는 의견이다.

챗GPT는 사람이 작성한 것처럼 보이는 텍스트를 만드는 것을 목표로 한다. 사람도 항상 진실만을 말하지 않듯이 챗GPT도 항상 진실을 내뱉는 것은 아니다. 그러나 거짓을 ‘환각’이라고 표현하는 것은 앞서 얘기한 특징을 잡아내지 못한다.

지난 6월 윤리 및 정보 기술 보고서에서는 ‘환각’이라는 표현 대신 ‘헛소리’라는 표현을 제안했다. 그 이유는 헛소리하는 사람은 자신이 하는 말이 사실인지 아닌지 신경 쓰지 않고 말하는데 이것이 챗GPT의 행동과 똑같기 때문이다.

잘못된 단어 정의는 사람들의 오해 불러일으켜

챗GPT가 내뱉는 헛소리를 환각이라고 표현하면 어떤 문제가 발생할까? 오해의 소지가 있는 단어를 사용하면 사람들이 기술 작동 방식을 오해할 가능성이 크다. 단어는 대중이 기술을 이해하는 데 지대한 영향을 미친다. 예를 들어 ‘자율주행’ 자동차라고 하면 주차부터 운전까지 모든 것을 자율적으로 수행하는 자동차라고 생각한다. 그러나 이는 현실적으로 불가능에 가깝다. 고속도로와 같이 정제된 상황에서는 자동차가 알아서 운전을 해줄 수 있겠지만, 어떤 장애물이 나올지 모르는 시내에서는 자동차가 알아서 운전할 수 없다.

따라서 전문가들은 인공지능 오류를 ‘환각’이라고 표현하는 것은 챗봇을 의인화할 위험이 있다고 우려한다. 일라이자 효과는 사람들이 컴퓨터 프로그램에 인간의 특징을 부여할 때 발생한다. 비록 성능이 좋은 챗봇이라 할지라도 챗GPT를 헛소리 기계라고 설명하면, 이러한 위험을 줄이는 데 도움이 된다.

또한 챗GPT 오류를 환각이라고 표현하면, 책임은 챗GPT에게 있는 걸로 생각한다. 그러나 챗GPT한테 오류가 발생하면 그 문제는 사용하는 사람이나 프로그래머가 책임을 져야 한다. 책임을 누가 질 것인가에 대해서는 의료나 자율주행과 같이 사람 목숨과 맞닿은 곳에서는 특히 중요하다. 따라서 문제가 발생했을 때 누구에게 책임이 있는지 아는 것은 중요하다.

인공지능이 엉뚱한 답변을 해준다면, 환각 증상을 보이는 게 아니라 ‘헛소리’ 를 열심히 늘어놓는 중이다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.