GPT-4V, 실제 픽셀 색상 대신 사람이 인지하는 색상을 묘사
챗봇도 인간처럼 주관적으로 색상을 해석했을 가능성 시사해
착시 연구를 통해 인간 시각 인지와 AI 작동 방식을 더 잘 이해할 수 있을 것으로 기대돼

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

2015년 인터넷을 뜨겁게 달궜던 '파랑-검정 vs 흰색-금색 드레스' 사진은 사람마다 색깔을 다르게 인지해 화제가 됐었다. 미국 위스콘신-매디슨대학의 디미트리스 파파일리오풀로스(Dimitris Papailiopoulos) 컴퓨터공학 교수는 착시를 일으키는 이 사진을 떠올리며 흥미로운 실험을 시작했는데, 오픈AI의 챗GPT와 구글의 제미나이와 같은 챗봇이 인간의 뇌를 속이는 착시 현상에 어떻게 반응할지 궁금했던 것이다.

인간의 시각 시스템은 다양한 조명 조건에서도 물체를 일관된 색상으로 인식하도록 진화해 왔다. 때문에 한낮의 밝은 햇빛 아래에서도, 주황빛 노을 아래에서도 나뭇잎은 녹색으로 보인다. 이러한 적응력 덕분에 우리 뇌는 다양한 방식으로 착시를 일으키는 색상을 보게 된다. 아델슨의 체커그림자 착시, 빨간색이 없는 코카콜라 캔이 빨갛게 보이는 착시 등이 대표적인 예다.

파파일리오풀로스 교수는 시각 프롬프팅에 특화된 GPT-4V를 이용한 일련의 실험을 통해 챗봇 역시 인간과 동일한 착시 현상에 속는다는 사실을 발견했다. 챗봇은 이미지의 실제 픽셀 색상보다 사람이 인지하는 색상에 기반하여 이미지를 묘사하는 경향을 보였다. 예를 들어 파란색 필터가 적용되어 실제로는 파란색과 녹색 값이 큰 연어회 사진을 보고도 챗봇은 이를 분홍색으로 인식했다. 이는 챗봇이 학습 데이터에 포함되지 않은, 파파일리오풀로스 교수가 직접 제작한 '색 항상성 착시' 사진에도 똑같이 반응한 결과로, 챗봇이 인간처럼 시각적 착각을 일으킨다는 것을 보여줬다.

인간처럼 색깔을 주관적으로 해석해

파파일리오풀로스 교수는 "이번 실험은 공식적인 연구는 아니었고, 단순한 호기심에서 시작된 실험이었다"라며, 해당 결과에 대한 명확한 설명은 아직 찾지 못했다고 전했다. 처음에는 챗봇이 이미지 데이터 처리 과정에서 원본 이미지를 수정하는 것이 아닐지 의심했지만, OpenAI 측은 GPT-4V가 이미지를 해석하기 전에 색온도나 다른 특징을 조정하지 않는다고 밝혔다. 이에 파파일리오풀로스 교수는 챗봇이 인간의 뇌처럼 이미지 속 물체들을 서로 비교하고 픽셀을 평가하여 문맥에 맞게 색상을 해석하는 법을 학습했을 가능성이 있다고 추측했다.

캐나다 맥길대학의 블레이크 리처드(Blake Richards) 컴퓨터과학·신경과학 교수 또한 이러한 주장에 동의하며, 챗봇이 인간처럼 물체를 식별하고 해당 유형의 물체가 일반적으로 어떻게 보이는지에 따라 색상을 해석하는 방법을 학습했을 수 있다고 설명했다. 또한 AI 모델이 이미지 속 색깔을 미묘하게 해석하는 방식은 인간의 시각 인지 과정을 이해하는 데 중요한 단서가 될 수 있다. 리처드 교수는 AI 모델이 방대한 데이터를 학습하며 색깔을 주관적으로 해석하는 현상은, 인간 역시 비슷한 학습 과정을 통해 색깔을 주관적으로 인식하게 된다는 것을 시사할 수 있다며, 인간과 기계의 시각 인식 능력이 생각보다 유사할 수 있다고 바라봤다.

챗봇이 항상 인간처럼 행동하는 것은 아니다. 최근 연구 결과에 따르면 챗봇은 때로는 인간처럼 착각에 빠지기도 하지만, 때로는 논리적인 판단을 내리거나 전혀 엉뚱한 답변을 내놓기도 한다. 사실 인간과 AI는 생각하는 방식이 근본적으로 다르다. 인간의 뇌는 정보를 앞뒤로 주고받는 복잡한 연결망으로 이루어져 있어, 외부 정보를 바탕으로 정보의 빈틈을 채우고 추론하는 능력이 뛰어나다. 반면 대부분의 AI 모델은 정보가 입력에서 출력으로 한 방향으로만 흐르는 단순한 구조로 설계되어 있어, 인간과 같은 방식으로 정보를 처리하지 못한다.

물론 인간의 뇌처럼 정보를 순환시키는 신경망 모델도 있지만, 대다수의 머신러닝 모델은 순환적인 양방향 연결을 갖도록 설계되지 않았다. 가장 널리 쓰이는 AI 모델은 정보가 입력에서 출력으로 한 방향으로만 흐르는 '피드포워드(feed-forward)' 방식이라 인간의 복잡한 사고 과정을 완벽히 따라잡지 못한다. 하지만 AI 시스템이 착시 현상에 어떻게 반응하는지 알고 나면, 착시 현상 연구를 통해 현재 널리 사용되는 단방향 AI 모델의 한계를 명확히 파악하고, 나아가 인간처럼 정보를 종합적으로 처리하는 AI 모델 개발에 필요한 요소들을 발견할 수 있을 것으로 기대된다.

착시 연구 통해 인간 시각 인지 과정과 AI 작동 방식을 엿보는 게 핵심

최근 4개의 오픈 소스 비전-언어 멀티모달 모델을 평가한 연구팀은 모델의 크기가 잠재적인 요인 중 하나라고 주장했다. 연구 결과에 따르면 더 많은 가중치와 변수를 사용하여 개발된 모델이 작은 모델보다 착시 현상에 대한 인간의 반응과 더 유사하게 반응했다고 한다.

하지만 전체적으로 연구자들이 실험한 AI 모델은 이미지 내 착시 요소를 정확하게 파악하는 데 뛰어나지 않았고 (평균 정확도 36% 미만), 인간의 반응과 일치하는 경우는 평균적으로 16%에 불과했다. 또한 모델이 특정 유형의 착시 현상에 대해서는 다른 유형보다 인간의 반응을 더욱 밀접하게 모방한다는 사실도 발견했다.

이와 비슷한 착시 실험을 진행한 아마존웹서비스(AWS) AI 랩의 응용 과학자인 와시 아마드(Wasi Ahmad)는 AI 시스템이 착시 현상을 해석하는 능력 차이는 정량적 추론과 정성적 추론 중 어떤 것이 요구되는지에 따라 달라질 수 있다고 분석했다. 인간은 두 가지 추론 모두 능숙하지만, 머신러닝 모델은 쉽게 측정할 수 없는 것에 관한 판단을 내리는 데에는 덜 익숙할 수 있다고 그는 덧붙였다. AI 시스템이 해석을 잘하는 세 가지 착시 유형은 모두 주관적인 인식뿐 아니라 정량적으로 측정 가능한 속성을 포함하고 있었다.

이러한 AI 시스템의 특성은 인간의 편향을 복제할 수도, 완화할 수도 있다는 점에서 책임감 있는 활용을 요구한다. 같은 관점에서 자연어 처리와 인간-로봇 상호작용을 연구하는 미국 미시간대학교의 조이스 차이(Joyce Chai) 컴퓨터과학 교수는 AI 시스템을 책임감 있게 활용하려면 인간의 경향이 어디에서 복제되고 어디에서 복제되지 않는지뿐만 아니라 AI 시스템의 취약점과 약점을 이해해야 한다고 설명했다. "모델이 인간과 일치하는 것은 좋을 수도 있고 나쁠 수도 있다"라며, 어떤 경우에는 모델이 인간의 편향을 완화하는 것이 바람직한데, 방사선 이미지를 분석하는 AI 의료 진단 도구는 시각적 오류에 취약하지 않아야 한다고 예시를 들었다.

하지만 때로는 AI가 인간의 편향을 모방하는 것이 유익할 수도 있다. 예를 들어 자율주행 자동차에 사용되는 AI 시각 시스템이 인간의 실수와 유사하게 작동하도록 설계한다면, 차량의 실수를 예측하고 이해하기 쉽게 만들 수 있다. 이에 대해 리처드 교수는 "자율주행 자동차의 가장 큰 위험은 실수를 저지르는 것이 아니다. 인간은 항상 운전 중에 실수한다"고 말하며, 오히려 기존 도로 안전 시스템이 처리할 준비가 되어 있지 않은 자율주행차의 "이상한 오류"를 우려했다.

OpenAI의 GPT-4V와 같은 대규모 머신러닝 모델은 설명 없이 결과만 제공하는 불투명한 시스템, 즉 '블랙박스'로 불리곤 한다. 하지만 인간에게도 익숙한 착시 현상은 이러한 블랙박스 내부를 들여다볼 수 있는 창을 제공할 수 있을 것이라고 전문가들은 기대하고 있다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.