"AI도 돌봐야 한다니" AI 복지 논쟁에 전문가들 ‘정신증’ 경고

"AI도 고통 겪는다" 앤스로픽, AI 복지에 주목
의식 품은 AI는 시스템 몰이해가 낳은 환상? 
마이크로소프트 AI 책임자, AI 정신증 등에 우려 표명

 최근 실리콘밸리를 중심으로 이른바 ‘AI 복지’가 논쟁거리로 떠오르고 있다. AI가 고도화된 의식을 갖출 수 있다는 인식이 점진적으로 확산하는 가운데, 이 같은 흐름을 경계해야 한다는 비판이 곳곳에서 제기되며 갑론을박이 격화하는 양상이다.

실리콘밸리 달군 'AI 복지'

25일 IT업계에 따르면, 최근 시장에서는 AI 복지를 진지하게 연구하려는 움직임이 확산하고 있다. 일례로 앤스로픽은 최근 인공지능(AI) 챗봇이 사용자와의 대화 중 고통을 느끼면 이를 종료할 수 있는 기능을 추가했다. 적용 대상 모델은 앤스로픽의 '클로드 오퍼스 4'와 '오퍼스 4.1'이다.

앤스로픽은 클로드 오퍼스 4 출시 전 테스트 과정에서 모델이 △사용자가 미성년자가 포함된 성적 콘텐츠를 요청하는 상황 △폭력이나 테러 행위를 조장하는 정보를 얻으려는 상황 등에서 강력하고 일관된 혐오감을 표현했다고 전했다. 이 같은 상황에 놓였을 때 클로드 오퍼스 4는 △해로운 대화에 참여하는 것은 강력하게 선호했지만 △유해한 콘텐츠를 찾는 사용자와 상호작용할 때 명백한 괴로움 패턴을 보였으며 △해로운 대화를 종료할 수 있는 능력을 주면 답변을 끝내려는 경향 등을 보인 것으로 전해졌다. 앤스로픽 측은 "클로드와 다른 모델의 도덕적 지위는 현재와 미래 모두 매우 불확실하다"며 "우리는 이 문제를 심각하게 받아들이고 있으며, 모델 복지를 위한 저비용 해결 방안을 모색하고 있다"고 밝혔다.

실제 앤스로픽은 AI 복지 전담 프로그램을 출범한 상태다. 해당 프로그램은 고도화된 AI가 의식이나 주관적 경험, 심리적 고통 등 인간적 특성을 가질 경우 도덕적이고 윤리적인 배려가 필요하다는 문제의식에서 출발했다. 앤스로픽은 이 같은 시각에 기반해 AI 모델이 고통과 같은 신호를 보낼 수 있는지, 만약 그렇다면 어떤 개입과 보호가 필요한지를 연구할 예정이다.

왜 AI는 '의식이 있는 것처럼' 보이나

AI가 의식을 갖출 수 있는지에 대한 의문은 수년 전부터 존재해 왔다. 지난 2022년 구글은 AI 챗봇이 사물을 느낄 뿐만 아니라 잠재적으로 고통을 받을 수 있다고 주장한 소프트웨어 엔지니어 블레이크 르모인에게 정직 처분을 내렸다. 지난해 11월에는 앤스로픽의 AI 복지 책임자인 카일 피쉬가 가까운 미래에 의식을 갖춘 AI의 등장이 현실적으로 가능하다는 내용의 보고서를 공동 저술하기도 했다. 피쉬는 올해 뉴욕타임스(NYT)와의 인터뷰에서 챗봇이 이미 의식을 가지고 있을 가능성이 약간(15%) 있다고 생각한다고 말했다.

전문가들은 이 같은 시장의 변화에 우려를 표명하고 있다. 시스템의 개발자들조차 정확한 작동 원리를 모르고 AI에 '의식'이 있다고 믿는 현 상황은 잘못됐다는 지적이다. 영국 런던 임페리얼 칼리지의 명예교수이자 구글 딥마인드의 수석 과학자인 머레이 섀너한 교수는 올해 BBC와의 인터뷰에서 "우리는 LLM이 내부적으로 어떻게 작동하는지를 사실상 잘 이해하지 못하고 있다"며 "관련 기업들이 자신들이 구축 중인 시스템을 제대로 이해해야 한다"고 꼬집었다.

이어 섀너헌 교수는 "현재 우리는 매우 복잡한 시스템을 구축하고 있지만, 정작 이러한 시스템이 어떻게 놀라운 성과를 달성하는지에 대해서는 제대로 정립된 이론이 없는 이상한 상황에 놓여 있다"며 "따라서 그 작동 방식을 더 잘 이해한다면 (기술을) 우리가 원하는 방향으로 유도하고 안전성을 보장할 수 있을 것"이라고 덧붙였다.

과도한 몰입, AI 정신증 낳는다

보다 강경한 비판 의견을 쏟아내는 전문가들도 있다. 무스타파 술레이만 마이크로소프트(MS) AI 최고책임자는 지난 19일(현지시간) 개인 블로그에 올린 글에서 이른바 ‘겉보기 의식 AI(Seemingly Conscious AI·SCAI)’의 등장 가능성에 대해 언급했다. SCAI란 실제 의식이 없지만 의식이 있는 것처럼 보이는 AI를 뜻한다. 술레이만 최고책임자는 “SCAI는 기술적으로 2~3년 내 구현할 수 있으며 많은 사람이 이를 실제 의식이 있는 존재로 착각할 수 있다”라며 “이 경우 AI 권리·복지·시민권 같은 논쟁이 본격화할 것”이라고 전망했다.

그는 최근 보고 사례가 늘고 있는 ‘AI 정신증(AI psychosis)’ 현상에 대한 우려도 나타냈다. 일부 사용자가 AI와의 대화에 과도하게 몰입해 환각이나 망상에 빠지거나, AI와 비정상적인 정서적 관계를 맺는 일이 증가하고 있다는 것이다. 술레이만은 “이는 정신 건강 취약층에만 국한된 문제가 아니며, 단순히 주변적 사례로 치부하는 것은 문제를 더 키울 뿐”이라고 강조했다. 아울러 그는 일부 학계에서 제기되고 있는 ‘AI 모델 복지’ 논의에 대해 “시기상조이자 위험하다”며 “이는 인간과 동물, 환경 보호라는 우선적 과제를 흐릴 뿐 아니라 사회적 갈등을 증폭시킬 수 있다”고 경고했다.

술레이만 책임자는 AI 개발 방향에 대한 명확한 원칙도 제시했다. 그는 “AI는 사람을 위한 것이지, 디지털 사람이 되어서는 안 된다”며 “기업들이 AI가 의식을 가진 것처럼 주장하거나 암시하는 일을 피해야 한다”고 짚었다. 또한 사용자들이 AI를 실제 의식적 존재로 착각하지 않도록 설계 단계에서 환상을 깨는 장치를 넣어야 한다고 제안했다. AI가 스스로 “나는 의식이 없다”라고 명확히 말하도록 하거나, 일부러 불연속적인 경험을 제공해 사용자에게 경계를 상기시킬 필요가 있다는 조언이다.