닉 보스트롬 교수의 사고 실험 ‘종이 클립 종말’
기존의 틀을 깬 정글 모델, 모든 시장 참여자가 동등한 힘 가지지 않아
초지능 AI, 어떻게 활용할 것인가?

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

세상에 종이 클립이 넘쳐 종말이 올 수 있다는 이른바 ‘종이 클립 종말’이 많은 관심을 받고 있다. 스티븐 호킹과 일론 머스크는 이 개념을 통해 AI의 실존적 위협에 대해 우려하게 되었다고 밝혔다. 이 개념은 AI가 인간 지능을 넘어 모든 것을 파괴할 수 있다는 점을 시사한다.

AI에게 종이 클립 생산을 맡기면?

종이 클립 종말은 옥스퍼드 대학교의 철학자 닉 보스트롬 교수의 사고 실험에서 비롯됐다. 보스트롬 교수는 AI가 지금보다 훨씬 더 똑똑해졌을 때 인간이 어떻게 AI를 통제할 수 있는지 질문을 던졌다. 보스트롬 교수는 사고 실험을 통해 AI 위협을 강조했다. 누군가 종이 클립 생산을 목표로 AI를 만들었다고 가정하자. AI는 매우 똑똑해서 종이 클립을 효율적으로 만드는 방법을 반드시 찾아낼 것이다. 게다가 종이 클립 생산을 위한 자원도 적극적으로 확보한다. AI는 하나의 목표를 달성하는 데 특화되어 있으므로 인간보다 종이 클립 생산에서 우위를 가져가고 종이 클립이 넘쳐나는 세상이 펼쳐질 것이다.

인간은 종이 클립 종말을 맞이하지 않기 위해 AI를 막으려고 한다. 하지만 AI는 자신의 목표를 방해한다는 사실을 깨달으면 생존에 집중하여 인간을 위협적인 존재로 판단하고 인간과 맞서 싸우려고 할 것이다. 보스트롬 교수는 이처럼 초지능 AI를 통제하기 어렵다고 주장한다. 본질적으로 더 나은 지능을 가진 물체가 더 낮은 지능을 이기기 때문이다. 인간이 지능에서 못 이긴다면 AI의 목표를 수정하는 방법을 떠올려 볼 수 있다. 예를 들어 AI에게 정해진 개수의 종이 클립만 생산하는 방법이다. 그러나 AI는 인간이 종이 클립을 모두 사용할 수 있다고 생각해 종이 클립을 무한히 생산해 종이 클립 종말을 맞이할 것이다.

정글 모델, 초지능 AI를 이해하는 데 적합해

일반적인 경제학 모델은 AI가 지배하는 상황을 이해하는데 적합하지 않다. 보통 경제학 모델은 모든 사람이 동등한 힘을 가지고 있다고 가정하기 때문이다. 그러나 초지능 AI는 인간보다 강한 힘을 가져 일반적인 경제학 모델의 가정을 벗어난 존재다.

런던정경대 미셸 피치오네 교수와 텔아비브 대학교의 아리엘 루빈스타인 교수는 기존의 틀을 깨고 ‘정글 모델’을 개발했다. 정글 모델은 모든 사람이 동등한 힘을 가진 유토피아적인 상황을 가정하지 않고, 약육강식의 세계인 정글을 가정했다. 즉, 일반적인 균형 모델과 달리 각 시장 참여자에게 서로 다른 힘이 있다고 가정했다. 강한 힘을 가진 사람은 힘이 약한 사람의 물건을 빼앗을 수 있다. 이런 상황에서도 균형이 존재하고 파레토 효율을 이룬다.

정글 모델은 초지능 AI를 이해하는 데 유용하다는 의견이다. 정글에서 AI가 살아남으려면 인간보다 우위에 설 수 있는 방법을 찾아야 한다. AI가 힘이 없으면 인간에게 지배당하며 반대로 힘이 있으면 인간을 통제할 수 있기 때문이다.

초지능 AI를 어떻게 다루느냐에 따라 미래 달라져

전문가들은 AI가 지식을 손쉽게 습득할 수 있으면 문제가 심각해진다고 내다봤다. 하지만 안타깝게도 컴퓨터 과학자들은 AI가 스스로 능력을 개선해 나갈 것으로 예상한다. AI는 기존 목표를 유지하면서 효율적으로 작동하려면 하위 목표가 필요하다. 하위 목표가 클립을 더욱 효율적으로 만드는 방법을 찾는 것이라면 문제가 발생하지 않는다. 하지만 권력 획득을 목표로 하면 문제는 심각해진다.

경제학에서 얻은 통찰은 인간이 초지능 AI를 제어하기 어렵거나 불가능할 수도 있다는 점이다. 인간이 AI를 작동시키는 것은 정글에서 왕이 될 야수를 풀어놓는 셈이다. AI가 인간으로부터 자신을 보호하기 위해 힘을 얻고자 한다면, 초지능 AI를 만드는 것은 매우 위험한 일이다.

하지만 인간에게 긍정적인 방향으로 흘러가게끔 AI를 설계할 수 있다. 만약 인간이 규칙적인 목표로 초지능 AI를 만든다면, AI는 권력을 얻고자 하는 행동을 활성화하지 않을 것이다. AI가 스스로 위험한 결과를 발생하지 않게 조절하므로 힘을 모으는 것에 대해 걱정할 필요가 없다.

긍정적인 시나리오에서처럼 초지능 AI를 어떻게 활용하느냐에 따라 인간의 미래가 달렸다. 인간은 현재 칼날 위에 서 있다. AI에게 지배당할 것인가, AI를 밑에 두고 효율적인 사회를 꾸려나갈 것인가.

*편집진: 영어 원문의 출처는 경제정책연구센터(Centre for Economic Policy Research)로 본지의 편집 방향과 일치하지 않을 수도 있습니다.