[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

SF 소설에서는 인공지능이 의식을 갖는 설정을 오랫동안 다뤄왔다. 1968년 영화 '2001 스페이스 오디세이'에서 슈퍼컴퓨터 악당 HAL 9000이 대표적인 예다. 인공지능의 급속한 발전으로 이러한 가능성은 점점 더 현실화하고 있으며, 업계 리더들도 인정하는 분위기다. ChatGPT를 개발한 OpenAI의 수석 과학자 일리야 수츠케버(Ilya Sutskever)는 최첨단 AI 네트워크 중 일부는 "약간 의식이 있을 수 있다"라는 트윗을 올렸다.

많은 연구자는 AI 시스템이 아직 의식의 단계에 이르지 못했다고 말하지만, AI의 발전 속도를 고려하면 의식이 있는지 어떻게 알 수 있을지 고민할 수밖에 없다.

이에 대한 답을 찾기 위해 19명의 신경과학자, 철학자, 컴퓨터 과학자들로 구성된 연구팀이 의식의 존재 여부를 판단할 수 있는 14개 항목의 체크리스트를 고안해 냈다. 이들은 동료 심사를 앞두고 출판 전 논문을 arXiv 저장소에 게시했다. 공동 저자인 캘리포니아 샌프란시스코에 있는 연구 비영리 단체 'AI 안전 센터'의 철학자인 로버트 롱(Robert Long)은 "AI 의식에 대한 심도있는 논의와 실증연구 기반 의논이 실제로 부족한 것 같았기 때문에 이러한 연구를 시작하게 되었습니다"라고 전했다.

연구팀은 AI 시스템이 의식을 갖게 되었는지를 확인하지 못하는 것이 중요한 도덕적 문제를 야기한다고 언급했다. 공동 저자이자 캘리포니아 대학교 어바인 캠퍼스의 신경과학자인 메건 피터스(Megan Peters)는 "무언가가 '의식적'이라고 분류되면 인간으로서 그 개체를 어떻게 대해야 한다고 느끼는지, 도덕적으로 많은 변화가 있습니다"라고 말했다.

롱 교수는 첨단 AI 시스템을 구축하는 회사에서 충분한 노력을 기울이지 않고 있다고 덧붙였다. 그가 아는 ​​한 모델의 의식 수준을 평가하고 의식 있는 AI가 등장할 때 무엇을 해야 할지 대책이 미비하다고 꼬집었다. "주요 AI 연구소 소장들은 AI 의식이나 AI 감성에 대해 궁금하다고 말하지만, 행동으로 옮기진 않았습니다."

롱 교수는 그가 아는 ​​한 모델의 의식 수준을 평가하고 의식 있는 AI가 등장할 경우 무엇을 해야할지 계획을 세우기 위해 첨단 AI 시스템을 구축하는 회사에서 충분한 노력을 기울이지 않고 있다고 덧붙였다. "주요 AI 연구 소장들의 발언을 들어보면 AI 의식이나 AI 감성에 대해 궁금해 한다는 사실에도 불구하고 말입니다."

네이처지는 AI 발전에 앞장서고 있는 주요 기술 기업 두 곳, 마이크로소프트와 구글에 AI 의식에 관해 질문했었다. 마이크로소프트의 대변인은 회사의 AI 개발은 인간의 지능을 복제하는 것이 아니라 책임감 있는 방식으로 인간의 생산성을 지원하는 데 중점을 두고 있다고 전했다. 공개된 ChatGPT의 가장 진보된 버전인 GPT-4의 도입 이후 분명해진 것은 "사회 전체에 혜택을 줄 수 있는 AI의 잠재력을 최대한 끌어내는 방법을 모색하고, 그 기능을 평가하기 위한 새로운 방법론이 필요합니다"라고 강조했다. 한편 구글은 응답하지 않았다.

의식이란 무엇인가?

AI 의식을 연구하는 데 있어 어려운 과제 중 하나는 의식이 있다는 것이 무엇을 의미하는지 정의하는 것이다. 피터스 교수는 연구의 목적성을 위해 의식의 범위를 주관적 경험이라고도 알려진 '현상적 의식'에 초점을 맞췄다. 이는 사람, 동물 또는 AI 시스템(이들 중 하나가 의식이 있는 것으로 밝혀질 경우)이 되는 것이 어떤 것인지에 대한 주관적 경험이다. 주관적 경험은 명시적 및 묵시적 의미를 내포하고 있는데 전자는 인간의 오감과 감정이고 후자는 기억 처리 과정과 같은 의식이 단계로 넘어가기 위한 무의식적인 작용을 일컫는다.

의식을 생물학적으로 설명하는 신경과학 기반 이론도 다양하다. 그러나 어느 것이 '올바른' 이론인지에 대한 합의는 아직 없다. 따라서 저자들은 프레임워크를 만들기 위해 여러 이론을 사용했다. AI 시스템이 해당 이론들의 많은 측면과 일치하는 방식으로 작동하면 의식이 있을 가능성이 더 크다고 판단하는 의사결정 구조다.

그들은 이것이 단순히 행동 유형 검사를 거치는 것보다 더 나은 접근 방식이라고 주장한다. ChatGPT는 사람의 행동 패턴을 모방하는데 놀라울 정도로 능숙해졌기 때문에 의식이 있는지 묻거나 도전적인 질문을 하고 어떻게 반응하는지 보는 것은 신뢰성이 없다.

영국 브라이턴 인근 서식스대학교의 의식과학센터 소장인 신경과학자 아닐 세스(Anil Seth)는 저자들의 이론 중심적 접근 방식은 좋은 방법이라고 동의했다. 그러나 여러 이론을 관통하는 "더 정확하고 잘 검증된 테스트가 필요하다"라고 말했다.

이론 중심 접근

저자들은 의식이 뉴런, 컴퓨터 칩 등 그 구성 요소와 관계없이 시스템이 정보를 처리하는 방식과 관련이 있다고 가정했다. 이러한 접근 방식을 계산기능주의(Computational functionalism)라고 한다. 또한 신경과학 기반 의식 이론도 AI에 적용할 수 있다고 전제했다. 신경과학 기반 의식 이론은 사람과 동물의 뇌를 스캔하는 것과 같은 기술로 연구가 이뤄지는 학문이다.

연구팀은 위의 가정을 바탕으로 6가지 이론을 채택하고 이로부터 14가지 의식 측정 목록을 추출했다. 6개 이론 중 하나인 '전역작업공간' 이론(Global workspace theory)은 인간과 다른 동물이 보고 듣는 것과 같은 인지 작업을 수행하기 위해 모듈이라는 시스템을 사용한다고 가정한다. 이러한 모듈은 독립적으로 작동하지만 병렬로 작업을 처리하고 단일 시스템으로 통합되어 정보를 공유한다. 롱 교수는 특정 AI 시스템이 이 이론에서 파생된 지표에 부합하는지 평가하는 방법은 "시스템의 아키텍처와 정보가 어떻게 흐르는지를 살펴보는 것"이라고 설명했다.

세스 소장은 연구의 투명성에 깊은 인상을 받았다. "매우 사려 깊고 과장되지 않으며 가정이 정말 명확합니다"라고 그는 감탄했다. "일부 가정에 동의하지 않지만 괜찮습니다. 제가 틀렸을 수도 있죠."

저자들은 이 논문이 AI 시스템의 의식을 평가하는 방법에 대한 최종적인 견해가 아니며, 다른 연구자들이 방법론을 개선하는 데 도움을 주기를 바란다고 전했다. 또한 이 항목들을 기존 AI 시스템에 적용하는 것도 이미 가능하며 보고서에서는 ChatGPT와 같은 대규모 언어 모델은 전역작업공간 이론과 관련된 지표 중 일부를 가지고 있음을 발견했다고 밝혔다. 그러나 아직은 강력한 후보가 나타나지 않았다고 얘기했다.

---

Science fiction has long entertained the idea of artificial intelligence becoming conscious — think of HAL 9000, the supercomputer-turned-villain in the 1968 film 2001: A Space Odyssey. With the rapid progress of artificial intelligence (AI), that possibility is becoming less and less fantastical, and has even been acknowledged by leaders in AI. Last year, for instance, Ilya Sutskever, chief scientist at OpenAI, the company behind the chatbot ChatGPT, tweeted that some of the most cutting-edge AI networks might be “slightly conscious”.

Many researchers say that AI systems aren’t yet at the point of consciousness, but that the pace of AI evolution has got them pondering: how would we know if they were?

To answer this, a group of 19 neuroscientists, philosophers and computer scientists have come up with a checklist of criteria that, if met, would indicate that a system has a high chance of being conscious. They published their provisional guide earlier this week in the arXiv preprint repository1, ahead of peer review. The authors undertook the effort because “it seemed like there was a real dearth of detailed, empirically grounded, thoughtful discussion of AI consciousness,” says co-author Robert Long, a philosopher at the Center for AI Safety, a research non-profit organization in San Francisco, California.

The team says that a failure to identify whether an AI system has become conscious has important moral implications. If something has been labelled ‘conscious’, according to co-author Megan Peters, a neuroscientist at the University of California, Irvine, “that changes a lot about how we as human beings feel that entity should be treated”.

Long adds that, as far as he can tell, not enough effort is being made by the companies building advanced AI systems to evaluate the models for consciousness and make plans for what to do if that happens. “And that’s in spite of the fact that, if you listen to remarks from the heads of leading labs, they do say that AI consciousness or AI sentience is something they wonder about,” he adds.

Nature reached out to two of the major technology firms involved in advancing AI — Microsoft and Google. A spokesperson for Microsoft said that the company’s development of AI is centred on assisting human productivity in a responsible way, rather than replicating human intelligence. What’s clear since the introduction of GPT-4 — the most advanced version of ChatGPT released publicly — “is that new methodologies are required to assess the capabilities of these AI models as we explore how to achieve the full potential of AI to benefit society as a whole”, the spokesperson said. Google did not respond.

WHAT IS CONSCIOUSNESS?
One of the challenges in studying consciousness in AI is defining what it means to be conscious. Peters says that for the purposes of the report, the researchers focused on ‘phenomenal consciousness’, otherwise known as the subjective experience. This is the experience of being — what it’s like to be a person, an animal or an AI system (if one of them does turn out to be conscious).

There are many neuroscience-based theories that describe the biological basis of consciousness. But there is no consensus on which is the ‘right’ one. To create their framework, the authors therefore used a range of these theories. The idea is that if an AI system functions in a way that matches aspects of many of these theories, then there is a greater likelihood that it is conscious.

They argue that this is a better approach for assessing consciousness than simply putting a system through a behavioural test — say, asking ChatGPT whether it is conscious, or challenging it and seeing how it responds. That’s because AI systems have become remarkably good at mimicking humans.

The group’s approach, which the authors describe as theory-heavy, is a good way to go, according to neuroscientist Anil Seth, director of the centre for consciousness science at the University of Sussex near Brighton, UK. What it highlights, however, “is that we need more precise, well-tested theories of consciousness”, he says.

A THEORY-HEAVY APPROACH
To develop their criteria, the authors assumed that consciousness relates to how systems process information, irrespective of what they are made of — be it neurons, computer chips or something else. This approach is called computational functionalism. They also assumed that neuroscience-based theories of consciousness, which are studied through brain scans and other techniques in humans and animals, can be applied to AI.

On the basis of these assumptions, the team selected six of these theories and extracted from them a list of consciousness indicators. One of them — the global workspace theory — asserts, for example, that humans and other animals use many specialized systems, also called modules, to perform cognitive tasks such as seeing and hearing. These modules work independently, but in parallel, and they share information by integrating into a single system. A person would evaluate whether a particular AI system displays an indicator derived from this theory, Long says, “by looking at the architecture of the system and how the information flows through it”.

Seth is impressed with the transparency of the team’s proposal. “It’s very thoughtful, it’s not bombastic and it makes its assumptions really clear,” he says. “I disagree with some of the assumptions, but that’s totally fine, because I might well be wrong.”

The authors say that the paper is far from a final take on how to assess AI systems for consciousness, and that they want other researchers to help refine their methodology. But it’s already possible to apply the criteria to existing AI systems. The report evaluates, for example, large language models such as ChatGPT, and finds that this type of system arguably has some of the indicators of consciousness associated with global workspace theory. Ultimately, however, the work does not suggest that any existing AI system is a strong candidate for consciousness — at least not yet.