AI와 경쟁하면서 공존할 수 있는 새로운 틈새 개척 필수
탐욕스러운 인간과 AI의 결합을 막고 불평등 완화해야
인공지능의 개발과 사용에 대한 구체적인 규정 마련 필요

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

인공지능이 인간을 멸종시킬 수 있다는 전문가들의 경고가 끊임없이 이어지고 있다. 정확히 어떻게 이런 일이 일어날지는 모르지만, 지능형 로봇이 스스로 더 많은 것을 만들고, 자체 디자인을 개선하며 이익을 추구할 수 있다는 주장의 가능성은 높아 보인다. 그리고 이는 인류에게 잠재적인 위협으로 다가올 수 있다.

독립적으로 행동하고 스스로 설계를 업그레이드할 수 있는 기계는 박테리아, 동물, 식물과 같은 진화 법칙을 따를 것으로 예상된다. 진화의 역사가 인공지능이 어떻게 발전할지, 그리고 인간이 어떻게 인공지능의 부상에서 살아남을 수 있을지에 대해 중요한 통찰을 제공할 수 있다.

장기적으로 AI와 경쟁하고 단기적으로 불평등 악화 피해야

공짜 점심은 없다. 오늘날 많은 인간이 더 편안하고 풍요로운 삶을 살고 있지만, AI는 효율과 편리함을 가져다주는 동시에 경쟁을 통해 인간을 담금질할 것이다. 대부분의 유기체는 생존의 벼랑 끝에서 최선을 다해 살아가는 사실을 기억해야 한다. 진화론적인 관점에서 인간도 예외가 될 수 없다.

인간이 더 이상 경제에 크게 기여하지 않는 미래에 AI가 운영하는 두 개의 국가가 있다고 상상해 보자. 한 국가는 국민의 모든 쾌락적 욕구를 충족시키는 데 전념하고, 다른 하나는 인간에게 더 적은 에너지를 투입하고 자원을 확보해서 기술을 개선하는 데 더 집중했다. 후자는 시간이 지남에 따라 더욱 강력해지고, 후자가 전자를 장악할 것이다. 그리고 결국에는 인간을 완전히 없애기로 할 수도 있다. 이 시나리오의 핵심은 경쟁이다. 인간은 경제적으로 중요한 역할을 유지하기 위해 지속해서 노력해야 한다. 안타깝지만 적자생존의 비결은 거창하지 않고, 우리 스스로 적극적으로 노력하는 것이 유일한 방법이다.

또 다른 인사이트는 진화가 점진적이라는 것이다. 다세포 동물의 진화에서 이를 확인할 수 있다. 지구 역사의 대부분은 주로 단세포 생물로 이루어져 있었다. 낮은 산소 농도는 대규모 다세포 유기체가 살기에 부적합한 환경이었기 때문이다. 하지만 산소 농도가 오르더라도 세상이 갑자기 레드우드와 고래, 인간으로 가득 찬 것은 아니다. 나무나 포유류와 같은 복잡한 구조를 구축하려면 정교한 유전자 네트워크와 접착 및 통신을 위한 세포 메커니즘을 비롯한 많은 능력이 요구된다. 이러한 능력은 시간이 지남에 따라 조금씩 생겨났다.

AI도 점진적으로 발전할 가능성이 높다. 순수한 로봇 문명이 새롭게 생겨나기보다는 AI가 이미 세상에 존재하는 사물에 통합될 가능성이 더 높다. 예를 들어 소유주는 인간이지만 운영과 연구는 기계로 하는 회사를 상상해 볼 수 있다. 소유주가 AI에 대한 통제권을 통해 이익을 얻지만, 통제권이 없는 사람은 실직하고 빈곤해지므로 인간 사이에 극심한 불평등을 초래할 수 있다. 따라서 탐욕적인 인간과 AI의 결합은 인류에 대한 즉각적인 위협이 될 가능성이 높다. AI는 본질적으로 지배하려는 욕구가 없으므로 로봇이 세상을 장악한다는 시나리오는 과장된 것이라고 말하기도 한다. 하지만 인간은 분명 그런 욕구가 있으며, 결과적으로 사회의 불평등을 악화할 것이다.

인공지능과 공존할 수 있는 틈새 개척 필요해

지구상에 생명체가 처음 탄생한 이후, 생명체들은 끊임없이 진화해 왔다. 이러한 진화의 과정에서 생명체들은 새로운 틈새를 개척해 왔는데 가장 대표적인 방법은 혁신이다. 혁신은 생명체가 기존에는 할 수 없었던 새로운 능력을 갖추게 되는 것을 의미한다. 예를 들어 다세포 동물은 바다에서 진화하여 주변 환경에 적응하기 위해 퇴적물을 파고 들어가거나 새로운 먹이를 찾아 나섰다. 먹이 종류가 다양해지고 그로 인해 동물의 종류가 더 다양해져서 오늘날과 같은 다양한 생명체가 등장하는 계기가 되었다.

새로운 틈새가 생겨났다고 해서 기존의 모든 틈새가 사라지는 것은 아니다. 박테리아와 기타 단세포 유기체는 동물과 식물이 진화한 후에도 지속되었다. 오늘날 이들 중 일부는 이전과 비슷한 일을 하고 있으며, 실제로 생물 기능의 중추적인 역할을 수행하고 있다. 다른 생물들은 동물의 내장에 사는 것과 같은 새로운 기회를 포착해 생존했다. 그러므로 지구 생명체의 역사는 새로운 틈새 개척의 역사라고 할 수 있다. 혁신과 적응의 과정을 통해 지구는 오늘날과 같은 다양한 생명체가 공존하는 행성이 되었다.

지구 생명체의 진화 과정에서 나타난 새로운 틈새 개척의 사례는 인간에게도 시사하는 바가 크다. 인간은 지구상에서 가장 지능이 높은 생명체이지만, 기후 변화, 환경 오염, 자원 고갈 등 다양한 위협에 직면해 있다. 이러한 위협을 극복하기 위해서는 인간이 혁신을 통해 새로운 틈새를 개척해야 한다. 또한, 인간은 기계와 협력하여 새로운 틈새를 더 빠르게 개척할 수 있는데, 기계는 인간의 노동력을 보조하고 인간은 기계에 창의성을 더할 수 있다. 협력을 통해 인간은 새로운 가치를 창출하고, 지속 가능한 미래를 만들어 나가야 한다.

생물학적 혁신의 역사에서 얻을 수 있는 마지막 교훈은 초기에 일어나는 일이 중요하다는 것이다. 다세포 동물의 진화는 캄브리아기에 폭발적으로 일어났다. '캄브리아기 대폭발'은 5억 년 전 대형 다세포 동물이 매우 다양하게 출현했던 시기이다. 이 초기 동물 중 상당수는 후손을 남기지 못하고 멸종했지만, 살아남은 주요 동물군이 오늘날의 생물학적 세계의 많은 것을 결정했다. 캄브리아기에는 다양한 가능성이 존재했으며, 우리가 현재와 같은 세상을 맞이하게 된 것은 예견된 것이 아니라는 주장이 제기되고 있다. AI의 발전이 이와 같다면, 지금이야말로 우리가 사건을 주도할 수 있는 최대의 레버리지가 있는 시기이다.

규제를 통해 인공지능의 잠재력은 극대화, 위험은 최소화

그러나 그 레버리지를 가져가기 위해선 세부적인 지침들이 정해져야 한다. "인간은 경제적 역할을 유지해야 한다", "인공지능이 불평등을 악화시켜서는 안 된다"와 같은 일반적인 원칙을 세우는 것은 좋은 일이다. 문제는 이러한 원칙을 AI의 개발과 사용에 관한 구체적인 규정으로 바꾸는 것이다. 컴퓨터 과학자들조차 향후 10년, 아니 장기적으로 AI가 어떻게 발전할지 모른다는 사실에도 불구하고 그렇게 해야 한다. 또한 규정을 전 세계에 비교적 일관되게 적용해야 한다.

어려운 일처럼 보인다. 하지만 400만 년 또는 500만 년 전만 해도 두뇌가 작고 상대적으로 유인원과 비슷했던 인류의 조상이 게놈 염기서열을 분석하고 태양계 끝으로 탐사선을 보낼 수 있는 존재로 진화할 것이라고는 아무도 생각하지 못했다. 운이 좋다면 인류는 다시 한번 기회를 잡을 수 있을지도 모른다.

---

Our Evolutionary Past Can Teach Us about AI’s Future

Evolutionary biology offers warnings, and tips, for surviving the advent of artificial intelligence

As artificial intelligence advances, experts have warned about its potential to cause human extinction. Exactly how this might come about is a matter of speculation—but it’s not hard to see that intelligent robots could build more of themselves, improve on their own designs and pursue their own interests. And that could be a threat to humanity.

Last week, an AI Safety Summit was held at Bletchley Park in the U.K. It sought to address some of the threats associated with the most advanced AI technologies, among them “loss of control” risks—the possibility that such systems might become independent.

It’s worth asking what we can predict about such scenarios based on things we already know. Machines able to act independently and upgrade their own designs would be subject to the same evolutionary laws as bacteria, animals and plants. Thus evolution has a lot to teach us about how AI might develop—and how to ensure humans survive its rise.

A first lesson is that, in the long run, there are no free lunches. Unfortunately, that means we can’t expect AI to produce a hedonistic paradise where every human need is met by robot servants. Most organisms live close to the edge of survival, eking out an existence as best they can. Many humans today do live more comfortable and prosperous lives, but evolutionary history suggests that AI could disrupt this. The fundamental reason is competition.

This is an argument that traces back to Darwin, and applies more widely than just to AI. However, it’s easily illustrated using an AI-based scenario. Imagine we have two future AI-run nation-states where humans no longer make significant economic contributions. One slavishly devotes itself to meeting every hedonistic need of its human population. The other puts less energy into its humans and focuses more on acquiring resources and improving its technology. The latter would become more powerful over time. It might take over the first one. And eventually, it might decide to dispense with its humans altogether. The example does not have to be a nation-state for this argument to work; the key thing is the competition. One takeaway from such scenarios is that humans should try to keep their economic relevance. In the long run, the only way to ensure our survival is to actively work toward it ourselves.

Another insight is that evolution is incremental. We can see this in major past innovations such as the evolution of multicellularity. For most of Earth’s history, life consisted mainly of single-celled organisms. Environmental conditions were unsuitable for large multicellular organisms due to low oxygen levels. However, even when the environment became more friendly, the world was not suddenly filled with redwoods and whales and humans. Building a complex structure like a tree or a mammal requires many capabilities, including elaborate gene regulatory networks and cellular mechanisms for adhesion and communication. These arose bit by bit over time.

AI is also likely to advance incrementally. Rather than a pure robot civilization springing up de novo, it’s more likely that AI will integrate itself into things that already exist in our world. The resulting hybrid entities could take many forms; imagine, for example, a company with a human owner but machine-based operations and research. Among other things, arrangements like this would lead to extreme inequality among humans, as owners would profit from their control of AI, while those without such control would become unemployed and impoverished.

Such hybrids are also likely to be where the immediate threat to humanity lies. Some have argued that the “robots take over the world” scenario is overblown because AI will not intrinsically have a desire to dominate. That may be true. However, humans certainly do—and this could be a big part of what they would contribute to a collaboration with machines. With all this in mind, perhaps another principle for us to adopt is that AI should not be allowed to exacerbate inequality in our society.

Contemplating all this may leave one wondering if humans have any long-term prospects at all. Another observation from the history of life on Earth is that major innovations allow life to occupy new niches. Multicellularity evolved in the oceans and enabled novel ways of making a living there. For animals, these included burrowing through sediments and new kinds of predation. This opened up new food options and allowed animals to diversify, eventually leading to the riot of shapes and lifestyles that exist today. Crucially, the creation of new niches does not mean all the old ones go away. After animals and plants evolved, bacteria and other single-celled organisms persisted. Today, some of them do similar things to what they did before (and indeed are central to the functioning of the biosphere). Others have profited from new opportunities such as living in the guts of animals.

Hopefully some possible futures include an ecological niche for humans. After all, some things that humans need (such as oxygen and organic food), machines do not. Maybe we can convince them to go out into the solar system to mine the outer planets and harvest the sun’s energy. And leave the Earth to us.

But we may need to act quickly. A final lesson from the history of biological innovations is that what happens in the beginning matters. The evolution of multicellularity led to the Cambrian explosion, a period more than 500 million years ago when large multicellular animals appeared in great diversity. Many of these early animals went extinct without descendants. Because the ones that survived went on to found major groupings of animals, what happened in this era determined much about the biological world of today. It has been argued that many paths were possible in the Cambrian, and that the world we ended up with was not foreordained. If the development of AI is like that, then now is the time when we have maximum leverage to steer events.

Steering events, however, requires specifics. It is well and good to have general principles like “humans should maintain an economic role,” and “AI should not exacerbate inequality.” The challenge is to turn those into specific regulations regarding the development and use of AI. We’ll need to do that despite the fact that computer scientists themselves don’t know how AI will progress over the next 10 years, much less over the long term. And we’ll also need to apply the regulations we come up with relatively consistently across the world. All of this will require us to act with more coherence and foresight than we’ve demonstrated when dealing with other existential problems such as climate change.

It seems like a tall order. But then again, four or five million years ago, no one would have suspected that our small-brained, relatively apelike ancestors would evolve into something that can sequence genomes and send probes to the edge of the solar system. With luck, maybe we’ll rise to the occasion again.