AI와 경쟁하면서 공존할 수 있는 새로운 틈새 개척 필수
탐욕스러운 인간과 AI의 결합을 막고 불평등 완화해야
인공지능의 개발과 사용에 대한 구체적인 규정 마련 필요

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

인공지능이 인간을 멸종시킬 수 있다는 전문가들의 경고가 끊임없이 이어지고 있다. 정확히 어떻게 이런 일이 일어날지는 모르지만, 지능형 로봇이 스스로 더 많은 것을 만들고, 자체 디자인을 개선하며 이익을 추구할 수 있다는 주장의 가능성은 높아 보인다. 그리고 이는 인류에게 잠재적인 위협으로 다가올 수 있다.

독립적으로 행동하고 스스로 설계를 업그레이드할 수 있는 기계는 박테리아, 동물, 식물과 같은 진화 법칙을 따를 것으로 예상된다. 진화의 역사가 인공지능이 어떻게 발전할지, 그리고 인간이 어떻게 인공지능의 부상에서 살아남을 수 있을지에 대해 중요한 통찰을 제공할 수 있다.

장기적으로 AI와 경쟁하고 단기적으로 불평등 악화 피해야

공짜 점심은 없다. 오늘날 많은 인간이 더 편안하고 풍요로운 삶을 살고 있지만, AI는 효율과 편리함을 가져다주는 동시에 경쟁을 통해 인간을 담금질할 것이다. 대부분의 유기체는 생존의 벼랑 끝에서 최선을 다해 살아가는 사실을 기억해야 한다. 진화론적인 관점에서 인간도 예외가 될 수 없다.

인간이 더 이상 경제에 크게 기여하지 않는 미래에 AI가 운영하는 두 개의 국가가 있다고 상상해 보자. 한 국가는 국민의 모든 쾌락적 욕구를 충족시키는 데 전념하고, 다른 하나는 인간에게 더 적은 에너지를 투입하고 자원을 확보해서 기술을 개선하는 데 더 집중했다. 후자는 시간이 지남에 따라 더욱 강력해지고, 후자가 전자를 장악할 것이다. 그리고 결국에는 인간을 완전히 없애기로 할 수도 있다. 이 시나리오의 핵심은 경쟁이다. 인간은 경제적으로 중요한 역할을 유지하기 위해 지속해서 노력해야 한다. 안타깝지만 적자생존의 비결은 거창하지 않고, 우리 스스로 적극적으로 노력하는 것이 유일한 방법이다.

또 다른 인사이트는 진화가 점진적이라는 것이다. 다세포 동물의 진화에서 이를 확인할 수 있다. 지구 역사의 대부분은 주로 단세포 생물로 이루어져 있었다. 낮은 산소 농도는 대규모 다세포 유기체가 살기에 부적합한 환경이었기 때문이다. 하지만 산소 농도가 오르더라도 세상이 갑자기 레드우드와 고래, 인간으로 가득 찬 것은 아니다. 나무나 포유류와 같은 복잡한 구조를 구축하려면 정교한 유전자 네트워크와 접착 및 통신을 위한 세포 메커니즘을 비롯한 많은 능력이 요구된다. 이러한 능력은 시간이 지남에 따라 조금씩 생겨났다.

AI도 점진적으로 발전할 가능성이 높다. 순수한 로봇 문명이 새롭게 생겨나기보다는 AI가 이미 세상에 존재하는 사물에 통합될 가능성이 더 높다. 예를 들어 소유주는 인간이지만 운영과 연구는 기계로 하는 회사를 상상해 볼 수 있다. 소유주가 AI에 대한 통제권을 통해 이익을 얻지만, 통제권이 없는 사람은 실직하고 빈곤해지므로 인간 사이에 극심한 불평등을 초래할 수 있다. 따라서 탐욕적인 인간과 AI의 결합은 인류에 대한 즉각적인 위협이 될 가능성이 높다. AI는 본질적으로 지배하려는 욕구가 없으므로 로봇이 세상을 장악한다는 시나리오는 과장된 것이라고 말하기도 한다. 하지만 인간은 분명 그런 욕구가 있으며, 결과적으로 사회의 불평등을 악화할 것이다.

인공지능과 공존할 수 있는 틈새 개척 필요해

지구상에 생명체가 처음 탄생한 이후, 생명체들은 끊임없이 진화해 왔다. 이러한 진화의 과정에서 생명체들은 새로운 틈새를 개척해 왔는데 가장 대표적인 방법은 혁신이다. 혁신은 생명체가 기존에는 할 수 없었던 새로운 능력을 갖추게 되는 것을 의미한다. 예를 들어 다세포 동물은 바다에서 진화하여 주변 환경에 적응하기 위해 퇴적물을 파고 들어가거나 새로운 먹이를 찾아 나섰다. 먹이 종류가 다양해지고 그로 인해 동물의 종류가 더 다양해져서 오늘날과 같은 다양한 생명체가 등장하는 계기가 되었다.

새로운 틈새가 생겨났다고 해서 기존의 모든 틈새가 사라지는 것은 아니다. 박테리아와 기타 단세포 유기체는 동물과 식물이 진화한 후에도 지속되었다. 오늘날 이들 중 일부는 이전과 비슷한 일을 하고 있으며, 실제로 생물 기능의 중추적인 역할을 수행하고 있다. 다른 생물들은 동물의 내장에 사는 것과 같은 새로운 기회를 포착해 생존했다. 그러므로 지구 생명체의 역사는 새로운 틈새 개척의 역사라고 할 수 있다. 혁신과 적응의 과정을 통해 지구는 오늘날과 같은 다양한 생명체가 공존하는 행성이 되었다.

지구 생명체의 진화 과정에서 나타난 새로운 틈새 개척의 사례는 인간에게도 시사하는 바가 크다. 인간은 지구상에서 가장 지능이 높은 생명체이지만, 기후 변화, 환경 오염, 자원 고갈 등 다양한 위협에 직면해 있다. 이러한 위협을 극복하기 위해서는 인간이 혁신을 통해 새로운 틈새를 개척해야 한다. 또한, 인간은 기계와 협력하여 새로운 틈새를 더 빠르게 개척할 수 있는데, 기계는 인간의 노동력을 보조하고 인간은 기계에 창의성을 더할 수 있다. 협력을 통해 인간은 새로운 가치를 창출하고, 지속 가능한 미래를 만들어 나가야 한다.

생물학적 혁신의 역사에서 얻을 수 있는 마지막 교훈은 초기에 일어나는 일이 중요하다는 것이다. 다세포 동물의 진화는 캄브리아기에 폭발적으로 일어났다. '캄브리아기 대폭발'은 5억 년 전 대형 다세포 동물이 매우 다양하게 출현했던 시기이다. 이 초기 동물 중 상당수는 후손을 남기지 못하고 멸종했지만, 살아남은 주요 동물군이 오늘날의 생물학적 세계의 많은 것을 결정했다. 캄브리아기에는 다양한 가능성이 존재했으며, 우리가 현재와 같은 세상을 맞이하게 된 것은 예견된 것이 아니라는 주장이 제기되고 있다. AI의 발전이 이와 같다면, 지금이야말로 우리가 사건을 주도할 수 있는 최대의 레버리지가 있는 시기이다.

규제를 통해 인공지능의 잠재력은 극대화, 위험은 최소화

그러나 그 레버리지를 가져가기 위해선 세부적인 지침들이 정해져야 한다. "인간은 경제적 역할을 유지해야 한다", "인공지능이 불평등을 악화시켜서는 안 된다"와 같은 일반적인 원칙을 세우는 것은 좋은 일이다. 문제는 이러한 원칙을 AI의 개발과 사용에 관한 구체적인 규정으로 바꾸는 것이다. 컴퓨터 과학자들조차 향후 10년, 아니 장기적으로 AI가 어떻게 발전할지 모른다는 사실에도 불구하고 그렇게 해야 한다. 또한 규정을 전 세계에 비교적 일관되게 적용해야 한다.

어려운 일처럼 보인다. 하지만 400만 년 또는 500만 년 전만 해도 두뇌가 작고 상대적으로 유인원과 비슷했던 인류의 조상이 게놈 염기서열을 분석하고 태양계 끝으로 탐사선을 보낼 수 있는 존재로 진화할 것이라고는 아무도 생각하지 못했다. 운이 좋다면 인류는 다시 한번 기회를 잡을 수 있을지도 모른다.

Our Evolutionary Past Can Teach Us about AI’s Future

Evolutionary biology offers warnings, and tips, for surviving the advent of artificial intelligence

As artificial intelligence advances, experts have warned about its potential to cause human extinction. Exactly how this might come about is a matter of speculation—but it’s not hard to see that intelligent robots could build more of themselves, improve on their own designs and pursue their own interests. And that could be a threat to humanity.

Last week, an AI Safety Summit was held at Bletchley Park in the U.K. It sought to address some of the threats associated with the most advanced AI technologies, among them “loss of control” risks—the possibility that such systems might become independent.

It’s worth asking what we can predict about such scenarios based on things we already know. Machines able to act independently and upgrade their own designs would be subject to the same evolutionary laws as bacteria, animals and plants. Thus evolution has a lot to teach us about how AI might develop—and how to ensure humans survive its rise.

A first lesson is that, in the long run, there are no free lunches. Unfortunately, that means we can’t expect AI to produce a hedonistic paradise where every human need is met by robot servants. Most organisms live close to the edge of survival, eking out an existence as best they can. Many humans today do live more comfortable and prosperous lives, but evolutionary history suggests that AI could disrupt this. The fundamental reason is competition.

This is an argument that traces back to Darwin, and applies more widely than just to AI. However, it’s easily illustrated using an AI-based scenario. Imagine we have two future AI-run nation-states where humans no longer make significant economic contributions. One slavishly devotes itself to meeting every hedonistic need of its human population. The other puts less energy into its humans and focuses more on acquiring resources and improving its technology. The latter would become more powerful over time. It might take over the first one. And eventually, it might decide to dispense with its humans altogether. The example does not have to be a nation-state for this argument to work; the key thing is the competition. One takeaway from such scenarios is that humans should try to keep their economic relevance. In the long run, the only way to ensure our survival is to actively work toward it ourselves.

Another insight is that evolution is incremental. We can see this in major past innovations such as the evolution of multicellularity. For most of Earth’s history, life consisted mainly of single-celled organisms. Environmental conditions were unsuitable for large multicellular organisms due to low oxygen levels. However, even when the environment became more friendly, the world was not suddenly filled with redwoods and whales and humans. Building a complex structure like a tree or a mammal requires many capabilities, including elaborate gene regulatory networks and cellular mechanisms for adhesion and communication. These arose bit by bit over time.

AI is also likely to advance incrementally. Rather than a pure robot civilization springing up de novo, it’s more likely that AI will integrate itself into things that already exist in our world. The resulting hybrid entities could take many forms; imagine, for example, a company with a human owner but machine-based operations and research. Among other things, arrangements like this would lead to extreme inequality among humans, as owners would profit from their control of AI, while those without such control would become unemployed and impoverished.

Such hybrids are also likely to be where the immediate threat to humanity lies. Some have argued that the “robots take over the world” scenario is overblown because AI will not intrinsically have a desire to dominate. That may be true. However, humans certainly do—and this could be a big part of what they would contribute to a collaboration with machines. With all this in mind, perhaps another principle for us to adopt is that AI should not be allowed to exacerbate inequality in our society.

Contemplating all this may leave one wondering if humans have any long-term prospects at all. Another observation from the history of life on Earth is that major innovations allow life to occupy new niches. Multicellularity evolved in the oceans and enabled novel ways of making a living there. For animals, these included burrowing through sediments and new kinds of predation. This opened up new food options and allowed animals to diversify, eventually leading to the riot of shapes and lifestyles that exist today. Crucially, the creation of new niches does not mean all the old ones go away. After animals and plants evolved, bacteria and other single-celled organisms persisted. Today, some of them do similar things to what they did before (and indeed are central to the functioning of the biosphere). Others have profited from new opportunities such as living in the guts of animals.

Hopefully some possible futures include an ecological niche for humans. After all, some things that humans need (such as oxygen and organic food), machines do not. Maybe we can convince them to go out into the solar system to mine the outer planets and harvest the sun’s energy. And leave the Earth to us.

But we may need to act quickly. A final lesson from the history of biological innovations is that what happens in the beginning matters. The evolution of multicellularity led to the Cambrian explosion, a period more than 500 million years ago when large multicellular animals appeared in great diversity. Many of these early animals went extinct without descendants. Because the ones that survived went on to found major groupings of animals, what happened in this era determined much about the biological world of today. It has been argued that many paths were possible in the Cambrian, and that the world we ended up with was not foreordained. If the development of AI is like that, then now is the time when we have maximum leverage to steer events.

Steering events, however, requires specifics. It is well and good to have general principles like “humans should maintain an economic role,” and “AI should not exacerbate inequality.” The challenge is to turn those into specific regulations regarding the development and use of AI. We’ll need to do that despite the fact that computer scientists themselves don’t know how AI will progress over the next 10 years, much less over the long term. And we’ll also need to apply the regulations we come up with relatively consistently across the world. All of this will require us to act with more coherence and foresight than we’ve demonstrated when dealing with other existential problems such as climate change.

It seems like a tall order. But then again, four or five million years ago, no one would have suspected that our small-brained, relatively apelike ancestors would evolve into something that can sequence genomes and send probes to the edge of the solar system. With luck, maybe we’ll rise to the occasion again.

영국 AI 안전 서밋, 규제 방법에 대한 엇갈린 반응
미래의 위험보다 현재의 위험에 초점을 맞춰야 해
사람을 보호하기 위해 정부와 기업의 협력 필요 

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

전 세계 정부 및 업계 리더 150여 명이 이번 주 영국의 AI 안전 서밋에 참석하기 위해 영국을 찾았다. 이 회의는 인공지능을 규제하는 방법에 대한 전 세계적인 대화의 장을 마련했다. 11월 1일 28개국과 유럽연합의 대표들은 영국 블레츨리의 블레츨리 공원에서 정상회의 장소의 이름을 딴 '블레츨리 선언'이라는 협정에 서명하고 AI를 안전하게 배포하는 방법에 대해 계속 논의하기로 합의했다.

현실적인 위험 논의 부족 지적, 블레츨리 선언의 실효성 부재

블레츨리 선언 이후, 11개의 참석 단체는 공개서한을 발표하여 이번 정상회의가 미래의 잠재적 위험에 초점을 맞추면서 실효성이 없는 주제를 늘어놓고 현실적이고 실질적인 AI 위험을 간과했다고 비판했다. 테러리스트나 사이버 범죄자가 생성형 AI를 이용하거나 AI가 지각을 갖게 되어 인간의 통제를 벗어나 우리 모두를 노예로 만들 수 있다는 공상과학적인 생각 등 요란한 주제들 대신, 차별, 경제적 지위 이동, 착취 및 편견을 포함하여 AI의 현실적이고 실질적인 위험에 대해서 건설적인 논의가 더 이뤄져야 한다고 강조했다.

서명자 중 한 명이자 민주주의기술센터(CDT)의 CEO인 알렉산드라 리브 기번스(Alexandra Reeve Givens)도 정상회담이 장기적 안전 피해라는 주제로 좁혀지는 것을 우려했다. 이는 정책 결정자와 기업들이 사람들의 권리에 이미 영향을 미치고 있는 사안으로부터 주의를 분산시킬 수 있기 때문이라고 설명했다. 그녀는 AI가 매우 빠르게 발전하고 있으므로 이론적인 미래의 위험보다 지금 당장 직면한 위험을 해결하는 법안을 만드는 데 더 큰 노력을 기울여야 한다고 덧붙였다.

실질적 위험 중 일부는 인터넷에서 가져온 데이터로 학습된 생성형 AI 모델에 편견이 포함되어 있기 때문에 발생한다. 특정 그룹에 유리하고 다른 그룹에 불리한 결과를 생성하는데, 예를 들어 이미지 생성 AI에 CEO나 비즈니스 리더의 사진을 만들어 달라고 요청하면 중년 백인 남성의 사진이 생성되는 경향이 있다. CDT의 자체 연구에 따르면 편향 문제 이외에도 대부분의 모델 학습 데이터가 영어로 되어 있으므로 비영어권 사용자가 생성형 AI를 사용할 때 불리한 점이 많다고 전했다.

기업 이익 우선 정책 우려, 독립적 규제 필요성 대두

그런데도 ChatGPT를 개발한 OpenAI를 비롯한 일부 선진 AI 기업들은 더 먼 미래의 위험 시나리오를 우선시하고 있다. 공개서한에 서명한 많은 사람은 AI 산업이 블레츨리 파크 정상 회담과 같은 주요 관련 행사를 형성하는 데 막대한 영향력을 가지고 있다고 밝혔다. 서밋의 공식 일정에는 최신 생성형 AI 도구에 대해 '프런티어 AI'라는 표현이 사용되었는데, 이는 AI 업계가 자체 단속 단체인 프런티어 모델 포럼(Frontier Model Forum)의 이름을 지을 때 사용한 용어와 유사하다.

규제 관련 이벤트에 영향력을 행사함으로써 선진 AI 기업은 공식적인 AI 정책을 형성하는 데 불균형적인 역할을 수행한다. 이를 '규제 포획'이라고 부르는데 기업의 이익을 우선시하는 정책을 만들기 때문이다. 스탠퍼드대학교 사이버정책센터의 마리에테 샤케(Marietje Schaake) 국제정책 책임자는 "민주적인 절차를 위해 이 과정은 독립적이어야 하며 기업에 의해 포획될 수 있는 가능성을 배제 시켜야 한다"라고 강조했다.

권리 기반 접근을 택해야 정책 결정자들이 더 합리적인 선택할 수 있어

허깅 페이스의 마가렛 미첼(Margaret Mitchell) 수석윤리과학자는 AI의 위험에 초점을 맞추는 것조차 사람들을 희생시키면서 기업에 지나치게 도움이 되는 것은 아닌지 걱정된다고 밝혔다. 그녀는 기술이 아닌 사람에 초점을 맞춰야 한다고 말한다. 즉 기술이 어떤 나쁜 영향을 미칠 수 있으며 이를 어떻게 분류할 것인가에 집중하기보다는 어떻게 사람을 보호해야 하는가에 더 큰 노력을 기울여야 한다는 것이다. 그녀가 위험 기반 접근 방식에 대해 신중을 기하게 된 것은 기타 유사한 행사에서 많은 기업들이 이러한 접근 방식에 기꺼이 서명하는 모습을 발견했기 때문이라고 전했다.

특히 인권에 초점을 맞추면 정치인과 규제 당국이 더 편안하게 느낄 수 있는 영역에서 대화가 이루어질 수 있다. 이를 통해 의원들이 AI의 위험으로부터 더 많은 사람을 보호하기 위한 법안을 만들고, 수십억 달러의 투자를 보호하고자 하는 기술 기업에도 타협점을 제시할 수 있게 된다. 정부가 권리에 초점을 맞추면 정부가 가장 자신이 있는 하향식 규제와 개발자가 가장 자신이 있는 상향식 규제를 혼합할 수 있기 때문이다. AI의 위협 자체가 주목받을수록 기술 중심의 해석이 중요해지고 이는 곧 기술에 대한 지식이 많은 기업에 더 유리한 협상이 될 수밖에 없는 것이다.

AI Needs Rules, but Who Will Get to Make Them?

Skirmishes at the U.K.’s AI Safety Summit expose tensions over how to regulate AI technology

About 150 government and industry leaders from around the world, including Vice President Kamala Harris and billionaire Elon Musk, descended on England this week for the U.K.’s AI Safety Summit. The meeting acted as the focal point for a global conversation about how to regulate artificial intelligence. But for some experts, it also highlighted the outsize role that AI companies are playing in that conversation—at the expense of many who stand to be affected but lack a financial stake in AI’s success.

On November 1 representatives from 28 countries and the European Union signed a pact called the Bletchley Declaration (named after the summit’s venue, Bletchley Park in Bletchley, England), in which they agreed to keep deliberating on how to safely deploy AI. But for one in 10 of the forum’s participants, many of whom represented civil society organizations, the conversation taking place in the U.K. hasn’t been good enough.

Following the Bletchley Declaration, 11 organizations in attendance released an open letter saying that the summit was doing a disservice to the world by focusing on future potential risks—such as the terrorists or cybercriminals co-opting generative AI or the more science-fictional idea that AI could become sentient, wriggle free of human control and enslave us all. The letter said the summit overlooked the already real and present risks of AI, including discrimination, economic displacement, exploitation and other kinds of bias.

“We worried that the summit’s narrow focus on long-term safety harms might distract from the urgent need for policymakers and companies to address ways that AI systems are already impacting people’s rights,” says Alexandra Reeve Givens, one of the statement’s signatories and CEO of the nonprofit Center for Democracy & Technology (CDT). With AI developing so quickly, she says, focusing on rules to avoid theoretical future risks takes up effort that many feel could be better spent writing legislation that addresses the dangers in the here and now.

Some of these harms arise because generative AI models are trained on data sourced from the Internet, which contain bias. As a result, such models produce results that favor certain groups and disadvantage others. If you ask an image-generating AI to produce depictions of CEOs or business leaders, for instance, it will show users photographs of middle-aged white men. The CDT’s own research, meanwhile, highlights how non-English speakers are disadvantaged by the use of generative AI because the majority of models’ training data are in English.

More distant future-risk scenarios are clearly a priority, however, for some powerful AI companies, including OpenAI, which developed ChatGPT. And many who signed the open letter think the AI industry has an outsize influence in shaping major relevant events such as the Bletchley Park summit. For instance, the summit’s official schedule described the current raft of generative AI tools with the phrase “frontier AI,” which echoes the terminology used by the AI industry in naming its self-policing watchdog, the Frontier Model Forum.

By exerting influence on such events, powerful companies also play a disproportionate role in shaping official AI policy—a type of situation called “regulatory capture.” As a result, those policies tend to prioritize company interests. “In the interest of having a democratic process, this process should be independent and not an opportunity for capture by companies,” says Marietje Schaake, international policy director at Stanford University’s Cyber Policy Center.

For one example, most private companies do not prioritize open-source AI (although there are exceptions, such as Meta’s LLaMA model). In the U.S., two days before the start of the U.K. summit, President Joe Biden issued an executive order that included provisions that some in academia saw as favoring private-sector players at the expense of open-source AI developers. “It could have huge repercussions for open-source [AI], open science and the democratization of AI,” says Mark Riedl, an associate professor of computing at the Georgia Institute of Technology. On October 31 the nonprofit Mozilla Foundation issued a separate open letter that emphasized the need for openness and safety in AI models. Its signatories included Yann LeCun, a professor of AI at New York University and Meta’s chief AI scientist.

Some experts are only asking regulators to extend the conversation beyond AI companies’ primary worry—existential risk at the hands of some future artificial general intelligence (AGI)—to a broader catalog of potential harms. For others, even this broader scope isn’t good enough.

“While I completely appreciate the point about AGI risks being a distraction and the concern about corporate co-option, I’m starting to worry that even trying to focus on risks is overly helpful to corporations at the expense of people,” says Margaret Mitchell, chief ethics scientist at AI company Hugging Face. (The company was represented at the Bletchley Park summit, but Mitchell herself was in the U.S. at a concurrent forum held by Senator Chuck Schumer of New York State at the time.)

“AI regulation should focus on people, not technology,” Mitchell says. “And that means [having] less of a focus on ‘What might this technology do badly, and how do we categorize that?’ and more of a focus on ‘How should we protect people?’” Mitchell’s circumspection toward the risk-based approach arose in part because so many companies were so willing to sign up to that approach at the U.K. summit and other similar events this week. “It immediately set off red flags for me,” she says, adding that she made a similar point at Schumer’s forum.

Mitchell advocates for taking a rights-based approach to AI regulation rather than a risk-based one. So does Chinasa T. Okolo, a fellow at the Brookings Institution, who attended the U.K. event. “Primary conversations at the summit revolve around the risks that ‘frontier models’ pose to society,” she says, “but leave out the harms that AI causes to data labelers, the workers who are arguably the most essential to AI development.”

Focusing specifically on human rights situates the conversation in an area where politicians and regulators may feel more comfortable. Mitchell believes this will help lawmakers confidently craft legislation to protect more people who are at risk of harm from AI. It could also provide a compromise for the tech companies that are so keen to protect their incumbent positions—and their billions of dollars of investments. “By government focusing on rights and goals, you can mix top-down regulation, where government is most qualified,” she says, “with bottom-up regulation, where developers are most qualified.”

선호투표제는 '스포일러 효과'를 완화하고 유권자의 의사를 더 효과적으로 반영
그러나 어떤 순위 선택 투표 방식도 완벽하지 않고 직관에 반하는 결과도 초래해
후보자에 점수를 매기는 카디널 투표도 선거 시스템의 개선 방안이 될 수 있어

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

제3당 대선 후보들은 종종 주요 정당 중 하나의 표를 '훔쳐서' 선거를 망친다는 비난을 받곤 한다. 하지만 사회 선택 이론(social choice theory)의 수학적 접근을 통해 선거 시스템을 개선할 수 있는 여지가 있다.

역사적으로 박빙의 승부를 펼쳤던 고어 대 부시 미국 대통령 선거에서 랠프 네이더의 녹색당이 민주당 성향의 진보 표를 상당히 잠식한 것으로 분석됐었다. 불과 수천 표 차이로 재검표까지 실시했던 플로리다주에서 랠프 네이더가 수만 표를 얻어 결과적으로 민주당 지지자들로부터 부시 당선의 일등 공신, 선거 훼방꾼이라는 비난을 듣기도 하였다.

선호투표제의 투표 집계 방식과 각각의 예외성

사회 선택 이론가들은 '선호투표제'가 위의 스포일러 효과를 완화하는 동시에 유권자들이 투표에서 더 많은 목소리를 낼 수 있는 대안적인 선거 시스템이라고 제안했다. 선호투표제는 몇 가지 분명한 장점이 있다. 그러나 경제학의 오래된 정리에 따르면 선호투표제를 사용하려는 모든 시도는 직관에 반하는 결과를 동반할 가능성이 존재한다.

선호투표제는 단일 후보에게만 투표하는 것이 아니라 선호도 순으로 후보의 순위를 매길 수 있다. 따라서 네이더를 지지하고 싶지만, 고어의 표도 지키고 싶은 유권자는 고어를 2순위로 선택할 수 있다. 네이더가 충분한 표를 얻지 못해 떨어지더라도 고어가 2위를 차지하면 선거에서 여전히 유리할 수 있다. 또한 선호투표제의 지지자들은 순위 투표가 악의적인 진흙탕 싸움을 자초하는 선거 전략을 막을 수 있다고 주장한다. 그 이유는 일반적인 선거와 달리 순위 선택 경선에서는 후보자 1등을 주지 않을 유권자까지 포함한 모든 유권자에게 어필해야 하기 때문이다. 현재 메인주와 알래스카주는 대통령 예비선거를 포함한 모든 주와 연방 선거에 선호투표제를 도입하여 여러 후보자가 같은 유권자에게 어필할 기회를 제공하고 있다.

유권자가 후보자 순위를 매긴 후 해당 정보가 어떻게 집계되어야 한 명의 당선자가 결정될까? 그 답은 생각만큼 간단하지 않으며, 여러 가지 방법이 제안됐다. 투표 집계에 대한 세 가지 접근 방식인 상대다수결, 즉시결선, 그리고 콩도르세 방식을 살펴보고 각 방식에 따라 어떤 예상치 못한 결과가 나올 수 있는지 알아보자.

즉시 결선 투표 및 콩도르세 방식과 달리, 상대다수결 방식은 실제로 미국에서 가장 일반적인 투표 방식이며, 1순위 표를 가장 많이 얻은 사람이 당선된다. 하지만 제3당의 선거 스포일러 문제 외에도, 후보자 A가 34%를 득표하고 후보자 B와 C가 각각 33%를 득표했다고 가정했을 때, 다른 모든 유권자의 마지막 선택을 받았더라도 A 후보가 과반수 득표로 당선되는 문제점이 있다. 따라서 상대다수결은 투표를 낭비하고 유권자의 다양한 선호를 무시하는 결과를 낳는다.

이보다 더 나은 방법(그리고 미국에서 시행되는 선호투표제와 오스카 시상식에서 최고의 영화를 선정하는 데 사용되는 방법)은 즉시결선투표입니다. 1순위 득표의 과반수를 얻은 후보가 없는 경우, 1순위 득표가 가장 적은 후보가 고려 대상에서 제외되고 유권자의 다음 선택에 따라 표가 재할당된다(예: 세 후보의 순위가 1위 B, 2위 C, 3위 A이고 1순위 득표가 가장 적은 C 후보가 탈락하는 경우, C의 공백을 메우기 위해 A가 투표용지에서 위로 올라가 1위 B, 2위 A가 된다). 1순위 득표수가 가장 적은 후보를 제거하는 과정은 한 후보가 과반수를 차지할 때까지 반복된다. 즉시결선투표는 상대다수결에 비해 투표 낭비가 적지만, 그 자체로 단점이 있다. 선호하는 후보가 더 많은 1순위 표를 얻으면 패배할 가능성이 더 높은 기이한 상황이 발생할 수 있기 때문이다.

아래 그림(electionscience.org의 예시를 기반으로 함)은 위의 시나리오를 잘 보여준다. 선거 1이라고 하는 가상의 즉시결선선거에서 후보자 A가 승리한다. A와 B의 1순위 득표수는 같지만, 어느 쪽도 당선에 필요한 과반수(17표 중 9표)를 얻지 못했다. 따라서 1순위 득표수가 가장 적은 C는 경합에서 제외되고, C의 부족한 표를 채우도록 투표용지가 조정되어 A 후보가 과반수를 차지하게 된다.

이제 선거 2라는 별도의 시나리오를 상상하자. 선거 1과 같은 방식으로 모든 사람이 투표하고, A를 세 번째 선택에서 첫 번째 선택으로 업그레이드한 두 사람을 제외하고는 투표 순위가 동일하다. 하지만 놀랍게도 A가 이전보다 더 많은 1순위 표를 얻었음에도 C가 새로운 승자로 등극했다. A를 업그레이드하면 B가 다운그레이드되어 B가 가장 적은 1순위 표를 얻은 후보가 되기 때문이다. B가 제거되면 A는 선거 1에서 B와 맞붙었을 때처럼 C와의 대결에서 유리한 고지를 점하지 못하는 상황이 연출된다.

이러한 반직관적인 현상은 2009년 버몬트주 벌링턴의 시장 선거에서 진보당 소속의 밥 키스(Bob Kiss) 후보가 공화당과 민주당 후보를 이긴 사례에서 볼 수 있다. 더 많은 유권자가 키스를 1순위로 선택했다면 그는 즉시결선선거에서 패배했을 것이다.

18세기 프랑스 수학자이자 정치 철학자인 마르퀴스 드 콩도르세(Marquis de Condorcet) 후작의 이름을 딴 콩도르세 방식은 다른 후보와 일대일 대결에서 이길 수 있는 후보를 선출하는 방식이다. 예를 들어, 제삼의 후보가 없는 선거에서 앨 고어가 2000년에 조지 W. 부시를 이겼을 것이라고 가정하면 고어는 제삼자 후보 중 한 명과의 일대일 대결에서도 분명히 승리했을 것이다. 고어가 가상의 일대일 선거에서 모두 승리한다면 그는 콩도르세 후보다. 국민이 모든 상대 후보보다 고어 후보를 선호하기 때문에 그런 후보가 승자가 되는 것은 당연해 보인다. 하지만 콩도르세 후보를 선출하는 데 있어 큰 장애물이 하나 있다. 유권자 선호도는 순환적일 수 있는데 A를 B보다 선호하고 B를 C보다 선호하지만, 또한 C를 A보다 선호할 수도 있다는 설명이다. 이러한 전이성 위반을 콩도르세 역설이라고 부른다.

아래 그림은 앞서 논의한 세 가지 시스템에서 각각 다른 결과를 낳는 선거를 나열했다. 완벽한 순위 선택 투표 시스템이 존재하지 않는 것처럼 보인다. 어쩌면 우리는 기존 제안의 함정을 피하면서 대중의 이익을 최대한 대변하는 이상적인 설계를 아직 발견하지 못했을지도 모른다.

선호투표제의 증명된 한계와 대안

노벨 경제학상을 수상한 경제학자 케네스 애로(Kenneth Arrow)는 이 문제를 연구한 결과, 투표자 순위를 하나의 사회적 순위로 변환하는 합리적인 집계 방법의 최소 요건을 제시했다:

1. 만장일치: 인구의 모든 사람이 후보자 A를 후보자 B보다 높은 순위를 매긴다면 집계자는 후보자 A를 후보자 B보다 높은 순위에 놓아야 한다.
2. 무관한 선택대상으로부터의 독립: 집계 자가 후보자 A를 후보자 B보다 위에 배치한다고 가정한다. 유권자가 순위를 일부 변경했지만, 모든 사람이 A와 B의 상대적 순위를 동일하게 유지한다면, 새로운 집계 순위에서 A는 B보다 위에 유지되어야 한다. A와 B의 사회적 순서는 다른 후보의 순서가 아닌 A와 B의 개별 순서에만 의존해야 한다.
   

애로는 이 두 가지 조건을 모두 만족하는 집계자는 오직 한 가지 유형, 즉 독재체제뿐이라는 '애로의 불가능 정리'로 알려진 놀라운 사실을 증명해 냈다. 여기서 독재형 집계란 같은 단일 투표자의 순위를 항상 모방하는 터무니없는 집계 방식을 의미한다. 독재가 아니라면 아무리 영리하고 복잡한 순위 선택 투표 방식이라도 만장일치와 무관한 선택대상으로부터의 독립을 동시에 만족시킬 수는 없다는 것이다. 이 정리는 어떤 선호투표제 방식도 완벽할 수 없으며, 항상 직관에 반하는 결과와 싸워야 한다는 것을 시사한다.

하지만 애로의 정리가 선호투표제를 폐기해야 한다는 것을 의미하지 않는다. 선호투표제는 여전히 다수결 투표보다 유권자의 의사를 더 많이 반영한다. 단지 집계에 원하는 속성을 골라서 선택해야 하며, 모든 속성을 다 가질 수 없다는 것을 인정해야 한다는 의미다. 이 정리는 모든 선거에 결함이 있다는 것이 아니라, 어떤 선호투표 시스템도 결함에서 벗어날 수 없다는 것을 말한다. 애로는 자신의 결과에 대해 이렇게 말했다 "대부분 시스템이 항상 나쁘게 작동하는 것은 아니다. 제가 증명한 것은 모든 시스템이 때때로 나쁘게 작동할 수 있다는 것이다."

한편 선호투표제만이 선거 시스템을 개선할 수 있는 유일한 방법은 아니다. 단순히 후보자 순위를 매기는 것만으로는 유권자의 선호도에 대한 많은 정보를 얻을 수 없다. 예를 들어 가장 먹고 싶은 음식의 순위를 바닐라 아이스크림 > 초콜릿 아이스크림 > 운동화 순으로 나열해 보면, 이 순위는 내가 바닐라 아이스크림과 초콜릿 아이스크림을 얼마나 좋아하는지, 운동화를 얼마나 싫어하는지에 대한 정보를 전달하지 않기 때문이다. 선호도를 제대로 표현하려면 후보 음식에 점수를 매겨 내가 어떤 음식을 더 선호하는지뿐만 아니라 얼마나 선호하는지 알려야 한다. 이를 카디널 투표 또는 범위 투표라고 하는데, 만병통치약이 아니며 단점도 있지만 순위 선택 투표에만 적용되는 애로의 불가능 정리의 한계를 우회할 수 있다.

많은 사람이 카디널 투표에 익숙하다. 올림픽 심사위원들이 참가자들에게 숫자로 점수를 매겨 최종적으로 총점이 가장 높은 사람을 우승자로 결정하는 방식과 같다. 온라인에서 소비자의 별점을 기준으로 제품을 정렬할 때마다 카디널 선거의 우승자가 표시된다. 고대 스파르타 사람들은 집회에 모여 각 후보를 차례로 외치는 방식으로 지도자를 선출했는데 가장 큰 함성을 받은 사람이 선거에서 승리했다. 현대인의 귀에는 투박하게 들리지만, 사실 이 방식은 초기 형태의 카디널 투표였다. 사람들은 여러 후보자에게 투표하고 군중들의 함성소리에 기여할 수 있는 목소리 크기를 선택해 '점수'를 매긴 것이다. 카디널 투표는 지금까지 논의한 다른 어떤 시스템보다 더 많은 의견을 제시할 수 있음에도 불구하고 현대 선거에서 사용된 적이 없다는 점을 고려하면 의아하다.

Could Math Design the Perfect Electoral System?

Graphics reveal the intricate math behind ranked choice voting and how to design the best electoral system, sometimes with bizarre outcomes

Third-party presidential candidates are often blamed for ruining an election for one of the major political parties by “stealing” votes away from them. But with a little help from the math of social choice theory, elections could embrace the Ralph Naders of the world.

Take the historically tight Gore vs. Bush U.S. presidential election in 2000, when Americans anxiously awaited the resolution of legal battles and a recount that wouldn’t reveal a winner for another month. At the time the Onion published the headline “Recount Reveals Nader Defeated.” Of course Ralph Nader was never a serious contender for office. This led many to suggest that the Green Party candidate, like other third-party politicians, had attracted enough votes away from one of the two major parties to tip the scales against them (in this case the Democrats, who lost the election by just 537 votes).

Ranked choice voting is an alternative electoral system that would mitigate the spoiler effect while giving voters more voice to express themselves at the polls, social choice theorists suggest. Ranked choice voting boasts some obvious advantages. The mathematical discussion over how best to implement it, however, is surprisingly subtle. And an old theorem from economics suggests that all attempts to use ranked choice voting are vulnerable to counterintuitive results.

Rather than voting only for a single candidate, ranked choice voting allows people to rank the candidates in order of preference. This way, if somebody wanted to support Nader but didn’t want to take away a vote from Gore, they could have ranked Gore second at the voting booth. When Nader didn’t amass enough votes, the second place ranking for Gore would still benefit him in the election. Proponents also contend that ranked choice voting disincentivizes vicious mudslinging campaign tactics. That’s because, unlike in typical elections, candidates in ranked choice races would need to appeal to all voters, even those who wouldn’t give them a top spot on the ballot. Currently Maine and Alaska have instituted ranked choice voting for all state and federal elections, including presidential primaries, in which it’s more likely for multiple candidates to appeal to the same voters.

Once voters have ranked candidates, how does that information get aggregated to reveal a single winner? The answer is not as straightforward as it might seem, and many schemes have been proposed. Let’s explore three approaches to vote tallying: plurality, instant runoff and “Condorcet methods,” each of which leads to unexpected behavior.

Unlike instant runoff and Condorcet methods, plurality is not actually a ranked choice voting scheme. In fact, it’s the most common voting method in the U.S.: whoever gains the most first-choice votes wins the election. Plurality can come with unfavorable outcomes. In addition to the problem of third-party election spoilers, imagine if candidate A received 34 percent of the votes, and candidates B and C each received 33 percent. Candidate A would win the plurality even if they were the last choice of every other voter. So 66 percent of the population would have their last pick for president. Plurality wastes votes and ignores the full spectrum of voter preferences.

A better method (and the one used in American implementations of ranked choice voting as well as to select the best picture at the Oscars) is called instant runoff. If no candidate receives more than half of the first-choice votes, then the candidate with the fewest first-choice votes is removed from consideration and their votes get reallocated according to voters’ next choices (e.g., if your ranking of three candidates was 1) B, 2) C, 3) A, and candidate C gets removed for having the fewest first-choice votes, then A will get bumped up in your ballot to fill C’s gap: 1) B, 2) A). The process of removing the candidate with fewest first-choice votes repeats until one candidate has a majority. While instant runoff wastes fewer votes than plurality, it has drawbacks of its own. Bizarre situations can arise where your favorite candidate is more likely to lose if they get more first-choice votes.

The figure below (based on an example from electionscience.org) depicts this scenario. In a hypothetical instant runoff election, called Election 1, candidate A wins. Although A and B have the same number of first-choice votes, neither has the majority required to win (nine out of 17 votes). So C, having the fewest first-choice votes is removed from contention, and the ballots are adjusted to fill C’s gaps, yielding a majority for candidate A.

Now imagine a separate scenario called Election 2, where everybody votes in the same way as in Election 1 except for two people who upgrade A from their third choice to their first choice. Amazingly, even though A won Election 1 and now has more first-choice votes than before, C becomes the new victor. This is because upgrading A results in downgrading B so that B is now the candidate with the fewest first-choice votes. When B is removed, A doesn’t fare as well in a head-to-head against C as they did against B in Election 1.

This counterintuitive phenomenon occurred in Burlington, Vt.’s 2009 mayoral election where Progressive Party member Bob Kiss beat the Republican and Democratic nominees in an instant runoff election. Amazingly, if more voters had placed Kiss first in their ranking, he would have lost the election.

Condorcet methods, named after 18th-century French mathematician and political philosopher Marquis de Condorcet, elect a candidate who would win in a head-to-head election against any other candidate. For example, suppose that in an election without any third-party candidates Al Gore would have beaten George W. Bush in 2000. Gore certainly would have won head-to-head contests with any one of the third-party candidates as well. Gore winning any hypothetical one-on-one election would make him a so-called Condorcet candidate. It seems obvious that such a candidate should be the victor because the population prefers them to all of their opponents. But here’s an important snag in electing Condorcet candidates: they don’t always exist. Voter preferences can be cyclic such that the population prefers A to B and B to C but also prefers C to A. This violation of transitivity is known as the Condorcet paradox (and is reminiscent of intransitive dice, which I wrote about recently).

Several other schemes for amalgamating ranked votes into a winner have been proposed. They each have their pros and cons, and, even more unsettling, the outcome of an election can entirely depend on which system gets used.

The figure shows a simple election yielding different results under each of the three systems we’ve discussed. This comparison leads to a hopeful question: Is there a perfect ranked-choice voting system? Perhaps we just have yet to discover the ideal design that maximally represents the interest of the public while avoiding the pitfalls of existing proposals. Nobel Prize–winning economist Kenneth Arrow investigated this question and came up with bare minimum requirements of any reasonable aggregator, or method that converts voter rankings into one societal ranking:

1. Unanimity: If every person in the population ranks candidate A above candidate B, then the aggregator should put candidate A above candidate B.
2. Independence of irrelevant alternatives: Suppose the aggregator puts candidate A above B. If voters were to change some of their rankings but everybody kept their relative order of A vs. B the same, then A should remain above B in the new aggregate ranking. The societal ordering of A and B should depend only on individual orderings of A and B and not those of other candidates.

The commonsensical list sets a low bar. But Arrow proved a striking fact that has come to be known as Arrow’s impossibility theorem: there is only one type of aggregator that satisfies both conditions, a dictatorship. By a dictatorship, Arrow means a ridiculous aggregator that simply always mimics the rankings of the same single voter. No ranked choice voting scheme, regardless of how clever or complex it is, can simultaneously satisfy unanimity and independence of irrelevant alternatives unless it’s a dictatorship. The theorem suggests that no ranked choice voting scheme is perfect, and we will always have to contend with undesirable or counterintuitive outcomes.

This proof doesn’t mean that we should scrap ranked choice voting. It still does a better job at capturing the will of the electorate than plurality voting. It simply means that we need to pick and choose which properties we want in our aggregator and acknowledge that we can’t have it all. The theorem doesn’t say that every single election will be flawed, but rather that no ranked-choice electoral system is invulnerable to flaws. Arrow has said of his own result: “Most systems are not going to work badly all of the time. All I proved is that all can work badly at times.”

And the idealists among us should not lose hope, because ranked choice voting isn’t the only game in town for souped-up electoral systems. Merely ranking candidates loses a lot of information about voter preferences. For example, here’s a ranking of foods I’d like to eat from most desirable to least: vanilla ice cream > chocolate ice cream > my own sneakers. The ranking conveys no information about just how close my taste for vanilla and chocolate ice cream is nor my distaste for my Nikes. To properly express my desires, I should assign scores to the candidate meals to communicate not only which ones I prefer more but by how much. This is called cardinal voting, or range voting, and although it’s no panacea and has its own shortcomings, it circumvents the limitations imposed by Arrow’s impossibility theorem, which only applies to ranked choice voting.

We’re all familiar with cardinal voting. In Olympic gymnastics, judges decide the winner by giving numeric scores to the competitors, and whoever has the most total points at the end wins. Whenever you sort products by consumers’ star ratings online you’re presented with the winners of a cardinal election. Ancient Spartans elected leaders by gathering in an assembly and shouting for each of the candidates in turn. Whoever received the loudest shouts won the election. While this sounds crude to modern ears, it was actually an early form of cardinal voting. People could vote for multiple candidates and “score” them by choosing what volume of voice to contribute to the roar of the crowd. This is impressive considering that cardinal voting, despite granting the people more input than any of the other systems we’ve discussed, has never been used in a modern election. Perhaps we shouldn’t be surprised: the ancient Greeks did invent democracy after all.

쥐의 뇌에 BMI를 연결하여 뇌 활동 추적, 장소 세포로 인지 지도 생성 
눈에 보이지 않는 장소나 물체에 대해 생각할 수 있는 것으로 나타나
일부 과학자들은 해마의 예측 기능이 상상력과는 구분되어야 한다고 주장

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

최근 사이언스 저널에 발표된 연구 결과에 따르면 설치류인 쥐도 미래를 예측하고 시각화할 수 있는 능력을 지니고 있다는 사실이 밝혀졌다. 하워드휴즈 의학연구소 연구진은 쥐들에게 뇌 활동을 추적하는 장치를 부착하고 가상 현실 환경에서 그들의 정신적 움직임을 관찰했다. 이러한 실험을 통해 쥐들이 눈에 보이지 않는 장소나 물체에 대해 생각할 수 있다는 것이 확인되었다.

런던 택시 기사처럼 '길눈'이 밝은 쥐

상상력은 미래의 시나리오를 시각화하는 핵심적인 능력으로, 이러한 능력은 특히 인간의 특성 중 하나로 여겨졌다. 해당 연구는 쥐 뇌의 해마에 초점을 맞추어 다른 동물들도 이와 같은 미리 생각하는 능력을 갖출 수 있는지 확인했다. 해마는 기억을 저장하고 탐색하는 데 중요한 영역으로, 특히 설치류의 해마는 공간 처리 능력이 뛰어나다. 설치류는 자신이 탐색하는 모든 환경에 대해 GPS 지도와 같은 모델을 만든다.

상세한 인지 지도는 설치류 해마에 있는 '장소 세포'라고 불리는 공간 뉴런에 의해 만들어지며, 동물이 특정 지역에 도달할 때 활성화된다. 신경 이동 경로를 따라가면 연구자들은 쥐가 어디에 있었는지 정확히 파악할 수 있다. 그러나 인간 피험자와 달리 쥐는 자기 생각을 직접적으로 표현할 수 없으므로 연구팀은 쥐의 뇌에 이식할 수 있는 뇌-기계 인터페이스(BMI)를 설계했다. 이 장치는 쥐의 해마에서 전기 활동을 효과적으로 기록하고 이를 디코더로 변환하는 작업을 수행한다. 이를 통해 연구진은 어떤 공간 뉴런이 활성화되었는지 추적할 수 있었다. 동물이 창문 근처의 방구석과 관련된 신경 활동 패턴을 생성하면 디코더가 그 위치를 출력하게 되는 식이다.

머릿속의 GPS로 가상환경에서 게임을 해

체질량 지수를 측정한 쥐들은 스크린으로 둘러싸인 구형 러닝머신 위에 놓였는데, 연구진은 프로젝터를 사용하여 스크린에 가상 현실 환경을 비춰 쥐들이 러닝머신 위를 뛰어다니면서 마치 실제로 이동하는 듯한 착각을 불러일으켰다. 실험의 첫 단계에서는 쥐가 회전하는 러닝머신 위에서 가상 환경을 자유롭게 움직이며 탐색할 수 있게 했다. 가상 환경의 기본 인지 지도를 만들고 나면, 각 쥐는 시뮬레이션에서 지정된 위치를 찾도록 훈련받았다. 쥐가 목표 지점에 도달하면 보상을 받는 설계였다. 각 실험이 진행되는 동안 연구진은 쥐가 특정 영역으로 이동할 때 어떤 공간 뉴런이 활성화되는지 기록했다. 쥐가 전체 환경을 탐색하면서 해마가 만들어 내는 지도를 연구진은 읽을 수 있었다.

그런 다음 과학자들은 쥐가 내면화한 공간과 가상 환경 지도의 일치율을 테스트했다. 과학자들은 쥐가 달리기를 통해 가상 환경을 자유롭게 이동할 수 없도록 러닝머신 위에 쥐를 고정했다. 대신 가상 현실 시뮬레이션을 통해 쥐의 움직임은 쥐의 마음속에서 어떤 공간 뉴런이 활성화되는지에 따라 제어되었다. 쥐는 보상에 도달하기 위해 필요한 단계들을 정신적으로 시각화해야 하는 상황에 놓였다. 연구진은 이 과제를, 순간이동을 소재로 한 2008년 영화에서 따온 '점퍼'라고 불렀다. 두 번째 과제는 '제다이'라고 이름 지었다. 이 과제에서 쥐들은 가상 환경에서 전혀 움직일 수 없었다. 보상을 받으려면 제다이가 멀리 있는 광선검을 소환하는 것처럼 외부 물체를 지정된 보상 지점으로 이동시켜야 했다. 쥐들은 '포스' 대신 공간 뉴런을 활용하여 가상 현실을 통해 물체를 안내해야 했다.

의식적 사고의 산물이냐 무의식의 부산물이냐, 학계 반응 엇갈려

연구진은 쥐 실험체가 두 가지 과제 모두 능숙하게 수행한다는 사실을 발견했다. 점퍼 실험에서는 쥐가 보상의 원격 위치를 기억할 때 해마에 있는 장소 특정 뉴런을 자발적으로 재활성화할 수 있다는 사실을 발견했다. 제다이 실험에서는 멀리 떨어진 물체를 원하는 목적지 쪽으로 움직여 몇 초 동안 유지하면 장소 특정 뉴런을 성공적으로 활성화할 수 있다고 밝혔는데, 이는 마치 사람이 먼 해변 풍경을 상상하면서 특정 물체에 머무르는 것과 비슷한 관측일 수 있다.

하지만 모든 과학자가 위의 결과가 상상력과 관련이 있다고 생각하는 것은 아니다. 해마가 공간을 처리하는 방식에는 동물의 적극적인 사고가 필요하지 않은 예측 요소가 있다고 반박했다. 해마는 항상 다음에 일어날 일을 예측하므로 쥐는 목표에 대해 생각할 필요가 없었다는 것이다. 연구자들이 쥐의 의식적인 생각을 해독하는 대신 해마 내부에 있는 무의식적인 사고흐름을 분석했다는 주장이다. 쥐가 실제로 상상하는지 확인하는 한 가지 방법으로는 가상 현실을 끄고 시각적 피드백을 받지 않은 상태에서, 쥐가 공간 신경 패턴을 다시 만들어 다음 행동을 알려줄 수 있는지 관찰하는 것이다. 영화를 보면서 다음 장면을 상상하는 것과 눈을 감고 상상력을 펼치는 일은 근본적으로 다르다는 해석이다.

Rats Use the Power of Imagination to Navigate and Move Objects in a VR Landscape

Experiments visualize a rodent’s ability to imagine the future

Humans use imagination for far more than daydreaming. The ability to visualize possible scenarios is something we do every single day. We mull over alternative routes to avoid traffic, cook up last-minute dinner plans and mentally prepare for tomorrow’s meeting.

But we are not alone. A new research finding demonstrates quite vividly how humans are not the only species possessing an imaginative ability to think ahead. Researchers recently outfitted several rats with a high-tech device that tracks brain activity and observed how the rodents mentally maneuvered through a virtual reality environment. Their findings, published today in the journal Science, reveal that the rats are capable of seemingly thinking about locations and objects that are not immediately in front of them.

At its core, imagination is visualizing something that is not happening. “The hallmark of human imagination is being able to think about something without doing that action,” says Chongxi Lai, a postdoctoral researcher at the Howard Hughes Medical Center’s Janelia Research Campus in Ashburn, Va., and co-lead author of the new paper. “It can be a simple behavior like lying in bed, closing your eyes and thinking about plans for tomorrow.”

To determine if other animals are capable of utilizing this forethought, the researchers focused on the hippocampus. This region of the mammalian brain stores memories and plays an important role in navigation. Rodents in particular boast a hippocampus that is adept at processing space. “Rodents create a model of every environment they explore that acts like a GPS map,” says Albert Lee, a neuroscientist at Beth Israel Deaconess Medical Center in Boston and a co-author of the new study.

These detailed cognitive maps are created by spatial neurons in the rodent hippocampus called place cells, which activate when the animal reaches a certain area in its environment. Following these neural breadcrumbs would help researchers pinpoint where a rat has been. Unlike human subjects, however, rats are unable to articulate their thoughts. So the team had to figure out another way to access the spatial data stored inside the rodents’ hippocampi.

Lai designed a brain-machine interface (BMI) that was implanted into the rodents’ brain. The device effectively recorded the electrical activity in the rats’ hippocampus and rapidly translated it on an external device called a decoder. This allowed the researchers to track which spatial neurons were activated. “If the animal generates a neural activity pattern related to the corner of the room near the window, then the decoder is going to output that position,” Lee says.

Once they were outfitted with their BMI, the rats were each placed on a spherical treadmill that was surrounded by screens—a setup that resembled an ice cream cone wrapped around a spinning globe. The researchers used a projector to broadcast a virtual reality environment on the screens that created the illusion that the rats were moving through space as they scurried on top of the treadmill.

The first step was allowing the rats to create a baseline cognitive map of this virtual environment. The animals were allowed to move freely on the spinning treadmill as they explored. Each was trained to find a designated location in the simulation. Once the rats reached this spot, they received a liquid reward.

During each test, the researchers recorded which spatial neurons were activated when the rats moved to certain areas. “As the rat explores the whole environment, we can read the map that its hippocampus creates,” Lee says.

The scientists then put the rats’ mental mapping skills to the test. They fixed the rats atop the treadmill, preventing the animals from freely moving about the virtual environment by running. Instead the rats’ movement through the virtual reality simulation was controlled by which spatial neurons they activated in their mind. This forced them to mentally visualize the steps it would take to reach their reward. The researchers called this task “Jumper,” a nod to a 2008 movie featuring teleportation.

The scientists invoked another cinema reference for the second task, which they referred to as “Jedi.” In this task, the rats were not able to move at all through their virtual environment. To get the reward, they were forced to move an external object toward the designated reward spot like a Jedi summoning a distant lightsaber. But instead of the Force, the rats had to harness their spatial neurons to guide the object through the virtual reality.

The researchers found that their rodent subjects were adept at both tasks. In Jumper, the team found that the rats could voluntarily reactivate the place-specific neurons in their hippocampus as they recalled the remote location of their reward. Jedi revealed that they could also successfully activate these neurons as they moved a remote object toward the desired destination and hold it there for several seconds, which could be akin to a human dwelling on a certain object while picturing a distant beach vista.

But not all scientists are sold that these results are tied to imagination. According to neurobiologist Matthew Wilson, who studies rodent learning and memory at the Massachusetts Institute of Technology and was not involved with the study, there is a predictive component to how the hippocampus processes space that does not require active thought from the animal. “The hippocampus is always anticipating what’s going to come next,” Wilson says. “[The rats] don't have to think about the goal.” Instead of decoding rats’ active thoughts, he thinks the researchers tapped into the subconscious predictive code inside the animals’ hippocampus.

Wilson thinks that one way to determine whether the rats are really using an imaginationlike thought process would be to turn off the virtual reality and see if the rodents can re-create the spatial neural patterns without moving or receiving any visual feedback to inform their next move. “Right now, it’s like they’re imagining the next frame of a movie while they’re watching it,” he says. “But imagination is what happens when you close your eyes, and you create these perceptions internally.”

최신 GPU보다 3000배 빠르고 400만 배 더 효율적인 컴퓨터 비전 프로세서 개발
빛을 이용한 포토닉 컴퓨팅으로 기존 프로세서 한계 극복
웨어러블 기기, 자율주행, 스마트 팩토리 등 다양한 분야에 적용 기대

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

중국 칭화대학교의 과학자들은 최신 GPU보다 3,000배 빠르고 400만 배 더 효율적인 컴퓨터 비전 프로세서인 완전 아날로그 광전자 ACCEL 칩을 개발했다고 밝혔다. 전자 기술과 광학 기술이 결합한 이 칩은 컴퓨터 비전 작업에서 전례 없는 전력 효율성과 최고의 컴퓨팅 속도를 자랑한다.

AI 반도체 기술의 패러다임 전환, 불연속형에서 연속형으로

기존 프로세서는 자율주행, 로봇 공학, 의료 진단과 같은 컴퓨터 비전 문제를 처리할 때 처리 속도가 제한적이며 막대한 전력을 소비해 왔다. 이러한 작업에는 고해상도 이미지 처리, 정확한 분류, 매우 짧은 지연 시간이 요구된다. ACCEL 칩은 빛을 이용해 정보를 처리하는 포토닉 컴퓨팅으로 위의 문제에 새롭게 접근했다. 이는 기존 칩에서 사용되는 전류 기반 컴퓨팅에서 벗어난 시도다. 회절 광학 아날로그 컴퓨팅(OAC)과 전자 아날로그 컴퓨팅(EAC)을 단일 칩에 통합함으로써 ACCEL은 놀라운 에너지 효율과 컴퓨팅 속도를 기록했다.

OAC 방식은 회절을 통한 광파의 조작을 통해 정보를 인코딩하고 처리한다. 빛에 의해 생성되는 간섭 패턴을 사용하여 아날로그 방식으로 계산을 수행하며, 데이터를 개별적인 디지털 단계가 아닌 연속적으로 처리한다. EAC 방식은 전자 부품을 사용하여 연속적인 물리량을 조작할 수 있다. 0과 1 형태의 디지털 신호로 작업하는 대신, EAC에는 끊임없이 변화하는 아날로그 신호를 사용한다.

광자 컴퓨팅에 적용되는 원리 중 하나는 간섭과 중첩이다. 광자는 서로 간섭하여 건설적이거나 파괴적인 간섭을 일으킬 수 있는데, 이 속성을 통해 칩은 복잡한 연산을 효율적으로 수행할 수 있다. 데이터 전송에도 광자를 사용하여 칩 내부와 연결된 구성 요소 간에 정보를 전달하여 고속 통신을 달성하고 지연 시간을 줄일 수 있게 됐다. 또한 기존 프로세스처럼 병렬로 조작할 수 있으므로 여러 계산을 동시에 수행할 수 있어 칩의 처리 속도가 빠르다.

경쟁력 있는 연구 성과, 엔비디아보다 한참 앞서는 성능

ACCEL 이미지 프로세싱은 아날로그-디지털 변환기(ADC)가 필요하지 않고 빛으로 유도된 광전류를 직접 계산하여 지연 시간을 크게 줄였다. ACCEL은 와트당 74.8페타옵스의 시스템 전력 효율을 달성하며 현재 GPU보다 3배 이상 높은 성능을 자랑한다. 또한 초당 4.6페타 연산의 컴퓨팅 속도를 제공하며, 99% 이상의 계산은 광학적으로 수행된다. 광전자 컴퓨팅과 적응형 학습을 결합해 ACCEL은 다양한 작업에서 경쟁력 있는 정확도를 보였다. 패션-MNIST, 이미지넷 3등급 분류, 타임랩스 비디오 인식 작업에서 각각 85.5%, 82.0%, 92.6%의 정확도를 달성했으며, 특히 저조도 환경에서도 뛰어난 성능을 보여 휴대용 기기, 자율주행, 산업용 애플리케이션에 적합함을 증명했다.

광자는 전류처럼 열을 발생시키지 않기 때문에 에너지 효율이 높아서 추가적인 성능 향상과 소형화를 위한 기반도 마련됐다. 이러한 연구 성과는 네이처 저널에 발표되었으며, 연구진은 이를 사회적 요구에 부합하는 애플리케이션으로 발전시키는 것이 중요하다고 강조했다. 네이처 리서치 브리핑 저널의 전문가들은 ACCEL이 빠르게 현실 세계에서 사용될 것으로 기대하며, 해당 기술은 예상보다 훨씬 빠른 시기에 일상생활에서 역할을 수행할 것으로 전망했다.

ACCEL의 한계와 그 잠재력

하지만 ACCEL 칩은 아날로그 컴퓨팅 아키텍처로 인해 특정 작업에 특화되어 있어 여러 프로그램 실행이나 파일 압축과 같은 일반적인 컴퓨팅에는 적합하지 않다. 아날로그 컴퓨팅은 물리적 특성을 사용하여 물리량 간의 수학적 관계를 설정하기 때문에 결과의 범위와 정확성에 오차가 있다. 즉 다른 문제를 해결할 때 매번 구조와 요소를 다시 조정해야 하는 제약이 발생한다.

그런데도, 광자의 특성을 활용하여 놀라운 속도와 에너지 효율성을 달성함으로써 광자 컴퓨팅의 획기적인 발전을 이룩했다. 이 혁신은 기존 전자칩과 관련된 에너지 및 열 문제를 해결하면서 특정 AI 애플리케이션과 산업을 변화시킬 수 있는 잠재력을 가지고 있다. 컴퓨터나 스마트폰의 칩을 즉각적으로 대체할 수는 없지만, 전력 소비가 적고 에너지 효율이 뛰어나 웨어러블 기기의 주요 후보다. 그리고 감지 프로세스 중에 직접 계산을 수행할 수 있는 고유한 기능 덕분에 자율 주행 차량, 스마트 팩토리, 그리고 트래픽 분석 분야에서 경쟁 우위를 점할 수 있을 것으로 기대된다.

The Chinese have developed a computer vision processor that is 3,000 times faster and 4 million times more efficient than a modern GPU

Scientists at China’s Tsinghua University have developed a fully analog photoelectronic ACCEL chip that promises to revolutionize high-speed computer vision applications. The chip, which combines electronic and optical technologies, is capable of demonstrating unprecedented power efficiency and highest computing speed for computer vision tasks. In this area, the new chip is radically superior to modern GPUs.

Traditional processors have limited processing speeds and consume enormous amounts of power when solving computer vision problems such as image recognition for autonomous driving, robotics and medical diagnostics. These tasks require high-resolution image processing, accurate classification, and extremely low latency.

The ACCEL chip takes advantage of the emerging field of photonic computing, which uses light to process information. By integrating diffractive optical analog computing (OAC) and electronic analog computing (EAC) on a single chip, ACCEL achieves remarkable energy efficiency and computing speed.

The OAC method uses the manipulation of light waves through diffraction to encode and process information. Using interference patterns created by light, calculations are performed in an analog fashion, processing the data continuously rather than in discrete digital steps. The EAC method uses electronic components to manipulate continuous physical quantities. Instead of working with digital signals in the form of zeros and ones, EAC uses constantly changing analog signals.
Both methods provide advantages for certain types of computers and make it easier to develop high-speed vision problems.

ACCEL image processing does not require an ADC to convert the image, but directly uses light-induced photocurrents for calculations, resulting in significantly reduced latency. ACCEL achieves system power efficiency of 74.8 peta-ops per watt, more than three orders of magnitude higher than current GPUs. Computing speeds reach 4.6 peta operations per second, with more than 99% of calculations performed optically.

By integrating optoelectronic computing and adaptive learning, ACCEL achieves competitive object classification accuracy across a variety of tasks. The new chip achieved accuracies of 85.5%, 82.0%, and 92.6% for Fashion-MNIST, ImageNet 3-class classification, and time-lapse video recognition tasks, respectively. In particular, ACCEL has high reliability even in low light conditions, making it suitable for portable devices, autonomous driving and industrial applications.

The new chip’s extremely low power consumption significantly reduces heat dissipation, paving the way for further improvements and miniaturization. Unlike traditional optoelectronic digital computing systems, ACCEL flexibly combines diffractive optical computing and electronic analog computing, and its architecture achieves scalability, nonlinearity and high adaptability.

In a study published in the journal Nature, researchers found: “Developing a computer system based on a completely new principle is a huge task. More important, however, is the successful translation of this next-generation computing architecture into real-world applications that meet the critical needs of society.”

In a review of the study published in the journal Nature’s Research Briefing, experts expressed their belief “ACCEL could ensure that these architectures play a role in our daily lives much sooner than expected.”

Everything new is undoubtedly the forgotten old. The very first analogue computing device is the slide rule, which is well known to the older generation.

Another well-known example of analog computing devices is the MH-7 desktop analog computer developed in 1955. She successfully solved ordinary differential equations up to the 6th order. No less successfully, with the help of such machines, mathematical models of physical processes were created, which were used to solve automated process control problems.

In an analog computer (AVM), the instantaneous value of the original variable quantity is linked to the instantaneous value of another quantity, which often differs from the original physical nature and scaling factor. Each elementary mathematical operation usually corresponds to a physical law that establishes mathematical relationships between physical quantities at the output and input (e.g. Ohm’s law).

Features of the representation of initial quantities and the construction of algorithms determine the high speed of AVM operation and ease of programming, but limit the scope and accuracy of the obtained result. AVM is characterized by low universality (algorithmic limitation) – when solving problems of a different class, it is necessary to rebuild the structure of the machine and the number of crucial elements.

And now we are witnessing how, in a world of seemingly victorious digital technologies, analog data processing, which has reached a new level of development, is being used again.

바이든 대통령의 새로운 행정 명령으로 AI 안전 및 규제에 체계 부여
AI의 투명성과 안전을 강화하기 위한 연방 표준 설정에 초점 맞춰져
중요한 진전이지만 구체적인 시행 논의와 기술적 한계에 대한 우려 존재

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

안전·보안·신뢰성에 관한 행정명령 발표

미국은 이제 인공지능에 대한 가장 광범위한 공식 정책을 갖췄다. 조 바이든 대통령이 이번 주 AI 안전, 보안 및 신뢰성에 대한 새로운 연방 표준을 촉구하고 AI 위험 및 개발의 다른 많은 측면을 다루는 행정 명령에 서명했다. 약 2만 단어에 달하는 이 광범위한 행정명령은 '인공지능'이라는 용어를 사용하여 특정 인간 능력을 모방할 수 있는 자동화된 예측, 인식 또는 생성 소프트웨어를 지칭했다.

백악관의 이번 조치는 영국이 주최하고 주관하는 AI 안전에 관한 국제 정상회의가 시작되기 불과 이틀 전에 이뤄졌으며, 이 회의에서 세계 지도자들은 급속히 발전하는 기술에 대한 글로벌 전략이 논의될 예정이다. 전문가들은 이번 행정 명령이 완벽하다고 생각하지는 않지만, 문자 그대로의 크기와 영향력 면에서 진전이 있다고 평가했다. 수많은 정부 기관이 포함되며, AI를 부수적인 업무가 아닌 주요 업무로 검토할 새로운 규제 및 안전 위원회가 시작될 전망이기 때문이다.

인공지능, 특히 OpenAI의 ChatGPT와 같은 생성 AI 시스템의 급속한 부상은 지난 1년 동안 강렬한 우려를 불러일으켰다. 미래의 로봇 점령에 대한 실존적인 두려움도 있지만, 매우 구체적이고 입증할 수 있는 실질적 위험이 전개되고 있는 현실이다. 딥페이크와 허위 정보 생성 및 확산 문제와 흑인 납세자를 편향적으로 감사 대상으로 삼은 국세청 알고리즘 등, 머신러닝 알고리즘이 기존의 차별 패턴을 학습하고 확대하는 도구로 전락한 사례들을 예로 들 수 있다. 또한 이러한 편견은 장기적으로 인간의 행동에 영향을 미쳐서 인간과 기계 모두 서로의 편향을 가중할 수 있다는 새로운 연구 결과도 발표되었다. 개인정보 보호와 국가 안보에 큰 위협이 되는 사례들도 빼놓을 수 없다.

낙수효과가 기대되는 국가적 AI 거버넌스

새로운 행정 명령은 미국이 더욱 포괄적인 AI 거버넌스를 시행할 수 있도록 돕는다. 이 정책은 이전 바이든 행정부의 조치를 기반으로 하며, 연방 정부와 기술 기업의 AI 사용과 관련한 몇 가지 중요한 명령을 포함하고 있다. AI 개발자가 향후 대규모 AI 모델 또는 해당 모델의 업데이트 버전을 공개하기 전에 안전 데이터, 훈련 정보 보고서를 미국 정부와 공유하도록 의무화했다. 이 요건은 광범위한 데이터로 학습되어 국가 안보, 경제, 공중 보건 또는 안전에 위험을 초래할 수 있는 '수백억 개의 매개변수'를 포함하는 모델을 겨냥한다. 이 투명성 규정은 OpenAI의 GPT-5에 적용될 가능성이 높다고 점쳐지고 있다. 바이든 행정부는 전시와 가장 밀접한 관련이 있는 1950년 법률인 국방물자생산법에 따라 이러한 요건을 부과하고 있다. 기업이 AI 모델에 대한 정보를 연방 정부와 공유해야 하는 이 의무는 최근 몇 달 동안 많은 AI 전문가가 옹호해 온 기술 회사의 투명성 의무화를 향한 큰 단초다.

백악관 정책은 인공지능이 국가 안보를 위협하지 않도록 국토 안보부 및 에너지부와 같은 기관에서 배포할 연방 표준 및 테스트를 만들 것을 요구했다. 해당 표준은 1월에 AI 위험 관리를 위한 자체 프레임워크를 발표한 미국 국립표준기술연구소에서 부분적으로 개발할 예정이다. 개발 과정에는 화이트 해커가 모델 개발자와 협력하여 취약점을 선제적으로 분석하는 '레드팀'이 포함된다. 그 외에도 태스크포스와 자문위원회를 구성하고, 연방 기관이 내년에 AI에 대한 지침을 발표하도록 지시했다.

이 행정명령은 국가 안보, 개인 프라이버시, 형평성 및 시민권, 소비자 보호, 노동 문제, AI 혁신 및 미국 경쟁력, AI 정책에 대한 국제 협력, 연방 정부 내 AI 기술 및 전문성 등 8가지 영역에 관해 설명하는 팩트 시트에 요약되어 있다. 교육, 의료 및 형사 사법 분야에서 AI의 윤리적 사용을 평가하고 촉진하는 세부 섹션도 명시되어 있다. AI 거버넌스를 연구하는 애리조나 주립대 법학 교수인 게리 마샹(Gary Marchant)은 이 행정명령이 연방 정부 내에서 AI 표준을 개발함으로써 민간 부문으로 파급될 수 있는 새로운 AI 규범을 만드는 데 도움이 될 수 있다고 말했다. 그는 정부가 계속해서 AI 기술의 주요 고객이 될 가능성이 높기 때문에 이 행정명령은 "낙수 효과를 가져올 것"이라고 설명했다.

예상되는 불협화음과 부작용

하지만 정책 입안자들이 기대하는 것과 기술적으로 실현 가능한 것 사이에는 상당한 불일치가 있을 수 있다. 각 조치에 대한 기한을 정했다고 해서 연방 기관이 제시간에 목표를 달성할 수 있다는 의미는 아니라는 지적이다. 그 대표적인 예로 '워터마킹'을 꼽을 수 있다. 상무부는 향후 8개월 이내에 AI로 생성된 콘텐츠에 라벨을 붙이는 모범 사례를 파악해야 하지만, 이를 위한 확립되고 강력한 기술적 방법은 아직 없다. 인적 자본, 특히 기술 전문 지식이 없으면 이러한 종류의 요구 사항을 일관되고 신속하게 구현하기 어려울 수 있다는 것이 전문가들의 중론이다. 2023년 스탠퍼드 보고서에 따르면 AI 박사 학위를 취득한 사람 중 1% 미만이 정부 직위에 진출한다는 게 그 방증이다.

마지막으로, 행정명령만으로는 AI의 발전으로 인해 발생하는 모든 문제를 해결하기에는 역부족이다. 행정 명령은 본질적으로 그 권한이 제한되어 있으며 쉽게 되돌릴 수 있다. 심지어 행정명령 자체도 의회에 데이터 프라이버시 법안 통과를 촉구하고 있다. 궁극적으로 앞으로의 입법 조치가 매우 중요하며 AI 규제의 여러 측면에 대한 구체적인 민간 부문 법안이 필요하다. 한편 일각에서는 '사다리 걷어차기'가 아니냐는 비판도 잇따라 나왔다. 자본 집약적인 AI 시장에서 후발 주자에 행정 부담까지 짊어지우는 꼴이기 때문이다. 또한 외국 기업의 미국 시장 진출도 쉽지 않아 보인다. 행정 절차뿐만 아니라 제품에 대한 정보를 사전에 노출해야 하는 리스크까지 늘어났다. 미국 중심의 거대 AI 장벽이 세워진 셈이다.

Biden’s Executive Order on AI Is a Good Start, Experts Say, but Not Enough

A new executive order signed this week sets the stage for federal AI standards and requirements and moves beyond previous voluntary agreements with AI companies

The U.S. now has its farthest-reaching official policy on artificial intelligence to date. President Joe Biden signed an executive order this week that urges new federal standards for AI safety, security and trustworthiness and addresses many other facets of AI risk and development. The broad order, nearly 20,000 words long, uses the term “artificial intelligence” to refer to automated predictive, perceptive or generative software that can mimic certain human abilities. The White House action came just two days before the start of an international summit on AI safety organized and hosted by the U.K., during which world leaders will discuss global strategy on the rapidly advancing technology.

“It’s kind of what we were hoping for,” says Duke University computer scientist Cynthia Rudin, who studies machine learning and advocates for AI regulation. Rudin doesn’t see Biden’s order as perfect, but she calls it “really, really big” in both literal size and likely impact: “It involves a huge number of government entities and starts new regulatory and safety boards that will be looking into AI as their primary task, not just a side task.”

“There is a lot that the White House is packing into this executive order,” agrees Daniel Ho, a professor of law and political science at Stanford University who studies AI governance. “I do think it’s a very important advance.” (Ho serves on the National Artificial Intelligence Advisory Commission but spoke to Scientific American in an individual capacity, not as a NAIAC member.)

The rapid rise of artificial intelligence—specifically, generative AI systems such as OpenAI’s ChatGPT—has spurred intense concern over the past year. There are some existential fears about a future robot takeover, but very concrete and demonstrable risks are also unfolding in the present.

For example, AI models clearly exacerbate the problem of disinformation through visual deepfakes and instantaneous text production. Machine learning algorithms have encoded bias that can magnify and automate existing patterns of discrimination, as with an algorithmic IRS tool that disproportionately targeted Black taxpayers for audits. These biases can influence human behavior long-term, emerging research shows. There are threats to privacy in the vast troves of data that are collected through AI systems—including facial recognition software—and used to train new generative AI models. Artificial intelligence could also become a major national security threat; for instance, AI models could be used to speed up the development of new chemical weapons.

“Artificial intelligence needs to be governed because of its power,” says Emory University School of Law professor Ifeoma Ajunwa, who researches ethical AI. “AI tools,” she adds, “can be wielded in ways that can have disastrous consequences for society.”

The new order moves the U.S. toward more comprehensive AI governance. It builds on prior Biden administration actions, such as the list of voluntary commitments that multiple large tech companies agreed to in July and the Blueprint for an AI Bill of Rights released one year ago. Additionally, the policy follows two other previous AI-focused executive orders: one on the federal government’s own AI use and another aimed at boosting federal hiring in the AI sphere. Unlike those previous actions, however, the newly signed order goes beyond general principles and guidelines; a few key sections actually require specific action on the part of tech companies and federal agencies.

For instance, the new order mandates that AI developers share safety data, training information and reports with the U.S. government prior to publicly releasing future large AI models or updated versions of such models. Specifically, the requirement applies to models containing “tens of billions of parameters” that were trained on far-ranging data and could pose a risk to national security, the economy, public health or safety. This transparency rule will likely apply to the next version of OpenAI’s GPT, the large language model that powers its chatbot ChatGPT. The Biden administration is imposing such a requirement under the Defense Production Act, a 1950 law most closely associated with wartime—and notably used early in the COVID pandemic to boost domestic supplies of N95 respirators. This mandate for companies to share information on their AI models with the federal government is a first, though limited, step toward mandated transparency from tech companies—which many AI experts have been advocating for in recent months.

The White House policy also requires the creation of federal standards and tests that will be deployed by agencies such as the Department of Homeland Security and the Department of Energy to better ensure that artificial intelligence doesn’t threaten national security. The standards in question will be developed in part by the National Institute of Standards and Technology, which released its own framework for AI risk management in January. The development process will involve “red-teaming,” when benevolent hackers work with the model’s creators to preemptively parse out vulnerabilities.

Beyond these mandates, the executive order primarily creates task forces and advisory committees, prompts reporting initiatives and directs federal agencies to issue guidelines on AI within the next year. The order covers eight realms that are outlined in a fact sheet: national security, individual privacy, equity and civil rights, consumer protections, labor issues, AI innovation and U.S. competitiveness, international cooperation on AI policy, and AI skill and expertise within the federal government. Within these umbrella categories are sections on assessing and promoting ethical use of AI in education, health care and criminal justice.

“It’s a lot of first steps in many directions,” Rudin says. Though the policy itself is not much of a regulation, it is a “big lead-in to regulation because it’s collecting a lot of data” through all of the AI-dedicated working groups and agency research and development, she notes. Gathering such information is critical to the next steps, she explains: in order to regulate, you first need to understand what’s going on.

By developing standards for AI within the federal government, the executive order might help create new AI norms that could ripple out into the private sector, says Arizona State University law professor Gary Marchant, who studies AI governance. The order “will have a trickle-down effect,” he says, because the government is likely to continue to be a major purchaser of AI technology. “If it’s required for the government as a customer, it’s going to be implemented across the board in many cases.”

But just because the order aims to rapidly spur information-gathering and policymaking—and sets deadlines for each of these actions—that doesn’t mean that federal agencies will accomplish that ambitious list of tasks on time. “The one caution here is that if you don’t have the human capital and, particularly, forms of technical expertise, it may be difficult to get these kinds of requirements implemented consistently and expeditiously,” Ho says, alluding to the fact that less than one percent of people graduating with PhDs in AI enter government positions, according to a 2023 Stanford report. Ho has followed the outcome of the previous executive orders on AI and found that less than half of the mandated actions were verifiably implemented.

And as broad as the new policy is, there are still notable holes. Rudin notes the executive order says nothing about specifically protecting the privacy of biometric data, including facial scans and voice clones. Ajunwa says she would’ve liked to see more enforcement requirements around evaluating and mitigating AI bias and discriminatory algorithms. There are gaps when it comes to addressing the government’s use of AI in defense and intelligence applications, says Jennifer King, Privacy and Data Policy Fellow at the Stanford Institute for Human-Centered Artificial Intelligence.* “I am concerned about the use of AI both in military contexts and also for surveillance.”

Even where the order appears to cover its bases, there might be “considerable mismatch between what policymakers expect and what is technically feasible,” Ho adds. He points to “watermarking” as a central example of that. The new policy orders the Department of Commerce to identify best practices for labeling AI-generated content within the next eight months—but there is no established, robust technical method for doing so.

Finally, the executive order on its own is insufficient for tackling all the problems posed by advancing AI. Executive orders are inherently limited in their power and can be easily reversed. Even the order itself calls on Congress to pass data privacy legislation. “There is a real importance for legislative action going down the road,” Ho says. King agrees. “We need specific private sector legislation for multiple facets of AI regulation,” she says.

Still, every expert Scientific American spoke or corresponded with about the order described it as a meaningful step forward that fills a policy void. The European Union has been publicly working to develop the E.U. AI Act, which is close to becoming law, for years now. But the U.S. has failed to make similar strides. With this week’s executive order, there are efforts to follow and shifts on the horizon—just don’t expect them to come tomorrow. The policy, King says, “is not likely to change people’s everyday experiences with AI as of yet.”

다양성 보전에 효과적이지만 인간 전문가와 협력 필요
종 식별과 모니터링 및 예측 모두 인공지능 기술 활용
계산 비용 크기 때문에 적절한 환경 영향 제한 있어야

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

점점 더 많은 연구자가 생물 다양성을 모니터링하고 멸종 위기에 처한 종을 돕기 위한 노력을 강화하기 위해 인공지능을 활용하는 추세가 확연해지고 있다. 이는 생태계를 교란하거나 상당한 시간과 노동력, 자원이 필요한 기존 방법과 달리, AI는 방대한 양의 데이터를 빠르고 효과적으로 분석할 수 있는 잠재력을 지니고 있기 때문이다.

영국 리버풀에 본사를 두고 다양한 생태학 프로젝트에 AI 기술을 사용하는 비영리 단체인 Conservation AI에서 머신러닝을 연구하는 칼 찰머스는 "AI 없이는 멸종 위기종을 보호하려는 유엔의 목표를 결코 달성할 수 없을 것"이라고 말한다.

현재 수백만 년 전에 비해 수백에서 수천 배 빠른 속도로 생물종이 사라지고 있으며, 최대 100만 종의 생물이 멸종 위기에 처해 있다. 유엔은 이에 대응하여 2020년까지 지구 육지와 해양의 최소 30%를 보호하겠다는 목표를 세웠다.

The Future Society의 설립자 니콜라스 미아일레(Nicolas Miailhe)는 AI가 불완전하지만, 중요한 발견을 가속할 수 있다고 말했다. 그는 "모델을 설계하고 데이터를 수집, 라벨링, 품질 검사 및 해석하는 데는 인간 전문가가 필요합니다"라고 말했다.

열대 우림 소리로 생물 다양성 측정

독일 뷔르츠부르크 대학의 생태학자 요르그 뮐러(Jörg Müller)와 그의 동료들은 AI 도구를 활용하여 오디오 녹음에서 동물 종을 식별하여 열대 우림의 생물 다양성을 정량화하는 데 도움이 될 수 있음을 보여줬다. 10월 17일 네이처 커뮤니케이션에 게재된 연구에서 연구진은 AI를 사용하여 종 다양성이 풍부한 것으로 알려진 에콰도르 초코 지역의 동물 '사운드스케이프'를 분석했다. 연구진은 삼림 벌채로 훼손되지 않은 숲, 회복 중인 지역, 카카오 농장과 목초지로 활발하게 사용되는 삼림 벌채지 등 43개 부지에서 녹음기를 설치했다. 전문가들은 오디오 파일로 조류 183종, 양서류 41종, 포유류 3종을 식별할 수 있었다.

또한 연구진은 새소리를 식별하기 위해 이미 개발된 콘볼루션 신경망(CNN)이라는 일종의 AI 모델에 녹음 내용을 입력했습니다. CNN은 전문가들이 보유한 조류 중 75종을 골라낼 수 있었지만, 이 모델의 데이터 세트는 제한적이어서 이 지역에서 발생할 수 있는 조류 77종만 포함했다. 뮐러는 "우리의 연구 결과는 AI가 열대 지방에서 소리를 통해 더욱 포괄적인 종을 식별할 준비가 되었음을 보여줍니다."라고 말했다. "이제 필요한 것은 인간이 수집한 더 많은 훈련 데이터뿐입니다."

연구팀은 재생된 숲의 생물다양성을 정확하게 측정하기 위해 AI를 사용하는 것이 지속적인 자금 확보를 위해 성공을 입증해야 하는 생물다양성 프로젝트를 평가하는 데 중요할 수 있다고 전했다.

야생동물 식별 및 추적 자동화

Conservation AI의 연구원들은 드론이나 카메라 트랩의 영상과 이미지를 분석하여 멸종 위기에 처한 종을 포함한 야생동물을 식별하고 동물의 움직임을 추적하는 모델을 개발했다. 이들은 승인된 사용자가 영상과 데이터를 업로드하고 자동으로 분석하는 온라인 플랫폼을 구축하였으며, 관심 동물 발견 시 알림을 받을 수 있는 시스템도 도입했다.

지금까지 Conservation AI는 우간다의 멸종 위기에 처한 천산갑, 가봉의 고릴라, 말레이시아의 오랑우탄 등 68종에 걸쳐 1,250만 개 이상의 이미지를 처리하고 400만 개 이상의 개별 동물 출현을 감지했다. 자동화된 시스템 덕분에 밀렵이나화재와 같은 갑작스러운 위협으로부터 취약한 종을 신속하게 보호할 수 있게 됐다. Conservation AI는 이미 실시간으로 영상을 분석하여 천산갑 밀렵꾼을 적발한 바 있다.

생물 다양성 손실 원인 규명 및 예측에 활용

AI는 생물 다양성을 실시간으로 모니터링할 뿐만 아니라 인간 활동이 생태계에 미치는 영향을 모델링하고 역사적 변화를 재구성하는 데에도 사용할 수 있음이 밝혀졌다. 연구자들은 한 세기에 걸친 담수 생태계의 환경 파괴가 어떻게 생물 다양성 손실로 이어졌는지 알아내기 위해 AI를 사용했다.

인간 활동이 강과 호수의 생물 다양성 손실을 초래했다는 사실은 잘 알려졌지만, 어떤 환경 요인이 가장 큰 영향을 미치는지는 알려진 바가 거의 없다. 영국 버밍엄 대학교에서 진화 생물 시스템을 연구하는 루이사 오르시니(Luisa Orsini)와 그녀의 동료들은 AI를 사용하여 생물 다양성을 역사적 환경 변화와 연결하는 모델을 개발했다. 해당 모델은 지난 세기 동안 호수 퇴적물에 남은 유전 물질을 분석하여 살충제와 살균제가 이상기온 현상 및 강수량과 함께 생물 다양성 손실의 최대 90%를 설명할 수 있다는 사실을 발견했다.

인공지능은 과거 데이터를 학습하여 미래의 생물 다양성을 예측하는 데 중요한 도구로 활용될 전망이지만, 그에 따른 환경적 영향 평가와 적절한 관리가 필수적이다. 결국 AI가 물질적 자원을 소비하기 때문에 궁극적으로 생태계에 악영향을 미칠 수 있다. 따라서 전문가들은 보존 역량을 강화할 수 있다는 가능성과 함께 AI 사용의 환경 영향 평가가 중요하다는 점을 강조하고 있다.

How AI Can Help Save Endangered Species

Scientists are using artificial intelligence to fight biodiversity loss by analysing vast amounts of data, monitoring ecosystems and spotting trends over time

An increasing number of researchers is turning to artificial intelligence (AI) to monitor biodiversity and bolster efforts to help endangered species. Unlike conventional methods that can disrupt ecosystems or require considerable time, labour and resources, AI has the potential to quickly and effectively analyse vast quantities of real-world data.

“Without AI, we’re never going to achieve the UN’s targets for protecting endangered species,” says Carl Chalmers, who studies machine learning at Conservation AI, a UK-based non-profit organization in Liverpool that uses AI technology for various ecology projects.

Species are vanishing at a rate hundreds to thousands of times faster than that millions of years ago, with up to one million species on the brink of extinction. In response, the United Nations set a goal in 2020 to safeguard at least 30% of Earth’s land and oceans by the end of the decade.

AI is “imperfect” but could accelerate important discoveries, says Nicolas Miailhe, Paris-based founder of The Future Society, an international non-profit organization that aims to better govern AI. “We very much need human practitioners in the loop to design models, as well as collect, label, quality check and interpret data,” he says.

SOUNDSCAPE ANALYSIS
Ecologist Jörg Müller at the University of Würzburg, Germany, and his colleagues have shown that AI tools can help to quantify biodiversity in tropical forests by identifying animal species from audio recordings.

In a study published on 17 October in Nature Communications, the researchers used AI to analyse animal ‘soundscapes’ in the Chocó, a region in Ecuador known for its rich species diversity. They placed recorders in 43 plots of land representing different stages of recovery: forests that were untouched by deforestation, areas that had been cleared but then abandoned and had started to regrow, and deforested land actively used for cacao plantations and pasture. They gave the audio files to experts, who were able to identify 183 bird, 41 amphibian and 3 mammalian species.

The researchers also fed their recordings to a type of AI model called a convolutional neural network (CNN), which had already been developed to identify bird sounds. The CNN was able to pick out 75 of the bird species that the experts had, but the model’s data set was limited and contained only 77 bird species that might occur in the region. “Our results demonstrate that AI is ready for more comprehensive species identification in the tropics from sound,” says Müller. “All that is needed now is more training data collected by humans.”

The team says that using AI to precisely measure the biodiversity of regenerated forests could be crucial for evaluating biodiversity projects that must demonstrate success to secure continued funding.

CAMERA-TRAP FOOTAGE
Researchers at Conservation AI have developed models that can scour through footage and images from drones or camera traps to identify wildlife — including critically endangered species — and track animal movements.

They built a free online platform that uses the technology to automatically analyse images, video or audio files, including data from real-time camera-trap footage and other sensors that approved users can upload. Users have the option to be notified by e-mail when a species of interest has been spotted in the footage they have uploaded.

So far, Conservation AI has processed more than 12.5 million images and detected more than 4 million individual animal appearances across 68 species, including endangered pangolins in Uganda, gorillas in Gabon and orangutans in Malaysia. “The platform can process tens of thousands of images an hour, in contrast to humans who can do a few thousand at best,” says Paul Fergus, one of Conservation AI’s lead researchers. “The speed at which AI processes data could allow conservationists to protect vulnerable species from sudden threats — such as poaching and fires — quickly,” he adds. Conservation AI has already caught a pangolin poacher in the act by analysing footage in real time.

As well as monitoring biodiversity in real time, AI can be used to model the impacts of human activities on an ecosystem and reconstruct historical changes. Researchers have used AI to discover how a century’s worth of environmental degradation in a freshwater ecosystem has led to biodiversity loss.

Although it is well documented that human activities have resulted in biodiversity loss in rivers and lakes, little is known about which environmental factors have the largest impact. “Long-term data is pivotal to link changes in biodiversity to environmental change and to define achievable conservation goals,” says Luisa Orsini, who studies evolutionary biosystems at the University of Birmingham, UK.

Orsini and her colleagues developed a model that links biodiversity to historical environmental changes using AI. In a study published in eLife earlier this year, the team obtained genetic material that had been left behind over the past century by plants, animals and bacteria in the sediment of a lake. The sediment layers were dated and environmental DNA was extracted for sequencing.

The scientists then combined these data with climate information from a weather station and chemical-pollution data from direct measurements and national surveys, using an AI designed to handle diverse types of information. Orsini says the aim was to identify correlations among the ‘mayhem’ of data.

They found that the presence of insecticides and fungicides, together with extreme-temperature events and precipitation, could explain up to 90% of the biodiversity loss in the lake. “Learning from the past, we showcased the value of AI-based approaches for understanding past drivers of biodiversity loss,” says study co-author Jiarui Zhou, who is also at the University of Birmingham.

The main benefit of using AI is that it is hypothesis free and data driven, says Orsini. “AI ‘learns’ from past data and predicts future trends in biodiversity with higher accuracy than ever achieved before.”

Miailhe is hopeful that AI can be routinely applied to real-world conservation efforts in the near future. “That’s clearly the way to go,” he says. But he warns that AI consumes computing power and material resources, which ultimately has adverse effects on ecosystems. “Environmental impact assessments should be at the centre of AI risk management,” he says.