영국 AI 안전 서밋, 규제 방법에 대한 엇갈린 반응
미래의 위험보다 현재의 위험에 초점을 맞춰야 해
사람을 보호하기 위해 정부와 기업의 협력 필요 

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

전 세계 정부 및 업계 리더 150여 명이 이번 주 영국의 AI 안전 서밋에 참석하기 위해 영국을 찾았다. 이 회의는 인공지능을 규제하는 방법에 대한 전 세계적인 대화의 장을 마련했다. 11월 1일 28개국과 유럽연합의 대표들은 영국 블레츨리의 블레츨리 공원에서 정상회의 장소의 이름을 딴 '블레츨리 선언'이라는 협정에 서명하고 AI를 안전하게 배포하는 방법에 대해 계속 논의하기로 합의했다.

현실적인 위험 논의 부족 지적, 블레츨리 선언의 실효성 부재

블레츨리 선언 이후, 11개의 참석 단체는 공개서한을 발표하여 이번 정상회의가 미래의 잠재적 위험에 초점을 맞추면서 실효성이 없는 주제를 늘어놓고 현실적이고 실질적인 AI 위험을 간과했다고 비판했다. 테러리스트나 사이버 범죄자가 생성형 AI를 이용하거나 AI가 지각을 갖게 되어 인간의 통제를 벗어나 우리 모두를 노예로 만들 수 있다는 공상과학적인 생각 등 요란한 주제들 대신, 차별, 경제적 지위 이동, 착취 및 편견을 포함하여 AI의 현실적이고 실질적인 위험에 대해서 건설적인 논의가 더 이뤄져야 한다고 강조했다.

서명자 중 한 명이자 민주주의기술센터(CDT)의 CEO인 알렉산드라 리브 기번스(Alexandra Reeve Givens)도 정상회담이 장기적 안전 피해라는 주제로 좁혀지는 것을 우려했다. 이는 정책 결정자와 기업들이 사람들의 권리에 이미 영향을 미치고 있는 사안으로부터 주의를 분산시킬 수 있기 때문이라고 설명했다. 그녀는 AI가 매우 빠르게 발전하고 있으므로 이론적인 미래의 위험보다 지금 당장 직면한 위험을 해결하는 법안을 만드는 데 더 큰 노력을 기울여야 한다고 덧붙였다.

실질적 위험 중 일부는 인터넷에서 가져온 데이터로 학습된 생성형 AI 모델에 편견이 포함되어 있기 때문에 발생한다. 특정 그룹에 유리하고 다른 그룹에 불리한 결과를 생성하는데, 예를 들어 이미지 생성 AI에 CEO나 비즈니스 리더의 사진을 만들어 달라고 요청하면 중년 백인 남성의 사진이 생성되는 경향이 있다. CDT의 자체 연구에 따르면 편향 문제 이외에도 대부분의 모델 학습 데이터가 영어로 되어 있으므로 비영어권 사용자가 생성형 AI를 사용할 때 불리한 점이 많다고 전했다.

기업 이익 우선 정책 우려, 독립적 규제 필요성 대두

그런데도 ChatGPT를 개발한 OpenAI를 비롯한 일부 선진 AI 기업들은 더 먼 미래의 위험 시나리오를 우선시하고 있다. 공개서한에 서명한 많은 사람은 AI 산업이 블레츨리 파크 정상 회담과 같은 주요 관련 행사를 형성하는 데 막대한 영향력을 가지고 있다고 밝혔다. 서밋의 공식 일정에는 최신 생성형 AI 도구에 대해 '프런티어 AI'라는 표현이 사용되었는데, 이는 AI 업계가 자체 단속 단체인 프런티어 모델 포럼(Frontier Model Forum)의 이름을 지을 때 사용한 용어와 유사하다.

규제 관련 이벤트에 영향력을 행사함으로써 선진 AI 기업은 공식적인 AI 정책을 형성하는 데 불균형적인 역할을 수행한다. 이를 '규제 포획'이라고 부르는데 기업의 이익을 우선시하는 정책을 만들기 때문이다. 스탠퍼드대학교 사이버정책센터의 마리에테 샤케(Marietje Schaake) 국제정책 책임자는 "민주적인 절차를 위해 이 과정은 독립적이어야 하며 기업에 의해 포획될 수 있는 가능성을 배제 시켜야 한다"라고 강조했다.

권리 기반 접근을 택해야 정책 결정자들이 더 합리적인 선택할 수 있어

허깅 페이스의 마가렛 미첼(Margaret Mitchell) 수석윤리과학자는 AI의 위험에 초점을 맞추는 것조차 사람들을 희생시키면서 기업에 지나치게 도움이 되는 것은 아닌지 걱정된다고 밝혔다. 그녀는 기술이 아닌 사람에 초점을 맞춰야 한다고 말한다. 즉 기술이 어떤 나쁜 영향을 미칠 수 있으며 이를 어떻게 분류할 것인가에 집중하기보다는 어떻게 사람을 보호해야 하는가에 더 큰 노력을 기울여야 한다는 것이다. 그녀가 위험 기반 접근 방식에 대해 신중을 기하게 된 것은 기타 유사한 행사에서 많은 기업들이 이러한 접근 방식에 기꺼이 서명하는 모습을 발견했기 때문이라고 전했다.

특히 인권에 초점을 맞추면 정치인과 규제 당국이 더 편안하게 느낄 수 있는 영역에서 대화가 이루어질 수 있다. 이를 통해 의원들이 AI의 위험으로부터 더 많은 사람을 보호하기 위한 법안을 만들고, 수십억 달러의 투자를 보호하고자 하는 기술 기업에도 타협점을 제시할 수 있게 된다. 정부가 권리에 초점을 맞추면 정부가 가장 자신이 있는 하향식 규제와 개발자가 가장 자신이 있는 상향식 규제를 혼합할 수 있기 때문이다. AI의 위협 자체가 주목받을수록 기술 중심의 해석이 중요해지고 이는 곧 기술에 대한 지식이 많은 기업에 더 유리한 협상이 될 수밖에 없는 것이다.

AI Needs Rules, but Who Will Get to Make Them?

Skirmishes at the U.K.’s AI Safety Summit expose tensions over how to regulate AI technology

About 150 government and industry leaders from around the world, including Vice President Kamala Harris and billionaire Elon Musk, descended on England this week for the U.K.’s AI Safety Summit. The meeting acted as the focal point for a global conversation about how to regulate artificial intelligence. But for some experts, it also highlighted the outsize role that AI companies are playing in that conversation—at the expense of many who stand to be affected but lack a financial stake in AI’s success.

On November 1 representatives from 28 countries and the European Union signed a pact called the Bletchley Declaration (named after the summit’s venue, Bletchley Park in Bletchley, England), in which they agreed to keep deliberating on how to safely deploy AI. But for one in 10 of the forum’s participants, many of whom represented civil society organizations, the conversation taking place in the U.K. hasn’t been good enough.

Following the Bletchley Declaration, 11 organizations in attendance released an open letter saying that the summit was doing a disservice to the world by focusing on future potential risks—such as the terrorists or cybercriminals co-opting generative AI or the more science-fictional idea that AI could become sentient, wriggle free of human control and enslave us all. The letter said the summit overlooked the already real and present risks of AI, including discrimination, economic displacement, exploitation and other kinds of bias.

“We worried that the summit’s narrow focus on long-term safety harms might distract from the urgent need for policymakers and companies to address ways that AI systems are already impacting people’s rights,” says Alexandra Reeve Givens, one of the statement’s signatories and CEO of the nonprofit Center for Democracy & Technology (CDT). With AI developing so quickly, she says, focusing on rules to avoid theoretical future risks takes up effort that many feel could be better spent writing legislation that addresses the dangers in the here and now.

Some of these harms arise because generative AI models are trained on data sourced from the Internet, which contain bias. As a result, such models produce results that favor certain groups and disadvantage others. If you ask an image-generating AI to produce depictions of CEOs or business leaders, for instance, it will show users photographs of middle-aged white men. The CDT’s own research, meanwhile, highlights how non-English speakers are disadvantaged by the use of generative AI because the majority of models’ training data are in English.

More distant future-risk scenarios are clearly a priority, however, for some powerful AI companies, including OpenAI, which developed ChatGPT. And many who signed the open letter think the AI industry has an outsize influence in shaping major relevant events such as the Bletchley Park summit. For instance, the summit’s official schedule described the current raft of generative AI tools with the phrase “frontier AI,” which echoes the terminology used by the AI industry in naming its self-policing watchdog, the Frontier Model Forum.

By exerting influence on such events, powerful companies also play a disproportionate role in shaping official AI policy—a type of situation called “regulatory capture.” As a result, those policies tend to prioritize company interests. “In the interest of having a democratic process, this process should be independent and not an opportunity for capture by companies,” says Marietje Schaake, international policy director at Stanford University’s Cyber Policy Center.

For one example, most private companies do not prioritize open-source AI (although there are exceptions, such as Meta’s LLaMA model). In the U.S., two days before the start of the U.K. summit, President Joe Biden issued an executive order that included provisions that some in academia saw as favoring private-sector players at the expense of open-source AI developers. “It could have huge repercussions for open-source [AI], open science and the democratization of AI,” says Mark Riedl, an associate professor of computing at the Georgia Institute of Technology. On October 31 the nonprofit Mozilla Foundation issued a separate open letter that emphasized the need for openness and safety in AI models. Its signatories included Yann LeCun, a professor of AI at New York University and Meta’s chief AI scientist.

Some experts are only asking regulators to extend the conversation beyond AI companies’ primary worry—existential risk at the hands of some future artificial general intelligence (AGI)—to a broader catalog of potential harms. For others, even this broader scope isn’t good enough.

“While I completely appreciate the point about AGI risks being a distraction and the concern about corporate co-option, I’m starting to worry that even trying to focus on risks is overly helpful to corporations at the expense of people,” says Margaret Mitchell, chief ethics scientist at AI company Hugging Face. (The company was represented at the Bletchley Park summit, but Mitchell herself was in the U.S. at a concurrent forum held by Senator Chuck Schumer of New York State at the time.)

“AI regulation should focus on people, not technology,” Mitchell says. “And that means [having] less of a focus on ‘What might this technology do badly, and how do we categorize that?’ and more of a focus on ‘How should we protect people?’” Mitchell’s circumspection toward the risk-based approach arose in part because so many companies were so willing to sign up to that approach at the U.K. summit and other similar events this week. “It immediately set off red flags for me,” she says, adding that she made a similar point at Schumer’s forum.

Mitchell advocates for taking a rights-based approach to AI regulation rather than a risk-based one. So does Chinasa T. Okolo, a fellow at the Brookings Institution, who attended the U.K. event. “Primary conversations at the summit revolve around the risks that ‘frontier models’ pose to society,” she says, “but leave out the harms that AI causes to data labelers, the workers who are arguably the most essential to AI development.”

Focusing specifically on human rights situates the conversation in an area where politicians and regulators may feel more comfortable. Mitchell believes this will help lawmakers confidently craft legislation to protect more people who are at risk of harm from AI. It could also provide a compromise for the tech companies that are so keen to protect their incumbent positions—and their billions of dollars of investments. “By government focusing on rights and goals, you can mix top-down regulation, where government is most qualified,” she says, “with bottom-up regulation, where developers are most qualified.”