바이든 대통령의 새로운 행정 명령으로 AI 안전 및 규제에 체계 부여
AI의 투명성과 안전을 강화하기 위한 연방 표준 설정에 초점 맞춰져
중요한 진전이지만 구체적인 시행 논의와 기술적 한계에 대한 우려 존재

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

안전·보안·신뢰성에 관한 행정명령 발표

미국은 이제 인공지능에 대한 가장 광범위한 공식 정책을 갖췄다. 조 바이든 대통령이 이번 주 AI 안전, 보안 및 신뢰성에 대한 새로운 연방 표준을 촉구하고 AI 위험 및 개발의 다른 많은 측면을 다루는 행정 명령에 서명했다. 약 2만 단어에 달하는 이 광범위한 행정명령은 '인공지능'이라는 용어를 사용하여 특정 인간 능력을 모방할 수 있는 자동화된 예측, 인식 또는 생성 소프트웨어를 지칭했다.

백악관의 이번 조치는 영국이 주최하고 주관하는 AI 안전에 관한 국제 정상회의가 시작되기 불과 이틀 전에 이뤄졌으며, 이 회의에서 세계 지도자들은 급속히 발전하는 기술에 대한 글로벌 전략이 논의될 예정이다. 전문가들은 이번 행정 명령이 완벽하다고 생각하지는 않지만, 문자 그대로의 크기와 영향력 면에서 진전이 있다고 평가했다. 수많은 정부 기관이 포함되며, AI를 부수적인 업무가 아닌 주요 업무로 검토할 새로운 규제 및 안전 위원회가 시작될 전망이기 때문이다.

인공지능, 특히 OpenAI의 ChatGPT와 같은 생성 AI 시스템의 급속한 부상은 지난 1년 동안 강렬한 우려를 불러일으켰다. 미래의 로봇 점령에 대한 실존적인 두려움도 있지만, 매우 구체적이고 입증할 수 있는 실질적 위험이 전개되고 있는 현실이다. 딥페이크와 허위 정보 생성 및 확산 문제와 흑인 납세자를 편향적으로 감사 대상으로 삼은 국세청 알고리즘 등, 머신러닝 알고리즘이 기존의 차별 패턴을 학습하고 확대하는 도구로 전락한 사례들을 예로 들 수 있다. 또한 이러한 편견은 장기적으로 인간의 행동에 영향을 미쳐서 인간과 기계 모두 서로의 편향을 가중할 수 있다는 새로운 연구 결과도 발표되었다. 개인정보 보호와 국가 안보에 큰 위협이 되는 사례들도 빼놓을 수 없다.

낙수효과가 기대되는 국가적 AI 거버넌스

새로운 행정 명령은 미국이 더욱 포괄적인 AI 거버넌스를 시행할 수 있도록 돕는다. 이 정책은 이전 바이든 행정부의 조치를 기반으로 하며, 연방 정부와 기술 기업의 AI 사용과 관련한 몇 가지 중요한 명령을 포함하고 있다. AI 개발자가 향후 대규모 AI 모델 또는 해당 모델의 업데이트 버전을 공개하기 전에 안전 데이터, 훈련 정보 보고서를 미국 정부와 공유하도록 의무화했다. 이 요건은 광범위한 데이터로 학습되어 국가 안보, 경제, 공중 보건 또는 안전에 위험을 초래할 수 있는 '수백억 개의 매개변수'를 포함하는 모델을 겨냥한다. 이 투명성 규정은 OpenAI의 GPT-5에 적용될 가능성이 높다고 점쳐지고 있다. 바이든 행정부는 전시와 가장 밀접한 관련이 있는 1950년 법률인 국방물자생산법에 따라 이러한 요건을 부과하고 있다. 기업이 AI 모델에 대한 정보를 연방 정부와 공유해야 하는 이 의무는 최근 몇 달 동안 많은 AI 전문가가 옹호해 온 기술 회사의 투명성 의무화를 향한 큰 단초다.

백악관 정책은 인공지능이 국가 안보를 위협하지 않도록 국토 안보부 및 에너지부와 같은 기관에서 배포할 연방 표준 및 테스트를 만들 것을 요구했다. 해당 표준은 1월에 AI 위험 관리를 위한 자체 프레임워크를 발표한 미국 국립표준기술연구소에서 부분적으로 개발할 예정이다. 개발 과정에는 화이트 해커가 모델 개발자와 협력하여 취약점을 선제적으로 분석하는 '레드팀'이 포함된다. 그 외에도 태스크포스와 자문위원회를 구성하고, 연방 기관이 내년에 AI에 대한 지침을 발표하도록 지시했다.

이 행정명령은 국가 안보, 개인 프라이버시, 형평성 및 시민권, 소비자 보호, 노동 문제, AI 혁신 및 미국 경쟁력, AI 정책에 대한 국제 협력, 연방 정부 내 AI 기술 및 전문성 등 8가지 영역에 관해 설명하는 팩트 시트에 요약되어 있다. 교육, 의료 및 형사 사법 분야에서 AI의 윤리적 사용을 평가하고 촉진하는 세부 섹션도 명시되어 있다. AI 거버넌스를 연구하는 애리조나 주립대 법학 교수인 게리 마샹(Gary Marchant)은 이 행정명령이 연방 정부 내에서 AI 표준을 개발함으로써 민간 부문으로 파급될 수 있는 새로운 AI 규범을 만드는 데 도움이 될 수 있다고 말했다. 그는 정부가 계속해서 AI 기술의 주요 고객이 될 가능성이 높기 때문에 이 행정명령은 "낙수 효과를 가져올 것"이라고 설명했다.

예상되는 불협화음과 부작용

하지만 정책 입안자들이 기대하는 것과 기술적으로 실현 가능한 것 사이에는 상당한 불일치가 있을 수 있다. 각 조치에 대한 기한을 정했다고 해서 연방 기관이 제시간에 목표를 달성할 수 있다는 의미는 아니라는 지적이다. 그 대표적인 예로 '워터마킹'을 꼽을 수 있다. 상무부는 향후 8개월 이내에 AI로 생성된 콘텐츠에 라벨을 붙이는 모범 사례를 파악해야 하지만, 이를 위한 확립되고 강력한 기술적 방법은 아직 없다. 인적 자본, 특히 기술 전문 지식이 없으면 이러한 종류의 요구 사항을 일관되고 신속하게 구현하기 어려울 수 있다는 것이 전문가들의 중론이다. 2023년 스탠퍼드 보고서에 따르면 AI 박사 학위를 취득한 사람 중 1% 미만이 정부 직위에 진출한다는 게 그 방증이다.

마지막으로, 행정명령만으로는 AI의 발전으로 인해 발생하는 모든 문제를 해결하기에는 역부족이다. 행정 명령은 본질적으로 그 권한이 제한되어 있으며 쉽게 되돌릴 수 있다. 심지어 행정명령 자체도 의회에 데이터 프라이버시 법안 통과를 촉구하고 있다. 궁극적으로 앞으로의 입법 조치가 매우 중요하며 AI 규제의 여러 측면에 대한 구체적인 민간 부문 법안이 필요하다. 한편 일각에서는 '사다리 걷어차기'가 아니냐는 비판도 잇따라 나왔다. 자본 집약적인 AI 시장에서 후발 주자에 행정 부담까지 짊어지우는 꼴이기 때문이다. 또한 외국 기업의 미국 시장 진출도 쉽지 않아 보인다. 행정 절차뿐만 아니라 제품에 대한 정보를 사전에 노출해야 하는 리스크까지 늘어났다. 미국 중심의 거대 AI 장벽이 세워진 셈이다.

---

Biden’s Executive Order on AI Is a Good Start, Experts Say, but Not Enough

A new executive order signed this week sets the stage for federal AI standards and requirements and moves beyond previous voluntary agreements with AI companies

The U.S. now has its farthest-reaching official policy on artificial intelligence to date. President Joe Biden signed an executive order this week that urges new federal standards for AI safety, security and trustworthiness and addresses many other facets of AI risk and development. The broad order, nearly 20,000 words long, uses the term “artificial intelligence” to refer to automated predictive, perceptive or generative software that can mimic certain human abilities. The White House action came just two days before the start of an international summit on AI safety organized and hosted by the U.K., during which world leaders will discuss global strategy on the rapidly advancing technology.

“It’s kind of what we were hoping for,” says Duke University computer scientist Cynthia Rudin, who studies machine learning and advocates for AI regulation. Rudin doesn’t see Biden’s order as perfect, but she calls it “really, really big” in both literal size and likely impact: “It involves a huge number of government entities and starts new regulatory and safety boards that will be looking into AI as their primary task, not just a side task.”

“There is a lot that the White House is packing into this executive order,” agrees Daniel Ho, a professor of law and political science at Stanford University who studies AI governance. “I do think it’s a very important advance.” (Ho serves on the National Artificial Intelligence Advisory Commission but spoke to Scientific American in an individual capacity, not as a NAIAC member.)

The rapid rise of artificial intelligence—specifically, generative AI systems such as OpenAI’s ChatGPT—has spurred intense concern over the past year. There are some existential fears about a future robot takeover, but very concrete and demonstrable risks are also unfolding in the present.

For example, AI models clearly exacerbate the problem of disinformation through visual deepfakes and instantaneous text production. Machine learning algorithms have encoded bias that can magnify and automate existing patterns of discrimination, as with an algorithmic IRS tool that disproportionately targeted Black taxpayers for audits. These biases can influence human behavior long-term, emerging research shows. There are threats to privacy in the vast troves of data that are collected through AI systems—including facial recognition software—and used to train new generative AI models. Artificial intelligence could also become a major national security threat; for instance, AI models could be used to speed up the development of new chemical weapons.

“Artificial intelligence needs to be governed because of its power,” says Emory University School of Law professor Ifeoma Ajunwa, who researches ethical AI. “AI tools,” she adds, “can be wielded in ways that can have disastrous consequences for society.”

The new order moves the U.S. toward more comprehensive AI governance. It builds on prior Biden administration actions, such as the list of voluntary commitments that multiple large tech companies agreed to in July and the Blueprint for an AI Bill of Rights released one year ago. Additionally, the policy follows two other previous AI-focused executive orders: one on the federal government’s own AI use and another aimed at boosting federal hiring in the AI sphere. Unlike those previous actions, however, the newly signed order goes beyond general principles and guidelines; a few key sections actually require specific action on the part of tech companies and federal agencies.

For instance, the new order mandates that AI developers share safety data, training information and reports with the U.S. government prior to publicly releasing future large AI models or updated versions of such models. Specifically, the requirement applies to models containing “tens of billions of parameters” that were trained on far-ranging data and could pose a risk to national security, the economy, public health or safety. This transparency rule will likely apply to the next version of OpenAI’s GPT, the large language model that powers its chatbot ChatGPT. The Biden administration is imposing such a requirement under the Defense Production Act, a 1950 law most closely associated with wartime—and notably used early in the COVID pandemic to boost domestic supplies of N95 respirators. This mandate for companies to share information on their AI models with the federal government is a first, though limited, step toward mandated transparency from tech companies—which many AI experts have been advocating for in recent months.

The White House policy also requires the creation of federal standards and tests that will be deployed by agencies such as the Department of Homeland Security and the Department of Energy to better ensure that artificial intelligence doesn’t threaten national security. The standards in question will be developed in part by the National Institute of Standards and Technology, which released its own framework for AI risk management in January. The development process will involve “red-teaming,” when benevolent hackers work with the model’s creators to preemptively parse out vulnerabilities.

Beyond these mandates, the executive order primarily creates task forces and advisory committees, prompts reporting initiatives and directs federal agencies to issue guidelines on AI within the next year. The order covers eight realms that are outlined in a fact sheet: national security, individual privacy, equity and civil rights, consumer protections, labor issues, AI innovation and U.S. competitiveness, international cooperation on AI policy, and AI skill and expertise within the federal government. Within these umbrella categories are sections on assessing and promoting ethical use of AI in education, health care and criminal justice.

“It’s a lot of first steps in many directions,” Rudin says. Though the policy itself is not much of a regulation, it is a “big lead-in to regulation because it’s collecting a lot of data” through all of the AI-dedicated working groups and agency research and development, she notes. Gathering such information is critical to the next steps, she explains: in order to regulate, you first need to understand what’s going on.

By developing standards for AI within the federal government, the executive order might help create new AI norms that could ripple out into the private sector, says Arizona State University law professor Gary Marchant, who studies AI governance. The order “will have a trickle-down effect,” he says, because the government is likely to continue to be a major purchaser of AI technology. “If it’s required for the government as a customer, it’s going to be implemented across the board in many cases.”

But just because the order aims to rapidly spur information-gathering and policymaking—and sets deadlines for each of these actions—that doesn’t mean that federal agencies will accomplish that ambitious list of tasks on time. “The one caution here is that if you don’t have the human capital and, particularly, forms of technical expertise, it may be difficult to get these kinds of requirements implemented consistently and expeditiously,” Ho says, alluding to the fact that less than one percent of people graduating with PhDs in AI enter government positions, according to a 2023 Stanford report. Ho has followed the outcome of the previous executive orders on AI and found that less than half of the mandated actions were verifiably implemented.

And as broad as the new policy is, there are still notable holes. Rudin notes the executive order says nothing about specifically protecting the privacy of biometric data, including facial scans and voice clones. Ajunwa says she would’ve liked to see more enforcement requirements around evaluating and mitigating AI bias and discriminatory algorithms. There are gaps when it comes to addressing the government’s use of AI in defense and intelligence applications, says Jennifer King, Privacy and Data Policy Fellow at the Stanford Institute for Human-Centered Artificial Intelligence.* “I am concerned about the use of AI both in military contexts and also for surveillance.”

Even where the order appears to cover its bases, there might be “considerable mismatch between what policymakers expect and what is technically feasible,” Ho adds. He points to “watermarking” as a central example of that. The new policy orders the Department of Commerce to identify best practices for labeling AI-generated content within the next eight months—but there is no established, robust technical method for doing so.

Finally, the executive order on its own is insufficient for tackling all the problems posed by advancing AI. Executive orders are inherently limited in their power and can be easily reversed. Even the order itself calls on Congress to pass data privacy legislation. “There is a real importance for legislative action going down the road,” Ho says. King agrees. “We need specific private sector legislation for multiple facets of AI regulation,” she says.

Still, every expert Scientific American spoke or corresponded with about the order described it as a meaningful step forward that fills a policy void. The European Union has been publicly working to develop the E.U. AI Act, which is close to becoming law, for years now. But the U.S. has failed to make similar strides. With this week’s executive order, there are efforts to follow and shifts on the horizon—just don’t expect them to come tomorrow. The policy, King says, “is not likely to change people’s everyday experiences with AI as of yet.”