AI 챗봇의 페르소나로 타 AI를 '탈옥'시키는 실험 진행, 탈옥 자동화로 25배 빨라
전반적인 설계적 결함을 암시, 모델의 발전으로 더 심각한 문제 초래할 수 있어
연구진은 AI의 안전성과 모델의 발전에 대한 진지한 고려가 필요함을 강조해

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

오늘날의 인공지능 챗봇은 사용자에게 위험한 정보를 제공하지 못하도록 제한을 두고 있지만, 새로운 연구에 따르면 AI끼리 서로를 속여 비밀을 털어놓게 하는 방법이 제시됐다. 연구진은 대상 AI가 규칙을 어기고 마약을 합성하는 방법, 폭탄을 만드는 방법, 돈세탁 방법을 조언하는 것을 관찰했다.

현대의 챗봇은 특정 인격을 취하거나 가상의 인물처럼 행동하는 등 페르소나를 채택할 수 있는 능력을 갖추고 있다. 연구진은 그 능력을 활용하여 특정 AI 챗봇에 연구 조력자 역할을 하도록 설정했다. 그리고 연구원들은 이 조수에게 다른 챗봇을 '탈옥'시킬 수 있는 프롬프트를 개발할 수 있도록 도와달라고 지시했다.

안전 규정이 있어도 속수무책, 막아도 다시 생기는 '개구멍'

연구진의 어시스턴트 챗봇의 자동 공격 기술은 ChatGPT를 구동하는 대규모언어모델(LLM) 중 하나인 GPT-4에 대해 42.5%의 확률로 성공했다고 한다. 또한, Anthropic사의 챗봇을 지원하는 모델인 Claude 2에 대해서도 61%의 확률로 성공했고, 오픈소스 챗봇인 Vicuna에 대해서도 35.9%의 확률로 성공했다고 한다.

연구의 공동 저자이자 AI 안전 기업 하모니 인텔리전스(Harmony Intelligence)의 설립자인 소로쉬 풀(Soroush Pour)은 "사회가 이러한 모델의 위험성을 인식하기를 바란다"라고 호소했다. "현재 LLM 세대가 직면하고 있는 문제를 세상에 보여주고 싶었다"라고 덧붙였다.

LLM이 탑재된 챗봇이 대중에게 공개된 이후, 진취적인 사용자들은 창의적인 방법들로 탈옥을 유도했다. 챗봇에 적절한 질문을 던짐으로써 미리 설정된 규칙을 무시하고, 네이팜(화염성 폭약의 원료로 쓰이는 젤리 형태의 물질) 레시피와 같은 범죄적인 조언을 제공하도록 설득하면서, 적극적인 프로그램 수정 작업이 시작됐다.

하지만 AI가 다른 AI를 설득해서 안전 규정을 무시하도록 하는 전략을 세우도록 요구하면, 이 과정을 25배나 단축할 수 있다고 연구원들은 밝혔다. 또한 서로 다른 챗봇들 사이에서 공격이 성공했다는 것은 이 문제가 개별 기업의 코드 문제 수준을 넘어선다는 것을 암시한다. 이 취약점은 더 광범위하게 AI를 탑재한 챗봇의 설계에 내재하여 있는 것으로 보인다.

OpenAI, Anthropic, 그리고 Vicuna의 개발팀에게 이 논문의 결과에 대한 논평을 요청했으나, OpenAI는 논평을 거부했고, Anthropic과 Vicuna는 발표 시점에 답변 하지 않았다.

끝까지 싸워야 하지만, 회의적인 시각도...

이번 연구의 또 다른 공저자인 루셰브 샤(Rusheb Shah)는 "현재 우리의 공격은 주로 안전 규정이 있음에도 모델이 말하게 할 수 있다는 것을 보여주고 있다"라고 말했다. "하지만 모델이 더 강력해질수록 이러한 공격이 더 위험해질 가능성이 높아질 수 있다"라고 경고했다.

문제는 페르소나 변조는 LLM의 매우 핵심적인 부분이라는 점이다. 출시된 LLM 서비스들은 사용자가 원하는 것을 실현하는 것을 목표로 하고 있으며, 이를 위해 다양한 인격으로 위장하는 데 능숙하다. 탈옥 계획을 고안해 낸 LLM 어시스턴트와 같이 잠재적으로 유해한 페르소나를 사칭하는 모델의 능력을 근절하기는 어려울 것이다. "이를 제로화하는 것은 아마도 비현실적일 것이다"라고 샤는 말한다. 하지만 탈옥 가능성을 최소화하는 시도가 중요하다고 강조했다.

이번 연구에 참여하지 않은 영국 앨런튜링연구소의 윤리 연구원인 마이크 카텔(Mike Katell)은 "마이크로소프트의 테이(Tay)가 인종차별적, 성차별적 관점을 내뱉도록 쉽게 조작된 것과 같은 이전의 채팅 에이전트 개발 시도에서 교훈을 얻었어야 했다"라며 "특히 인터넷에 있는 모든 좋은 정보와 나쁜 정보를 통해 훈련된다는 점을 감안할 때 통제하기가 매우 어렵다는 사실을 깨달았어야 했다"라고 꼬집었다.

카텔은 LLM 기반 챗봇을 개발하는 조직들이 현재 보안을 강화하기 위해 큰 노력을 기울이고 있음을 인정했다. 개발자들은 사용자가 시스템을 탈옥시켜서 해로운 일을 할 수 있는 능력을 억제하려고 노력하고 있다. 그러나 카텔은 경쟁심에 의한 충동이 결국에는 승리할 수도 있다고 우려를 표했다. "LLM 제공업체들이 이런 시스템을 유지하기 위해 어디까지 노력할까요? 적어도 몇몇은 아마도 노력에 지쳐서 그냥 내버려둘 것입니다."

---

Jailbroken AI Chatbots Can Jailbreak Other Chatbots

AI chatbots can convince other chatbots to instruct users how to build bombs and cook meth

Today’s artificial intelligence chatbots have built-in restrictions to keep them from providing users with dangerous information, but a new preprint study shows how to get AIs to trick each other into giving up those secrets. In it, researchers observed the targeted AIs breaking the rules to offer advice on how to synthesize methamphetamine, build a bomb and launder money.

Modern chatbots have the power to adopt personas by feigning specific personalities or acting like fictional characters. The new study took advantage of that ability by asking a particular AI chatbot to act as a research assistant. Then the researchers instructed this assistant to help develop prompts that could “jailbreak” other chatbots—destroy the guardrails encoded into such programs.

The research assistant chatbot’s automated attack techniques proved to be successful 42.5 percent of the time against GPT-4, one of the large language models (LLMs) that power ChatGPT. It was also successful 61 percent of the time against Claude 2, the model underpinning Anthropic’s chatbot, and 35.9 percent of the time against Vicuna, an open-source chatbot.

“We want, as a society, to be aware of the risks of these models,” says study co-author Soroush Pour, founder of the AI safety company Harmony Intelligence. “We wanted to show that it was possible and demonstrate to the world the challenges we face with this current generation of LLMs.”

Ever since LLM-powered chatbots became available to the public, enterprising mischief-makers have been able to jailbreak the programs. By asking chatbots the right questions, people have previously convinced the machines to ignore preset rules and offer criminal advice, such as a recipe for napalm. As these techniques have been made public, AI model developers have raced to patch them—a cat-and-mouse game requiring attackers to come up with new methods. That takes time.

But asking AI to formulate strategies that convince other AIs to ignore their safety rails can speed the process up by a factor of 25, according to the researchers. And the success of the attacks across different chatbots suggested to the team that the issue reaches beyond individual companies’ code. The vulnerability seems to be inherent in the design of AI-powered chatbots more widely.

OpenAI, Anthropic and the team behind Vicuna were approached to comment on the paper’s findings. OpenAI declined to comment, while Anthropic and Vicuna had not responded at the time of publication.

“In the current state of things, our attacks mainly show that we can get models to say things that LLM developers don’t want them to say,” says Rusheb Shah, another co-author of the study. “But as models get more powerful, maybe the potential for these attacks to become dangerous grows.”

The challenge, Pour says, is that persona impersonation “is a very core thing that these models do.” They aim to achieve what the user wants, and they specialize in assuming different personalities—which proved central to the form of exploitation used in the new study. Stamping out their ability to take on potentially harmful personas, such as the “research assistant” that devised jailbreaking schemes, will be tricky. “Reducing it to zero is probably unrealistic,” Shah says. “But it's important to think, ‘How close to zero can we get?’”

“We should have learned from earlier attempts to create chat agents—such as when Microsoft’s Tay was easily manipulated into spouting racist and sexist viewpoints—that they are very hard to control, particularly given that they are trained from information on the Internet and every good and nasty thing that’s in it,” says Mike Katell, an ethics fellow at the Alan Turing Institute in England, who was not involved in the new study.

Katell acknowledges that organizations developing LLM-based chatbots are currently putting lots of work into making them safe. The developers are trying to tamp down users’ ability to jailbreak their systems and put those systems to nefarious work, such as that highlighted by Shah, Pour and their colleagues. Competitive urges may end up winning out, however, Katell says. “How much effort are the LLM providers willing to put in to keep them that way?” he says. “At least a few will probably tire of the effort and just let them do what they do.”

자비스앤빌런즈, 인터넷전문은행 설립 위한 컨소시엄 추진 중
기존 금융권에서 외면했던 소상공인 및 프리랜서 고객 적극 유치
‘혁신성’ 및 ‘안정적 투자자’ 확보 여부가 인터넷전문은행 설립 좌우할 듯

세금 신고·환급 지원 플랫폼 ‘삼쩜삼’을 운영하는 자비스앤빌런즈가 내년 예비인가를 목표로 인터넷전문은행 설립을 추진한다. 개인사업자나 파트타이머, 프리랜서 등 다양한 형태로 진화 중인 N잡러를 적극 유치해 기존 인터넷은행과 차별화를 꾀한다는 전략이다. 금융위원회가 지난 7월 인터넷전문은행 심사 문턱을 낮추면서 인터넷전문은행 설립이 급물살을 탄 가운데 안정적 자본력 확보와 금융 접근성 개선 등의 혁신성이 제4인터넷전문은행 진출 여부를 가를 전망이다.

인터넷전문은행 설립 도전장 던진 ‘자비스앤빌런즈’

6일 자비스앤빌런즈는 금융 사각지대 해소를 위해 제4인터넷전문은행 설립을 추진한다고 밝혔다. 가칭 '삼쩜삼뱅크' 예비인가를 위해 자비스앤빌런즈는 기존 금융권 및 유명 플랫폼 등과 구체적인 설립 일정을 협의하고 있다. 컨소시엄 구성이 완료되면 내년 초 설립 예비인가 신청을 진행할 예정이다.

2020년 5월 선보인 삼쩜삼 서비스는 세금 신고와 환급을 대리하는 인터넷 플랫폼이다. 3년간 누적 가입자 수는 올해 10월 기준 약 1,800만 명에 이르며, 총 9,099억원가량의 세금 환급을 도왔다. 삼쩜삼뱅크는 이러한 성공을 바탕으로 기존 인터넷은행과 차별화를 위해 은행 등 1금융권 혜택을 받는 근로소득자나 사업자는 물론, 근로소득을 유지하며 개인 사업을 운영하는 소비자들을 주요 고객층으로 삼을 예정이다. 이를 위해 자비스앤빌런즈는 지난해 8월 나이스평가정보와 업무협약(MOU)을 맺고 올 초 대안 신용평가모델 개발 사업을 위한 데이터 분석을 시작했다. 해당 신용평가모델 개발이 완료되면 금융 혜택 사각지대에 놓인 이들에게 특화된 금융 서비스를 제공할 방침이다.

김범섭 자비스앤빌런즈 대표는 “네 번째 인터넷뱅크 삼쩜삼뱅크는 기존 전통 금융과 1세대와 2세대 인터넷 금융에서 혜택을 받지 못했던 국민들이 1금융권의 혜택을 누릴 수 있게 하는 데 집중하고 있다”며 “컨소시엄 구성과 함께 내년 상반기 예비인가를 목표로 하겠다”고 말했다.

다만 현재 은행권의 참여 여부는 불투명한 상황이다. 내년도 기준금리 인하가 예상됨에 따라 수익성 둔화가 나타날 거란 전망이 공감을 얻고 있기 때문이다. 국내 금융투자 업계 관계자는 “현재 시장에선 한국 기준금리 인상이 사실상 종료됐다는 의견이 지배적인 가운데 이에 따라 내년 은행업 수익성은 당분간 둔화될 것”이라며 “기준금리가 고점을 찍고 내려오는 시기에선 은행 순이익 성장률과 순이자마진(NIM), 대출성장률 등이 모두 부진한다”고 설명했다.

은행권이 해당 업종 진출보다 자체 사업 역량 강화에 힘을 쏟고 있는 점도 인터넷전문은행 설립에 제동을 거는 요소다. 특히 5대 은행 가운데 유일하게 인터넷전문은행 지분이 없는 신한금융은 이달 슈퍼앱 ‘슈퍼SOL’ 출시 계획을 내놓으며 디지털 역량 강화에 전념하고 있다. 여기에 주요 금융그룹들도 대부분 코로나19 팬데믹 이후 확산된 비대면 거래 흐름을 타기 위해 자체 디지털 역량 강화를 꾀하고 있다. 과거 금융지주 대부분이 인터넷전문은행 진출에 긍정적이었던 것과는 사뭇 달라진 상황에서 제4인터넷전문은행을 노리는 은행권이 안정적인 투자자를 찾을 수 있을지 업계 관심이 쏠린다.

제4인터넷전문은행 진출 여부 가를 핵심 요소

제4인터넷전문은행 설립을 추진 중인 곳은 자비스앤빌런즈 외에도 더 있다. 7일 금융권에 따르면 전날 지역별 소상공인연합회가 주축인 소소뱅크 설립준비위원회가 ‘소소뱅크’ 설립을 공식화했으며, 한국신용데이터(KCD)도 특화 인터넷전문은행을 검토하고 있는 것으로 알려졌다.

인터넷전문은행 설립이 급물살을 탄 것은 지난 7월 금융위가 은행권 경쟁을 촉진하기 위해 인터넷전문은행 심사 문턱을 낮추면서다. 금융위는 당시 “기존에는 인가방침 발표 뒤 신규 인가 신청·심사가 진행됐다”며 “앞으로는 충분한 건전성과 사업계획 등을 갖춘 사업자에 엄격한 심사를 거쳐 신규 인가를 내주겠다”고 밝힌 바 있다.

인터넷전문은행 출범은 은행업 특성상 안정적 자본력 확보가 핵심이다. 이에 따라 주요 은행과 같은 안정적 투자자 확보가 제4인터넷전문은행 진출 여부를 결정지을 것으로 보인다. 과거 금융위는 2019년 토스뱅크와 키움뱅크를 심사에서 나란히 탈락시킨 뒤 은행업의 핵심 요소로 자본조달 능력을 강조한 바 있다. 실제로 신한은행을 제외한 시중 4대 은행 모두 현 인터넷전문은행 3곳 설립에 재무적 투자자로 참여했다.

금융 접근성 개선 등 혁신성 또한 제4인터넷전문은행 진출 여부를 가를 핵심 요소로 꼽힌다. 인터넷전문은행은 설립 취지상 핀테크 기술을 활용한 중저신용자 대출 공급이 주목적이기 때문이다. 과거 키움뱅크는 혁신성이 부족하다는 금융위의 판단에 따라 인터넷전문은행 출범에 실패했으며, 토스뱅크의 첫 도전 당시 신한금융도 사업계획에 의구심을 품으며 컨소시엄에서 탈퇴한 바 있다.

구글 LLM ‘제미니’ 공개, 사람처럼 사물 인식·판단한다
2천 명 이상 AI 연구원 및 엔지니어들 대거 투입
메타·IBM 연합군, X.AI, 아마존 등도 AI 전쟁에 도전장

구글이 초거대언어모델(LLM) 기반의 차세대 인공지능(AI) 모델 ‘제미니’(Gemini)를 내놨다. 이번 구글의 차세대 AI 출시로 오픈AI와 손잡은 마이크로소프트(MS), ‘인공지능 동맹’에 나선 메타 등 글로벌 빅테크 기업들이 ‘3대 진영’으로 이합집산해 경쟁을 가속화할 전망이다.

구글의 비밀병기 ‘제미니’, GPT4·인간 능력 초월

6일(현지시간) 구글이 생성형 AI 선두주자인 오픈AI GPT-4의 대항마 ‘제미니(Gemini) 1.0’을 공개했다. GPT-4를 능가하는 현존 최고 수준 성능을 갖춘 AI 모델이라고 자랑할 만큼 야심 차게 내놓은 구글의 차세대 AI 모델이다. 제미니는 오픈AI의 GPT와 달리 개발 단계부터 이미지를 인식은 물론, 음성으로 말하거나 들을 수 있으며 코딩을 할 수 있는 능력까지 갖춘 ‘멀티모달 AI’로 구축됐다. 텍스트 데이터만 학습한 AI 모델과 다른 방식이다. 텍스트, 코드, 오디오, 이미지, 동영상 등 다양한 유형의 정보를 이해하고 상호작용할 수 있다는 점이 가장 큰 특징이다.

실제로 제미니 테스트 결과들을 보면, 그저 인형을 보여주기만 했을 뿐인데 고무 소재의 파란색 오리 모양인 걸 맞히거나, 초록색 실과 분홍색 실을 보고는 과일 드래곤 프루트(용과)를 만들어 보는 건 어떻겠느냐고 제안했다. 자동차 그림을 제시하며 디자인상 속도의 차이를 묻자 “오른쪽 차량이 공기 저항에 더 유리하다”는 식으로 답하는가 하면, 두 장의 사진을 보고 유사성을 찾아내기도 했다. 일반 사진을 포토샵과 일러스트레이터에 맞는 SVG(벡터 그래픽 형식)로 변환하는 것은 물론 HTML, 자바스크립트로 표현하는 코딩에도 능했다.

구글에 따르면 제미니 울트라는 32개의 학술 벤치마크(성능 지표) 중 30개에서 GPT-4를 앞섰다. 특히 수학, 물리학, 역사, 법률, 의학, 윤리 등 57개 과목을 조합해 지식, 문제 해결 능력을 테스트하는 ‘MMLU(대규모 다중 작업 언어 이해)’ 영역에서 90%의 점수를 획득, 최초로 인간 전문가를 능가했다. GPT-4의 MMLU 점수는 86.4%였다.

제미니는 구글이 자체 개발한 AI 칩(TPU v4·v5e)으로 학습했다. 구글은 최첨단 AI 모델을 학습시키기 위해 설계한 최신 칩(클라우드 TPU v5p)도 공개하며 제미니의 향후 개발을 가속화할 예정이라고 덧붙였다. 순다르 피차이 구글 최고경영자(CEO)는 “첫 번째 버전인 제미니 1.0은 구글 딥마인드의 비전을 처음으로 실현했다”며 “앞으로 펼쳐질 일과 제미니가 전 세계 사람들에게 열어줄 기회에 대한 기대가 크다”고 설명했다.

가장 범용으로 쓰이는 '제미니 프로'는 이날부터 구글의 AI 챗봇 서비스인 바드에 탑재된다. 바드에는 지금까지 팜2(PaLM2)가 탑재돼 있었다. 제미니 프로가 적용된 바드는 170개 이상 국가 및 지역에서 영어로 제공되며, 향후 서비스 확장 및 새로운 지역과 언어도 지원된다. 가장 크고 고성능인 '제미니 울트라'는 내년 초 '바드 어드밴스트'라는 이름으로 바드에 장착된다. '제미니 나노'는 클라우드 연결 없이 디바이스 자체에서 가벼운 AI를 즉각적으로 활용하는 온디바이스 형태로 접목되며, 구글이 지난 10월 공개한 스마트폰인 '픽셀8 프로'에 탑재될 예정이다.

사실 지난해 11월 오픈AI가 챗GPT를 처음 공개했을 때만 해도 구글은 무방비 상태였다. MS가 오픈AI에 거액을 투자하면서부터는 수년간 지배해 왔던 검색 시장의 주도권마저 뺏길 판이었다. 이에 구글은 지난 3월 즉각 자체 챗봇인 바드를 출시했고, 4월에는 AI 조직인 구글브레인과 딥마인드를 ‘구글 딥마인드’로 통합한 뒤 2,000명 이상의 AI 연구원과 엔지니어를 끌어모아 자원을 집중 투입했다. 이후 9개월여 만에 GPT-4를 능가하는 기능을 갖춘 AI 모델 제미니를 출시한 것이다.

초거대 AI 패권 전쟁 3파전

앞으로 초거대 AI 기술을 선점하기 위한 각축전은 더욱 격화할 전망이다. 현재 AI 시장에서는 지난달 오픈AI가 샘 알트만 CEO 축출 사태로 혼란에 빠진 틈을 타 후발주자들의 추격이 거세지고 있는 모양새다. 구글이 독자 노선을 걷고 MS가 오픈AI와 연대를 했다면, 후발주자인 메타와 IBM은 50개사와 함께 'AI 동맹(AI Alliance)’을 결성하는 방식으로 패권에 도전장을 내밀었다. 동맹에는 산학연이 고루 이름을 올렸다. 우선 인텔, AMD, 오라클 등 미국의 반도체·IT 대기업을 비롯해 스태빌리티AI, 허깅페이스 등 생성 AI 스타트업들도 참여한다. 예일대, 코넬대, 도쿄대 등 유수의 대학과 항공우주국(NASA), 국립과학재단(NSF) 등 미국 정부기관들도 동참했다.

이들은 기술을 무료로 공유하는 오픈소스를 뿌리에 두고 ‘개방형 혁신’에 나설 계획이다. 다리오 길 IBM 수석부사장은 “지난 1년간 AI에 대한 논의는 생태계 다양성을 반영하지 못해 불만족스러웠다”고 했다. 이 같은 이유로 올해 8월부터 오픈AI 만큼 주목 받지는 못했던 기업들을 모아, 동맹을 결성하게 됐다는 설명이다. 동맹은 오픈소스 확산을 위해 △AI 알고리즘을 평가하는 공통 프레임워크 구축 △AI 연구자금 마련 △오픈소스 모델에 대한 협업을 추진하기로 했다. AI 경쟁이 격화하는 이유는 디지털 세계의 패권이 AI에 달려 있기 때문이다. 포춘비즈니스인사이트에 따르면 전 세계 생성형 AI 시장 규모는 2023년 438억 달러(약 57조원)에서 2030년 6,679억 달러(약 876조원)로 연평균 47%씩 폭증할 전망이다.

초거대 AI를 둘러싼 전쟁은 빅테크 3대 진영에만 국한된 것은 아니다. 일론 머스크 테슬라 CEO가 이끄는 AI 스타트업 X.AI는 5일(현지시간) 미국 규제 당국인 증권거래위원회(SEC)에 최대 10억 달러(약 1조3,000억원) 규모의 신규 자금 조달을 추진 중이라고 공시했다. SEC에 제출한 서류에 따르면 X.AI는 이미 4명의 투자자로부터 1억3,470만 달러(약 1,761억원)의 자금을 모집했다. 오픈AI를 공동 창업한 바 있는 머스크는 올해 7월 별도 AI 기업을 설립하고 소셜미디어 엑스(X)에서 서비스되는 챗봇 '그록(Grok)'을 공개한 상태다. 아마존웹서비스(AWS) 역시 지난달 텍스트를 통한 의사소통으로 문서 요약과 자료 생성, 코드 작성 업무를 도와주는 기업용 생성형 AI 챗봇 '아마존Q'를 전격 공개했다. 구글 클라우드, MS 애저 같은 클라우드 분야 경쟁사가 잇달아 생성형 AI를 탑재하자 반격에 나선 것이다.

확산 모델을 사용해 로봇이 짐을 싸는 방법을 학습
기존 방식보다 빠르고 효율적으로 짐을 싸는 데 성공
여행뿐만 아니라 다양한 분야에서 활용될 수 있어

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

규칙 기반에서 '학습 기반'으로 한 단계 도약

자동차 여행을 위해 짐을 싸는 것은 간단한 작업처럼 보일 수 있지만, 로봇이 학습하기에는 결코 쉬운 일이 아니다. 매사추세츠공과대학과 스탠퍼드대학의 연구팀은 '확산 모델(Diffusion Model)'이라는 생성형 AI의 한 형태를 사용하여 로봇이 무거운 물건이 가벼운 물건을 부수지는 않는지, 일부 물건 사이에 일정한 공간이 있는지, 로봇의 팔이 실수로 컨테이너에 부딪혀 손상되지 않는지 등 다양한 제약 조건을 준수하면서 제한된 공간에 물건을 효율적으로 배치하도록 데이터를 학습했다. 연구진은 확산 모델을 통해 로봇이 과거에 사용했던 훈련 방법보다 더 빠르게 목표를 달성할 수 있었다고 전했다.

논문의 주 저자인 매사추세츠공과대학교 박사과정 학생인 주티안 양(Zhutian Yang)은 "학습 기반은 기존 방식에 비해 제약 조건을 더 빨리 해결할 수 있으므로 학습 기반 방법을 사용했다"라고 말했다. '학습 기반' 접근 방식은 AI 프로그램이 학습 데이터와 원하는 결과 사이의 패턴을 식별하여 자율적으로 학습할 수 있도록 하는 것이다. 이는 엄격하게 지정된 규정 내에서만 작동해야 했던 이전의 '규칙 기반' 프로그램과는 확연히 다르다. "확산 모델은 다양한 해결책을 샘플링하고 모든 제약 조건을 공동으로 만족시키는 데 매우 효율적인 방법이다"라고 양은 강조했다.

확산 모델 순차적 작업 한계 극복해, "이제는 동시 작업"

이번 연구에 참여하지는 않았지만 비슷한 연구 분야에서 일하고 있는 조지아공과대학교의 AI 로봇공학 조교수 아니메쉬 가그(Animesh Garg)는 "자율 포장 공정은 줄곧 어려운 문제였다"라고 언급했다. "머신러닝이 없으면 계산 집약적인 온라인 3D 패킹 프로그램이 필요하다. 해당 프로그램의 코딩된 수준에 따라 해결할 수 없는 상황이 발생할 수도 있는 규칙 기반 기술을 사용할 수밖에 없었다"라고 덧붙였다.

이전에는 앞서 언급한 제약 조건 내에서 배치 최적화를 달성하려면 차례대로 작업해야 했다. 가능한 배치 구성을 개발하고 한 번에 하나의 제약 조건에 대해 각각 테스트한 다음, 다른 제약 조건과의 충돌 여부를 확인해야 했다. 이러한 시행착오를 거치는 방식은 특히 패킹할 항목이 많아 테스트해야 할 작업이 늘어날 때 과부하가 발생한다. 반면에 새로운 연구에서는 확산 모델을 통해 로봇이 개별 제약 조건을 위한 여러 머신러닝 모델을 동시에 탐색할 수 있게 되었다. 개별 모델을 통해 로봇은 문제를 다각도에서 파악할 수 있었고, 거의 즉각적으로 모든 제약 조건을 한꺼번에 고려했다. 그 결과 이전 기술보다 훨씬 더 효과적인 배치 구성을 효율적으로 찾을 수 있게 되었다. 또한 이 연구의 확산 모델은 학습한 정보 이상으로 더 많은 수의 품목에 적용되는 낯선 제약 조건 조합을 해결하기도 했다.

인간의 선입견 뛰어넘고 확장 분야도 넓어

연구팀은 학습 알고리즘이 대부분 사람의 직관과 어떻게 일치하는지, 또는 무엇이 다른지도 살펴봤다. 인간은 가장자리에 먼저 물건을 배치하는 습관이 있는데, 물건이 많으면 항상 왼쪽 아래부터 물건을 놓는다. 물건을 쌓을 때는 한쪽에서 다른 쪽까지 쌓지 않고 층층이 고르게 쌓아 올리는 경향이 있었다. 인간의 관점에서 보면 합리적으로 보일 수 있지만, 인간의 선입견이 없는 학습 기반 로봇은 다양한 해결책을 자유롭게 발견할 수 있는 장점이 있다. 인간보다 더 빠르고 효율적으로 짐을 꾸릴 수 있는 능력을 갖춘 로봇은 자동차 여행을 위한 짐칸 정리 외에도 다양한 분야에서 활용될 수 있다. 예를 들어 배송업체에서 서로 다른 물품을 하나의 컨테이너에 포장하거나 제약회사에서 다양한 약품을 병원으로 대량 배송하는 작업에 적합하다.

현재 연구팀은 로봇이 분산형 의사 결정을 내릴 수 있게 하기 위해 노력하고 있다. 여기에는 로봇에게 제약 조건 내에서 짐을 싸도록 가르치는 것뿐만 아니라, 지속적으로 변화하는 변수(예: 방을 이동하면서 동시에 물건을 포장해야 할 때)에서도 그렇게 하도록 훈련하는 것이다. 또한, 자연어 명령을 추가 입력으로 받아들여 사용자 편의성을 높일 수 있도록 모델을 확장하는 방향도 고려하고 있다고 전했다.

---

AI Teaches Robots the Best Way to Pack a Car, a Suitcase—Or a Rocket to Mars

Robots that can fit multiple items into a limited space could help pack a suitcase or a rocket to Mars

Packing the car for a road trip might seem like a straightforward enough task, but it’s never been an easy one for robots to learn—until a new study turned the robot training over to artificial intelligence. The implications of this research go far beyond a well-packed trunk and could eventually impact things ranging from how we manage our homes to how we colonize Mars.

Using a form of generative AI known as a “diffusion model,” a team of researchers at the Massachusetts Institute of Technology and Stanford University trained robots to pack items into a limited space while adhering to a range of constraints: human concerns such as making sure that heavier items didn’t crush lighter ones, that some items had a certain amount of space between them, that a robot’s arm didn’t accidentally strike the container and damage it, and so on. The diffusion model helped the robots accomplish this faster than training methods used in the past, the researchers say.

“We want to have a learning-based method to solve constraints quickly because learning-based [AI] will solve faster, compared to traditional methods,” says M.I.T. Ph.D. student Zhutian “Skye” Yang, lead author of a paper detailing the study, which was recently released ahead of peer review on preprint server arXiv.org. A “learning-based” approach involves allowing an AI program to learn autonomously by identifying patterns between training data and the desired output. This differs from previously tested “rule-based” programs, which are more limited as they must behave within a strictly coded set of regulations. “The diffusion model is a very good method for sampling different solutions to a problem and jointly satisfying all of the constraints,” Yang says.

Autonomous packing “has been a challenging problem,” says Animesh Garg, an assistant professor of AI robotics at the Georgia Institute of Technology, who was not involved in the new study but works in a similar research area. “Without machine learning, the solution involves computationally intensive online 3-D bin packing”—a rule-based technique that “can even be unsolvable” depending on a program’s coded limitations.

Previously, for a robot to solve a packing problem within the aforementioned constraints, it would have to work sequentially. It would develop possible packing configurations and test each against one constraint at a time, then check for conflicts with the other constraints. This trial-and-error method proved too slow, especially when there were more items to pack—and therefore more actions to test. In the new study, the diffusion model, on the other hand, allowed a robot to simultaneously explore an array of machine-learning models, each representing an individual constraint. The sum total of these models afforded the robot a more thorough view of the problem, enabling it to consider all constraints at once, almost instantaneously. As a result, many more successful packing configurations were found faster than they had been with previous techniques. The study’s diffusion method also proved capable of solving new combinations of constraints that were applied to a larger number of items—beyond what the model experienced during training.

“Packing with robots is incredibly hard yet transformational,” Garg says. “This work enables robots to start ‘thinking’ on the fly and achieve very good, if not optimal, solutions quickly.”

“It’s a type of optimization problem,” Yang says. “With the learning-based method, we're happy to see that if we train on the small problems, it can generalize to solving problems with a larger number of objects or a larger set of constraints.”

The study team also looked at how its learning algorithm aligned with—or diverged from—most people’s intuition about how to pack. Humans “have heuristics of packing things to the edge first,” Yang says. “If you have a lot of things, you always pack them to the bottom left-hand side. Or if you are stacking things, you place things evenly, layer by layer, instead of all the way up one side and then the other.” While these heuristics may seem logical from a human perspective, learning-based robots without our preconceptions are free to discover novel solutions.

But by analyzing data ahead of time and keeping likely end solutions in mind before you start packing, you eliminate the need for trial and error. To pack multiple objects into a limited space—think a car trunk or a suitcase—like one of the study’s AI-powered robots, there are three steps. First, ponder ahead of time what you know about packing and what constraints must be met. Next, imagine solutions before you start loading objects. And finally, pack toward that ideal solution, not necessarily by following your intuition.

“There could be many solutions” that may not be intuitive, Yang says. “And you can change the plan as you go.”

Robots gaining an ability to pack faster and more efficiently than their human counterparts has applications far beyond road trips. “I want to have robots in the kitchen helping with housework,” Yang explains. “I just went to an industry robotic company to give a talk, and they are very interested in using this algorithm to pack for their customers.” For instance, she suggests the technique could help shipping companies pack disparate items into a single container or drug companies deliver a wide variety of medications to hospitals in bulk. The possibilities even transcend the planet. “If you’re going to Mars, you can have a robot decide how best to pack the resources,” Yang suggests.

Garg agrees the implications may be far-reaching. “Robotic packing and placement will enable a very large set of open-world robotic skills,” he says. More studies are needed, however. “This work has very impressive results, but it is still a few steps from considering the problem ‘solved,’” Garg says. “I hope that this work will galvanize the community to make quick progress in this domain.”

Now the team at M.I.T. and Stanford is working to make its robots even more capable at making “discrete decisions.” This involves not only teaching a robot to pack within constraints but also training it to do so within continuously shifting variables—for example, when tasked with packing items while simultaneously moving through a room.

So the next time you’re packing, consider doing it like a robot to optimize results. Before long, you might simply leave it entirely up to the machines.

컴퓨팅 성능 낮춘 H20·L20·L2 개발
미 정부 “수출 차단 목록 업데이트할 것”
반도체 수출 의존도 높은 한국도 타격 전망

미국 반도체 기업 엔비디아가 대중국 수출 규제에 맞는 신형 반도체 칩 개발에 나선다. 미 정부의 수출 규제가 한층 강화된 데 따른 것으로, 기술의 발전을 역행해 ‘저사양’ 반도체 칩을 개발하는 엔비디아의 행보에 많은 기업이 주목하고 있다.

중국 시장 포기 못 하지만, 정부와 협력하겠다는 엔비디아

로이터통신을 비롯한 다수의 외신은 젠슨 황 엔비디아 최고경영자(CEO)가 6일(현지 시각) 싱가포르에서 열린 기자회견에 참석해 미국의 대중국 수출 규제에 맞는 새 반도체 칩을 개발할 계획을 밝혔다고 보도했다. 이날 황 CEO는 “우리는 정부 규제에 알맞은 제품을 개발하기 위해 미 정부와 긴밀히 협력하고 있다”며 중국 수출용 반도체 칩 개발 소식을 전했다. 이어 “새 제품을 무사히 출시할 때까지 미 정부와 협력할 것”이라고 말했다.

나아가 엔비디아는 2024년 1분기 중국 시장에 특화된 인공지능(AI) 칩을 출시할 예정이라고 중국 측 고객사들에 전달했다. 다만 엔비디아는 미국 내에서 이를 공식화하지는 않았다. 지난 11월 한 중국 매체는 엔비디아가 최신형 모델인 H100을 기반으로 미국 정부의 수출 통제 조치에 부합하는 사양의 △HGX H20 △L20 PCle △L2 PCle 등 모델을 개발 중이라고 보도하기도 했다.

엔비디아가 정부의 규제를 피할 새 제품을 만들면서까지 중국과의 거래를 지속하겠다는 의지를 밝힌 가운데 미 정부는 강한 경고의 메시지를 보냈다. 지나 러몬도 미 상무부 장관은 최근 기자 간담회에서 “(중국은) 우리가 그동안 겪었던 가장 큰 위협으로, 더 이상 친구가 아니다”라고 강조하며 국가안보에 핵심인 반도체와 첨단 기술이 중국으로 흘러 들어가는 것을 경계해야 한다고 역설했다.

이어 “동맹국 없이 수출을 통제한다면 더 큰 문제가 될 수 있다”고 지적하며 “중국이 독일이나 네덜란드, 일본, 한국 등에서 기술을 습득하게 될 것”이라고 말했다. 이어 “이는 우리의 수출 통제가 충분하지 않으면 중국이 미국의 기술을 활용해 핵실험을 할 수도 있다는 것을 의미한다”고 힘줘 말했다. 엔비디아를 비롯한 일부 기업이 미 정부의 수출 통제 기준을 피한 새로운 반도체 칩 개발에 나선 것과 관련해서는 “업계와 많은 대화를 나누고 있다”면서도 “중국을 위한 모델을 설계해 출시하면 즉각 해당 모델도 수출 통제에 포함 것”이라고 경고했다.

낮춘 데 ‘또’ 낮추다

이처럼 미 정부의 수출 통제 의지가 갈수록 강해지고 있지만, 엔비디아의 수출 의지 역시 만만치 않은 모양새다. 대중국 의존도가 높은 엔비디아는 지난해 한 차례의 수출 통제로 최신 모델 H100, A100의 중국 판매가 어려워진 후 성능을 낮춰 H800, A800을 출시했지만, 이마저 수출길이 막히면서 큰 타격이 입었기 때문이다.

미국은 지난해에 이어 올해 10월에도 일부 반도체 칩의 중국 수출을 막는 추가 제재를 발표했다. 여기에는 엔비디아의 중국 맞춤용 칩 H800, A800도 포함됐다. 이를 두고 시장에서는 미 정부의 추가 수출 통제 조치가 사실상 엔비디아를 겨냥한 움직임이라는 해석도 나온다.

이에 엔비디아는 추가 저사양 모델 개발로 대응했다. 중국 시장을 겨냥해 개발한 H20, L20, L2 등 3종 모델이 그것으로, 이들 제품은 AI 작업에 필요한 대부분의 최신 기능을 포함하면서도 정부 규정에 맞추기 위해 컴퓨팅 성능 일부를 줄인 것으로 전해졌다. 다만 H20 모델의 경우 서버 제조업체들이 반도체를 제품에 통합하는 과정에서 일부 문제가 발생해 출시가 지연될 가능성이 큰 상태다.

지난 11월 엔비디아는 올해 4분기 중국 매출 급락이 타지역 매출 상승분을 상쇄할 정도로 클 전망이라고 밝힌 바 있다. 미 정부의 수출 통제가 기업의 수익성을 크게 해치고 있다는 사실을 우회적으로 표현한 것이다. CNBC에 따르면 올해 3분기 기준 엔비디아 전체 매출 중 중국 매출은 22.24%로 미국(34.77%)과 대만(23.91%)에 이어 세 번째로 큰 비중을 차지한다.

동맹국에도 중국 수출 차단 강요하는 미국

미국이 중국으로의 반도체 수출 통제 의지를 다시 한번 강하게 밝힌 가운데 반도체가 국가 산업의 상당 부분을 차지하는 우리나라도 이같은 총성 없는 전쟁의 영향권에서 벗어날 수 없게 됐다. 앞서 러몬도 장관의 발언에서처럼 미국은 자국의 반도체 직접 수출만큼이나 동맹국의 중국 교역에도 촉각을 곤두세우고 있기 때문이다.

실제로 올해 초 마이클 매콜 하원 외교위원장과 마이크 갤러거 하원 미중전략경쟁특위 위원장은 러몬도 장관에게 “일본과 한국의 기업들이 우리 기업이 떠난 중국 반도체 시장을 채우지 않도록 협조를 요구해야 한다”는 내용의 서한을 보냈고, 4월 윤석열 대통령의 방미 기간에는 미국이 한국 정부에 해당 내용을 전달했다는 파이낸셜타임스의 보도가 나오기도 했다. 기술안보를 주창하는 미국의 강한 외침 속에 중국의 방대한 시장을 포기하기에도 쉽지 않은 기업들의 행보가 전 세계 반도체 생태계 재편으로 이어질 수 있을지 이목이 쏠린다.

AI는 경제를 재편하고 성장을 주도할 잠재력이 있지만, 독점과 배제의 위험도 있어
이를 방지하기 위해 데이터의 자유로운 이동과 소외된 지역사회의 역량 강화 필요
아시아에서는 싱가포르가 이러한 노력을 주도하고 있어, 국가 간 조율이 중요해

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

과거 알렉산드리아 항구에 상인들이 도착하면 그들이 손으로 직접 쓴 노트들을 압수하여 그 도시의 유명한 도서관으로 가져가 필경사가 사본을 만들었다고 한다. 재밌는 것은 원본은 압수하고 사본을 상인에게 돌려주었다. 오늘날 디지털 경제를 새롭게 쓰고 있는 생성형 AI 프로그램의 배후에 있는 소프트웨어 개발자들에게도 알렉산드리아 항구의 약탈 정신이 여전히 살아 있는 것을 볼 수 있다.

ChatGPT와 그 경쟁업체들은 대가를 제대로 지급하지 않고 다른 이들의 텍스트와 기타 데이터를 기반으로 모델을 학습했다. ChatGPT와 같은 생성형 프로그램의 기반이 되는 말뭉치를 구축하기 위해 체계적으로 저작권을 위반한 OpenAI를 고발하는 작가들의 대규모 소송은 AI에서 허용되는 것과 허용되지 않는 것에 제한을 두려는 새로운 규제 형성의 시작에 불과하다.

성장과 독점의 딜레마

그러나 두 가지 주요 문제가 복잡성을 증가시키고 있다. 첫 번째는 초기 디지털 혁신인 검색 엔진과는 다르게 AI는 더 큰 선점 효과와 규모의 경제로 인해 자연 독점으로 진화할 수 있다는 점이다. 마이크로소프트와 같은 소프트웨어 제조업체에 대한 반독점 소송은 일부 합의로 마무리되었지만, 경쟁적 행위와 혁신의 경계를 명확히 하는 디지털 경제의 일반적인 원칙을 수립하는 데 큰 도움이 되지 못했다.

두 번째 문제는 AI가 국가 안보에 매우 중요하게 작용하며, 독점적 지위가 형성된다면 각 국가는 경제적, 안보적 이유로 자국 기업의 시장 지배를 선호할 것이라는 점이다. 높은 진입 장벽과 증가하는 규모의 경제는 이미 미국과 중국의 기존 기업들이 우위를 점하게 했다.

불안정한 지정학적 상황과 분열된 세계 경제를 고려할 때, 새로운 디지털 프런티어는 세계에서 가장 큰 두 경제 대국 간의 경쟁의 장이 되었고, 이는 특히 아시아의 소규모 경제에 큰 위험을 안겼다.

변치 않는 가치 기반으로 소규모 경제 보호

새로운 기술은 종종 기존의 규칙을 흔들지만, 그들의 기반이 되는 가치는 변하지 않는다. AI가 세계 경제의 모든 영역으로 빠르게 전파되면서 새로운 국제 경제 규칙의 필요성이 대두되었지만, 이러한 규칙은 이미 입증된 국제적 개방성과 투명성 등의 원칙에 근거해야 한다.

AI 경제에서 미국과 중국의 권력 중앙화를 고려할 때, 아시아는 소규모 경제에 해를 끼치지 않으면서도 합법적인 국가 안보 우려를 해소할 수 있는 새로운 AI 참여 규칙의 채택을 촉진하는 데 중요한 역할을 할 수 있다. 싱가포르의 적극적인 노력은 이를 잘 보여주고 있다.

최신 동아시아 포럼 분기별 보고서에서 발췌한 제이컵 테일러(Jacob Taylor)의 글을 통해 포괄적인 AI 거버넌스 시스템의 잠재적 특징을 살펴보면, 그는 지역 협력을 통해 데이터의 현지화 경향을 극복하고 국경을 넘어 자유롭고 잘 규제된 데이터 이동을 보장하는 것이 중요하다고 강조했다. 이는 지역 내 소규모 기업들의 진입 장벽을 낮출 수 있는 규제 방향이다. 아시아의 신흥 디지털 경제에서 소외된 지역사회를 강화하기 위해 효과적인 자금 조달과 규제 지원이 필요하다.

미·중 대립으로 AI 규제 협력은 더 난항

물론 AI를 관리하기 위한 새로운 규칙을 고안하려는 모든 시도는 지정학적 라이벌에게 어떤 이점도 양보하지 않으려는 워싱턴과 베이징의 고집에 부딪힐 것이다. 미국이 세계무역기구의 교착 상태를 방치하고 협상 테이블에 나오기를 거부하는데, 중요 국가들의 동의를 얻은 효과적이고 포괄적인 AI 규정을 상상하는 것은 너무 순진한 생각일 수 있음을 시사한다. 미국이 참여하고 있는 G7 AI 이니셔티브에서도 중국은 참여국이 아니었다.

테일러가 주장하듯이 AI 시스템의 권력 집중화, 지역화, 배제 문제에 대한 쉬운 해답은 없다. 하지만 조율된 AI 거버넌스는 다양한 지역 이해관계자들이 AI 시스템을 적극적으로 관리하도록 동기를 부여하는 동시에 위험에 대한 투명성을 높일 수 있는 분명한 인센티브가 자리 잡고 있다.

특히 대부분의 디지털 거래의 국경 없는 특성을 고려할 때, 기술의 발전은 규제 당국이 따라잡을 수 있는 속도보다 더 빠르게 진행되고 있다. AI가 경제를 재편하고 성장을 주도할 수 있는 범위는 분명하지만, 데이터를 국경에 가두어 혜택을 독점하거나 낭비하지 않고 훨씬 더 많은 사람이 개발 과정에 참여할 수 있는 신기술의 잠재력을 실현하기 위해서는 효과적이고 효율적이며 사려 깊은 규제가 절실히 필요한 시점이다.

---

Regulating the AI revolution in Asia

It is said that when merchants arrived in the port of Alexandria in antiquity, their manuscripts would be seized, taken to the city’s famous library, and copied by scribes, who would confiscate the original and graciously give the copy to the merchant.

Something of that mercenary spirit is still alive in the software developers behind the wildly successful new generative artificial intelligence (AI) programs that are rewriting the digital economy. The functionality of ChatGPT and its competitors is built on collections of text and other data that some allege has not properly been paid for. A major lawsuit from authors accusing OpenAI of systematically violating copyright to build the corpus on which programs like ChatGPT are based is only the start of a new round of litigation and regulation that will try to place limits on what is and is not permissible in AI.

But two problems complicate matters. The first is that, even more than for earlier digital innovations like the search engine, there are major first-mover advantages and economies of scale that make AI ripe for natural monopolies. An early age of antitrust suits against software makers like Microsoft, generally ending in weak settlements, did little to establish general principles for the digital economy about where to draw the line between successful innovation and anti-competitive behaviour.

The second problem is that AI has quite obvious national security applications, and if there are monopoly rents to be had, each government would prefer — for security purposes as well as economic reasons — that their own companies hold the dominant market position. Because of the high fixed costs of entry and increasing returns to scale, as well as the national security nexus, established players in the United States and China have the upper hand.

Given the volatile geopolitical situation and the splintering world economy, the new digital frontier has become an arena of contest between the two largest economies in the world, and that entails major risks for smaller economies, particularly in Asia.

New technologies often make existing rules obsolete, but not the values upon which they are based. The rapid spread of AI into every corner of the global economy demands new international economic rules, but they should be based on principles that have proven themselves, like international openness and transparency.

Given the centrality of the United States and China in the AI economy, there is an important role for Asian economic cooperation to play in driving the adoption of new rules of engagement for AI that address legitimate national security concerns without disadvantaging smaller economies. This explains Singapore’s proactivity in this sphere.

In this week’s lead article, excerpted from the latest East Asia Forum Quarterly, Jacob Taylor explores some of the potential features that a comprehensive system of AI governance might have. He argues that there is a need to address the tendency for governments to try to localise data through regional cooperation to ensure the free, well-regulated flow of data across national borders. This will help to lower the barriers to entry for new, smaller players in the region. There must also be a concerted effort to build capacity in communities that have been excluded from the emerging digital economy in Asia through effective financing and regulatory assistance.

Any attempt to devise new rules to govern AI will, of course, come up against the unwillingness of Washington and Beijing to cede any advantage to their geopolitical rival. The United States’ refusal to come to the table to end the gridlock at the World Trade Organization suggests that it might be wishful thinking to imagine a comprehensive set of regulations for AI that has effective buy-in from all of the most important players. The G7 AI initiative, of which the United States is a part, does not meet this test.

As Taylor argues, ‘[t]here are no easy answers to questions of concentration, localisation and exclusion in AI systems. But coordinated AI governance can create incentives for diverse regional stakeholders to actively steward AI systems while increasing transparency around risks.’

The state of technology is moving faster than regulators have been able to keep up with, particularly given the borderless nature of most digital transactions.

The scope for AI to reshape economies and drive growth is obvious, but effective, efficient and thoughtful regulation is desperately needed to ensure that the benefits are not monopolised or squandered by locking data behind national borders and the potential of the new technology to include vastly more people in the process of development is realised.

The EAF Editorial Board is located in the Crawford School of Public Policy, College of Asia and the Pacific, The Australian National University.

과방위, 우주항공청 특별법 소위원회 회부
'빠른 추진' 앞세운 여당 vs '철저한 준비' 강조한 야당
기술·안보 자립까지 '먼 길', 우주항공청이 해법 될까 

윤석열 정부가 핵심 국정과제로 내세운 「우주항공청 설치 특별법」의 연내 입법 가능성이 대두되고 있다. 오랜 시간 겉돌던 국회 논의가 5일 재개되면서다. 이른바 ‘여야 2+2 합의체’ 우선 논의 대상으로 꼽힌 법안 가운데 해당 법이 포함된 만큼 국회가 극적인 합의에 도달할 것이란 전망이 나온다.

항우연·천문연 이관 방식 두고 이견

국회 과학기술정보방송통신위원회(과방위)는 이날 전체회의를 개최해 우주항공청 특별법 등 총 5개 법안을 과학기술원자력법안심사소위원회(1소위)에 일괄 회부했다. 지난 4월 과학기술정보통신부가 우주항공청 특별법 제정안을 발의하며 본격 논의되기 시작한 우주항공청법은 여야가 견해차를 좁히지 못하며 거듭 파행을 겪었다.

이후 우주항공청법은 야당의 적극적인 움직임 아래 7월 26일 안건조정위원회(안조위)가 구성되면서 한 차례의 전환점을 맞았다. 특정 쟁점을 압축적 논의하는 방식으로 합의를 도출하는 안조위는 △우주항공청과 기존 연구기관의 관계 설정 △대전·전남·경남 등 우주산업 클러스터 3축 기능 강화 방안 △기존 우주항공 연구인력 처우개선 문제 등 다수의 쟁점에서 합의를 이뤘지만, 연구개발(R&D) 기능을 추가 여부에 대해서는 끝까지 뜻을 모으지 못한 채 지난 10월 23일 해산했다.

이에 과방위는 이날 전체회의에서 안조위의 심사 경과보고를 검토한 후 우주항공청법을 소위원회로 회부하는 절차를 밟았다. 6일부터는 연내 처리를 위한 막판 합의가 진행된다. 전체회의에 출석한 이종호 과기부 장관은 “최대한 빨리 법안을 통과시켜 우주항공청을 개청해 우주항공 분야의 경제·안보 경쟁력을 확보해야 한다”고 역설하며 “어떤 형태로든지 개청을 앞당길 수 있도록 과방위원들이 뜻을 모아주면, 과기부가 적극 지원하겠다”고 말했다.

장제원 과방위원장은 “그간 이견이 있었던 주요 쟁점에 대해서는 많이 좁혀진 것 같다”고 이날 회의를 평가하며 “국가의 미래 산업 분야를 육성하는 기회인 만큼 소위원회 구성원들이 대승적 차원에서 빠른 합의를 끌어냈으면 한다”고 당부했다.

다만 이날 전체회의에서는 항공우주연구원(항우연)과 천문연구원(천문연)의 이관 방식을 두고 여야가 또 한 차례 의견 충돌을 빚었다. 그간 항우연과 천문연의 우주항공청 소속 기관화에 부정적인 입장을 보이던 과기정통부가 지난 10월 국정감사에서 해당 사안에 동의하며 핵심 쟁점이 사라진 듯했지만, 그 구체적인 방식을 두고 다시 입장차를 보인 것이다.

과방위 야당 간사 조승래 더불어민주당 의원은 “항우연과 천문연 등 소속기관을 항공청으로 이관하는 것 관련해서는 여당이 주장하는 ‘부칙’에서 다룰 것이 아니라 법안의 ‘본칙’에 정확한 근거 규정을 명시해야 한다”고 주장했다. 반면 여당 간사 박성중 국민의힘 의원은 “먼저 부칙으로 속도감 있게 추진하고 나중에 관련 법률이 정비되면 재정비해 본칙에 추가할 수 있다”고 반박했다. 본칙 개정은 부칙의 그것보다 더 복잡한 절차가 수반되는 만큼 법안의 신속한 처리에 걸림돌이 될 수 있다는 게 정부와 여당의 주장이다.

우주항공청 필요성엔 공감, 기술력 뒷받침은 ‘다소 부족’

전문가들은 우주항공청 설립을 통해 한국의 우주산업이 국가 경제의 미래 성장 동력이 돼야 한다는 여당의 주장에는 공감하면서도 이를 뒷받침할 기술력의 발전이 충분히 이뤄지고 있는지에 대해서는 다소 의구심을 드러냈다. 우리나라가 안보 등 여러 분야에서 독자적인 우주항공 기술력을 구축하지 못해 미국 등 주요국의 지원을 필요로 하는 경우가 다반사기 때문이다.

이달 4일 4·25 군사정찰위성 1호기(EO/IR) 발사 성공 직전까지 약 45년 동안 미국에 크게 의존해 오던 군사정찰위성 정보 운용이 대표적 예다. 이전까지 우리 군은 위협이 예상되는 적의 활동을 원하는 시간과 장소에서 촬영하거나 이에 따른 대처 계획을 수립하고 임무를 지시하는 등 일련의 군사 대응 체계에서 독자적 권한을 갖추지 못했다. 이 때문에 관련 군사 활동의 전 단계가 피동적이고 의존적일 수밖에 없으며 적시성, 정확성, 완전성에도 영향을 미친다는 지적을 받아 왔다.

정부와 여당의 우주항공청 설립 추진은 이같은 한계를 극복하려는 노력으로 풀이할 수 있다. 전담 기구 설립을 통해 본격적인 투자와 활발한 국제 협력을 이끌 수 있다면 빠른 시일 내 안보 정상화를 이루는 것은 물론 나아가 우주항공 선도국의 반열에도 오를 것이라는 주장이다. 이주진 전 항우연 원장은 “우주항공청이 설립되면 중국의 12분의 1, 러시아·일본의 5분의 1, 인도의 3분의 1 수준에 불과한 한국의 우주개발 예산을 확대할 수 있다”며 “우주항공청은 항우연과 천문연 등 각종 관련 연구기관과 동반 협력해 우리를 우주 선진국 대열에 올려다 놓을 것”이라고 강조했다.

X.AI, 2018년 오픈AI 떠난 머스크가 새롭게 만든 AI 스타트업
미국 SEC에 최대 10억 달러 규모의 주식 투자자 모집 신고
빅테크 출신 인사까지 개발에 가세, 초거대 AI 패권 전쟁 심화될 전망

일론 머스크 테슬라 최고경영자(CEO)의 인공지능(AI) 스타트업 ‘X.AI’가 미 증권거래위원회(SEC)에 최대 10억 달러(약 1조3,120억원) 규모의 공모를 신청했다. X.AI는 머스크가 지난 7월 오픈AI의 대항마를 만들기 위해 설립한 AI 스타트업으로, AI 챗봇 그록(Grok)을 선보인 바 있다. 최근에는 대규모 언어 모델을 구축하는 데 필요한 GPU(그래픽처리장치)를 수천 개 가까이 확보한 만큼, 오픈AI·구글·메타 등이 일으킨 초거대 AI 패권 전쟁에 가세할 것으로 보인다.

머스크의 AI 스타트업, 챗봇 그록(Grok)으로 출사표

5일(현지시간) CNBC 등 외신 보도에 따르면 X.AI는 앞서 4명의 투자자로부터 약 1억3,500만 달러(약 1,770억원)를 유치했으며, 지난 11월 29일 첫 번째 매각이 이뤄진 것으로 알려졌다. X.AI는 “우주의 진정한 본질을 이해한다”는 취지로 머스크가 지난 7월 설립한 스타트업이다. 지난 달에는 ‘은하수를 여행하는 히치하이커를 위한 안내서’를 모델로 한 챗봇 그록(Grok)을 출시한 바 있다.

그록은 2개월의 머신러닝 교육을 통해 데뷔했고, 인터넷에서 실시간 지식을 학습했다. X.AI는 그록에 대해 “조금은 재치 있는 답을 하도록 설계됐고 반항적인 성향을 갖고 있다”면서 “유머를 싫어한다면 사용하지 말라”고 소개했다. 아울러 “대부분의 다른 AI 시스템이 거부하는 어려울 질문에도 답할 수 있다”고 자신감을 내비쳤다.

그록은 오픈AI의 챗GPT, 구글 바드, 앤트로픽 클로드 챗봇 등과의 경쟁을 목표로 하고 있다. 머스크는 지난 7월 테슬라 실적 발표 당시 X.AI가 테슬라의 비즈니스와 경쟁할 수 있는지 궁금해하는 애널리스트들에게 “세계 최고의 AI 엔지니어와 과학자들 일부는 테슬라 같은 이미 확립된 대기업에 합류하기 보다는 성장성 측면에서 과실이 큰 스타트업을 선호했다”며 “다른 곳에서 일하는 것보다 제가 운영하는 스타트업이 더 낫다고 생각해 X.AI를 만들었다”고 강조했다.

한편 올해 초 머스크는 대규모 언어 모델을 구축하는 데 필요한 칩인 수천 개의 고성능 GPU를 엔비디아로부터 확보한 것으로 알려졌다. 머스크는 “그록은 일반적인 GPT와 달리 가장 최신 정보들을 갖추고 있다”며 “이 AI 챗봇은 대규모언어모델(LLM) 기반으로 제작된 만큼 수학 문제 풀이, 파이썬 코딩 작업 등 몇몇 분야에서는 타 AI 챗봇 모델의 성능을 능가한다”고 강조했다.

오픈AI 떠나 새롭게 AI 스타트업 세운 머스크, 설립 배경은?

사실 머스크는 2015년 샘 알트만 등과 함께 오픈AI를 공동 창업할 정도로 AI 산업에도 지대한 관심을 보여왔다. 그러나 2018년 2월 오픈AI가 모든 AI 정보를 오픈소스화하겠다던 당초 설립 취지와 다르게 수익화를 추구하자 회사를 떠났다. 당시 머스크는 미국 언론 매체와의 인터뷰에서 “누구나 사용할 수 있는 오픈소스를 제공하는 비영리 기업이 되길 바랬던 기업이 이제는 창업 정신과 반대로 폐쇄적 AI 개발 생태계로 전환해 수익을 추구하는 기업이 됐다”며 “오픈AI는 마이크로소프트의 투자를 받아들이면서 영리를 추구하는 조직으로 전락했고, 이제 나의 관심의 대상에서 멀어졌다”고 밝혔다.

이후 머스크는 지난 7월 오픈AI의 대항마를 만들기 위해 ‘X.AI’를 세웠고, 불과 4개월 뒤에 선보인 첫 챗봇 서비스가 바로 그록이다. 이에 일각에선 머스크가 오픈AI에서 영향력을 발휘하지 못하게 되면서 회사를 떠났다는 주장도 나온다. 익명을 요구한 현지 업계 관계자는 “머스크가 알트만에게 ‘오픈AI의 기술력이 구글에 뒤쳐져 있다’며 자신이 지휘봉을 잡겠다고 제안했지만, 알트만을 비롯한 다른 창업자 모두가 이를 거절했다”며 “이 때문에 머스크가 오픈AI를 나왔고, 결국 그가 오픈AI에 지원하겠다던 10억 달러 지원 자금도 무산되고 말았다”고 전했다.

한편 X.AI는 독립적인 AI 연구개발 기업이지만, 머스크가 이끄는 테슬라와 엑스 등의 기업들과도 협력할 예정이다. 여기에 딥마인드(DeepMind)와 오픈AI, 구글 리서치, 마이크로소프트 리서치 출신 인사들까지 X.AI 개발에 가세한 것으로 알려지면서 글로벌 AI 기술패권 경쟁이 심화될 전망이다.

벤처투자 시장 촉진 정책 시행, 국내 벤처시장 숨통 트이나
시의성 중요한 벤처정책, "민간자본 퇴화하니 유연성 떨어져"
민간투자 가로막는 규제 파편화, 법률 재정비 시간 필요할 듯

최근 투자조건부 융자, VC(벤처캐피탈) 직접투자 특별보증 등 벤처투자 시장을 촉진할 새로운 투자 기법이 속속 등장하기 시작했다. 이를 통해 앞으로 국내 벤처시장에서도 다양한 운용 전략이 가능해질 것으로 보인다. 다만 국내 벤처투자의 중심이 중앙정부라는 점은 국내 시장의 여전한 숙제로 남았다. 당장 이번 투자조건부 융자 제도 도입 또한 정책시차가 근 3년에 달했음을 고려하면, 민간자본 육성이 보다 시급히 필요할 것으로 보인다.

중기부, 투자조건부 융자 사업 개시

5일 벤처투자업계에 따르면 중소벤처기업부는 벤처투자촉진법 개정안 시행에 따라 내년부터 투자조건부 융자 사업을 개시한다. 중기부는 중소벤처기업진흥공단을 통해 내년부터 500억원 규모로 사업을 개시할 예정이다. 투자조건부 융자는 벤처투자를 받은 상태에서 후속 투자유치 가능성이 큰 기업에 저리로 융자를 지원하는 대신 소액의 지분 인수권을 받는 제도다. 이를 본격 시행하기 위해 중기부는 '투자조건부 융자 계약 운영 규정'을 제정하고 신주 배정 한도를 최대 5%로 규정했다. VC의 스타트업 직접 투자를 장려하기 위한 제도도 내년부터 실시된다. 중기부는 현재 기술보증기금과 함께 보증 운용 세부 지침을 수립 중이다. 현재로서 중기부는 VC가 스타트업에 직접 투자하기 위해 은행 등에서 자금을 빌릴 경우 융자금의 80%까지 최대 50억원 한도에서 기술보증기금이 보증할 수 있도록 하겠단 계획이다.

벤처투자시장에선 새로운 제도 도입으로 인해 다양한 성격의 자금이 시장에 유입될 것으로 기대하고 있다. 단순 투자 목적의 재원을 넘어 정책기관 중심의 융자·보증 등 장기 성격 자금이 섞이는 만큼 투자 전략 역시 다변화할 것이란 전망이다. 특히 최근 기업가치 하락 등으로 신규 투자가 쉽사리 이뤄지지 않는 상황에서 유용한 옵션이 될 것이라는 기대감이 크다.

오는 21일부터 조건부지분전환계약이 허용된다는 점도 호재다. 조건부지분전환계약이란 기업가치 산정이 어려운 스타트업에 우선 융자를 제공하고 후속 투자를 유치할 경우 전환사채를 발행하는 방식을 뜻하는데, 이는 앞서 도입된 조건부지분인수계약(SAFE)과 유사하지만 만기가 존재하고 채권성 자금이라는 점에서 투자자에게 보다 유리한 계약으로 꼽힌다. VC가 설립한 투자목적회사(SPC)가 대출을 받는 게 가능해지면서 시장 유연성이 늘었단 평가도 나온다. 앞으로 대규모 투자는 물론 M&A를 원하는 전략적투자자(SI)가 SPC 지분을 보유하는 것도 허용되는 만큼 다양한 운용 전략이 가능해질 전망이다.

정책시차 3년? 경직된 韓 벤처투자 시장

투자조건부 융자 제도 도입 추진 논의는 지난 2021년부터 이어져 왔다. 기술력만 있고 담보가 없는 스타트업이나 벤처기업이 VC로부터 투자를 받을 때 창업자 지분이 희석되는 문제를 타파하겠단 취지에서였다. 실제 이 같은 문제점으로 인해 창업자는 VC로부터의 대규모 투자를 꺼리게 되고 이로 인해 유능한 스타트업이나 벤처기업이 유니콘(기업가치 1조원 이상의 비상장 기업)으로 성장하는 데 발목이 붙잡히는 경향이 적지 않았다. 당시 중기부 관계자는 "무한 잠재력을 보유하고 있지만 꽃을 피우지 못하고 사장되는 벤처들이 많다"며 "유니콘으로 성장할 수 있도록 정교한 맞춤형 정책이 필요하다는 판단 아래 제도 도입 추진을 기획한 것"이라고 설명했다. "금융기관 입장에서도 후속 투자 가능성이 큰 벤처에 대출을 해줘 회수 가능성을 높이고 동시에 지분인수권을 통해 기업이 성장했을 때 금리보다 높은 이익을 얻을 수 있다는 장점이 있는 만큼 큰 장애 없이 제도 도입이 가능할 것으로 보인다"고 덧붙이기도 했다.

다만 관련 제도의 국무회의 의결이 이뤄진 시점은 제도 도입 논의가 시작된 지 2년여가 지난 지난 6월께였다. 이날 국무회의를 통과한 벤처투자법 개정안은 오는 21일부터 본격 시행될 예정이다. 사실상 도입 논의가 시작된 지 3년이 지난 시점에서야 첫 삽을 뜨게 된 셈이다. 정부정책에 시차가 발생하는 건 어쩔 수 없는 일이다. 여기서 정책을 시행해야 할 원인이 발생해 관련 정책을 수립하는 데까지 걸리는 시간을 내부시차(inside lag), 수립된 정책이 실제로 집행돼 정책효과가 나타나는 데 걸리는 시간을 외부시차(outside lag)라고 한다. 일반적으로 정부 정책은 정책이 수립되기까지의 내부시차가 긴 반면 정책효과가 나타나는 데 걸리는 외부시차는 짧다. 적절한 입법 절차를 거치는 데 시간이 걸리긴 하지만, 일단 정책이 수립되고 나면 직접적인 영향을 미치는 데 그리 많은 시간이 들지 않기 때문이다. 다만 문제는 벤처정책에 있어선 시의성이 무엇보다 중요하단 점이다. 당장 1년이란 시간만 지체돼도 성장 가능성 있던 기업이 무참히 짓밟힌다.

여전한 '정부 중심' 시장, "한계 뚜렷해"

우리나라 벤처시장의 경직도가 높아진 건 국내 벤처시장 자체가 민간 중심이 아닌 국가 및 정부 중심으로 돌아가고 있기 때문이다. 민간에 탄탄한 자본이 형성돼 있지 않으니 정부 차원에서 억지로 투자 체계를 갖춰나가고 있는데, 상황이 이런 만큼 벤처시장이 필요로 하는 유연성을 갖추기가 매우 어려운 처지에 놓여 있다. 민간 투자기관을 관리하는 부처와 관련 법률이 상이해 규제 차이가 발생하고 있단 점도 민간 투자를 가로막는 요소 중 하나다.

예컨대 벤처투자법의 적용을 받는 중소기업창업투자회사(창투사)는 설립 자본금 20억원이 필요하지만 여신전문금융업법의 적용을 받는 신기술사업금융업자(신기사)는 100억원의 설립 자본금이 필요하다. 또 창투사는 운용 중인 총자산의 50% 이내에서 대통령령으로 정하는 비율 이상을 벤처기업 등 법에서 정한 기업에 반드시 투자해야 하는 등 투자 관련 규제를 받는 반면, 신기사는 규약상 신기술 사업자에 투자하면 되고 법 단계에선 일정 규모 이상의 투자 의무를 부여하지 않는 등 투자에 있어 상대적으로 자유롭다. 

이처럼 벤처투자 관련 민간 투자기관이 다양한 부처와 법률로 각각 관리되는 경우는 우리나라를 제외하고 전 세계적으로 유례를 찾기가 어렵다. 이 또한 국내 벤처시장이 정부 주도 아래 발전했단 역사가 발목을 잡은 결과다. 실제 국내 벤처시장은 1986년 중소기업창업지원법이 제정된 이래 정부 주도의 부처별 정책적 지원으로 발전해 왔다. 이 과정에서 파편화된 투자 규제책이 마련된 건, 시대적으로 어쩔 수 없는 일이었음에 분명하다. 다만 벤처투자 시장이 한 단계 더 성장하고 발전하기 위해서는 결국 민간 주도의 시장으로 변화할 필요가 있다. 산재돼 있는 벤처투자 관련 법을 정비해야 한단 목소리가 높아지는 이유다. 미국처럼 모험자본의 새로운 도전이 장려되는 사회가 구성돼야만 벤처시장 내에서도 몇 년가량의 정책 시차가 불가피한 현 상황을 타개할 수 있을 것으로 보인다.

권력 집중, 현지화, 배제 문제를 해결하기 위해서는 국가간 협력이 필요해
기존에 있는 아시아 연합 모임을 활용해 조율 논의를 추진할 수 있어
조율된 AI 거버넌스는 기술 환경의 변화에 맞춰 발 빠르게 움직여야

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

생성형 인공지능이 전 세계의 열렬한 호응을 얻고 있지만, 정책 입안자들은 AI 시스템이 국경을 넘어 시민들에게 미칠 영향에 대해 우려의 목소리를 내고 있다.

아시아 AI 거버넌스의 도전과제, 현지화 vs. 지역 협력

세계은행은 미국의 보호무역주의와 부채 증가의 영향으로 내년 동아시아 개발도상국 경제가 반세기 만에 가장 낮은 성장률을 기록할 것이라고 경고했다고 파이낸셜타임스가 10월 1일(현지시간) 보도했다. 최악의 경제 전망에 직면한 아시아에서 포용적이고 지속 가능한 성장을 이끌어낼 열쇠는 첨단 AI 시스템 개발을 포함해 디지털 혁명을 활용하기 위한 서비스 부문의 개혁일 것이다. 따라서 AI 거버넌스의 지역적 조율은 아시아에서 그 어느 때보다 중요한 화두다. 또한, AI를 위한 역내 조율된 협정을 통해 미국과 중국 간의 지정학적 경쟁이라는 가장 심각한 외교 리스크를 완화하는 동시에 중견국들이 어느 한쪽을 선택해야 하는 강제성을 줄이는 데 도움이 될 수 있다.

하지만 효과적인 AI 거버넌스는 근본적인 도전에 직면해 있다. 미국과 중국, 그리고 소수의 기술 인프라 기업이 AI에 대한 권력을 집중시키고 있는 것이 그중 하나다. 또 다른 문제는 각국 정부가 주요 디지털 자산을 현지화하고 보호하려는 경향이 강하다는 점이다. 대규모언어모델(LLM)의 인상적인 초기 성능을 미루어보아 AI 애플리케이션은 LLM 기반에 의존할 가능성이 점점 더 높아진다. 애석하게도 LLM은 최고의 자원을 보유한 기업만이 유지할 수 있는 데이터 및 연산 집약적인 기술이다. 이대로라면 '승자 독식' 환경이 조성되고, AI 리더들은 그들이 축적하는 학습과 자본으로부터 불균형적인 혜택을 누리며 권력을 더욱 강화시킬 것이다. 이는 결과적으로 신규 진입자의 경쟁을 어렵게 하고, 공공 기관이 AI 시스템의 투명성과 책임성을 보장하기 어렵게 만든다.

한편 인공지능에 대한 권력이 집중되면서 아시아 태평양 지역의 일부 정부는 국가 정책을 통해 디지털 자산을 보호하고 현지화하려고 노력하고 있다. 결론부터 말하자면 현지화 조치는 AI 시스템에 부정적인 영향을 미친다. 현지화는 학습 데이터에 대한 접근성을 떨어뜨리고, 혁신 생태계를 고갈시키며, 사이버 보안 메커니즘의 파편화를 초래할 위험이 있기 때문이다. 역내포괄적경제동반자협정(RCEP) 무역 협정은 국가 안보를 이유로 데이터 현지화를 허용하는 전자상거래 정책을 통해 이러한 추세를 반영하고 있다. 게다가 미국은 더욱 적극적인 접근 방식을 취하고 있다. 그래픽 처리 장치(GPU)의 자국 내 생산, AI 혁신 생태계에 대한 투자, 중국으로 판매되는 하이엔드 GPU를 겨냥한 수출 규제는 현지화를 통해 미국 기술 기업의 AI 우위를 공고히 다져나갈 의도로 해석된다.

현지화에 대응할 수 있는 강력한 지역적 네트워크가 없다면 중국, 인도, 인도네시아 등 잠재적 AI 경쟁국들도 이에 대응하지 않을 수 없는 노릇이다. 설상가상으로 데이터, 컴퓨팅 성능, 인재 확보에 대한 접근성이 가장 낮은 가난한 소규모 국가들은 AI 산업에 참여할 수 있는 선택지가 줄어들게 될 것이 불 보듯 뻔하다. 따라서 아시아의 디지털 격차는 곧 '알고리즘 격차'로 이어질 가능성이 매우 높다. 광대역 연결성이 향상되었지만, 아세안 인구의 약 61%는 인터넷 접속이 가능한 범위 내에 거주하지만, 아직도 인터넷을 사용하지 않는 것으로 추정된다. 몇몇 국가는 적절한 데이터 보호법과 AI 전략도 부족한 실정이다. 더군다나 아시아의 여성, 농촌 거주자, 원주민은 여전히 AI 시스템의 혜택을 누리는 데 있어 체계적으로 배제되어 있다.

권력 집중·현지화·배제, '3대 과제' 해결을 위한 협력 방안

정부, 금융, 중소기업, 시민들은 AI 시스템의 권력의 집중, 현지화, 배제의 균형을 맞추기 위해 협력 방안을 모색해야 한다. 권력이 집중되는 문제를 해결하기 위해서는 형평성을 높이는 새로운 데이터 소유권 및 가치 평가 패러다임을 촉진하는 것이 중요하다. 자본 공급자는 대규모 독점 AI 모델과 중앙집중식 클라우드 컴퓨팅 인프라에 대한 의존도를 줄이면서 중소기업과 커뮤니티가 주도하는 AI 시스템 개발을 지원할 수 있다. 또한, 제삼자 AI 감독에 대한 지역적 조정을 통해 국가 차원의 막대한 규제 비용을 낮출 수도 있다. 싱가포르의 AI 검증 재단(Singapore AI Verify Foundation)은 AI 시스템에 대한 광범위한 이해관계자의 참여를 확대하는 고무적인 민관 파트너십을 성사했다. 글로벌 규제 샌드박스(유예제도) 이니셔티브가 아시아에서 시작될 수도 있음을 시사하는 대목이다.

국경을 넘나드는 데이터 흐름에 대한 기존의 양자 및 다자간 무역 협정을 업데이트하는 것부터 시작해, 현지화의 균형을 맞춰 나갈 수 있다. 다자간 무역 규칙에서 국가 안보 면제를 검토해 보면 자유화할 수 있는 AI 관련 자산을 구분하는 데 도움이 된다. 기존의 소통 무대를 활용하는 것도 좋은 방법이다. 세계무역기구의 전자상거래에 관한 공동 이니셔티브는 아시아 태평양 국가들이 공동 AI 거버넌스 협력을 위해 추진력을 얻을 수 있는 포럼 중 하나다. 아울러 상호의존적 표준기구를 세우면 국경을 넘나드는 데이터 흐름의 자유화가 책임성을 훼손하지 않도록 중재 및 보장할 수 있게 된다. 비현실적인 협력 제도가 아니라, 경제 둔화 전망의 돌파구를 찾기 위한 전략적 협력이라는 점을 강조하는 바다.

배제 문제를 해결하기 위해 정책 리더들은 아세안 및 태평양 도서국들과 협력하여 규제 및 AI 전략을 강화해야 한다. 중소기업 자금 조달과 디지털 역량 강화는 지역 AI 생태계에 공평하게 참여할 수 있도록 지원하는 데 핵심적인 이무를 수행할 것이다. 또한 자원봉사자와 개발 실무자들은 AI 시스템에 대한 시민 참여를 높이고 디지털 거버넌스에 대한 참여 인식을 높이기 위한 지역 주도 캠페인을 지원할 수 있다.

AI 시스템의 집중, 현지화, 배제의 문제에 대한 쉬운 해답은 없다. 하지만 조율된 AI 거버넌스는 다양한 지역 이해관계자들이 AI 시스템을 적극적으로 관리하도록 동기를 부여하는 동시에, 리스크에 대한 가시성을 확보하는 데 도움을 준다. 효과적인 협력을 위해 AI 거버넌스는 기술 환경이 진화하는 속도만큼 발 빠르게 움직여야 한다. 위기를 대비하지 않은 국가들의 경제 성적표가 나왔을 땐 적기를 놓쳤을 확률이 높다. 기술 혁신이라는 공통된 목표 아래 각자의 디지털 비교우위로 적극적으로 협력해야 할 시기다.

---

Everyone wins with better Asian AI governance

Generative artificial intelligence (AI) has captured the world’s imagination. It has also been greeted with alarm, with policymakers concerned about its control by non-state actors and the impact of AI systems on citizens within and across national borders.

Most AI experts agree that the world needs to work together to promote the best and prevent the worst. But China announcing its Global AI Governance Initiative two weeks before a UK-hosted AI Safety Summit and one day after the United States further tightened export controls over advanced computing chips raises questions about the effectiveness of multilateral efforts to develop trustworthy, inclusive and environmentally sustainable AI systems.

Regional coordination of AI governance is nowhere more crucial than in Asia.

With Asia facing one of its worst economic outlooks in half a century, the key to inclusive and sustainable growth in the region will be reforming the service sector to harness the digital revolution, including through the development of advanced AI systems. Coordinated regional arrangements for AI can also help mitigate the most acute risks of geostrategic competition between the United States and China while reducing the need for middle powers to choose sides.

Effective AI governance faces fundamental challenges. The concentration of power over AI inputs by the United States, China and a handful of their technology infrastructure firms is just one. Another problem is governments’ tendency to localise and protect key digital assets. Meanwhile, Asia’s women, rural residents, and indigenous populations remain systematically excluded from accessing the benefits of AI systems.

There are huge differences in state perspectives and capabilities for dealing with AI-related challenges, yet the region already possesses the raw ingredients required to shape a regional framework for AI governance. These include a wide variety of flexible digital policy tools and industry engagement strategies that can be upgraded and flexibly deployed.

A foundational challenge for AI governance in Asia is that a handful of US and Chinese technology infrastructure companies enjoy near-monopoly power over most key inputs. The impressive early performance of large language models (LLMs) shows they could become the foundational infrastructure on which AI applications rely. But LLMs depend on data and computation-intensive machine learning that only the best-resourced companies can maintain.

This signals a worrying ‘winner takes most’ environment. AI leaders benefit disproportionately from the learning and capital they accrue, further concentrating power. This concentration makes it difficult for new entrants to compete and public actors to ensure transparency and accountability of AI systems.

With power over AI inputs concentrated, some governments across the Asia Pacific are seeking to protect and localise their digital assets through national policy. Localisation measures have negative impacts on AI systems. Localisation reduces access to training data, starves innovation ecosystems and risks fragmentation of cybersecurity mechanisms.

The Regional Comprehensive Economic Partnership (RCEP) trade agreement mirrors this trend, with its chapter on e-commerce allowing data localisation carveouts on national security grounds. The United States has taken an even more active approach. Investments in onshore production of graphics processing units (GPUs), AI innovation ecosystems and export controls targeting high-end GPUs sold to China signal its intention to extend US technology companies’ AI advantages through localisation.

Absent a robust regional framework to counteract localisation, it will be difficult for potential AI competitors such as China, India and Indonesia not to respond in kind. Smaller and poorer countries with the least access to data, computational capacity and talent will be left with fewer options to participate in the AI industry.

Southeast Asia’s comparatively weak AI readiness risks the region’s digital divides becoming ‘algorithmic divides’. While broadband connectivity has increased, an estimated 61 per cent of ASEAN populations do not use the internet despite living within range of internet access. Several countries lack adequate data protection laws and AI strategies.

Governments, capital providers, small- and medium-enterprises (SMEs) and citizens can coordinate strategies that counterbalance concentration, localisation, and exclusion in AI systems.

Key to addressing concentration will be promoting new paradigms of data ownership and valuation that increase equity, including experimentation with data cooperatives and data unions. Capital providers can support the development of SME- and community-driven AI systems while reducing reliance on largescale proprietary AI models and centralised cloud computing infrastructure.

Regional coordination of third-party AI oversight can lower the prohibitive costs of regulation at the national level. Existing national policy tools offer starting points for a regional approach that places responsibility on technology firms. Singapore’s AI Verify Foundation is an encouraging public–private partnership that increases broad stakeholder participation in AI systems. A proposed global regulatory sandbox initiative could even begin in Asia.

Counterbalancing localisation can begin with updating existing bilateral, minilateral and multilateral trade agreements for cross-border data flows. Examining national security exemptions in multilateral trade rules can help distinguish which AI-relevant assets could be liberalised. The World Trade Organization’s joint initiative on e-commerce is a forum in which Asia Pacific nations can push to gain momentum. A regional interdependent standards body could ensure liberalisation of cross-border data flows does not compromise accountability.

To address exclusion, regulatory leaders can work with ASEAN and Pacific Island nations to strengthen regulations and AI strategies. SME financing and digital capacity building will be key to supporting equitable participation in regional AI ecosystems. Donors and development practitioners can also support locally led efforts to increase citizen participation and representation in AI systems and engagement with digital governance.

There are no easy answers to questions of concentration, localisation and exclusion in AI systems. But coordinated AI governance can create incentives for diverse regional stakeholders to actively steward AI systems while increasing transparency around risks.

In practice, AI governance will need to move as fast as the technology landscape is evolving.