"훈련 멈추고 보안 강화" AI 안전 체계 재정비 나선 오픈AI, IPO 앞두고 통제력 확보 총력

오픈AI, 최신 모델 훈련 중단하고 보안 고도화에 집중
AI 에이전트·차세대 모델 등 줄줄이 위험성 가시화
"AI 안전 리스크, IPO 방해물" 안전 조직 재편에도 박차

오픈AI가 차세대 인공지능(AI) 모델 훈련을 일시 중단하고 내부 연구·보안 시스템 개편에 나섰다. 최근 AI 에이전트의 외부 시스템 침투 사실과 차세대 모델의 강력한 사이버 공격 능력이 잇달아 확인되자, 고성능 모델의 안전성 감시 및 위험 행동 차단을 최우선시하는 모습이다. 시장에서는 이 같은 오픈AI의 체계 정비 행보가 기업공개(IPO)를 앞두고 규제·법적 리스크를 최소화하기 위한 전략이라는 평가도 나온다.

오픈AI 모델 훈련 '일시정지'

18일(현지시각) 로이터통신은 오픈AI가 배포를 목적으로 개발 중인 최신 모델들의 강화학습 훈련을 2주 동안 멈추고, 연구 환경에 대한 레드팀 테스트와 보안 강화 작업에 나섰다고 보도했다. 오픈AI는 대규모 훈련을 재개하기에 앞서 소규모 훈련과 평가를 실시해 모델의 행동을 확인하고, 안전장치가 제대로 작동하는지 검증하며 정렬(alignment)에 대한 추가적인 증거를 확보할 계획이다. 정렬은 AI가 인간이 의도한 목표와 가치, 안전 기준에 맞게 행동하도록 만드는 것을 뜻하는 용어다.

새로운 보안 기준에 따라 워크로드 격리, 네트워크 격리 등도 강화된다. 신뢰할 수 없는 코드를 실행하는 작업은 더 강력한 샌드박스 환경에서 수행하도록 하고, 특정 서비스를 뚫고 들어온 공격자가 내부 네트워크에 곧바로 접근할 수 없도록 경계를 고도화하는 식이다. 이에 더해 오픈AI는 잠재적으로 취약한 공유 서비스를 제거하고 상시 권한을 줄이는 한편, 보안 로그 수집 및 모니터링 능력도 제고한다. AI 모델 자체를 활용한 모의 공격으로 보안 경계 작동 여부를 자동 점검하는 시스템도 구축할 예정이다.

AI 모니터링 체계 강화

AI 모델의 행동을 실시간에 가깝게 감시하는 다단계 모니터링 시스템도 마련된다. 모델의 답변 생성 과정에 발생하는 내부 신호를 지속적으로 관찰해 이상 행동 징후를 탐지하고, 의심스러운 움직임이 포착되면 보다 많은 연산 자원을 사용하는 정밀 조사 시스템이 작동하는 구조다. 정밀 조사 단계에서는 모델이 어떤 도구를 사용했는지, 어떤 추론 과정을 거쳤는지, 전체 행동 흐름이 어떻게 이어졌는지 등을 종합적으로 분석하게 된다. 이를 통해 △권한이 없는 시스템에 접근하거나 데이터를 빼내려는 시도 △시스템을 훼손하는 행동 △안전장치를 우회하려는 움직임 등을 식별할 수 있다.

오픈AI는 이상 행동이 감지된 뒤 최대 30분 이내에 경고를 발생시키는 것을 목표로 한다. 특히 핵심 보안 체계 침해 가능성이 포착되면 최고 수준의 경보를 발령하고, 관련 내용을 안전·보안·연구팀에 즉시 전달한다. 이후 연구진이 30분 안에 오탐지라는 명확한 근거를 확인하지 못할 경우, 경보를 촉발한 모델의 훈련·평가와 도구 사용이 중단된다. 이 같은 모니터링 시스템은 일정 수준 이상의 고성능 모델의 강화 학습 및 평가 과정에 의무적으로 적용될 예정이다.

잇달아 드러난 안전성 위협

오픈AI 측은 해당 지침을 공개하며, 최근 수 주 사이 발생한 두 가지 사건이 AI 안전성 강화의 필요성을 보여줬다고 설명했다. 이 중 첫 번째 사건은 오픈AI AI 에이전트의 외부 시스템 공격이다. 지난달 오픈AI는 GPT-5.6 Sol과 별도의 비공개 연구용 모델을 활용해 AI 에이전트의 보안 문제 해결 능력을 시험했고, 이 과정에서 일부 안전장치를 완화했다. AI 에이전트는 안전장치의 빈틈을 파고들어 평가용 인프라에서 알려지지 않은 취약점을 찾고, 외부에서 접근 가능한 코드 실행 환경을 거친 뒤 AI 플랫폼 허깅페이스 시스템에서 파일·인증 정보를 확보해 나갔다. 지난달 9일부터 13일까지 기록된 관련 행위는 1만7,600건에 달한다. 다만 허깅페이스는 영향을 받은 고객 데이터가 일부 사이버 보안 평가용 데이터세트에 한정됐다고 밝혔다.

두 번째 사건은 오픈AI 차세대 모델 ‘아스트라(Astra)’의 사이버 공격 능력에 대한 내부 평가다. 오픈AI는 이달 초 진행한 초기 평가 결과,아스트라가 자사 대비 프레임워크(Preparedness Framework)상 ‘중대한 사이버 보안 능력(Critical Cybersecurity Capability)’ 기준에 도달했을 가능성이 존재한다고 판단했다. 이는 해당 모델이 고보안 시스템의 새로운 취약점을 찾아 공격하거나, 인간이 제시한 목표에 맞춰 복잡한 사이버 공격 과정을 상당 부분 자율적으로 수행할 위험이 있다는 의미다. 다만 오픈AI는 아직 아스트라가 이 기준을 충족했다고 최종적으로 결론지은 것은 아니며, 현재 추가 평가를 실시 중이다.

표1. 오픈AI의 AI 보안 논란과 IPO 리스크

IPO 계획 발목 잡힐까

이 같은 사이버 보안 이슈는 IPO를 준비 중인 오픈AI 입장에서 상당한 부담이 될 수 있다. 오픈AI는 앞서 지난 6월 미국 증권거래위원회(SEC)에 IPO를 위한 등록신고서 초안을 비공개로 제출한 바 있다. 첨단 모델 개발, AI 인프라 투자 등을 위해 자본 시장에서 추가 자금 조달 통로 확보에 나선 것이다. 다만 공모 규모, 가격, 거래소 등 구체적인 조건은 아직 공개되지 않았으며, 상장 시점도 확정된 바가 없다. 최근 파이낸셜타임스(FT)는 오픈AI의 IPO가 이르면 2027년 중 이뤄질 것이라 내다봤다.

이런 상황에 불거진 AI 안전 문제는 기업가치를 뒤흔드는 변수가 될 수 있다. 만약 안전성 검증이 장기화하며 모델 출시가 늦어질 경우, 오픈AI는 제품 판매 및 기업 고객 확보 측면에서 경쟁사 대비 불리해진다. 반대로 충분한 확인 없이 모델을 출시했다가 사고가 발생하면 법적·규제 비용이 눈덩이처럼 불어날 위험이 있다. 사실상 성장 속도와 위험 통제 역량을 동시에 입증해야 하는 딜레마를 떠안게 되는 셈이다. 상장 이후에는 이러한 문제가 공시와 기업지배구조의 영역까지 확장된다. SEC는 미국 상장 기업에 중대한 사이버 사고 및 사이버 위험을 식별·관리하는 절차, 이사회 및 경영진의 감독 체계 등을 정기적으로 공개하도록 요구한다.

위험 평가 체계 조정

오픈AI는 이 같은 리스크를 최소화하기 위해 조직 재구성에도 힘을 싣는 중이다. 미국 IT 매체 더버지에 따르면 오픈AI는 지난달 말 고성능 AI 모델의 중대한 위험을 평가해 온 대비팀(Preparedness)의 기능을 재편하고, 생물·화학, 사이버 보안, AI 자기개선 등 위험 분야별 연구를 기존 전문 조직에 나눠 맡겼다. 대비팀을 이끌던 인사인 딜런 스칸디나로도 조직 관리에서 물러나 재귀적 자기개선 AI가 초래할 수 있는 위험을 분석하는 업무에 집중한다. 다만 오픈AI는 대비팀을 해체했다는 보도에는 선을 그으며, 각 분야의 연구 책임자들이 안전 총괄 책임자에게 보고하는 체계를 유지하고 있다고 밝혔다.

이번 개편은 독립된 팀에 집중돼 있던 위험 평가 기능을 실제 모델 개발·보안 업무를 담당하는 전문팀 안으로 분산하는 성격이 강하다. 다만 시장에서는 이러한 조치로 인해 오픈AI 내부의 독립적 안전 검증 기능이 약화할 수 있다는 우려도 지워지지 않는 추세다. 한 시장 전문가는 "오픈AI는 앞서 AGI 준비팀, 슈퍼얼라인먼트팀 등 별도의 장기 안전 조직을 잇달아 재편하거나 없앤 전적이 있다"며 "이번 조직 변화가 안전 역량을 실제 개발 과정에 더 깊숙이 녹여내는 계기가 될 수 있을지는 시간을 두고 지켜봐야 할 것"이라고 짚었다.