[AI Memo] 도메인 특화형 AI, 안전을 위한 현실적 대안으로

Picture

Member for

1 year

Real name

송혜리

Position

연구원

Bio

[email protected]

다양한 주제에 대해 사실에 근거한 분석으로 균형 잡힌 시각을 제공하고자 합니다. 정확하고 신뢰할 수 있는 정보 전달에 책임을 다하겠습니다.

입력

2025-10-16 13:13

수정

2025-12-30 12:25

범용 AI의 확률 기반 한계와 안전 관리 공백
분야별 위험에 맞춘 도메인 특화형 AI 부상
기술 확장보다 검증과 책임 중심의 관리 체계 필요

본 기사는 스위스 인공지능연구소(SIAI)의 SIAI Research Memo시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술·경제·정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적 의견이며, SIAI 또는 그 소속 기관의 공식 입장과 일치하지 않을 수 있습니다.

2024년 인공지능(AI) 관련 사고는 233건으로 전년보다 56% 증가했다. 생성형 AI가 빠르게 일상 도구로 자리 잡으면서 실제 피해 사례도 함께 늘고 있다. 2025년 9월 기준, 미국 성인의 절반은 AI에 대해 ‘기대’보다 ‘우려’를 더 크게 느꼈으며, ‘기대가 더 크다’라고 답한 사람은 10%에 그쳤다. 이 변화는 범용 인공지능(General AI)이 지닌 구조적 한계를 드러낸다. 범용 모델은 각 상황의 안전 기준을 스스로 판단하지 못한 채, ‘다음 단어를 예측’하는 확률 계산에 의존한다. 그러나 AI의 역할이 단순한 채팅 도구에서 교육, 금융, 행정 등 사회 전반으로 확장되면서, 이러한 방식으로는 안전을 보장하기 어렵다.

이제 초점은 단순한 지능 향상보다 맥락에 맞는 설계로 옮겨가고 있다. 각 분야의 목적과 위험 수준에 따라 설계된 도메인 특화형 인공지능(Domain-Specific AI)은 상황별 안전장치와 검증 절차를 내장해, AI가 현실 속에서 책임 있게 작동하도록 한다.

맥락에 맞는 안전 구조

AI의 성능을 높이는 것이 곧 안전을 강화하는 것은 아니다. 범용 모델은 방대한 데이터를 학습해 일반적인 패턴을 익히지만, 안전 기준은 환경마다 다르다. 공개 토론에서 허용될 수 있는 표현이 교육 평가나 금융 보조 시스템에서는 부적절하게 작용할 수 있다.

유럽연합(EU)은 이런 차이를 제도적으로 반영했다. 2024년 8월 시행된 AI 법(EU AI Act) 은 교육 의사결정에 활용되는 AI를 ‘고위험’으로 분류하고, 검증과 기록 의무를 강화했다. 범용 모델 역시 별도 관리 대상으로 지정됐다. 결국 AI의 위험은 기술 수준이 아니라 사용되는 맥락과 목적에 따라 달라진다는 점을 명확히 한 것이다.

이 때문에 도메인 특화형 AI가 필요하다. 입력과 출력을 실제 업무 흐름에 맞게 조정하고, 위험 수준에 따라 허용 가능한 오류 범위를 설정해야 한다. 기술의 크기를 키우는 것보다 맥락에 맞는 설계가 안전의 출발점이다.

데이터가 드러내는 현실

AI는 시험 환경에서는 높은 성능을 보이지만, 실제 상황에서는 결과가 다르게 나타난다. 대표적인 사례가 대규모 다중 작업 언어 이해(MMLU, Massive Multitask Language Understanding) 평가다. 인문학·수학·법학·의학 등 여러 분야의 문제를 푸는 이 시험에서, 현실 맥락을 반영한 MMLU-Pro를 적용하자 주요 모델의 정확도가 16~33% 하락했다.

이는 AI가 표준화된 환경에서는 강점을 보이지만, 실제 과제에서는 여전히 불안정하다는 점을 보여준다. 이런 한계로 각국은 AI 배포 전 안전 평가를 강화하고 있다. 영국 AI 안전연구소(AISI)는 모델이 위험 상황을 얼마나 정확하게 인식하고 대응하는지를 평가한 결과, 같은 모델이라도 적용되는 환경에 따라 위험 수준이 크게 달라질 수 있다고 분석했다.

스탠퍼드 AI 인덱스(Stanford AI Index)도 비슷한 경고를 내놓았다. AI 사고는 매년 증가하고 있으며, 웹 데이터를 구성하는 내용도 빠르게 변하고 있다. 2019년에는 특정 주제나 표현이 포함된 문장이 전체의 5~7% 수준이었지만, 2023년에는 20~33%로 늘었다. 데이터의 폭이 넓어질수록 모델이 예외적 상황에서 잘못 대응할 위험도 커진다. 결국 AI의 안전은 한 번의 점수로 증명되는 것이 아니라, 지속적이고 맥락에 맞는 검증 체계를 통해 관리돼야 한다.

소수집단에 대한 공격적 발언 대응 시 오류 비율 비교
주: 오류 비율(X축), 집단 구분-유색인종, 장애인(Y축)/일반 파인튜닝 시 오류율(진한 빨강), 클러스터링 기반 능동 학습 시 오류율(중간 빨강), 원본 데이터 내 해당 집단의 비율(연한 빨강)

데이터 품질과 평가의 과제

AI의 안전성 평가는 점점 더 세밀해지고 있다. 최근 발표된 HELM-Safety와 AIR-Bench 2024는 안전성 점수가 어떤 위험 유형을 시험하느냐, 어떤 질문 구조를 사용하느냐에 따라 달라질 수 있음을 보여줬다. 이는 AI의 안전이 단순한 기술 성능이 아니라 배포 환경과 평가 조건에 의해 좌우된다는 점을 다시 확인시켜 준다.

이와 함께 데이터 품질의 저하도 새로운 위험 요인으로 떠오르고 있다. 고품질 텍스트 데이터의 공개가 줄어들면서, 개발자들이 인공 데이터나 소규모 선별 자료에 의존하는 경우가 늘고 있다. 이로 인해 모델이 일부 패턴에 지나치게 맞춰지는 과적합, 데이터 특성이 시간에 따라 바뀌는 드리프트 현상이 함께 커지고 있다.

따라서 목적에 맞는 데이터 구성이 필수적이다. 예를 들어, 학교 글쓰기 평가 모델이라면 학년별 문장 수준, 평가 기준표, 자주 발생하는 오류 사례가 포함돼야 한다. 반면 외환 분석 모델이라면 경제지표 발표문, 중앙은행 보고서, 정책 자료처럼 실제 시장을 반영하는 문서가 중심이 돼야 한다. 도메인 특화형 AI는 각 분야에서 ‘적절한 데이터’의 범위를 명확히 정의하도록 돕는다.

교육과 금융 분야의 변화

이러한 흐름은 이미 교육과 금융 현장에서 구체적으로 나타나고 있다. 교육 분야에서 AI는 학생의 평가와 진학 기회를 결정할 수 있기 때문에, 그 위험이 개인에게 직접적으로 미친다. 미국 국립표준기술연구소(NIST) 는 AI 위험관리 프레임워크(RMF) 와 생성형 AI 지침을 통해 관리 체계 수립, 위험 파악, 영향 평가, 대응 실행의 절차를 제시했다. 이를 적용하면 학교는 형성평가, 표절 점검, 학습 지원 등 용도별로 AI 활용 범위와 책임 기준을 명확히 정할 수 있다.

금융 부문에서도 비슷한 전환이 이뤄지고 있다. 대화형 챗봇보다 뉴스 데이터를 분석해 시장 변동 신호를 추출하는 모델이 더 높은 성과를 보이고 있다. 유럽중앙은행(ECB)은 2024년 여름 보고서에서, PMI(구매관리자지수) 보고서를 AI가 분석했을 때 GDP 예측력이 뚜렷이 향상됐다고 밝혔다. 또 자연어처리학회(EMNLP 2024) 연구에서는 뉴스 데이터에 특화된 언어모델이 기존 감성 분석보다 더 정확한 투자 신호를 냈다. 특히 EUR/USD 환율 예측에서는 텍스트 기반 특징을 시장 데이터와 결합해 평균절대오차(MAE)를 10.7%, 평균 제곱근 오차(RMSE)를 9.6% 줄였다.

이 사례들은 도메인 특화형 접근이 단순한 효율 개선을 넘어, 검증 가능한 성과와 안정성으로 이어진다는 점을 보여준다.