개인 투자자까지 확산된 AI 트레이딩 
동일한 알고리즘이 만드는 유동성 위기 
시장 다양성 유지가 새 금융 감독 과제

본 연구 기사는 유럽 경제 연구소 The Economy의 연구위원(Fellow)들이 작성한 The Economy Review 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술-경제-정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적인 의견이며, The Economy 또는 집필자의 소속 기관의 견해와 일치하지 않을 수 있습니다.

인공지능(AI) 기반 트레이딩이 헤지펀드와 투자은행 등 전통 금융권을 넘어 개인 투자자의 영역으로 빠르게 확산되는 추세다. 증권사 애플리케이션과 투자 자문 챗봇, 자연어 기반 분석 도구, 투자 목표를 자동으로 매매 전략으로 구현하는 에이전트형 서비스가 등장하면서 자산관리 접근성이 크게 높아졌다. 하지만 이러한 변화가 금융시장 전반의 체계적 위험(Systemic Risk)을 키울 수 있다는 우려도 커지고 있다. 과거에는 일부 대형 기관의 동조화된 거래가 시장 불안의 원인으로 지목됐다면, 이제는 수백만 명의 개인 투자자가 동일한 AI 도구를 활용해 비슷한 투자 판단을 내릴 수 있는 환경이 형성되고 있기 때문이다.

시장 다양성 약화가 부르는 유동성 위기

금융시장은 서로 다른 투자 판단이 공존할 때 안정적으로 작동한다. 매수자와 매도자, 위험을 감수하는 투자자와 이를 회피하는 투자자, 장기 투자자와 단기 투자자가 각기 다른 시각으로 시장에 참여해야 충분한 유동성이 유지된다. 그러나 시장 참여자들이 동일한 정보와 분석 도구에 의존하기 시작하면 투자 판단은 점차 한 방향으로 쏠릴 가능성이 커진다. 평상시에는 활발한 거래 속에 이러한 현상이 두드러지지 않지만, 시장 불안이 확대되는 국면에서는 유동성이 급격히 위축될 수 있다.

이 같은 현상은 경제학에서 말하는 허시라이퍼 효과(Hirshleifer Effect)로 설명된다. 개인에게 도움이 되는 정보가 사회 전체에도 반드시 긍정적인 결과를 가져오는 것은 아니라는 의미다. 특정 투자자의 손실을 줄이는 데 유용한 정보가 시장 전반에 동시에 확산되면 오히려 거래 상대방이 사라질 수 있다. 투자자가 위험을 줄일 수 있는 것은 반대편에서 거래에 응하는 시장 참여자가 존재하기 때문이다. 하지만 모두가 같은 정보를 근거로 일제히 매도에 나선다면 이는 시장의 유동성과 가격 형성 기능을 약화시키는 결과를 초래할 위험이 크다.

인간 투자자 역시 군집 행동을 보이지만 정보 습득 경로와 투자 성향, 위험을 인식하는 시점은 제각각이다. 반면 AI 시스템은 동일한 데이터를 학습하고 유사한 질문에 유사한 결론을 도출하는 특성을 보인다. 예를 들어 경기 둔화 국면에서 자산 방어 전략을 묻는 투자자들에게 동일하거나 유사한 포트폴리오를 추천하는 상황이 나타날 수 있다. 이는 의도적인 담합과는 다른 문제지만 결과적으로는 시장 참여자들의 행동을 특정 방향으로 집중시키는 효과를 낳는다.

DQN과 LLM의 서로 다른 위험 요인

AI가 시장에 미치는 영향은 기술 구조에 따라 다른 양상으로 나타난다. 특히 강화학습 기반의 DQN(Deep Q-Network)과 대규모언어모델(LLM)은 시장 불안을 키우는 방식에서도 차이를 보인다. DQN은 반복적인 학습 과정을 통해 특정 상황에서 가장 높은 보상을 얻는 행동을 익힌다. 만약 시장이 흔들릴 때 자산을 먼저 처분하는 전략이 높은 성과로 연결된다고 판단하면 이후에도 비슷한 상황에서 같은 행동을 선택할 가능성이 높다. 문제는 다수의 DQN 기반 시스템이 유사한 시장 환경과 데이터를 바탕으로 학습한다는 점이다. 개별 알고리즘 입장에서는 합리적인 위험 관리 전략일 수 있지만 시장 전체에서는 동시다발적인 매도세를 유발할 수 있다. 결국 먼저 빠져나가는 것이 유리하다는 판단이 확산되면 시장은 급격한 매도 압력에 직면하게 된다.

반면 LLM은 프롬프트와 문맥, 이용자의 질문 내용을 바탕으로 답변을 생성한다. 투자 성향과 투자 목적에 따라 장기 투자나 배당 투자, 손실 제한 전략 등 서로 다른 조언을 제시할 수 있다는 점에서 상대적으로 다양한 결과가 나올 여지가 있다. 그러나 LLM 역시 위험에서 자유롭지 않다. 사실과 다른 내용을 그럴듯하게 설명하거나 시장 뉴스에 과도하게 반응해, 투자자로 하여금 특정 포지션 진입을 유도하기 쉽다. 특히 소셜미디어와 온라인 커뮤니티를 중심으로 비슷한 질문이 반복될 경우 답변 역시 특정 방향으로 수렴할 가능성이 높다.

위기 국면의 동조화 매매

이 같은 차이는 평상시에는 유지될 수 있지만, 시장 불안이 고조되는 국면에서는 급격히 퇴색된다. 투자자들의 손실 우려와 공포가 AI 시스템 전반에 공통된 변수로 작용하기 때문이다. 자산 가격이 급락하고 비관론이 확산되는 상황에서 위험 관리 방안을 묻는 질문이 쏟아지면, 서로 다른 구조의 AI라도 결국 위험 자산 축소와 매도 중심의 대응책을 제시할 가능성이 커진다. DQN은 학습된 보상 체계에 따라 매도 신호를 강화하고, LLM은 이용자들의 불안 심리에 맞춰 위험 회피 전략을 권고하면서 시장 전반의 매도 압력을 증폭시킬 수 있다.

이 같은 모습은 2023년 실리콘밸리은행(SVB) 사태가 보여준 디지털 금융 환경의 취약성과도 맞닿아 있다. 당시 모바일 뱅킹과 소셜미디어를 통해 예금 인출 움직임이 빠르게 확산되면서 기존 감독 체계가 대응할 틈도 없이 뱅크런이 진행됐다. 이는 공통된 불안 요인과 신속한 정보 전달 수단, 동일한 행동 동기만 갖춰지면 시장은 언제든 한 방향으로 움직인다는 사실을 보여준 사례다. AI 트레이딩은 이러한 과정을 자동화함으로써 시장 충격의 확산 과정을 전례 없는 속도로 가속화한다.

개인 투자자의 영향력 역시 과거와는 다른 수준으로 확대되고 있다. 개별 투자자의 거래 규모는 제한적이지만 동일한 AI 도구를 활용하는 투자자가 대규모로 늘어날 경우 시장에 미치는 영향도 커질 수밖에 없다. 실제로 옵션시장과 암호화폐, 테마형 ETF 등에서는 개인 투자자 자금이 시장 흐름을 좌우하는 주요 변수로 자리 잡았다. 이에 따라 AI를 활용한 투자 판단이 특정 방향으로 쏠릴 경우 일부 자산시장에서 발생한 충격이 파생상품 시장과 담보가치 하락, 유동성 경색으로 이어지며 금융시장 전반의 불안으로 확산될 위험성이 농후하다.

맞춤형 투자의 명암

AI가 시장의 동조화를 심화시킬 수 있다는 우려에도 불구하고 이를 반대로 해석하는 시각도 존재한다. 투자자의 연령과 소득, 투자 성향, 위험 선호도 등을 세밀하게 반영한 맞춤형 전략 수립이 가능해졌기 때문이다. 시장이 불안할 때 AI가 투자자의 심리를 안정시키고 충동적인 매도를 줄이는 역할도 기대된다. 실제로 고도화된 AI 투자 자문 서비스는 개인별 투자 목적과 자산 상황에 맞는 전략을 제시하며 장기 투자 문화 확산에 기여할 수 있다.

그러나 이러한 효과가 자동으로 보장되는 것은 아니다. AI 플랫폼의 수익 구조가 거래량 확대나 이용 시간 증가에 맞춰질 경우 투자자의 신중한 판단보다 잦은 매매를 유도하는 방향으로 서비스가 설계될 수 있다. 맞춤형 투자라는 이름을 내세우더라도 실제로는 단기 매매 성향을 강화하는 결과로 이어질 수 있다는 의미다. 결국 AI의 역할은 기술 자체보다 어떤 목표 아래 운영되는지에 따라 달라진다.

AI 금융 감독의 새로운 과제

이 같은 이유로 금융당국 역시 AI 트레이딩에 대한 감독 체계를 새롭게 정비해야 한다는 목소리가 커지고 있다. 지금까지 규제의 초점이 투자자 보호와 정보 비대칭 해소, 불공정 거래 방지에 맞춰졌다면 앞으로는 AI 시스템 간 판단의 유사성이 시장에 미치는 영향까지 살펴봐야 한다는 것이다. 이를 위해 새로운 형태의 스트레스 테스트 도입 논의도 본격화되고 있다. 단순히 모델의 성능과 정확도를 평가하는 데 그치지 않고 동일한 시장 환경에서 여러 AI가 얼마나 유사한 결론을 내리는지 확인해야 한다는 취지다. DQN 기반 시스템은 손절매 규칙과 위험 관리 체계를, LLM 기반 시스템은 프롬프트 민감도와 정보 활용 방식, 시장 심리 자극 여부 등을 점검하는 방안이 거론된다.

공시 체계 역시 손질이 불가피하다. 금융 플랫폼은 단순히 AI를 활용한다는 사실을 알리는 수준을 넘어 어떤 모델을 사용하는지, 자동 매매 기능을 갖추고 있는지, 다른 서비스와 동일한 모델을 공유하는지 등을 구체적으로 공개하는 투명성이 요구된다. 아울러 정보 제공과 투자 조언, 포트폴리오 설계, 자동 매매 등 AI가 개입하는 단계를 명확히 구분해 투자자가 서비스의 성격을 쉽게 이해할 수 있도록 해야 한다.

시장 다양성이 금융 안정의 핵심

규제 정비와 함께 시장 인프라 역시 AI 환경에 맞게 개선이 필요하다. 현재 운영 중인 서킷브레이커와 변동성 완화 장치(VI), 증거금 규제 등은 투자자의 판단과 주문 속도를 전제로 설계된 제도다. 하지만 AI가 실시간으로 정보를 분석하고 거래를 실행하는 환경에서는 기존 장치만으로 급격한 시장 변동에 대응하는 데 한계가 있다는 지적도 제기된다. 이에 따라 거래소와 증권사는 AI가 유도하는 집단적 매매 움직임까지 파악할 수 있는 감시 체계를 갖춰야 한다.

금융 AI 역시 다양한 투자 판단이 유지될 수 있도록 설계될 필요가 있다. 특히 시장 변동성이 확대되는 국면에서는 투자자에게 충분한 판단 시간을 제공하고 단기 매매 신호와 장기 자산 배분 전략의 차이를 명확히 안내해야 한다. 투자 자문 기능과 실제 거래 실행 기능을 구분해 충동적인 판단이 곧바로 거래로 이어지지 않도록 하는 장치도 중요하다.

AI 트레이딩은 정보 접근성을 높이고 투자 분석 비용을 낮추며 개인의 자산 형성을 지원하는 유용한 도구다. 그러나 모든 AI 시스템이 개별 투자자의 수익률 극대화만을 목표로 움직인다면 시장 전체에는 예상치 못한 위험이 축적될 수 있다. 결국 앞으로의 금융 규제는 특정 AI가 한 명의 투자자에게 얼마나 도움이 되는지를 넘어 수많은 투자자가 같은 AI를 사용할 때도 시장이 안정적으로 작동할 수 있는지를 함께 살펴봐야 한다.

본 연구 기사의 원문은 When AI Trading Turns Private Logic Into Public Risk을 참고해 주시기 바랍니다. 본 기사의 저작권은 The Economy에 있습니다.