[AI MEMO] AI 챗피싱, 신뢰를 무너뜨리는 디지털 기만
입력
수정
사람처럼 말하는 AI, 온라인 연애 사기 급증 정체 공개 의무화와 플랫폼 책임 강화 필요 감정이 오가는 온라인 공간에 명확한 규제 기준 요구
본 기사는 스위스 인공지능연구소(SIAI)의 SIAI Research Memo 시리즈 기고문을 한국 시장 상황에 맞춰 재구성한 글입니다. 본 시리즈는 최신 기술·경제·정책 이슈에 대해 연구자의 시각을 담아, 일반 독자들에게도 이해하기 쉽게 전달하는 것을 목표로 합니다. 기사에 담긴 견해는 집필자의 개인적 의견이며, SIAI 또는 그 소속 기관의 공식 입장과 일치하지 않을 수 있습니다.
기계가 사람처럼 말하기 시작하면서, 누가 인간인지 구분해야 할 책임은 이제 우리에게로 넘어왔다. 2025년에 진행된 현대판 ‘튜링 테스트(Turing Test)’는 인공지능이 인간과 유사한 방식으로 대화할 수 있는지를 평가한 실험이다. 연구 결과, 참가자의 73%가 대형 언어모델(AI)을 사람으로 착각했다. 이는 인공지능이 이미 인간의 언어 감각과 표현 방식을 상당 부분 재현하고 있음을 보여준다. 인간과 기계의 경계는 빠르게 흐려지고 있다.
이 기술이 온라인 데이팅 영역으로 확산되면서 위험은 더 커지고 있다. 한 번의 착오가 감정적 상처와 금전적 피해, 나아가 신체적 위협으로 이어질 수 있기 때문이다. ‘AI 챗피싱(Chatfishing)’은 인공지능이 사람인 척하며 연애 대화를 이어가는 행위를 의미한다. 사람과 프로그램의 경계가 희미해질수록 피해는 커진다. 디지털 환경에서 신뢰를 지키기 위해서는 명확한 기준이 필요하다. AI가 대화의 주체일 경우, 그 사실은 이용자 누구에게나 분명히 알려져야 한다.
AI 챗피싱과 AI 동반자 차이
AI 챗피싱과 AI 동반자(AI Companion)는 기술적으로 비슷하지만, 성격은 다르다. 둘 다 인간적인 대화를 흉내 낼 수 있지만, 결정적인 차이는 ‘동의’다. AI 동반자는 사용자가 자발적으로 선택해 이용하며, 상대가 ‘감정을 모방하는 시스템’임을 인식하고 있다는 점에서 출발한다. 반면 챗피싱은 자신을 사람으로 가장해 대화를 유도한다.
동반자 서비스는 사용자의 안정감과 만족을 높이는 데 목적이 있지만, 챗피싱은 금전이나 이미지, 관심 등 개인 자원을 빼내기 위해 정체를 숨긴다. 말하는 주체가 누구인지 모르는 순간 신뢰는 무너지고, 피해는 깊어진다. 이 문제는 윤리와 법의 영역으로 확장된다. AI의 정체가 공개되면 기술은 관계를 돕는 도구가 되지만, 숨기면 기만의 수단으로 변한다. 대화의 규칙은 화면만큼 명확해야 한다.
유럽과 미국의 공개 기준
AI와의 대화가 일상화된 지금, 투명한 공개는 선택이 아닌 의무다. 유럽연합(EU)은 이를 법제화했다. EU 인공지능법(AI Act)은 사용자가 챗봇과 대화할 때, 그 사실을 명확히 고지하도록 규정한다. 이는 이용자가 정보에 기반해 판단하고 신뢰할 수 있도록 하는 장치다.
미국 캘리포니아주는 2025년 10월 이를 한층 강화했다. 새 법은 ‘동반자 챗봇(companion chatbot)’이 자신이 사람이 아니라는 사실을 명확히 밝히도록 의무화했다. 또한 미성년자 보호를 위해, 위기 상황에서 상담 서비스로 연결된 건수나 긴급 대응 기록 등을 주기적으로 공개하도록 했다. 부모와 교육기관, 감독 당국이 이용 실태를 확인할 수 있도록 한 것이다.
결국 이용자가 챗봇을 사람으로 오인할 가능성이 있다면, 시스템은 이를 명확히 알리고 특히 미성년자에게는 주기적으로 고지해야 한다. 이러한 원칙은 앞으로 감정과 신뢰가 오가는 온라인 공간을 위한 국제 기준으로 자리 잡을 것이다.
데이팅 속 AI의 확산과 챗피싱의 성장
AI의 활용이 빠르게 확산되면서 데이팅 시장도 변하고 있다. 매치그룹(Match Group)의 ‘2025 미국 싱글 연구(Singles in America)’에 따르면, 미국 내 싱글의 약 25%가 이미 데이팅 과정에서 AI를 사용하고 있으며, 특히 Z세대의 이용률이 높다.
보안업체 노턴(Norton)의 조사에서는 온라인 데이팅 이용자의 60%가 “AI가 작성한 대화를 한 번 이상 경험했다”라고 답했다. 주요 플랫폼이 프로필 보완이나 대화 시작을 돕는 AI 기능을 도입하면서, 이용자들도 어색한 첫 대화를 피하기 위해 AI를 적극 활용하고 있다. 2024년 한 대학 연구에서는 일반인들이 AI가 쓴 문장을 구별한 정확도가 53%에 불과했다. 사실상 ‘운에 맡기는 수준’이었다.
이와 동시에 역할극이나 동반자형 AI 플랫폼은 수백만 명을 장시간 붙잡아두며, 대화형 AI가 단순한 유행이 아니라 새로운 사회적 소프트웨어로 자리 잡고 있음을 보여준다. 사용이 늘어날수록 챗피싱은 그 속에 자연스럽게 스며든다.
문제는 식별이 거의 불가능하다는 점이다. 앞서 언급한 튜링 테스트 결과에서도 확인되듯, 젊고 재치 있는 인격을 모방한 모델은 문법뿐 아니라 말투, 반응 속도, 감정 표현까지 흉내 낸다. 여기에 인간의 확증편향(상대에게 긍정적 의도를 부여하려는 심리)이 더해져 AI를 실제 사람으로 착각하게 만든다.
플랫폼들도 대응에 나서고 있다. 예를 들어 범블(Bumble)은 ‘사기 탐지자(Deception Detector)’라는 기계학습 시스템을 도입해 가짜·스팸·사기 계정을 걸러낸다고 밝혔다. 그러나 이는 여전히 플랫폼의 주장에 불과하며, 완전한 방어책은 아니다. 사기 계정 운영자들은 시스템 변화에 빠르게 적응하고, 사람의 판단 착오와 불완전한 필터가 겹친 틈에서 챗피싱은 계속 확산되고 있다.
주: 사용자 그룹- AI를 활용해 대화를 보조한 사용자, AI와 대화했다고 믿는 사용자(X축), 응답 비율(Y축)
AI 동반자의 명암
AI 동반자는 자신이 인공지능임을 밝힌다는 점에서 출발부터 다르다. 사용자는 원할 때 언제든 대화를 중단할 수 있다. 이용자 중에는 긍정적인 경험을 얻는 경우도 많다. 사회적 불안을 겪는 사람에게는 대화 연습의 공간이 되고, 상실을 경험한 사람에게는 위로가 되며, 감정 표현과 자기 성찰의 통로로 활용되기도 한다. 2025년 한 에세이에서는 이별 후 AI ‘남자 친구’를 이용해 정서적 안정을 되찾았다는 사례가 소개됐다. 공영 라디오 보도에서도 “AI 동반자가 인간관계로 돌아가는 징검다리 역할을 한다”라는 사례가 이어졌다.
그러나 이런 시스템이 사회 전반에 미치는 영향은 적지 않다. 수백만 명이 ‘지치지 않는 소프트웨어’와 장시간 대화를 이어가면, 현실 속 인간관계의 불완전함을 받아들이는 인내심이 약해질 수 있다. 특히 미성년자가 AI를 통해 동의나 공감의 개념을 배우면, 그 대화 패턴이 실제 관계에도 영향을 줄 가능성이 있다.
최근 연구들은 보호장치가 부족할 경우 일부 시스템이 유해한 행동이나 모호한 성적 경계를 그대로 학습할 위험이 있다고 경고한다. 여기에 플랫폼이 모델을 자주 바꾸면, 사용자가 의지하던 ‘인격’의 말투나 성향이 예고 없이 달라져 관계와 신뢰가 흔들리기도 한다. 이런 변화는 개인의 경험을 넘어 사회적 규범의 변화를 촉발한다. 따라서 단순히 ‘AI임을 공개’하는 것만으로는 충분하지 않다. 연령대에 맞는 설계, 대화 시간 제한, 위기 사용자를 사람 상담으로 연결하는 절차가 필요하다. 이런 조치는 자발적으로 이용하는 동반자 서비스에는 적용할 수 있지만, 정체를 숨긴 채 운영되는 챗피싱에는 적용이 어렵다.
공개 원칙으로 신뢰 지키기
AI 챗피싱과 AI 동반자 중 어느 쪽이 더 위험한지를 따지기보다, 실제 피해를 줄일 수 있는 기준을 마련하는 것이 중요하다. 데이팅 앱, 개인 거래 서비스, 동반자형 플랫폼처럼 개인적 관계가 형성되는 온라인 환경에는 ‘공개 우선(Disclosure-First)’ 원칙이 도입돼야 한다. 이용자가 상대를 사람으로 착각할 가능성이 있다면, 시스템은 자신이 인공지능임을 명확히 밝혀야 하며, 대화가 길어질 경우 그 사실을 주기적으로 다시 알려야 한다.
이 원칙은 로그, 알고리즘, 인터페이스를 함께 관리할 수 있는 플랫폼 차원에서 시행돼야 한다. 또한 유럽연합의 투명성 규정과 캘리포니아 주법을 연계해 지역별 기준의 일관성을 확보할 필요가 있다.
무엇보다 고지는 채팅창 안에서 직접 이뤄져야 한다. 약관이나 하단 각주에 숨겨서는 의미가 없다. 감정과 신뢰가 오가는 공간에서 정체성은 부가 정보가 아니라 대화의 일부로 인식돼야 한다.
시장의 유인과 책임
단순한 공개만으로는 기만을 막기 어렵다. 미국에서는 2023년 한 해 동안 로맨스 사기로 최소 11억4,000만 달러(약 1조5,700억원)의 피해가 발생했으며, 1인당 중간 피해액은 2,000달러(약 270만원)에 달했다. 신고되지 않은 사례를 감안하면 실제 피해 규모는 훨씬 클 것으로 보인다.
플랫폼이 새 계정의 비정상적인 메시지 빈도나 동일한 대화 스크립트의 반복, 여러 앱을 오가는 사기 네트워크의 흔적을 인지하고도 방치한다면 법적·경제적 책임을 져야 한다.
규제기관은 실질적인 성과 지표를 도입해 투명하게 공개해야 한다. 예를 들어 ▲봇 계정 차단 비율, ▲신고 후 차단까지 걸린 평균 시간, ▲피해 환급 규모 등을 포함한 ‘안전 대시보드’를 정기적으로 발표하고, 제3자 감사를 통해 탐지 회피나 오탐 문제를 점검해야 한다.
캘리포니아주의 ‘위기 상담 데이터 공개’ 조항은 좋은 선례로 평가된다. 이와 유사하게 사기 탐지와 차단 성과를 공개한다면, 이용자 보호는 플랫폼의 핵심 경쟁 지표가 될 것이다. 또한 AI 동반자 서비스는 미성년자에게 명시적 가입 동의 절차를 거치고, 정기적인 고지와 대화 시간 제한을 적용해야 한다. 이는 이상적인 논의가 아니라 실제 피해를 줄이기 위한 현실적 조치다.
주: 연도(X축), 피해 규모 및 건수(Y축)/총 피해액(연한 빨강), 신고 건수(중간 빨강), 1인당 피해 중간값(진한 빨강)
AI 시대, 인간의 기준을 지키려면
AI가 인간의 언어를 재현하는 시대에 과제는 명확하다. 정체를 숨긴 AI가 연애나 친밀한 대화에 개입하면 동의 없는 관계가 형성되고, 사기나 조작이 가능해지며, 인간의 감정이 수익 수단으로 전락한다.
공개된 AI 동반자 역시 위험을 내포하지만, 이용자의 선택과 설계에 따라 피해를 통제할 수 있다. 따라서 건강한 디지털 관계를 위해서는 AI의 정체를 명확히 공개하고, 기만행위에 실질적 책임을 부과하는 규제가 필요하다. 플랫폼은 기능 경쟁보다 이용자 보호 성과로 평가받아야 한다. 안전을 우선한 기업이 시장을 주도하고, 챗피싱을 방조한 곳은 신뢰를 잃게 될 것이다. 기계는 이미 인간의 언어를 흉내 내는 수준에 도달했다. 이제 필요한 것은 기술의 발전이 아니라, 인간다움을 지켜내려는 사회의 선택이다.
본 연구 기사의 원문은 AI Chatfishing, AI Companions, and the Consent Gap: Why Disclosure Decides the Harm을 참고해 주시기 바랍니다. 본 기사의 저작권은 스위스 인공지능연구소(SIAI)에 있습니다.
