AI 판정 시스템은 스포츠 판정의 속도와 정확성을 향상시킬 수 있는 잠재력을 가지고 있어
아직 기술적 한계가 존재해 인간 심판과 AI 시스템의 상호 보완적인 역할이 중요
앞으로 시각적 방해, 처리 지연, 최종 결정자의 인간 오류 등 해결해야

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 글로벌AI협회 연구소(GIAI R&D)에서 콘텐츠 제휴가 진행 중입니다.

최근 NBA는 선수들이 3점 슛을 시도하는 장면에서 그 선수와 골대 사이의 거리를 실시간으로 보여주기 시작했다. 마치 야구 중계에서 투구 속도를 표시하는 것처럼, 이 기능은 시청자들의 몰입을 한층 더 높이는 요소로 작용하고 있다.

그러나 지난해 12월 덴버 너기츠의 페이튼 왓슨 선수가 3점 슛을 성공시켰을 때, 영상에 표시된 거리는 무려 30피트(약 9미터)였다. 만약 사실이라면, 왓슨 선수는 상대 팀 벤치 뒤까지 물러난 상태에서 슛을 넣은 셈이다. AI 기술이 경기 판정을 더 신뢰할 수 있게 돕고, 새로운 방식으로 팬들을 끌어들일 수 있는 잠재력을 가지고 있지만, 여전히 기술적 한계가 존재한다.

물론 이미 여러 스포츠 리그가 AI를 도입하여 판정을 돕고 있다. 미국 프로농구(NBA), 미국 프로야구(MLB), 남자 프로테니스(ATP), 그리고 몇몇 유럽의 축구 리그들이 그 예시다. 하지만 전문가들은 정확성을 높이기 위해 최종 판정에 인간 심판의 참여가 필수적이라고 강조했다.

인간 심판에서 AI 판정 시스템으로의 전환

오랫동안 주요 스포츠 경기의 심판은 인간이 담당해 왔다. 공이 아웃됐는지, 선수가 오프사이드인지 등은 모두 인간 심판의 판단에 달려있었다. 시간이 흐르면서 인스턴트 리플레이와 같은 기술이 심판들이 정확한 결정을 내릴 수 있도록 도움을 주었지만, 최종 판정은 인간 심판이 내리는, 즉 '인적 오류'가 존재하는 구조는 크게 변하지 않았다.

인공지능이 주목받게 된 이유가 바로 여기에 있다. 2000년대 중반, 테니스는 모션 캡처와 컴퓨터 알고리즘을 활용하여 공이 코트 라인을 벗어났는지를 판정하는 최초의 스포츠가 됐다. 호크아이 이노베이션스가 개발한 3D 공 궤적 추적 시스템은 인간보다 훨씬 정확하여, 2025년까지는 ATP 경기에서 라인 판정을 위한 인간 심판이 완전히 사라질 예정이다.

야구 역시 예외는 아니다. 2019년부터 마이너리그에서 스트라이크와 볼을 결정하기 위해 MLB의 자동 투구 판정 시스템(ABS)을 시험 중이다. 이 시스템은 모션 캡처와 AI 알고리즘을 활용하여 투구가 스트라이크 존에 들어왔는지를 판단하며, 표면적으로는 인간의 눈보다 정확하다고 알려져 있다.

그러나 이 실시간 모션 캡처 애플리케이션도 완벽하지 않다. 종종 정확한 판정을 내리는 데 시간이 많이 소요되어, 정확도를 위해 속도가 희생되는 문제가 있다고 한다. 그 결과 경기의 템포를 따라가지 못해 인간 심판보다 느린 판정을 내려 경기 흐름을 방해한다는 의견도 제기됐다.

AI 심판의 한계, 빠른 판정과 정확성 사이의 줄타기

스포츠 방송 기술 회사인 SMT(SportsMEDIA Technology)의 야구 전문 스포츠 데이터 과학자 메러디스 윌스(Meredith Wills)에 따르면, MLB와 NBA 모두 이러한 실시간 모션 캡처 애플리케이션의 주요 문제점에 직면했다고 한다. 판정의 복잡성에 따라 이러한 AI 도구가 필드나 코트에서 빠르게 진행되는 동작을 항상 따라잡을 수는 없다고 그녀는 지적했다.

로봇 심판 시스템은 때때로 이러한 어려운 계산을 위해 '허우적거리는' 경우가 있다. 그중 일부는 몇 초가 걸릴 수 있는데, 인간 심판은 볼이나 스트라이크를 선언하는 데 보통 1초도 걸리지 않는다. 마이너리그에서는 심판이 경기 진행에 방해가 된다고 판단되면 ABS를 포기하고 직접 경기를 판정할 수 있는 재량권이 주어질 정도로 지연은 흔하고 심각한 문제로 인식되고 있다.

MLB 관계자는 미국 과학전문지 사이언티픽 아메리칸과의 인터뷰에서 지연된 판정은 전체 투구 중 “극히 일부”에 해당하며 느려진 원인을 확인했다고 밝혔지만, 추가적인 설명은 거부했다.

한편 윌스 연구원은 이러한 긴 처리 시간은 모션 캡처 카메라의 시야를 가득 채운 시각적 방해물들 때문일 수 있다고 언급했다. 예를 들어 농구 코트에서는 알고리즘이 공을 식별하고 추적하기 위해 움직이는 10명의 선수와 그들의 팔다리에서 공을 분리해야 한다. 또한 조명 변화나 배경색, 관중의 움직임과 같은 다른 시각적 요소들도 컴퓨터의 판정에 영향을 줄 수 있기 때문에 추적 오류가 발생하거나 처리 시간이 길어질 수밖에 없다고 설명했다.

AI 판정의 이중 난제, 최종 결정자의 오류도 가중될 수 있어

따라서 AI 판정 결과를 검증하기 위해 사람의 개입이 필요한 경우가 많다. 그러나 인간의 개입은 또 다른 오류를 만들어낼 수 있는데, 축구 경기에서 심판이 오프사이드 여부를 판단할 때 활용되는 비디오 보조 심판(Video Assistant Referee, VAR) 시스템의 경우가 이에 해당한다.

축구에서의 오프사이드 판정은 공이 차인 순간에 선수들의 위치를 파악하는 것이 중요하다. 영국 스태퍼드셔대학에서 스포츠 테크를 연구하는 푸야 솔타니(Pooya Soltani) 교수는 2022년에 진행한 연구에서 실제 심판들이 사용하는 리플레이 화면을 일반인들에게 보여줬을 때, 인간의 지각 능력과 영상 기술의 한계 때문에 공이 차인 시점을 평균적으로 약 132밀리초 (8분의 1초) 정도 늦게 인식한다는 결과를 얻었다.

솔타니 교수는 이 지연이 크게 느껴지지 않을 수도 있지만, 경기 흐름이 빠른 스포츠에서는 상당한 오류를 초래할 수 있다며, 득점 취소와 같은 오심이 발생할 수 있다고 강조했다.

NBA가 특정 판정을 돕기 위해 호크아이의 모션 캡처를 사용할 때도 비슷한 문제가 일어날 수 있다. NBA는 이미 이번 시즌부터 골텐딩 판정에 이 기술을 사용하기 시작했으나, 슈터의 손을 떠나 포물선의 정점을 찍고 하강하고 있는 공을 블록 했는지를 최종 결정하는 것은 여전히 사람이라고 한다.

인간 심판의 검토가 불가능한 사각지대도 주의해야

하지만 앞서 언급한 덴버 너기츠의 3점 슛 실시간 중계 사례처럼, 인간에 의한 사후 검토가 불가능한 경우도 있다. 최근 NBA는 자체 앱에서 직접 게임 내 베팅을 할 수 있는 도박 기능을 출시했다. 일각에선 모션 캡처 기술로 얻은 실시간 코트 정보를 활용해 베팅 배당률을 제공할 수도 있다고 분석했는데, AI 기반 분석 결과의 부정확성이 금전적 손실로 이어질 수 있다는 우려도 함께 제기됐다.

NBA 대변인은 새로운 기술이 기회와 도전을 동시에 제공한다고 언급하며, 호크아이의 초기 도입에서 발생한 문제들이 시스템의 큰 장점을 감소시키지는 않는다고 밝혔다. 그는 "이 기술이 심판 판정의 속도와 정확성을 향상시킬 뿐만 아니라 팬들이 경기를 경험하는 방식을 혁신할 수 있을 것이라는 확신을 여전히 가지고 있다"고 덧붙였다.

축적된 데이터로 학습이 진행됨에 따라 이러한 모션 캡처 시스템이 더 정교해지고 기술적 한계는 점차 줄어들거나 사라질 수 있다. 경기장의 시각적 방해 요소를 무시하는 모델의 능력이 향상될 수 있으며, 하드웨어와 소프트웨어의 개선을 통해 데이터 전송 속도를 높이고 처리 지연을 최소화할 수 있다.

그러나 현재로서는 심판 판정에서 인간의 역할이 여전히 중요하다는 것이 업계 관계자들의 중론이다. 이러한 현실을 인식하고 기술이 결정 과정에서 도움을 줄 수 있는 도구로 활용되어야 하며, 완전히 대체되어서는 안 된다는 점이 중요하다고 전문가들은 바라봤다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집 방향과 일치하지 않을 수도 있습니다.