‘객관적 확률 체계’, 실생활에서 존재한다는 증거 못 찾아
‘주관적 확률 체계’, 개인의 ‘기대 효용 극대화’ 위해 형성
합리적 가정 전제된다면 실생활에 도움

더 이코노미(The Economy) 및 산하 전문지들의 [Deep] 섹션은 해외 유수의 금융/기술/정책 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 본사인 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

앞서 소개한 코로나19 치료법 발굴을 위한 영국의 실험에서 도출된 숫자들을 그저 실제 확률에 대한 주관적이고 결함 있는 추정으로 봐야 할까? 아니면 세계의 객관적 속성으로 간주해야 할까? 물론 양자 세계(quantum world)에서는 아무 인과성 없는 사건도 정해진 확률을 가질 수 있다. 하지만 현실 세계에 영향을 주기에 너무 미세하기 때문에 지금 논의에서는 제외하기로 한다. 또한 세계가 결정론적(deterministic)인지, 우리가 사건들에 영향을 줄 수 있는 자유 의지(free will)가 있는지에 대한 해묵은 논쟁도 피하려고 한다. 대답이 무엇이든 객관적 확률이 무엇인지 설명해 주지는 못하기 때문이다.

객관적 확률에 대한 정의, 수많은 시도에도 ‘결함과 한계’

지금까지 객관적 확률의 실체를 밝히기 위한 수많은 시도가 있었지만 모두 결함이나 한계가 있었다. 그중 하나가 ‘빈도주의 확률’(frequentist probability) 이론인데, 본질적으로 동일한 상황이 무한 반복될 때 사건들이 발생하는 이론적 비중을 확률로 정의하려는 접근 방식이다. 예를 들면 동일한 환경에서 동일한 인구 집단을 대상으로 동일한 치료법을 반복하는 것인데 일단 비현실적이다. 영국 통계학자 로널드 피셔(Ronald Fisher)는 특정 데이터를 가상에 존재하는 무한한 모집단의 표본으로 간주하는 사고방식을 제안했는데 이 역시 객관적 현실이라기보다는 사고 실험에 가깝다.

여기에 더해 ‘경향성(propensity)을 중심으로 한 설명도 있는데, 절반은 신비주의에 가깝다고 해도 무방하다. 예를 들면 내가 향후 10년간 심장마비를 일으킬 가능성이 늘어나는 것처럼 특정 상황에서 특정한 사건이 발생할 수 있는 성향이 높아진다는 것인데 사실상 검증하기 어렵다.

세상에는 장기적으로 예측 가능한 확률 분포를 가지고 통제와 반복이 가능한 동시에 엄청난 복잡성을 가져 빈도주의 확률 이론에 부합하는 사례가 매우 제한돼 있다. 룰렛(roulette), 카드 섞기, 동전 튕기기, 주사위 던지기, 복권 추첨 등이 이에 해당하는데, 모두 무작위성 테스트(tests of randomness)를 통과할 수 있는 난수 생성이 가능한 비선형적이고 불규칙한 알고리즘을 이용한다고 볼 수 있다.

실제 세계에서도 거대한 덩어리의 기체 분자와 같이 고전 물리학 법칙(Newtonian physics)을 따르면서도 통계 역학(statistical mechanics, 미립자의 운동 법칙을 바탕으로 물질의 현상을 확률적으로 설명)에 부합하는 사례를 찾을 수 있다. 또한 염색체의 선택과 재조합이라는 복잡한 과정이 안정된 유전 형질로 연결되는 사례도 있다. 이렇게 제한된 환경에서는 유사 객관적 확률(pseudo-objective probability)을 가정하는 것이 가능하다. 주관적 확률이 아닌 ‘진짜 확률’ 말이다.

하지만 확률이 사용되는 수많은 분야 - 과학, 스포츠, 경제, 기상, 기후, 위험 산정, 재해 모델 등 - 에서 우리가 내리는 판단이 정확한 확률의 근사치라고 추정할 수는 없다. 모든 상황에서 우리는 알고 있는 지식과 판단에 근거해 불확실성을 그저 확률로 표현하려고 시도할 뿐이다.

주관적 확률, 개인의 ‘기대 효용 극대화’와 연결

여기서 또 다른 질문이 제기된다. 주관적 확률이란 어떻게 정의할 수 있는가? 불확실한 가정들을 근간으로 했음에도 ‘확률 법칙’은 어떻게 합리성을 획득하는가? 이 질문 역시 학계에서 거의 한 세기를 토론했지만 충분한 합의에 이르지 못했다.

해당 문제를 다른 초기 연구 중 하나가 1926년 프랭크 램지(Frank Ramsey)에 의해 행해졌다. 그는 도박에서 개인들이 하는 베팅을 통해 확률 법칙을 유추할 수 있음을 보여줬다. 도박에서 베팅 결과에 따른 효용(utilities)은 개인마다 다르고, 그 자체가 개인적 확률이라고 부를 수 있는 주관적 확률 분포에 의존한다는 것이다. 하지만 이는 효용 가치에 대한 별도의 분석이 필요한 주제이기도 하다. 한편 최근 연구는 적합한 득점 규칙을 사용해 기대 성과(expected performance)를 극대화하도록 했을 때 보여지는 행동 패턴이 확률 법칙에 부합한다는 사실을 보여주기도 한다.

확률을 정의하려는 시도 자체가 모호해 보이는 경우도 있다. 앨런 튜링(Alan Turing)은 1941~42년 ‘암호 기술에 대한 확률 적용’(Applications of Probability to Cryptography) 보고서를 통해 ‘특정 조건에서 특정 사건의 가능성은 해당 조건에서 해당 사건이 일어날 수 있는 사례(cases)들의 비중’이라고 정의한 바 있다. 이는 실제 확률은 인간의 판단을 뜻하는 ‘기대’(expectations)에 기반하고 있음을 인정하는 또 하나의 정의라고 할 수 있다.

여기서 ‘사례’가 동일한 ‘관찰’(observation)을 의미하는지, 동일한 ‘판단’(judgements)을 의미하는지가 중요하다. 동일한 판단이라면 반복되는 관찰 대신 반복되는 판단을 적용한 빈도주의 확률 이론의 객관적 확률에 대한 정의와 거의 비슷해진다. 그러니까 비 올 확률이 70%로 판단된다는 것은 예보관이 70% 확률로 강수를 예보할 ‘경우의 집합’(set of occasions) 안에 포함된다는 것이고, 그 경우의 집합 중 실제 비가 내리는 사례가 70%라는 것이다.

실생활에서의 확률, ‘불확실성 극복 위한 주관적 신념 체계’

1970년대 학생 시절, 멘토였던 아드리안 스미스(Adrian Smith)는 브루노 드 피네티(Bruno de Finetti)의 ‘확률 이론’(Theory of Probability)을 번역하고 있었다. 드 피네티 역시 프랭크 램지와 같은 시기에 주관적 확률 이론을 연구한 통계학자인데 그의 책은 ‘확률은 존재하지 않는다’는 도발적 선언으로 시작한다.

사실 현실 세계에서 우리가 객관적 확률이 존재하는지 따져봐야 하는 상황은 많지 않다. 그보다는 실용적인 접근을 취하는 것이 나을지도 모른다. 드 피네티 자신도 실용적 접근법을 사용해 ‘교환가능성’(exchangeability)이라고 개념을 발견해 그를 대표하는 유명한 정리로 발전시켰다. ‘순서를 가진 일련의 사건들은 우리의 주관적 확률이 이전에 일어난 사건들의 순서에 영향받지 않는다면 교환 가능하다’는 것이다. 나아가 그는 해당 가정이 수학적으로 ‘독립적인 사건’을 구성하는 요건임도 입증했다. 각 사건은 이전에 일어난 사건에 상관없이 저마다 독립적인 가능성을 보유한다는 것이다. 여기서 각각의 사건에 대해 우리가 느끼는 불확실성이 주관적이고 인식론적인 확률 분포로 나타나게 된다. 매우 구체적이고 지극히 주관적인 신념의 표현으로 시작해 마치 사건들이 객관적 확률에 따라 일어나는 양 행동하게 되는 셈이다.

현재 통계학은 물론 많은 과학 및 경제 활동의 주축을 이루는 중요한 업적이 그토록 정의하기 어려운 개념에서 시작됐다는 점이 놀랍다. 그래서 나도 이 경구로 결론을 대신하고자 한다. 일상에서 확률은 존재하지 않지만 있는 것처럼 행동하면 가끔 유용할 때가 있다.

원문의 저자는 데이비드 스피겔할터(David Spiegelhalter) 케임브리지 대학교(University of Cambridge) 명예 교수입니다. 영어 원문은 Probability Probably Doesn’t Exist | Scientific American에 게재돼 있습니다.