미국 선거 여론조사, "낮은 응답률·오류 증가·불신의 악순환"
과거의 실패는 누락된 집단에 대한 깊은 이해 부재에서 비롯돼
올해 여론조사의 성패, 바른 인식과 다양성 확보에 달렸다

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

2024년에는 중요한 미국 대통령 선거가 있는 해다. 그 어느 때보다도 여론조사에 관한 관심이 높아져야 할 시기지만, 안타깝게도 여론조사 기관은 대중들의 믿음을 잃어가고 있다. 선거 여론조사에 대한 응답률이 감소하고 있는데, 응답률이 감소하면 여론조사에 오류가 발생할 가능성이 커지고, 이는 결국 여론조사에 대한 불신으로 이어진다. 여론조사에 대한 불신은 더 낮은 응답률로 이어지며 악순환은 그렇게 시작된다.

선거 여론조사, 미래를 예측하는 마법 거울 아니야

미국의 초당파적 싱크탱크인 퓨 리서치 센터에 따르면 과학에 대한 미국인들의 신뢰가 계속 감소하고 있다고 한다. 민주당과 공화당 지지자 모두 과학자에 대한 신뢰가 팬데믹 이전보다 낮아졌다고 명시했다. 이런 현상을 두고 전문가들은 여론조사를 일종의 미래를 예측할 수 있는 수단으로 받아들이면 안 된다고 우려의 목소리를 높였다. 선거 여론조사는 그날 유권자의 의중을 알 수 있을 뿐이지 미래를 예측할 수는 없다는 것이다. 또한 선거 이외의 주제를 조사하는 여론조사, 예를 들어 이슈, 시사 및 정책에 대한 미국인의 생각을 조사하는 여론조사는 여전히 정확하다며, 선거 여론조사의 경우 대체로 정확하지만, 오류에 더 취약한 문제점이 있다는 점을 이해해야 한다고 설명했다.

선거 여론조사는 항상 "만약 오늘 선거가 벌어진다면"으로 시작한다. 거기에는 이유가 있다. 선거 초반에 시행되는 여론조사는 최종 결과와 다른 이야기를 할 가능성이 훨씬 높기 때문이다. 선거 며칠 전에 시행되는 여론조사조차도 선거 막바지의 기세를 담아내지 못할 수 있다. 그리고 결과를 좌우할 만큼 많은 표를 가지고 있는 미결정자의 마음을 들여다보는 데는 한계가 있다. 따라서 오늘날의 바이든 대 트럼프에 대한 여론조사는 그 자체로 틀린 것이 아니라, 유권자들이 현재 느끼고 있는 것을 알려주는 것일 뿐이다. 지금부터 선거일까지 많은 변수가 일어날 수 있다는 점을 유념해야 한다는 것이다.

또한 여론조사에는 오차 범위가 함께 보고되는데, 선거 여론조사의 실제 오차 범위는 평균 5% 정도다. 하지만 많은 선거는 이보다 훨씬 작은 차이로 승패가 갈린다. 그리고 선거 여론조사는 다른 어떤 조사에서도 찾아볼 수 없는 독특한 특성이 있는데, 바로 아직 존재하지 않는 모집단을 대상으로 조사를 진행한다는 점이다. 선거 여론조사원은 누가 실제로 투표할지 예측해야 한다. 투표할 가능성이 높은 유권자 모델은 80%의 정확도를 보이는 경향이 있으므로 여론조사 대상자 중 누가 실제로 추정치에 포함될지 결정하는 데는 상당한 불확실성이 잇따른다. 마지막으로, 설문조사는 매우 엄격하게 설계하고 시행할 수 있지만 비용이 많이 든다. 그 결과 많은 선거 여론조사는 가능한 한 최소한의 예산으로 실시되며, 언론과 대중은 여론조사의 '설계 품질'을 주의 깊게 살펴보지 않는 경우가 많다.

누락된 집단의 실체에 대한 이해 부족과 이질성에 대한 무지

여론조사에서 설계 품질은 생명이다. 2016년과 2020년의 대선 여론조사에서 그 중요성을 확인할 수 있다. 2016년 여론조사 기관들은 트럼프 지지층의 주요 집단인 저학력 백인을 통계적으로 적절하게 조정하지 못했음을 발견했다. 해결책을 찾은 여론조사 기관들은 2020년 선거에 더 자신감을 가지고 임했지만, 여론조사 결과는 여전히 푸르렀다. 이후 여론조사 업체들은 선거 여론조사에서 공화당 지지자 수는 적절했지만, 공화당 내부의 정확한 단면을 파악하지 못했으며, 민주당 지지자들은 계속해서 투표 의사를 과대 보고하고 있다는 사실을 점차 깨달았다.

문제는 누가 누락된 것인가 하는 것이다. 그 답은 당초 예상했던 교육 수준이 낮은 사람들뿐만 아니라, 특히 과학과 미디어를 불신하고, 편파적인 뉴스 매체에 호감을 느끼거나 특정 종교성이나 기타 속성을 가진 사람들이다. 게다가 이 누락된 집단은 인구통계학 전반에 걸쳐 균일하게 나타나지 않았는데, 예를 들어 히스패닉과 백인의 경우 다른 양상을 보였다. 이에 지난 4년 동안 과거 투표 행동에 대한 보다 엄격한 조정과 이러한 유형의 유권자가 투표에 더 많이 참여하도록 장려하기 위한 새로운 접근이 적극적으로 도입됐다. 그동안의 노력이 결실을 볼지는 올해의 선거 결과에 달려 있다.

한편 전문가들은 여론조사에 대한 대중들의 인식 개선을 촉구했다. 앞서 언급한 대로 선거 여론조사는 미국에서 이루어지는 수많은 여론조사 연구의 극히 일부에 불과하며, 비선거 여론조사의 경우, 응답률이 낮음에도 불구하고 오차가 일반적으로 매우 작으며, 응답률과의 상관관계도 일반적으로 높지 않다는 것이다. 여론조사에 대한 정확한 이해를 바탕으로 언론과 대중이 여론조사의 결과를 과대 해석하지 않고 저품질·저가 여론조사의 결과를 비판적으로 받아들여야, 궁극적으로 표본에서 누락돼 왔던 '과학을 불신하는 이질적 집단'의 공백을 메꿀 수 있다고 강조했다.

스포츠에서 언더독의 반란은 종종 발생한다. 선거 여론조사에서도 마찬가지다. 한 가지 확실한 것은 여론조사에 더 많은 다양한 사람이 참여해야 한다는 것이며, 사람들이 참여하여 솔직한 의견을 제시할 때 더욱 신뢰할 수 있다는 것이다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.