여론조사 응답률 1%까지 감소, 표본 왜곡 우려 ↑
과거 선거 결과 반영한 가중치에도 사라지지 않는 근본적 한계
시뮬레이션조차 선거 결과 정확히 예측 못 해

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 글로벌AI협회(GIAI)에서 번역본에 대해 콘텐츠 제휴가 진행 중입니다.

여론조사 결과는 선거 보도와 전략, 유권자들의 판단에 큰 영향을 미친다. 그러나 최근 여론조사의 신뢰성에 대한 의문이 커지고 있다. 마이클 베일리(Michael Bailey) 조지타운대 미국정치학 교수이자 '기로에 선 여론조사: 설문조사 방식을 다시 생각하다(Polling at a Crossroads: Rethinking Modern Survey Research)'의 저자는 “우리는 큰 오류에 취약한 기법을 사용하고 있다”고 지적했다. 특히 지난 두 번의 대선에서 트럼프 지지율이 과소평가되면서 이러한 문제가 두드러졌다. 여론조사 기관들은 이 같은 실수를 교훈 삼아 개선에 나서고 있지만, 아직까지 확실한 해결책은 찾지 못한 상황이다.

더 이상 여론조사에 응답하지 않는 사람들

여론조사의 성공 여부는 표본의 질에 크게 좌우된다. 응답자가 많고 표본의 대표성이 높을수록 데이터의 신뢰도 역시 높아진다. 그런 점에서 20세기 후반 유선 전화의 보급은 여론조사에 황금기를 가져왔다. 이 시기 여론조사 기관들은 무작위 전화 통화를 통해 다양한 인구 집단의 의견을 수집할 수 있었으며, 응답률도 약 60%로 안정적이었다.

하지만 최근에는 발신자 표시, 문자 메시지의 증가, 스팸 메시지 확산 등 기술적 변화로 인해 전화를 받거나 원치 않는 문자에 응답하는 사람이 거의 없다. 권위 있는 뉴욕 타임스와 미국 시에나 칼리지의 여론조사조차 응답률이 약 1%에 불과하다. 이로 인해 여론조사에 응답하는 사람들은 대체로 예외적인 경우가 많아, 자발적 응답이 예측에 반영될 경우 심각한 편향이 발생할 수 있다.

“응답률이 1%까지 떨어지면 더 이상 무작위 표본이라 할 수 없다. 사실상 게임은 끝난 셈이다”라고 베일리 교수는 단호히 말했다. 제한된 데이터를 유의미한 통찰로 전환하기 위해 여론조사 기관들은 점점 더 복잡한 모델링에 의존하고 있다. 일반적으로 이러한 기법은 나이, 인종, 성별, 정치 성향 같은 주요 변수에 맞춰 왜곡된 표본에 가중치를 부여해 전체 유권자 집단을 반영하려는 것이다. 이론상으로는 편향된 소수의 응답을 통해 전체 유권자에 대한 통계를 추정할 수 있도록 돕는 방식이다.

무작위 표본 추출의 황금기에는 여론조사가 “과학적 방법에 기반해 정해진 절차에 따라 확률적인 결과를 내는 방식이었다”고 베일리 교수는 설명했다. 그러나 “이제는 원본 데이터에 여러 모델링 결정을 계속 덧붙여야 하고, 그 가정들이 맞기를 바랄 뿐이다”라고 그는 덧붙였다.

모델의 가정이 틀렸다면?

여론조사 기관들은 데이터를 실제 유권자 집단 비율에 맞추기 위해 신중하고 정교한 결정을 내린다. 하지만 결국 이 역시 학문적인 추측에 불과하며, 가정에 따라 결과가 달라질 수 있다. “합리적인 가정들이지만 서로 다를 수 있다. 어느 가정이 맞는지 알 수 없다”고 조지워싱턴대 데이비드 카프(David Karpf) 미디어·공공문제 교수는 강조했다.

여론조사의 정확도는 11월 5일(현지 시각 기준) 실제 유권자들이 내리는 결정에 달려 있다. 그러나 이는 근본적으로 알 수 없는 부분이며, 여론조사 전문가들이 지난 두 번의 선거에서 실수한 이유이기도 하다. 2016년 전체 여론조사의 88%가 힐러리 클린턴의 지지율을 과대평가했다. 조사 결과, 저학력 백인 유권자 중 트럼프 지지층을 크게 놓쳤으며, 교육 수준을 반영해 데이터를 가중하지 않은 것이 주요 원인으로 드러났다. 2020년에는 교육 수준 가중치를 추가했지만, 이번에는 인구 통계 외의 다른 요소를 포함하지 않아 비슷한 문제가 반복됐다. 조 바이든 미국 대통령이 승리할 것이라는 예측은 맞았지만, 여론조사의 93%가 그의 우세를 과대평가했다.

더욱이 2020년 선거는 여론조사 기관들이 의존하던 인구통계 변수만으로는 트럼프 지지를 완전히 설명하기 어렵다는 사실을 드러냈다. 이에 올해 많은 여론조사 기관들이 이를 보완하기 위해 더 직접적인 접근을 사용하고 있다. 바로 응답자가 지난 선거에서 누구에게 투표했는지를 기준으로 가중치를 부여하는 '회상 투표 가중치'(recall-vote weighting) 방식이다. 이 방식은 2024년 여론조사를 2020년의 투표율에 맞추는 효과를 내며, 결과적으로 트럼프의 지지율이 다소 부풀려지는 결과를 낳는다.

하지만 이 기법에는 몇 가지 치명적인 한계가 있다. 우선 2024년의 유권자 집단이 2020년과 동일할지는 알 수 없다. 특히 2022년 중간선거에서 여성 유권자들의 높은 투표율을 고려하면 그 가능성은 더욱 낮아진다. 게다가 4년 동안 유권자 구성은 크게 변할 수 있다. 일부 유권자들은 사망하고, 새로운 유권자들이 18세가 되어 투표권을 얻으며, 많은 사람들이 다른 주로 이주한다. 또한 4년 전 자신이 누구에게 투표했는지에 대한 질문에 신뢰할 만한 답을 하지 않는 경우도 있을 수 있다.

사실 가장 우려되는 부분은 이 기법의 근본적인 한계 점이다. 여론조사 기관들은 단순히 표본 내 트럼프 지지자의 비율을 맞추는 것뿐만 아니라, 실제로 트럼프 지지층을 제대로 반영해야 한다. 만약 표본이 2020년 트럼프 지지자를 충분히 대표하지 못한다면, 회상 투표 가중치로는 이 문제를 해결할 수 없다. “2020년에 트럼프에게 투표했지만 지금은 그에게 실망한 사람을 떠올려보라. 그런 사람은 여론조사에 응답하지 않을 수도 있다”고 베일리 교수는 짚었다. 민주당 측에서도 비슷한 현상이 발생할 수 있다. 결국, 회상 투표 가중치를 사용해도 여론조사 결과가 왜곡될 가능성은 남아 있다.

선거 시뮬레이션도 큰 도움 안 돼

개별 여론조사가 신뢰하기 어렵다면, 여론조사 집계 사이트의 상황은 어떨까? 이들 사이트는 수십 개에서 많게는 수백 개의 설문조사 결과를 결합하고, 538(전 파이브서티에이트)의 설립자이자 대선 예측의 '귀재'로 불리는 네이트 실버(Nate Silver)가 대중화한 선거 시뮬레이션 방식을 자주 사용한다. 이렇게 수집된 여론조사 데이터를 기반으로 약 10,000번의 선거 시뮬레이션을 실행해 결과를 예측하는 것이다.

그러나 일반인들에게는 이런 시뮬레이션이 큰 도움이 되지 않는다. 예를 들어 2016년 538은 클린턴이 71.4%의 시뮬레이션에서 승리할 것으로 예측했다. 그렇다면 트럼프가 승리한 28.6%의 현실을 우리는 어떻게 받아들여야 할까? 특정 시점의 후보 지지율을 보여주는 대신 선거 결과를 예측하려는 이러한 시도는, 2016년 여론조사 실패 이후 미국 여론조사협회 보고서에서 많은 비판을 받았다.

크리스틴 올슨(Kristen Olson) 네브래스카 링컨대 사회학 교수는 “미디어와 정치적 담론에서 이러한 여론조사 집계 사이트가 큰 비중을 차지하고 있다”며, “그들은 알 수 없는 오류가 포함된 모델 입력값을 사용했고, 투명하지 않았다”고 경고했다. 그는 “오늘 수업 시간에 예시로 보여줬는데, 538의 여론조사 목록 중 몇 곳을 클릭해보면 ‘이 사람들이 누구지?’라는 생각이 들 정도다. 그들의 배경을 전혀 알 수 없는 경우도 있어 놀랍다”고 말했다. 일부 기관은 당파적 성향이 뚜렷하며, 다른 곳은 조사 방법조차 공개하지 않았다고 덧붙였다. 그는 이러한 상황이 “과학적 기준에서 보면 균형 잡힌 접근과는 거리가 멀다”고 강조했다.

또한 538 예측 페이지에서도 언급하듯이 여론조사 결과가 접전이라고 해서 선거 결과가 꼭 접전이라는 의미는 아니다. 현재 후보들 간의 승률이 팽팽해 보이지만, 승자는 여전히 상당한 차이로 선거인단 투표에서 승리를 거둘 가능성이 있다.

“지금 대중이 겪는 어려움은 여론조사를 보면서 미래가 어떻게 될지 궁금해한다는 것이다. 그러나 여론조사는 그 답을 제공할 수 없다”고 카프 교수는 말한다. 그는 여론조사가 또다시 트럼프의 지지율을 과소평가하고 그가 패배할 경우, 최종 결과가 오차 범위 내에 있더라도 선거 부정 주장의 근거로 활용될 수 있다고 설명했다. 물론 이러한 문제는 여론조사 기관이 직접 해결할 수 있는 부분은 아니지만, 그들이 직면한 현실의 일부이며 회상 투표 가중치 적용 여부에 영향을 미칠 수 있다는 것이다.

이번 선거에서는 여론조사가 그 어느 때보다도 사람들에게 큰 위안을 주지 못하고 있다. 전문가들뿐만 아니라 여론조사 기관들조차 여론조사 결과를 멀리할 것을 조언하고 있다. 결국 선거일에 어떤 일이 벌어질지는 그날이 되어야만 알 수 있다.

원문의 저자는 앨리슨 파샬(Allison Parshall) 사이언티픽 아메리칸 부편집장입니다. 영어 원문은 Why Election Polling Has Become Less Reliable | Scientific American에 게재돼 있습니다.