https://news.v.daum.net/v/20211030131130255

딸깍. 전등 스위치를 켜자 홀로 돌아가던 기계의 전모가 파악됐다. 서늘한 바람이 분다. 가을을 넘어 겨울로 접어드는 계절이지만 에어컨 2대를 풀가동 중이라고 했다.

안내를 맡은 연구원이 왼쪽이 전화조사이고, 오른쪽이 ARS 서버라고 했다. 컴퓨터마다 240회선을 동시에 걸 수 있다. 서버가 총 4대이니 240×4=960콜을 한 번에 처리할 수 있는 시스템이다. 960회 전화를 건다고 모두 연결되는 것은 아니다. 목표한 할당치에 도달할 때까지 회차는 반복해 이뤄진다. 응답률 등을 고려하면 통상 1만6000 콜 내지 2만 콜을 해야 1000명 내외의 샘플이 확보된다. 회차 단위로 보면 1000샘플을 얻기 위해 16번에서 20번 가까이 기계를 돌려야 한다. 하루에 할당 수를 다 채우는 경우는 없다. 보통 이틀이나 사흘에 걸쳐 진행한다. 늦은 밤에 여론조사 전화를 돌리는 것도 불법이다. 지난 2010년 1월 개정된 공직선거법 제108조 10항에 따르면 야간 22시부터 익일 7시까지는 전화를 이용한 선거여론조사는 할 수 없다(단 공포·보도하지 않은 조건에서 정당의 명의로 하는 것은 가능하다).

서버 뒤에는 오퍼레이팅용 컴퓨터가 있는데 지키고 앉아 있는 사람은 없다. 사전에 녹음된 설문 문항에 대한 답을 받아 서버에 데이터를 생성하는 작업은 모두 기계가 하고 있다. 말하자면 소리없는 전쟁이 벌어지고 있는 ‘워룸’인 셈이다. 서버 유지비용은 얼마나 들까. 이 여론조사 업체 소장은 “전기세라도 나오게 도와주세요. 전화비는 고사하더라도”라며 농담으로 받아넘긴다.

■자동응답 여론조사는 어떻게 이뤄질까

10월 27일 머니투데이가 의뢰해 한국갤럽이 10월 25일과 26일 조사해 발표한 여론조사 결과(95％ 신뢰수준에 표본오차 ±3.1％포인트)가 공개됐다. 이에 따르면 가상 양자대결에서 이재명 민주당 후보(41.9%)는 홍준표 국민의힘 경선후보(39.3%)에 2.6%포인트 앞섰다. 반면 윤석열 국민의힘 후보는 35.7%를 얻어 가상 양자대결에서 45.8%를 얻은 이재명 후보에게 10.1%포인트 뒤졌다. 가상 양자대결이므로 ‘(자신이 지지하는 후보가) 없음’은 두 대결조사 모두 15.8%였고, ‘모름/응답거절’은 각각 2.8%, 2.4%였다. 이 여론조사 결과를 보도하는 언론 대부분은 ‘가상 양자대결에서 이재명 후보가 윤·홍에 우위’와 같은 제목으로 보도했지만, 엄밀히 말해서는 구분해야 한다. 여론조사의 표본오차가 ±3.1％포인트이므로 이 후보가 홍 후보에게 앞선 수치(2.6%)는 오차범위 내다. 따라서 이 결과만으로 우위를 보였다고 말할 수 없다. 오차범위 내에서 접전 정도가 보다 더 정확한 해석이다. 반면 10.1% 차이를 보인 윤석열 후보와의 차이는 오차범위 밖이므로 확실히 우위에 선 것으로 이야기할 수 있다.

그런데 전날(10월 26일) 공개된 시사저널·공정의 10월 22일부터 23일까지 진행한 가상 여론조사 결과는 또 다르다. 이 조사에서 홍준표 후보는 과반을 넘은 50.9%를 받아 35.3%의 이재명 후보를 멀찌감치 제쳤고, 윤석열 후보는 45.9%를 받아 이 후보(39.1%)를 제쳤다. 심지어 원희룡 후보조차 44.4%로 이 후보(39.3%)를 제쳤다. 양자대결에서 국민의힘 대선 경선주자 4명 중 3명이 오차범위 바깥에서 이재명 민주당 후보를 이긴다는 것이다(무선 ARS(100%), 전체 응답률 5.1%, 최종 1002명 응답, 표본오차 95% 신뢰수준에 ±3.1％포인트. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지 참조).

자세한 조사결과는 조사를 의뢰한 해당 언론사나 중앙선거여론조사심의위원회의 홈페이지를 참고하라고 하지만 대부분의 국민은 주로 1·2위 지지율 격차 위주로 제목이 뽑혀 있는 포털 뉴스를 통해 여론조사 결과를 접한다. 선거 일정이 다가오면서 거의 매일 발표되는 여론조사 결과에 당황할 수밖에 없다. 당장 위에 인용한 두 조사의 경우만 하더라도 26일에는 국민의힘 경선후보 4명 중 3명이 오차범위 밖에서 이재명 민주당 후보를 오차범위 바깥에서 이긴다고 나왔다. 이 조사에서 홍준표 후보는 과반을 넘는 지지를 받아 이 후보를 압도하는 걸로 조사됐다(시사저널·공정). 그런데 다음날 발표된 조사(머니투데이·한국갤럽)에서는 가상 양자대결에서 이재명 후보가 홍준표 후보에게는 오차범위 내에서, 윤석열 후보에게는 10.1%포인트의 압도적인 차이로 이긴다고 나왔다. 앞선 여론조사와 지지율 차이는 5~10%포인트 이상이다. 누가 맞는 걸까.

■엎치락뒤치락 1위 후보, 누가 맞을까

“똑 부러지게 누가 맞다고 이야기할 사람은 없다. 다시 말해 정답은 없다는 것이 답이다.” 박종희 서울대 정치학과 교수의 말이다. “정당이나 조사기관은 이해관계자이니 객관적으로 말을 하기 어렵다. 자신들의 입장, 조사방법을 부인할 수 없으니, 각 정당은 본인에게 유리한 조사를 객관적이지 않다고 말할 가능성은 없다.” 홍준표 후보는 10월 27일 머니투데이·한국갤럽 여론조사 결과를 자신의 페이스북에 올리며 “아직도 망설입니까. 대세는 홍준표입니다”라는 코멘트를 달았다. 당장 같은 기관의 한달 전 여론조사에 대해서는 “자신의 성명권을 사용하지 말라고 공문도 보내고 수차례 공개 경고까지 했다”며 언론사들에게도 이 여론조사 결과를 인용하지 말아달라고 글을 남겼던 그였다. 지난 9월 발표된 다자구도 여론조사에서는 9%밖에 나오지 않았던 반면, 이번 가상 양자대결 조사에서는 39.3%나 나왔다.

여론조사 업계에서는 하우스 효과(house effect)라는 말이 있다. 간단히 말해 같은 주제로 조사를 하더라도 여론조사기관의 성향이나 조사방법론에 따라 다른 결과를 보이는 경향이 있다는 것이다. 여론기관에 따라 우위를 보이는 후보가 다른 경우다. 이 경우 해당 기관의 과거 조사기록과 비교하면 변화의 추이나 일관성을 읽어낼 수 있지만, 관련 결과 보도는 여론조사기관의 성향과 상관없이 나오는 대로 보도하기 때문에 여론조사가 전체적으로 1·2위 후보나 지지율이 널뛰기한다는 착시효과를 일으킨다는 것이다.

그런데 이번 대선 여론조사의 경우 하우스 효과에 따른 착시효과를 거론하더라도 감내할 수 있는 한계치를 넘어섰다는 평가도 있다. 중앙여론조사심의위원회에 등록된 여론조사기관은 79개다. (2020년 현재) 앞서 박종희 교수가 참여하는 서울대 국제정치데이터 센터와 MBC는 ‘여론조사를 조사한다’는 캐치프레이즈 아래 여론조사M이라는 프로젝트를 진행하고 있다. 각 여론조사기관의 데이터를 비슷한 유형의 질문들을 묶어 하나의 표로 보여주는 것이다. 표를 보다 보면 여론조사회사들 사이의 경향성이 보인다. 조사방법 내지 도구에서의 차이다. 크게 전화자동응답(ARS)을 활용한 조사와 전화면접조사로 나뉘는데 일정한 경향성이 발견된다. 여론조사 결과 데이터 전체를 취합해보면 주로 ARS조사 방법을 택한 회사에서 윤석열 후보가 높게 나오거나 아주 낮게 나온다. 야권의 윤석열 후보보다 여권 이재명 후보는 상대적으로 증감의 폭이 크지 않은 편이다. 전화면접조사의 경우 모름 혹은 없음을 택하는 비중이 높은 반면, ARS의 경우 이 모름 혹은 없음을 택하는 부동층의 비율이 상대적으로 작은 것도 특징이다. 박 교수의 말이다. “주목해서 봐야 할 지점은 윤석열의 경우 ±5%포인트를 움직이는 데 반해 이재명 후보의 경우 ±2% 내외라는 것이다. 이것은 후보가 가진 특징일 수도 있고 조사기관 효과일 수도 있다. 이 문제에 대해서는 후보자나 여론조사기관이 답할 의무가 있다.”

http://poll-mbc.co.kr/" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202110/30/khan/20211030131134055kfkt.jpg" width="658" style="border:0px none;height:auto;margin:0px auto;">

■싼값에 난립한 ARS조사가 원인?

주로 불신은 ARS조사 쪽에 제기된다. 익명을 요청한 여론조사 업체 대표의 말이다. “제대로 된 여론조사를 하기 위한 기준은 세계여론조사협회나 미국여론조사협회 등에서 만들어놓은 기준이 이미 있다. 예를 들어 응답률을 높이려면 전화조사도 한번 건 사람이 전화를 받지 않으면 10번 10회 이상 리콜을 해야 한다. 그러니 제대로 하려면 1주일 이상의 시간이 필요하고 그게 다 비용이다. 그 원칙이나 기준을 지켜 제대로 조사를 한다면 한 샘플당 얼마나 들까. 몇년 전 통계학과 교수와 사비를 들여 제대로 해본 적이 있다. 미국은 그 당시 한 샘플당 60달러였는데 우리는 그 절반 정도인 샘플당 3만원 정도의 비용이 들었다. 당장 1000 샘플이면 3000만원이다. 문제는 선거여론조사에서 그 비용을 낼 클라이언트가 없다는 것이다. 한국에서는 높게 쳐줘봐야 샘플당 1만원대다. 더 큰 문제는 시간을 안 준다는 것이다. 응답률이 제한 선정된 표본을 유지하는 선에서 결과물을 내는 것이 쉽지 않은 과제다. 결국 품질문제가 나올 수밖에 없다.”

대안처럼 나온 것이 전화자동응답면접(ARS)이다. 대부분의 조사작업이 수백건씩 자동응답시스템으로 이뤄지기 때문에 조사시간을 단축할 수 있다. 더 획기적인 것은 비용이다. 업계에서는 통상적으로 ARS가 전화면접조사보다 3배에서 5배가량 비용이 싸게 드는 것으로 알려져 있다. 앞서 여론조사 업계관계자는 이렇게 덧붙였다. “실제 ARS 장비도 도입해 테스트를 해봤다. 결국 결론은 비용이다. 품질과 비용은 비례할 수밖에 없다. 싼값에 해결할 수 있다면 미국은 미쳤다고 원칙지켜가며 샘플당 60달러씩 비용을 들여가면서 조사하겠느냐.”

오세제 서강대 현대정치연구소 선임연구원은 “장비를 갖추고 일정한 자격증 갖춘 사람만 있으면 설립가능한 ARS 회사의 난립 때문에 여론조사 자체의 신뢰도가 떨어지고 있다”고 말한다. “ARS가 방법론상 근본적 한계가 있는 것은 아니지만 ARS라도 일관되게 따라가 추세를 보여주면 되는데 언론을 통해 ARS조사와 전화조사가 섞여 마구 발표되고 있다. 그러니 일반 국민에게는 여론조사 결과가 널뛰기하는 것으로 보이는 것이다. 사실 큰 사건이나 변화도 없고 단지 조사방식의 차이에 따른 결과의 차이인데 그런 부분이 충분히 설명되지 않다 보니 국민 입장에서는 혼란스러운 것이다.” 오 연구원은 데이터의 ‘품질’과 관련해 ARS 회사들이 많이 채택하는 림가중(rim weighting) 방식의 가중치 부여방식도 진지하게 검토할 필요가 있다고 덧붙였다. “예를 들어 하루에 끝내야 할 조사를 시간이 경과하고 지켜봤는데 특정한 셀이 차지 않아 허용되는 가중치 범위에 들어가지 않는다면 다음날 다시 또 해야 한다. 그런데 림가중 방식을 택하면 거기서 끝내고 그 방식으로 몇 번의 가중치를 줘서 그걸로 끝내는 것이다. 조사회사 입장에서는 엄청 편하다. 보통 20대 응답률이 낮은 것이 전화나 ARS조사에서 고질적인 문제인데, 림가중을 적용해 끝내면 그다음 날 사람 불러 인건비를 또 지출할 필요가 없으니까.”

현재 중앙여론조사심의위의 가이드라인은 가중치를 두는 두 방식인 림가중과 셀가중을 일정한 배율(0.75~1.5)이 넘지 않은 한도 내에서 허용하고 있다. 오세제 박사는 올해 연말까지 선거여론조사 결과의 데이터를 취합한 뒤 연말께 여론조사 결과의 경향성 문제를 짚는 리포트를 준비하고 있다.

특정 가중치 부여방식이 정확하지 않은 결과로 이어질 수 있다는 지적에 대해 김영원 숙명여대 통계학과 교수는 “셀가중이나 림가중과 같은 가중치 두는 방식은 전체 판을 읽는 데 큰 지장은 없지만 림가중의 경우는 세부통계를 보면 안 된다”라고 말한다. 림가중 방식으로 가중치를 준 데이터를 가지고 세부데이터, 예를 들어 호남 20대 남자의 선호후보 성향을 읽는데 다른 지역의 20대 남자 결과로 가중치를 부여한 림가중 조사결과를 사용할 수 없다는 것이다.

김 교수도 조사방법론상 ARS조사에 비해 전화면접방식이 아무래도 더 비교우위에 선다고 말한다. “통상적으로 ARS조사는 중도에 해당하는 응답유보층에 해당하는 부분이 빠져버린다. 여론조사는 선거만 하는 것이 아니다. 예컨대 정부정책에 대한 찬반의견을 조사할 때 유보층이 빠져버리고 정치 고관여층 의견만 반영한다면 결과적으로 왜곡된 결과만 가져오게 된다” 그렇다고 그것만으로 전화면접방식이 더 우수하다고 말할 수는 없다고 그는 덧붙였다. “문제는 그 전화면접 데이터를 가지고 응답유보층 분석까지 산출해줘야 양질의 조사라고 할 수 있다. 조사기관은 로데이터를 가지고 있으니 응답유보층 분석을 할 수 있는 그럴듯한 모형을 만들 수 있는데도 지금 한국의 전화면접 조사기관들은 그 작업을 하지 않는다. 하지 않는 이유가 무엇일까. 하나는 조사 의뢰자가 원하지 않았을 수 있다. 다른 하나는 조사기관이 자신이 없어서일 수도 있고. 세 번째 가능성은 양쪽 다 원하지 않았을 수도 있다.”

■여론조사 회사들은 왜 예측조사 안 할까?

박종희 서울대 교수는 ARS든 전화면접이든 한국의 선거여론조사가 발전하려면 최소한 두가지가 더해져야 한다고 덧붙였다. “첫째는 정기조사다. 어떤 방법을 선택하든 그 방법이 맞다면 정기조사를 통해서 검증 가능하도록 결과치를 산출해야 한다. 둘째는 (최종적으로 누가 몇%의 지지율을 받아 당선/낙선된다는) 예측조사다. 현재 여론조사업체가 79개가 있다면 그중에 적어도 상위 10개업체는 의무적으로 판세조사와 구분되는 예측조사를 해야 한다. 한마디로 업체 사이의 진검승부가 필요하다. 예측조사를 안 한다는 것은 진검승부를 안 한다는 것이다.”

한국조사연구학회 회장을 역임한 조성겸 충남대 언론정보학과 교수는 앞서 지적된 조사시간이나 비용문제도 품질에 영향을 끼치지만 중요한 것은 그것을 구분하는 선별안이라고 말했다. “너도나도 선거여론조사에 뛰어들지만 500만원이 든 조사와 5000만원이 든 조사가 같을 수 없다. 품질 차이나 편차가 문제가 아니다. 그걸 구분 못 하는 게 문제다. 사실 그 선별안의 역할을 해주는 것이 언론인데 언론이 자기 역할을 못 하고 있다. 언론이 기관조사의뢰를 상대적으로 싼값으로 후려치는 것도 문제지만, 보다 더 중요한 것은 수많은 선거 여론조사 결과 중 부실조사를 가려내고 적절한 가이드라인을 제시하려는 노력을 한국언론이 너무 하지 않는다는 것이다.” 경마식으로 여론조사 결과만 전달하는 것이 아니라