디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

선거여론조사의 속살: ARS는 왜 윤석열 지지율이 높을까

만남의광장갤로그로 이동합니다. 2021.10.30 14:55:12
조회 82 추천 0 댓글 0

https://news.v.daum.net/v/20211030131130255


국민의힘 이준석 대표와 유승민, 홍준표, 윤석열, 원희룡 대선 예비후보가 10월 22일 오후 서울 마포구 상암동 YTN에서 대선 경선 6차 토론회를 앞두고 기념촬영을 하고 있다. 사진은 방송사 관계자가 참석자들에게 포즈를 요청한 모습.  국회사진기자단

국민의힘 이준석 대표와 유승민, 홍준표, 윤석열, 원희룡 대선 예비후보가 10월 22일 오후 서울 마포구 상암동 YTN에서 대선 경선 6차 토론회를 앞두고 기념촬영을 하고 있다. 사진은 방송사 관계자가 참석자들에게 포즈를 요청한 모습. 국회사진기자단


딸깍. 전등 스위치를 켜자 홀로 돌아가던 기계의 전모가 파악됐다. 서늘한 바람이 분다. 가을을 넘어 겨울로 접어드는 계절이지만 에어컨 2대를 풀가동 중이라고 했다.

안내를 맡은 연구원이 왼쪽이 전화조사이고, 오른쪽이 ARS 서버라고 했다. 컴퓨터마다 240회선을 동시에 걸 수 있다. 서버가 총 4대이니 240×4=960콜을 한 번에 처리할 수 있는 시스템이다. 960회 전화를 건다고 모두 연결되는 것은 아니다. 목표한 할당치에 도달할 때까지 회차는 반복해 이뤄진다. 응답률 등을 고려하면 통상 1만6000 콜 내지 2만 콜을 해야 1000명 내외의 샘플이 확보된다. 회차 단위로 보면 1000샘플을 얻기 위해 16번에서 20번 가까이 기계를 돌려야 한다. 하루에 할당 수를 다 채우는 경우는 없다. 보통 이틀이나 사흘에 걸쳐 진행한다. 늦은 밤에 여론조사 전화를 돌리는 것도 불법이다. 지난 2010년 1월 개정된 공직선거법 제108조 10항에 따르면 야간 22시부터 익일 7시까지는 전화를 이용한 선거여론조사는 할 수 없다(단 공포·보도하지 않은 조건에서 정당의 명의로 하는 것은 가능하다).

서버 뒤에는 오퍼레이팅용 컴퓨터가 있는데 지키고 앉아 있는 사람은 없다. 사전에 녹음된 설문 문항에 대한 답을 받아 서버에 데이터를 생성하는 작업은 모두 기계가 하고 있다. 말하자면 소리없는 전쟁이 벌어지고 있는 ‘워룸’인 셈이다. 서버 유지비용은 얼마나 들까. 이 여론조사 업체 소장은 “전기세라도 나오게 도와주세요. 전화비는 고사하더라도”라며 농담으로 받아넘긴다.

■자동응답 여론조사는 어떻게 이뤄질까

10월 27일 머니투데이가 의뢰해 한국갤럽이 10월 25일과 26일 조사해 발표한 여론조사 결과(95% 신뢰수준에 표본오차 ±3.1%포인트)가 공개됐다. 이에 따르면 가상 양자대결에서 이재명 민주당 후보(41.9%)는 홍준표 국민의힘 경선후보(39.3%)에 2.6%포인트 앞섰다. 반면 윤석열 국민의힘 후보는 35.7%를 얻어 가상 양자대결에서 45.8%를 얻은 이재명 후보에게 10.1%포인트 뒤졌다. 가상 양자대결이므로 ‘(자신이 지지하는 후보가) 없음’은 두 대결조사 모두 15.8%였고, ‘모름/응답거절’은 각각 2.8%, 2.4%였다. 이 여론조사 결과를 보도하는 언론 대부분은 ‘가상 양자대결에서 이재명 후보가 윤·홍에 우위’와 같은 제목으로 보도했지만, 엄밀히 말해서는 구분해야 한다. 여론조사의 표본오차가 ±3.1%포인트이므로 이 후보가 홍 후보에게 앞선 수치(2.6%)는 오차범위 내다. 따라서 이 결과만으로 우위를 보였다고 말할 수 없다. 오차범위 내에서 접전 정도가 보다 더 정확한 해석이다. 반면 10.1% 차이를 보인 윤석열 후보와의 차이는 오차범위 밖이므로 확실히 우위에 선 것으로 이야기할 수 있다.

그런데 전날(10월 26일) 공개된 시사저널·공정의 10월 22일부터 23일까지 진행한 가상 여론조사 결과는 또 다르다. 이 조사에서 홍준표 후보는 과반을 넘은 50.9%를 받아 35.3%의 이재명 후보를 멀찌감치 제쳤고, 윤석열 후보는 45.9%를 받아 이 후보(39.1%)를 제쳤다. 심지어 원희룡 후보조차 44.4%로 이 후보(39.3%)를 제쳤다. 양자대결에서 국민의힘 대선 경선주자 4명 중 3명이 오차범위 바깥에서 이재명 민주당 후보를 이긴다는 것이다(무선 ARS(100%), 전체 응답률 5.1%, 최종 1002명 응답, 표본오차 95% 신뢰수준에 ±3.1%포인트. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지 참조).

자세한 조사결과는 조사를 의뢰한 해당 언론사나 중앙선거여론조사심의위원회의 홈페이지를 참고하라고 하지만 대부분의 국민은 주로 1·2위 지지율 격차 위주로 제목이 뽑혀 있는 포털 뉴스를 통해 여론조사 결과를 접한다. 선거 일정이 다가오면서 거의 매일 발표되는 여론조사 결과에 당황할 수밖에 없다. 당장 위에 인용한 두 조사의 경우만 하더라도 26일에는 국민의힘 경선후보 4명 중 3명이 오차범위 밖에서 이재명 민주당 후보를 오차범위 바깥에서 이긴다고 나왔다. 이 조사에서 홍준표 후보는 과반을 넘는 지지를 받아 이 후보를 압도하는 걸로 조사됐다(시사저널·공정). 그런데 다음날 발표된 조사(머니투데이·한국갤럽)에서는 가상 양자대결에서 이재명 후보가 홍준표 후보에게는 오차범위 내에서, 윤석열 후보에게는 10.1%포인트의 압도적인 차이로 이긴다고 나왔다. 앞선 여론조사와 지지율 차이는 5~10%포인트 이상이다. 누가 맞는 걸까.

이재명 더불어민주당 대선후보가 10월 28일  경기도 고양시 킨텍스에서 열린 ‘2021 로보월드’에서 참가 업체의   웨어러블을 착용한 보행을  지켜보고 있다. 국회사진기자단

이재명 더불어민주당 대선후보가 10월 28일 경기도 고양시 킨텍스에서 열린 ‘2021 로보월드’에서 참가 업체의 웨어러블을 착용한 보행을 지켜보고 있다. 국회사진기자단


■엎치락뒤치락 1위 후보, 누가 맞을까

“똑 부러지게 누가 맞다고 이야기할 사람은 없다. 다시 말해 정답은 없다는 것이 답이다.” 박종희 서울대 정치학과 교수의 말이다. “정당이나 조사기관은 이해관계자이니 객관적으로 말을 하기 어렵다. 자신들의 입장, 조사방법을 부인할 수 없으니, 각 정당은 본인에게 유리한 조사를 객관적이지 않다고 말할 가능성은 없다.” 홍준표 후보는 10월 27일 머니투데이·한국갤럽 여론조사 결과를 자신의 페이스북에 올리며 “아직도 망설입니까. 대세는 홍준표입니다”라는 코멘트를 달았다. 당장 같은 기관의 한달 전 여론조사에 대해서는 “자신의 성명권을 사용하지 말라고 공문도 보내고 수차례 공개 경고까지 했다”며 언론사들에게도 이 여론조사 결과를 인용하지 말아달라고 글을 남겼던 그였다. 지난 9월 발표된 다자구도 여론조사에서는 9%밖에 나오지 않았던 반면, 이번 가상 양자대결 조사에서는 39.3%나 나왔다.

여론조사 업계에서는 하우스 효과(house effect)라는 말이 있다. 간단히 말해 같은 주제로 조사를 하더라도 여론조사기관의 성향이나 조사방법론에 따라 다른 결과를 보이는 경향이 있다는 것이다. 여론기관에 따라 우위를 보이는 후보가 다른 경우다. 이 경우 해당 기관의 과거 조사기록과 비교하면 변화의 추이나 일관성을 읽어낼 수 있지만, 관련 결과 보도는 여론조사기관의 성향과 상관없이 나오는 대로 보도하기 때문에 여론조사가 전체적으로 1·2위 후보나 지지율이 널뛰기한다는 착시효과를 일으킨다는 것이다.

그런데 이번 대선 여론조사의 경우 하우스 효과에 따른 착시효과를 거론하더라도 감내할 수 있는 한계치를 넘어섰다는 평가도 있다. 중앙여론조사심의위원회에 등록된 여론조사기관은 79개다. (2020년 현재) 앞서 박종희 교수가 참여하는 서울대 국제정치데이터 센터와 MBC는 ‘여론조사를 조사한다’는 캐치프레이즈 아래 여론조사M이라는 프로젝트를 진행하고 있다. 각 여론조사기관의 데이터를 비슷한 유형의 질문들을 묶어 하나의 표로 보여주는 것이다. 표를 보다 보면 여론조사회사들 사이의 경향성이 보인다. 조사방법 내지 도구에서의 차이다. 크게 전화자동응답(ARS)을 활용한 조사와 전화면접조사로 나뉘는데 일정한 경향성이 발견된다. 여론조사 결과 데이터 전체를 취합해보면 주로 ARS조사 방법을 택한 회사에서 윤석열 후보가 높게 나오거나 아주 낮게 나온다. 야권의 윤석열 후보보다 여권 이재명 후보는 상대적으로 증감의 폭이 크지 않은 편이다. 전화면접조사의 경우 모름 혹은 없음을 택하는 비중이 높은 반면, ARS의 경우 이 모름 혹은 없음을 택하는 부동층의 비율이 상대적으로 작은 것도 특징이다. 박 교수의 말이다. “주목해서 봐야 할 지점은 윤석열의 경우 ±5%포인트를 움직이는 데 반해 이재명 후보의 경우 ±2% 내외라는 것이다. 이것은 후보가 가진 특징일 수도 있고 조사기관 효과일 수도 있다. 이 문제에 대해서는 후보자나 여론조사기관이 답할 의무가 있다.”

http://poll-mbc.co.kr/" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202110/30/khan/20211030131134055kfkt.jpg" width="658" style="border:0px none;height:auto;margin:0px auto;">

MBC 의뢰로 서울대 박종희 교수가 각사 여론조사 내용을 바탕으로 조사기관의 성향과 여론 추세를 감안해 베이지안 동적선형모델을 통해 만든 대선주자 선호도 추정치의 변화추세. http://poll-mbc.co.kr/


■싼값에 난립한 ARS조사가 원인?

주로 불신은 ARS조사 쪽에 제기된다. 익명을 요청한 여론조사 업체 대표의 말이다. “제대로 된 여론조사를 하기 위한 기준은 세계여론조사협회나 미국여론조사협회 등에서 만들어놓은 기준이 이미 있다. 예를 들어 응답률을 높이려면 전화조사도 한번 건 사람이 전화를 받지 않으면 10번 10회 이상 리콜을 해야 한다. 그러니 제대로 하려면 1주일 이상의 시간이 필요하고 그게 다 비용이다. 그 원칙이나 기준을 지켜 제대로 조사를 한다면 한 샘플당 얼마나 들까. 몇년 전 통계학과 교수와 사비를 들여 제대로 해본 적이 있다. 미국은 그 당시 한 샘플당 60달러였는데 우리는 그 절반 정도인 샘플당 3만원 정도의 비용이 들었다. 당장 1000 샘플이면 3000만원이다. 문제는 선거여론조사에서 그 비용을 낼 클라이언트가 없다는 것이다. 한국에서는 높게 쳐줘봐야 샘플당 1만원대다. 더 큰 문제는 시간을 안 준다는 것이다. 응답률이 제한 선정된 표본을 유지하는 선에서 결과물을 내는 것이 쉽지 않은 과제다. 결국 품질문제가 나올 수밖에 없다.”

대안처럼 나온 것이 전화자동응답면접(ARS)이다. 대부분의 조사작업이 수백건씩 자동응답시스템으로 이뤄지기 때문에 조사시간을 단축할 수 있다. 더 획기적인 것은 비용이다. 업계에서는 통상적으로 ARS가 전화면접조사보다 3배에서 5배가량 비용이 싸게 드는 것으로 알려져 있다. 앞서 여론조사 업계관계자는 이렇게 덧붙였다. “실제 ARS 장비도 도입해 테스트를 해봤다. 결국 결론은 비용이다. 품질과 비용은 비례할 수밖에 없다. 싼값에 해결할 수 있다면 미국은 미쳤다고 원칙지켜가며 샘플당 60달러씩 비용을 들여가면서 조사하겠느냐.”

오세제 서강대 현대정치연구소 선임연구원은 “장비를 갖추고 일정한 자격증 갖춘 사람만 있으면 설립가능한 ARS 회사의 난립 때문에 여론조사 자체의 신뢰도가 떨어지고 있다”고 말한다. “ARS가 방법론상 근본적 한계가 있는 것은 아니지만 ARS라도 일관되게 따라가 추세를 보여주면 되는데 언론을 통해 ARS조사와 전화조사가 섞여 마구 발표되고 있다. 그러니 일반 국민에게는 여론조사 결과가 널뛰기하는 것으로 보이는 것이다. 사실 큰 사건이나 변화도 없고 단지 조사방식의 차이에 따른 결과의 차이인데 그런 부분이 충분히 설명되지 않다 보니 국민 입장에서는 혼란스러운 것이다.” 오 연구원은 데이터의 ‘품질’과 관련해 ARS 회사들이 많이 채택하는 림가중(rim weighting) 방식의 가중치 부여방식도 진지하게 검토할 필요가 있다고 덧붙였다. “예를 들어 하루에 끝내야 할 조사를 시간이 경과하고 지켜봤는데 특정한 셀이 차지 않아 허용되는 가중치 범위에 들어가지 않는다면 다음날 다시 또 해야 한다. 그런데 림가중 방식을 택하면 거기서 끝내고 그 방식으로 몇 번의 가중치를 줘서 그걸로 끝내는 것이다. 조사회사 입장에서는 엄청 편하다. 보통 20대 응답률이 낮은 것이 전화나 ARS조사에서 고질적인 문제인데, 림가중을 적용해 끝내면 그다음 날 사람 불러 인건비를 또 지출할 필요가 없으니까.”

현재 중앙여론조사심의위의 가이드라인은 가중치를 두는 두 방식인 림가중과 셀가중을 일정한 배율(0.75~1.5)이 넘지 않은 한도 내에서 허용하고 있다. 오세제 박사는 올해 연말까지 선거여론조사 결과의 데이터를 취합한 뒤 연말께 여론조사 결과의 경향성 문제를 짚는 리포트를 준비하고 있다.

특정 가중치 부여방식이 정확하지 않은 결과로 이어질 수 있다는 지적에 대해 김영원 숙명여대 통계학과 교수는 “셀가중이나 림가중과 같은 가중치 두는 방식은 전체 판을 읽는 데 큰 지장은 없지만 림가중의 경우는 세부통계를 보면 안 된다”라고 말한다. 림가중 방식으로 가중치를 준 데이터를 가지고 세부데이터, 예를 들어 호남 20대 남자의 선호후보 성향을 읽는데 다른 지역의 20대 남자 결과로 가중치를 부여한 림가중 조사결과를 사용할 수 없다는 것이다.

김 교수도 조사방법론상 ARS조사에 비해 전화면접방식이 아무래도 더 비교우위에 선다고 말한다. “통상적으로 ARS조사는 중도에 해당하는 응답유보층에 해당하는 부분이 빠져버린다. 여론조사는 선거만 하는 것이 아니다. 예컨대 정부정책에 대한 찬반의견을 조사할 때 유보층이 빠져버리고 정치 고관여층 의견만 반영한다면 결과적으로 왜곡된 결과만 가져오게 된다” 그렇다고 그것만으로 전화면접방식이 더 우수하다고 말할 수는 없다고 그는 덧붙였다. “문제는 그 전화면접 데이터를 가지고 응답유보층 분석까지 산출해줘야 양질의 조사라고 할 수 있다. 조사기관은 로데이터를 가지고 있으니 응답유보층 분석을 할 수 있는 그럴듯한 모형을 만들 수 있는데도 지금 한국의 전화면접 조사기관들은 그 작업을 하지 않는다. 하지 않는 이유가 무엇일까. 하나는 조사 의뢰자가 원하지 않았을 수 있다. 다른 하나는 조사기관이 자신이 없어서일 수도 있고. 세 번째 가능성은 양쪽 다 원하지 않았을 수도 있다.”

■여론조사 회사들은 왜 예측조사 안 할까?

박종희 서울대 교수는 ARS든 전화면접이든 한국의 선거여론조사가 발전하려면 최소한 두가지가 더해져야 한다고 덧붙였다. “첫째는 정기조사다. 어떤 방법을 선택하든 그 방법이 맞다면 정기조사를 통해서 검증 가능하도록 결과치를 산출해야 한다. 둘째는 (최종적으로 누가 몇%의 지지율을 받아 당선/낙선된다는) 예측조사다. 현재 여론조사업체가 79개가 있다면 그중에 적어도 상위 10개업체는 의무적으로 판세조사와 구분되는 예측조사를 해야 한다. 한마디로 업체 사이의 진검승부가 필요하다. 예측조사를 안 한다는 것은 진검승부를 안 한다는 것이다.”

한국조사연구학회 회장을 역임한 조성겸 충남대 언론정보학과 교수는 앞서 지적된 조사시간이나 비용문제도 품질에 영향을 끼치지만 중요한 것은 그것을 구분하는 선별안이라고 말했다. “너도나도 선거여론조사에 뛰어들지만 500만원이 든 조사와 5000만원이 든 조사가 같을 수 없다. 품질 차이나 편차가 문제가 아니다. 그걸 구분 못 하는 게 문제다. 사실 그 선별안의 역할을 해주는 것이 언론인데 언론이 자기 역할을 못 하고 있다. 언론이 기관조사의뢰를 상대적으로 싼값으로 후려치는 것도 문제지만, 보다 더 중요한 것은 수많은 선거 여론조사 결과 중 부실조사를 가려내고 적절한 가이드라인을 제시하려는 노력을 한국언론이 너무 하지 않는다는 것이다.” 경마식으로 여론조사 결과만 전달하는 것이 아니라

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 요리 경연 프로그램에 나가도 될 것 같은 스타는? 운영자 24/10/07 - -
AD 보험상담은 디시공식설계사에게 받으세요! 운영자 24/08/28 - -
965104 니가 욕먹는 이유는 천재샘한테 범죄를 하고있기 때문이다 ㅇㅇ(211.197) 22.01.11 25 0
965103 정병님들 약 먹을 시간이에요 ㅇㅇ(223.38) 22.01.11 30 1
965102 니가 보살님일 수도 있다 지금부터 인생 돌이켜라 ㅇㅇ(211.197) 22.01.11 16 0
965099 가끔 보살님들께서 벌레 새끼로태어나 업을 막아준다 ㅇㅇ(211.197) 22.01.11 18 0
965096 ㅅㅂ 이갤 왜이러냐 ㅇㅇ(223.38) 22.01.11 28 0
965095 아직 어린놈아 니인생말아먹지말고 새로 시작해라 ㅇㅇ(211.197) 22.01.11 19 0
965094 오늘 면접보러가는데....취업가능하냐.. etfer3갤로그로 이동합니다. 22.01.11 45 1
965093 얼리버드 기상 [1] 하늘구름☆갤로그로 이동합니다. 22.01.11 43 0
965091 사서가 정신병자라 천재아저씨대상 범죄하는거 돕다 니 감옥간다 ㅇㅇ(211.197) 22.01.11 30 0
965089 천재아저씨는 세상을 지키려고 하늘에서 보내신분이다 ㅇㅇ(211.197) 22.01.11 20 0
965088 천재아저씨한테 개기는것들 다 망했다 니는 하지마라 ㅇㅇ(211.197) 22.01.11 18 0
965086 버섯농사 짓느라 수고하시는 ㅇㅇ(211.36) 22.01.11 29 1
965084 니는 니 인생을 바꿀 수 있다 나쁜짓 그만두고 새로 살아라 ㅇㅇ(211.197) 22.01.11 17 0
965083 경진이애비 =조선족 ㅇㅇ(175.202) 22.01.11 22 0
965082 니도 그리사는거 싫제? 바꿀 수 있다 뭐하러 거기있노 ㅇㅇ(211.197) 22.01.11 17 0
965081 경진이 시발람아 인육 사먹는 벌레새끼 ㅇㅇ(175.202) 22.01.11 13 0
965080 니 인생 개망가지는게 좋나 과거와 단절해라 ㅇㅇ(211.197) 22.01.11 17 0
965078 철학관에서 사주 좋다고하면 반대로 안좋은게 ㅇㅇ(106.102) 22.01.11 76 1
965077 스토킹하고 인육이나 먹으면 니인생 벌레된다 좋나 ㅇㅇ(211.197) 22.01.11 15 0
965076 내 느낌인데 연예인, 혹은 얼굴 까고 유튜버하는애들은 [1] ㅇㅇ(61.253) 22.01.11 98 3
965075 경진이 열등감 역겹노ㅋㅋ ㅇㅇ(175.202) 22.01.11 19 0
965074 애비처럼 살지말고 지금부터 사람답게 살아라 할 수 있다 [1] ㅇㅇ(211.197) 22.01.11 26 0
965073 경진아 차는 있냐 ㅇㅇ(175.202) 22.01.11 27 0
965072 경진이 애비는 유명하신분 ㅇㅇ(175.202) 22.01.11 22 0
965067 천충지충 궁합 어때요? 병신 임오 ㅇㅇ(106.102) 22.01.11 404 0
965066 생즙 먹고 보지털로 배양한 버섯들이 ㅇㅇ(211.36) 22.01.11 28 0
965065 어처피 결혼하는건데 할말이 없어요 여러분(118.235) 22.01.11 25 0
965057 나오늘 화이자 2차맞음 [1] ㅇㅇ(106.101) 22.01.11 36 0
965055 순디 어미 임신했을 때 거대한 숟가락으로 태아 도려내서 버림 모헤(220.92) 22.01.11 28 0
965054 진짜좆걑이 출근하기시러 [1] ㅇㅇ(106.101) 22.01.11 28 0
965053 모헤아비 계란값 많이 올라서 돈 없을때마다 순디(121.88) 22.01.11 28 0
965051 사주봐주세여 [4] ㅇㅇ(175.201) 22.01.11 72 0
965042 모헤 어미 모발 모헤 봊에 이식하니 순디(121.88) 22.01.11 27 0
965038 공공장소에서 못하는 말이 없어 ㅇㅇ(219.255) 22.01.11 30 0
965033 여자사주가 음기가 쎄면 안좋지??? [1] ㅇㅇ(223.62) 22.01.11 205 0
965032 모헤년 놀아주기 질린다 순디(121.88) 22.01.11 18 2
965029 모헤 아비 감자농사 짓느라 굶주려서 모헤 순디(121.88) 22.01.11 14 0
965026 자기주장 쎈애들이 쎈거 싫어하는데 ㅇㅇ(175.223) 22.01.11 43 0
965024 경진이 나 없는 사이에 또나대네 ㅇㅇ(175.202) 22.01.11 32 2
965023 고집 쎈애들은 모르더라 지들이 ㅇㅇ(175.223) 22.01.11 47 0
965018 예민한애가 중재를 못하면 [1] ㅇㅇ(110.70) 22.01.11 41 0
965015 너네 천을귀인 상대방 보면 [4] ㅇㅇ(223.62) 22.01.11 417 0
965013 행복하십니까? ㅇㅇㅇ(118.235) 22.01.11 21 1
965009 직장에서 코로나 얘기못꺼내겟음 [3] ㅇㅇ(211.36) 22.01.11 73 2
965004 문재인은 거짓촛불집회의 주동자 [1] 여러분(118.235) 22.01.11 24 2
965003 울라면울고말라면말라이기야 NIMIMI(117.111) 22.01.11 18 0
965002 문재인은 노무현에게 정치보복 수사한 윤씨를 키워줌 [1] 여러분(118.235) 22.01.11 32 0
965001 더심한댓글달아줘? NIMIMI(117.111) 22.01.11 15 0
965000 순디 어미가 순디 입에 생리 피 머금게 하고 가글시킴 모헤(220.92) 22.01.11 30 0
964999 모헤 애호박한테 따임 순디(121.88) 22.01.11 17 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2