2012 대선여론조사, 무엇이문제인가? 정한울 _EAI 여론분석센터부소장 본보고서는 < 월간중앙 > 11월호필자의 [ 심층분석 ] 오락가락여론조사를검증한다 : 이방송다르고, 저신문다르고도대체누굴믿지? 기사원고를월간중앙의양해하에수정한보고서이다. 1

Size: px

Start display at page:

Download "2012 대선여론조사, 무엇이문제인가? 정한울 _EAI 여론분석센터부소장 본보고서는 < 월간중앙 > 11월호필자의 [ 심층분석 ] 오락가락여론조사를검증한다 : 이방송다르고, 저신문다르고도대체누굴믿지? 기사원고를월간중앙의양해하에수정한보고서이다. 1"

길호 여
6 years ago
Views:

1 2012 대선 여론조사, 무엇이 문제인가? 정한울 동아시아연구원 2012년 11월 EAI OPINION Review Series

2 2012 대선여론조사, 무엇이문제인가? 정한울 _EAI 여론분석센터부소장 본보고서는 < 월간중앙 > 11월호필자의 [ 심층분석 ] 오락가락여론조사를검증한다 : 이방송다르고, 저신문다르고도대체누굴믿지? 기사원고를월간중앙의양해하에수정한보고서이다. 1. 매일쏟아지는여론조사, 신뢰도는낮아지는역설 매일대선관련여론조사가쏟아진다 년대통령선거여론조사는과거와다른특징이하나 있다. 2 일혹은 3 일주기로전체목표샘플을균등하게나누어매일한부분씩새로모집하여기 존샘플을대체하는 ( 남아있는샘플과합해다시평균을내는 ) 일일순환평균 (daily rolling average) 조사방식이많이도입됐다. 여기에매월정기조사나그때그때발표되는조사, 필자 의소속기관이주관하는동일응답자대상의변화를추적하는패널조사등그어느때보다조사방법도다양해지고, 그때그때의이벤트에따른여론변화를발표하고있다. 언론사들이선거여론조사를진행해놓고도후보지지율을제대로발표하지못했던 1980년대말민주화초기상황과비교하면격세지감을갖게한다. 여전히투표일주일이내여론 조사공표금지조항이나출구조사 거리제한조항등해결해야할조사규제문제는있지만, 이 젠하루가멀다하고언론을통해여론조사관련정보를접할수있다. 여론조사물량이민의를대변하는수준을보여준다고가정한다면이번대선은역대그어떠한선거보다제대로민의를반영할수있는환경에서치러지는선거이다. 물량이넘친다고정확성도따라높아질까? 여론조사방법이다양해지고정보량이많아지는데후보선택시여론조사결과를활용한다는유권자는오히려줄어든다. 심지어여론조사결과를불신하는목소리는더높아지는역설적상황이조성된다. 실제로 EAIㆍSBSㆍ중앙일보ㆍ한국리서치공동선거패널조사결과를보면후보선택에여론조사결과보도를활용했다는응답이 2006년지방선거만하더라도 44.6% 에달했다. 이후 2007년대선과 2008년총선, 다시 2010년지방선거에이르면서 27.5% 까지떨어지고있다. 1

3 [ 그림 1] 최근선거에서 후보선택시여론조사결과영향받았다 고응답한비율 (%) 자료 : EAI SBS 중앙일보 한국리서치공동선거패널조사 ( ) 2. 혼란스러운조사결과 최근대선여론조사보도를보면일반유권자들에게혼선을빚는사례들을다음몇가지유형으로 정리해볼수있다. 일일조사의조사기관별차이 최근대선여론조사결과보도를보면유권자들에게혼선을주는사례들을몇가지유형으로정리해볼수있다. 첫째, 같은시기에실시된여론조사가기관별로차이가나는경우다. 이번대선에서일일순환평균조사를주기적으로발표하는 < 한국갤럽 >, < 아산정책연구원ㆍ리서치앤리서치 (R&R)>, <JTBCㆍ리얼미터 > 의 10월 11일자조사결과 ([ 표1] 참조 ) 가대표적인예다. 한국갤럽이 10월 8~10 일 3일간실시한여론조사를보자. 양자대결에서박근혜새누리당후보는 49% 를얻었고, 안철수무소속후보는 45% 에그쳤다. 박후보 (51%) 는문재인후보 (42%) 도여유있게앞질렀다. 야권단일후보선호도조사에서는문후보가 49% 로 35% 에그친안후보를크게앞섰다. 그러나같은시기아산정책연구원과리서치앤리서치조사에서는양자대결에서안, 문 후보가모두박후보를앞서는것으로나타났다. 안후보 (50.6%) 가박후보 (41.7%) 보다 9%p 가 량더얻었고, 문후보 (48.2%) 또한박후보 (44.3%) 에 4%p 가까운우위를보였다. 반면야권단 일후보선호도에서는안철수 39%, 문재인 39% 로대등한결과가나왔다. JTBC 와리얼미터의 10 월 9 일, 10 일양일간조사결과도 아산정책연구원조사결과와 비슷하게박후보가안후보에밀리는것으로나타났다. 43%( 박후보 ) 대 49%( 안후보 ), 45%( 박 후보 ) 대 47%( 안후보 ) 였다. 단일후보선호도에서는 42% 대 35% 로안후보가문후보에 7%p 2

4 앞서는것으로나타나차이를보였다. [ 표 1] 10 월 11 일발표주요일일조사결과및조사방법론차이 조사결과 조사방법 발표기관 조사기관 조사일시 박대안박대문단일후보 박안박문안문 샘플추출 샘플수 휴대전화비율 면접방식 오차범위 응답율 한국갤럽 한국갤럽 10 월 8-10 일 RDD % 면접원 3.2% 22% 아산정책연구원 R&R 10 월 8-10 일 RDD 1000 비율미상 면접원 3.1% 20% JTBC 리얼미터 10 월 9-10 일 RDD % 자동응답 ARS/ IVR 2.5% 9.3% 자료 : 한국갤럽 [ 데일리정치지표 ] 2012년 10월 8~10일조사결과, JTBC 리얼미터 [2012선거일일여론조사 ], 아산정책연구원홈페이지및 YTN 뉴스인 [ 아산정책연구원여론조사 ] 주 : 볼드는오차범위를넘어선차이, 빨간색은우위후보 혼선을빚은추석민심조사 둘째, 정치권의관심을집중시킨추석민심조사도 10개언론기관별로들쭉날쭉했다. 각언론에서는추석민심변화를추적하고자추석직후인 10월 1일부터 3일사이에하루혹은이틀에걸쳐여론조사를진행 ([ 표2]) 했고, 앞서언급한일일정기순환조사도실시했다. 우선, 10개언론기관조사중 9개조사는양자대결에서안후보가박후보를앞섰다. 그중 5개조사 (MBCㆍ한국리서치, 한국일보ㆍ한국리서치, JTBCㆍ리얼미터, 시사저널ㆍ리얼미터, 뷰앤폴ㆍ리서치뷰 ) 에서안후보가박후보를오차범위를넘어선우위를보였고, 4개조사 ( 조선일보ㆍ미디어리서치, 아산정책연구원ㆍ리서치앤리서치, 동아일보ㆍ리서치앤리서치, 헤럴드경제ㆍ리얼미터 ) 에서오차범위내에서안후보가앞서나갔다. 반면국민일보ㆍ글로벌리서치조사에서만박후보가오차범위내에서안후보를따돌렸다. 반면박후보대문후보대결에서는 2개조사 ( 뷰앤폴ㆍ리서치뷰, 시사저널ㆍ리얼미터 ) 만문후보가박후보에오차범위를넘은우위를점했고, 5개조사 (MBCㆍ한국리서치, 한국일보ㆍ한국리서치, 헤럴드경제ㆍ리얼미터, JTBCㆍ리얼미터, 아산정책연구원ㆍ리서치앤리서치 ) 는문후보의우위가오차범위내에있는것으로나타났다. 반대로박후보가앞선조사는 3개기관인데이중조선일보ㆍ미디어리서치, 동아일보ㆍ리서치앤리서치조사는오차범위내, 국민일보ㆍ글로벌리서치조사는오차범위를넘어선결과였다. 대체로오차범위내조사가많았고, 순위가엇갈린조사들도있어다소혼란스러웠던것은사실이다. 3

5 [ 표 2] 추석직후각언론사실시조사결과비교 발표기관조사일발표일조사기관조사방법샘플수 조선일보 10 월 1 일 10 월 2 일미디어리서치유무선 RDD 국민일보 10 월 1 일 10 월 2 일글로벌리서치유무선 RDD 아산정책 10/1~3 10월4일연구원리서치앤유무선RDD 리서치동아일보 10월2일 10월4일 R & R 유무선RDD 뷰앤폴 10/2~3 10 월 4 일 JTBC 10/2~3 10 월 4 일 헤럴드경제 리서치뷰 (ARS 조사 ) 휴대전화 R DD 유무선 RDD 리얼미터 10월2일 10월4일유무선RDD (ARS 조사 ) 시사저널 10 월 3 일 10 월 4 일유무선 RDD MBC 10월2일 10월3일유무선RDD 한국리서치한국일보 10월2일 10월4일유무선RDD 1,500 (±2.5%) 박대안 박대문 박 안 박 문 주 : 볼드는오차범위를넘어선차이, 빨간색은우위후보 동일시점, 동일기관이실시한조사간차이 셋째, 추석직후각종대선여론조사보도중동일기관의조사도발표언론에따라차이가나면서혼란을가중시켰다. 리서치앤리서치가 10월 1일부터 3일사이실시한여론조사를보자. 10월 2일실시한여론조사는동아일보가, 10월 1일부터 3일까지실시한여론조사는아산정책연구원이발표했다. 안후보가앞선박, 안후보양자대결에서는동아일보 4.5%p, 아산정책연구원 2.0%p 차로큰차이는없었다. 그러나박후보, 문후보양자대결에서는동아일보에서는박근혜 47.4%, 문재인 44.5% 로박후보가우위였던반면, 아산정책연구원일일정기조사에서는박후보 42.9%, 문후보 44.5% 로순위가뒤바뀌었다. 리얼미터가 10월 3일실시한시사저널발표자료와 10월 2~3일실시한 JTBC 일일정기조사에서도적잖은차이가발견된다. 리얼미터조사는박후보대안후보, 박후보대문후보양자대결에서순위가바뀌지는않았지만격차는상당히크게나타났다. 먼저박후보대안후보의경우 JTBC조사에서는박후보 44.9%, 안후보 50.0% 로 5.1%p 차에그쳤지만, 시사저널조사에서는박후보가 37.7% 를얻어, 51.5% 를기록한안후보에게무려 13.8%p나뒤졌다. 박후보, 문후보간가상대결에서도 JTBC조사에서는박후보 47.2%, 문후보 47.7% 로초박빙이었는데시사저널조사에서는 38.6%( 박후보 ) 대 45.6%( 문후보 ) 로격차가 7%p나됐다. 역시박후보지지율만보면 8.6%p 차이가난다. 4

이에비해 2일에조사하고 3일저녁발표된 MBC 조사와 4일발표된한국일보조사를담당한한국리서치조사는상대적일관성을보였다. 한국일보 ( 박후보 41.1%, 안후보 49.7%), MBC( 박후보40.8%, 안후보 47.7%) 모두양자대결에서안후보가오차범위를넘어선우세를보였다. 박, 문후보양자대결에서도한국일보, MBC 모두문후보가오차범위내에서박후보를앞질렀다.

6 이에비해 2일에조사하고 3일저녁발표된 MBC 조사와 4일발표된한국일보조사를담당한한국리서치조사는상대적일관성을보였다. 한국일보 ( 박후보 41.1%, 안후보 49.7%), MBC( 박후보40.8%, 안후보 47.7%) 모두양자대결에서안후보가오차범위를넘어선우세를보였다. 박, 문후보양자대결에서도한국일보, MBC 모두문후보가오차범위내에서박후보를앞질렀다. 결과적으로 10 월 4 일전후의추석민심조사, 10 일전후의조사에서동일조사기관에서 조차적지않은편차가발생했다. 물론이러한조사결과비교가나왔다해서특정조사에결정적하자가있다거나혹은그렇지않은조사기관이더믿을만하다고단정한근거는없다. 나아가여론조사방법론일반에대한불신이확산되는것도바람직하지않다. 다만유권자들은여론조사및보도의신뢰성에의문을가질법은하다. 같은여론조사기관의조사결과임에도매체에따라후보의순위가바뀌는경우유권자들은혼란스러울따름이다. [ 그림 2] 10 월 4 일유사시점동일기관에의한조사결과차이 사례 월 4 일발표동아일보조사및아산정책연구원조사결과 주 : 동아일보조사는 10 월 2 일 1000 명, 아산정책연구원조사는 10 월 1~3 일 1000 명조사 사례 월 4 일발표 JTBC/ 리얼미터일일조사및시사저널 / 리얼미터당일조사 주 : JTBC 조사는 10 월 2-3 일 1500 명, 시사저널조사는 10 월 3 일 1000 명조사 5

사례 3. 10 월 4 일발표한국일보 / 한국리서치당일조사및 MBC/ 한국리서치당일조사 주 : 양조사모두 10 월 2 일 1000 명면접원전화조사 ( 유선 50%+ 휴대전화 50%) 3. 무엇이문제인가? 이러한여론조사및보도과정에서혼란이가중되는이유는무엇인가? 무엇보다조사방법상의문 제를지적할수있다.

7 사례 월 4 일발표한국일보 / 한국리서치당일조사및 MBC/ 한국리서치당일조사 주 : 양조사모두 10 월 2 일 1000 명면접원전화조사 ( 유선 50%+ 휴대전화 50%) 3. 무엇이문제인가? 이러한여론조사및보도과정에서혼란이가중되는이유는무엇인가? 무엇보다조사방법상의문 제를지적할수있다. 자의적인조사방법 필자는조금과장해서표현하면한국선거여론조사방법론은무정부상태라고부르고싶다. 자의적인조사방법이난무하고있다는점에서문제가적지않다. 한국선거여론조사는 2010년지방선거를거치면서일종의조사방법에서의전환기를맞이하고있다고해도과언이아니다. RDD(random digit dialing) 임의번호추출방식이도입되고가구전화이외에휴대전화조사를병행하거나아예휴대전화조사로급격하게바뀌었다. 이러한변화는지난 2010년 6ㆍ2 지방선거에서한나라당의우위를점쳤던여론조사가판판이빗나가면서여론조사방법론에대한근본적인반성의산물이다. 2011년이전까지국내대부분여론조사기관들은 KT 가구전화등재번호부내에서표본을무작위적으로추출하던방식을사용해왔다. KT 가구전화등재부에서번호를추출할경우 070 으로시작하는 KT이외의전화가구나전화번호정보공개를원치않는가구번호는표집틀 (sampling frame) 에서원천적으로배제된다. 더구나최근일인가구를중심으로가구전화를보유하지않고휴대폰만가진개인이늘면서이들역시여론조사표집틀에서원천적으로누락된다. 이렇게여론조사표본을뽑는표집틀에서배제된가구와개인이전체대상의절반을넘는것으로알려져있다. 따라서기존의조사방식은표집된표본들이전체유권자를고르게대표해야한다는 대표성 의원칙을침해하는할가능성을원천적으로갖고있는방식임은분명하다. 6

8 이에따라 KT가구전화중에서조사대상을추출하는대신임의로번호를추출해 KT에등재되지않은가구를표집대상에포함시키는 RDD 방식이대안으로도입되고, 여기에휴대전화조사방식을도입하는조사도늘어났다. 문제는 RDD 도입방식과물론휴대전화도입이실질적인대안이되는지에대한검증이나논의가전혀안된상태에서각조사기관이차별화된조사방법을경쟁적으로내놓기시작했다는점이다. 앞서언급한조사기관중한국갤럽과리서치뷰는 100% 휴대전화 RDD 방식을채택하고, 한국리서치나미디어리서치등은가구전화 RDD방식과휴대전화 RDD 조사방식을 50% 씩혼용하고있다. 일일조사를진행하고있는리얼미터는 80% 가구전화와 20% 휴대전화 RDD 방식을채택하고있다. 문제는현재상황에서는휴대전화비율 100%, 50%, 20% 등어느것도이론적으로검증될수없다는데있다. 100% 휴대전화조사방법은휴대전화보유비율이늘었다고는하지만저소득, 고연령층에 서는여전히휴대전화를보유하지않은유권자들이있기에 다른차원의표본대표성문제를유 발시킨다. 반대로두대이상중복보유자의경우한대를가졌거나아예가지지않은유권자에견줘과대대표될가능성이크다. 가구전화와휴대전화조사를병행할경우가구전화없이휴대전화만을보유한유권자의전체분포가알려지지않은상황이어서그혼합의비율은조사기관의자의적판단에따라정해지고있다. 뿐만아니라휴대전화응답자중에서가구전화보유자의경우조사에서배제하는게원칙이나이원칙이얼마나지켜지는지도의문이다. 원칙적으로휴대전화조사는가구전화없이휴대전화만을보유한유권자층을대표하고자도입됐는데실제통계가없다. 따라서특정응답자들이과대대표되거나, 과소대표되는문제를근원적으로차단할수없다. 야박하게평가하면현재의조사방법은가구전화대표성문제를해결하는대가로휴대전화대표성문제를새로안게된상황이라할수있다. 잘못된속설확산 : 휴대전화 / 비등재가구 RDD 조사가친진보적인가? 이렇게졸속으로조사방법이전환하는데는선거저널리즘도한몫했다 년 1 월아산정책연구 원이처음으로 KT등재가구전화조사, 비등재가구전화조사, 휴대폰조사를비교한결과를발표한이래언론들은이에대한충분한검증과확인없이휴대전화및비등재가구전화조사로의전환했다. 아산정책연구원의조사에서 KT등재가구전화조사에서는대통령지지율이 48% 인반면, 비등재가구전화조사에서는 42% 로나타났다. 이러한결과가지고비등재가구전화가친야, 진보성향이라는해석이제기되었다. 이는야당숨은표의존재를입증한것으로이해되었다. 이후로 KT 등재가구보다는비등재가구와가구전화없이휴대전화만보유한개인이친야, 친진보적이며, 이들숨은표때문에지방선거에서여론조사예측이틀렸다 는주장이언론을통해대대적으로유포됐다. 7

[ 표 3] 등재가구 / 비등재가구응답자국정지지율차이와각조사별세대응답자구성 (%) 이러한결과를곧바로등재가구와비등재가구조사의차이로해석하는것은문제이다. 첫째, 1000명조사기준이면 6% 포인트차이는통계적오차범위이다. 즉두집단의응답비율의차이가유의미한차이라고볼수없는수준인데당시언론저널리즘은이를실질적인차이로과대해석했다.

동일한조건의응답자들이, 예를들어같은 20 대라도 KT 전화번호부에서추출된 20 대는보수성 향이강하고, 휴대전화혹은비등재가구에서추출한 20대는진보성향이강한것으로입증되었을때휴대전화, 비등재가구전화가진보적이라는가설이입증될수있는것이다. 그러나등재전화조사응답자는고연령층이많이표집되고, 비등재전화조사에서는저연령층이과대대표된결과다.

9 [ 표 3] 등재가구 / 비등재가구응답자국정지지율차이와각조사별세대응답자구성 (%) 이러한결과를곧바로등재가구와비등재가구조사의차이로해석하는것은문제이다. 첫째, 1000명조사기준이면 6% 포인트차이는통계적오차범위이다. 즉두집단의응답비율의차이가유의미한차이라고볼수없는수준인데당시언론저널리즘은이를실질적인차이로과대해석했다. 둘째, 두집단의지지율차이가조사방식의차이가실제드러나지않은매개변인역할을한것은아닌지검토할필요가있었다. 즉 KT가구전화부의표본의사회적특성과비등재가구전화혹은휴대전화조사표본의사회적특성이일치하는조건에서도차이가나는지확인해야한다. 동일한조건의응답자들이, 예를들어같은 20 대라도 KT 전화번호부에서추출된 20 대는보수성 향이강하고, 휴대전화혹은비등재가구에서추출한 20대는진보성향이강한것으로입증되었을때휴대전화, 비등재가구전화가진보적이라는가설이입증될수있는것이다. 그러나등재전화조사응답자는고연령층이많이표집되고, 비등재전화조사에서는저연령층이과대대표된결과다. 특히 30,40대의경우등재가구응답자가각각 11.5%, 19.2% 로전체평균에못미치고반대로 60대이상에서는 29.5% 가등재가구로서전체평균을웃돈다. 결국등재가구전화 = 친여, 비등재가구ㆍ휴대가구전화 = 친야성향을보이는것은실제조사방법의차이라기보다는등재가구에서친여성향의고연령층을많이추출하고, 비등재가구에서 친야성향의연령층 을과대대표한결과인셈이다. 결국두조사결과에서나타나는정치적태도의차이는조사방법의차이가아닌세대효과이라고보는편이타당했을것이다. 이러한패턴은휴대전화, 비등재가구, 가구등재가구조사결과를비교한 2011년 3월의아산정책연구원조사결과 ([ 그림3]) 를봐도확인된다. 가중치를부여하기전표본구성을보면휴대전화, 비등재가구전화에서는 2030세대가, 가구등재가구조사에서는 5060세대가과대대표되고있었고, 유권자세대구성비에비례한가중치를부여한결과당시조사를담당했던미디어리서치휴대전화조사나리서치앤리서치휴대전화조사는물론리서치앤리서치등재가구전화조사간국정지지율차이는오차범위내로별다른의미를찾을수없었다. 8

[ 그림 3] 휴대전화, 가구전화별대통령지지율차이 (%) 자료 : 아산정책연구원 3 월보도자료 ( 휴대전화는미디어리서치, R&R 조사동시에진행 ) 그럼에도당시언론이나관련업계에서는 2010년여론조사신뢰도위기의원인이 휴대전화ㆍ비등재가구에야권숨은표가있다 는속설에있음에큰의문을품지않았다.

10 [ 그림 3] 휴대전화, 가구전화별대통령지지율차이 (%) 자료 : 아산정책연구원 3 월보도자료 ( 휴대전화는미디어리서치, R&R 조사동시에진행 ) 그럼에도당시언론이나관련업계에서는 2010년여론조사신뢰도위기의원인이 휴대전화ㆍ비등재가구에야권숨은표가있다 는속설에있음에큰의문을품지않았다. 이후충분히검증되지않은조사방식들이준비도없이야권숨은표를찾을수있는방식으로서 RDD방식과휴대전화병행혹은 100% 휴대전화방식이불과 1년만에 KT가구등재번호조사방법을완전히대체한상태에서 2012년총선과대선을맞이하게된것이다. 지금 KT가구등재번호조사방법이사라진후여론조사의신뢰도위기는해소되었고, 야당의숨은표를잡겠다고도입된휴대전화조사나비등재가구조사는기대한효과를보고있는가? 그러나현재조사결과들을보면꼭그렇지많은아닌것같다. 실제로 100% 휴대전화방식을사용하는한국갤럽조사결과를보면휴대전화비율을부분적으로만포함한여타기관의조사결과보다여당인박근혜후보의경쟁력이비교적높게평가되는것으로나온다. 반대로 100% 휴대전화방식으로조사를하는다른조사기관은지난 4ㆍ11 총선직전조사결과를발표하며가구전화조사를병행하는다른조사방식에서포착되지않은 6% 의야권표가있어야당이유리할것으로예측한바있다. 정작선거는새누리당의승리로끝났다. ARS/IVR 조사는미국갤럽이쓰는방식? 또다른쟁점은소위면접원대신 ARS( 자동응답시스템 ) 조사혹은 IVR( 양방향음성서비스ㆍ Interactive Voice Response) 조사로불리는저가의 자동응답 조사방식의신뢰도다. 이방식을 채택한조사기관들은지난 2010 년지방선거에서정확성을입증했다고주장한다. 또이방식이미 9

11 국갤럽등이사용하는방식이라고도주장한다 년당시많은언론들이이러한주장을확인 도없이그대로보도하는바람에이러한잘못된정보가정설로굳어진상태이다. 그러나선거여론조사에 ARS 조사방법의적용은신중해야한다. 첫째, 지난 4 ㆍ 11 총 선야권단일후보선정당시통합진보당여론조사개입사건에서드러났듯이면접원이기본적인응답자정보를확인 ( 예 : 음성에의한성별및나이구별 ) 하거나장난응답을필터링하는게근본적으로불가능하다. 이로인해방법론적엄격한잣대로보면 ARS조사방법은과학적조사방법으로인정되지않는다. 둘째, 응답거부율이나조사중간에조사를중단하는비율이높아발생하는낮은응답율문제도조사의신뢰성을약화시키는요인이다. 셋째, ARS 조사기관들이주장하는것처럼미국갤럽등선진국의공신력있는여론조사기관들은 IVR조사를선거여론조사에활용하지않는다. 미국갤럽의경우마케팅분야고객불만접수등의특수목적에제한적으로사용할것을권장한다. 실제로 IVR 조사항목에대한소개는마케팅분야의하위메뉴로구성되어있으며, 실제미국대선이나총선등주요공직선거에서는전혀사용하지않는다. 본연구원에서문의해본결과실제로미국갤럽에서는대통령선거여론조사를포함한갤럽의여론조사연구에는 IVR 방식을사용하지않는다는확인을받은바있다 (Gallup does not use IVR technology for its public opinion research which includes our predisential polls. 그림4) [ 그림 4] 대선 ARS(IVR) 조사방법활용여부질의에대한미국갤럽의회신 ( 캡쳐 ) 10

12 4. 경주마식선거저널리즘극복해야 조사방법자체의문제점도유의해야하겠지만여론조사방법에관한최소한의이해도없이조사결과를선정적으로보도하는선거저널리즘의관행을지적하지않을수없다. 여론조사결과는오차를고려해신중하게해석하면인식상의혼선을상당부분해소가능하다. 여론조사는기본적으로 1000~1500명의표본으로 4000만명이라는전체유권자집단의여론분포를측정하는작업이다. 그과정에서다양한오차가발생한다. 우선표집오차가존재한다. 1000~1500명의표본을모으는과정에서발생하는오차다. 95% 신뢰수준에표집오차 ± 몇 % 라고하는오차가바로표집오차다. 보통무작위표본추출을전제로 1000명표본시 ±3.1% 로오차범위가정해진다. 그러나샘플규모에따라정해지는오차범위외에이를더확장시키는요인도많다. 여론조사기관들은국내여론조사의낮은응답율과짧은조사기간을감안해과학적인무작위표본추출대신응답자를조사기관편의에따라변경하는할당표본 (quota sampling) 방식을사용한다. 이경우표집오차는무작위표본추출보다오차의범위를넓게잡아야한다고해외조사방법론교과서들은가르친다. 전국단위분석이아니라지역단위분석에는샘플수가줄고표집오차는더커진다. 가령지역단위분석의경우인구가상대적으로많은부산ㆍ경남이전체유권자의 15% 이므로 1000명을기준으로하면 150명정도에해당한다. 즉 150명을통해전체 600만부산ㆍ경남유권자의분포를읽어낸다는데한계와오차가따른다. 최근호남에서안철수후보와문재인후보간격차가줄었다는해석이지배적이었는데일회적인조사결과로는제대로파악하기힘들다. 이러한표집오차외에도조사원의숙련도나조사기관의노하우및관리시스템에따라데이터를수집하고, 이를축적, 정리, 데이터로변환하는과정에서다양한비표본오차도발생한다. 이렇게보면여론조사를통해도출되는수치들은충분한오차의가능성과범위까지고려해평가하는게바람직하다. 그러나현재언론의보도관행은오차의범위를폭넓게고려하면서신중하게분석하기보다는오차범위내의변화조차실제여론의변화인것으로평가하는데익숙하다. 오차범위 는 그범위내에서의수치차이는통계적으로유의미하다고할수없다 는뜻이다. 즉오차범위내의순위다툼은통계적으로는사실상의미없다는것으로서 오차범위내의우세 혹은 오차범위내에서열세 라는표현도엄밀한의미에서는성립하지않는다. 그러나우리언론은한발더나아가하루이틀사이의 1, 2%p의변화나차이도적극적으로해석하여경마식순위매기기에열중하고있다. 가령지난추석직후리서치앤리서치가조사하고동아일보와아산정책연구원발표한여론조사결과를보자. 박근혜후보와문재인후보간양자대결에서동아일보는박후보의우세 (47.4% 대 44.5%), 아산정책연구원은문후보의우세 (44.5% 대 42.9%) 를전했다. 두조사결과의차이는오차의허용범위내에있다. 오차범위내차이를과장하고있는현재의언론보도풍토에 11

13 서는이엇갈린순위가눈에거슬리고혼란스럽게여겨지고있는것이다. 현재나타나고있는여론조사보도과정에서의혼란을대하는언론의태도를보면 2010년의재판을보게되지않을까걱정이다. 문제가발생하면문제인것과문제가아닌것을충분히검증하고확인하기보다는당장의책임을물을소재를찾는데급급하다. 여론의드라마틱한변화가독자들의관심을끌고흥미도유발한다. 이를활용하려는조사기관, 언론기관의문제의식과생존본능을이해못할바는아니다. 그러나신뢰의위기는그런방식으로해결되지않는다. 여론조사를통해할수있는해석과할수없는해석이뭔가를오히려솔직하게드러내는게우선이다. 그리고애둘러가더라도한발한발정확히읽어내는것만이신뢰회복의지름길이다. 여론은가변적이지만그렇다고이유없이변동하지않는다. 오랜노력이일관되게축적될때불신은극복된다. 무엇보다가장큰문제는다양한조사방법이도입되고조사의물량이늘어나는데유권자여론에대한이해가그에비해얼마나깊어지고있는가되물어봐야한다. 정치뿐아니라정치여론조사도위기에빠져들고있다. l 이보고서는보고서에실린견해는저자개인의것으로 EAI나 EAI 여론분석센터전체의의견을대표하지않습니다. 이보고서에실린내용의일부나전체에대한무단사용을금하며, 인용시에는출처를밝혀주시기바랍니다. l 내용문의 EAI 정한울여론분석센터부소장 ( 내선102, , hwjeong@eai.or.kr) EAI 정원칠여론분석센터선임연구원 ( 내선105, cwc@eai.or.kr) l 조사문의한국리서치김춘석수석부장 ( / /cskim@hrc.co.kr) 12

14 2012 EAI 여론브리핑시리즈 110 호 "2012 총선 대선 1 차패널조사의주요결과 " 정원칠. ( ) 111 호 여야경합국면의원인과전망 정한울. ( ) 112 호 유권자패널의 4.11 총선평가 정원칠. ( ) 113 호 4.11 총선과대선정국 이곤수. ( ) 114 호 세계인의분배공정성과자유시장자본주의인식 정원칠. ( ) 115 호 세계인의눈에비친 17 개파워국가의국제적평판 정원칠. ( ) 116 호 2012 파워정치인신뢰도 영향력조사로본권력지도의변화와대선정국전망 정한울.( ) 117 호 여론으로본경선국면전환기의대선구도평가 정한울. ( ) 118 호 안철수현상의진화? 안철수바람의연속성과차별성 정한울. ( ) 119 호 박근혜현상 vs. 안철수현상의충돌 : 지지요인및후보이미지포지셔닝맵 정한울. ( ) 120 호 새누리당경선직후조사의주요결과 정원칠 이곤수 호 안출마이후선거구도변화 : 당선가능성은안철수, 단일후보는안 문팽팽 정한울 ( ) 122 호 2012 대선 2 차패널조사유권자지지행태변동의크기와원인 이곤수 정원칠 ( ) 123 호 2012 대선 2 차패널조사의주요결과 정원칠 ( ) 124 호 세후보약점이공존하는균형 : 후보등록한달전대선여론 정한울 ( ) 125 호 단일화파행의결과 : 부동층늘고, 안하락 문강도약화 정한울 ( ) 2012 년 EAI 오피니언리뷰시리즈 호 어젠다 : 어젠다를보면 2012 년이보인다 정한울 ( ) 호. 19 대총선결과에대한유권자들의평가 장승진 ( ) 호. 부동층의표심이동과이슈의영향력분석 박원호 ( ) 호. 여론으로본 4.11 총선평가와대선쟁점 정한울 ( ) 호. 세대투표율분석을통해본 2012 대선예측 : 10 년새 570 만표불어난 5060 세대가대선좌우한다 정한울 ( ) 호. 한줄의카피전쟁, 대선슬로건 1 라운드경쟁결과 : 수도권 3040 세대무당파층 FGD 결과를중심으로 정한울 ( ) 호. 출사표를통해본대선유력주자인지지도 (cognitive map) 정한울. ( ) 호. 지역주의투표행태의변화를통해본 2012 대선예측 : 지역투표약화될것인가? 교차압력 (cross-pressures) 이변수 정한울. ( ) 호 대선불확실성특성분석 : 적대적이분법구도의약화와여당전략변화 정한울 ( ) 호. 제 18 대대선에서야권후보단일화의전망과한계 장승진. ( ) 호. 수도권 40 대무당파의대선경쟁한달평가 : 기대와실망의공존 (FGD 결과분석 ) ( ) 호 삼국지최종승자결정할세대변수점검 정한울. ( ) 호. 문 안확장성격차요인과새누리당지지층의역선택경향변화 정한울 ( ) 2011 년 EAI 여론분석단행본시리즈 여론분석 6. 이내영 임성학 ( 공편 ) 변화하는한국유권자 4: 패널조사를통해본 2010 지방선거 서울 : EAI 여론분석 7. 강원택 이내영 ( 공편 ) 한국인우리는누구인가? 여론조사를통해본한국인의정체성 서울 : EAI 13

15 서울특별시중구을지로 158, 909 호 ( 을지로 4 가, 삼풍빌딩 ) 재단법인동아시아연구원

Ⅰ. 조사목적 본조사는전국민을대상으로대통령국정수행지지도, 정당지지도등을 파악하여, 국민여론을파악하는기초자료수집에그목적을둠. Ⅱ. 조사설계 조사대상 전국거주만 19세이상성인남녀 표본수 총 1,035 명조사후, 지역, 성, 연령별사후보정 표본오차 95% 신뢰수준에서최대허용

101 차 리서치앤리서치일간조사통계편 ( 조사일: 20121104 ~ 1106) Beyond Research The Intelligence Company Ⅰ. 조사목적 본조사는전국민을대상으로대통령국정수행지지도, 정당지지도등을 파악하여, 국민여론을파악하는기초자료수집에그목적을둠. Ⅱ. 조사설계 조사대상 전국거주만 19세이상성인남녀 표본수 총 1,035 명조사후,