유 무선전화비율등바람직한여론조사방법에관한연구요약문 ( 표지가흑백으로들어갑니다.)
유 무선전화비율등바람직한여론조사방법에관한연구 2017 년도중앙선거여론조사심의위원회연구용역결과보고서 요약문
요약문 Ⅰ. 서론 정확하고객관성있는여론조사를수행하여신뢰할수있는결과를얻는것은선거과정의핵심적인과제중하나이다. 하지만최근여론조사결과가수많은기관에서쏟아져나오고조사수행기관에따라상이한결과들이도출되면서그정확성과객관성에의문이제기되고있다. 여론조사는엄밀한표본추출과정과체계적인조사방법에기초하지못할경우실제여론을크게왜곡할수있고그결과민의와는동떨어진선거결과를가져올수있다. 따라서표본설계의단계부터표집방법, 면접방법, 분석방법전단계에걸쳐정확도와객관성을제고하여고품질의여론조사결과를산출하기위한노력이필요하다. 이러한필요성에따라본연구에서는여론조사의정확성과품질을떨어뜨릴수있다는우려가제기되고있는주요쟁점들을중심으로여론조사방법의정확성과품질을다각적차원에서분석하고자한다. 이쟁점들은표집단계에서표본수및할당표집문제, 조사단계에서유 무선전화비율과응답률및접촉성공률, 재접촉 (call back) 문제, 그리고 ARS 조사와전화면접조사의신뢰성등을포함한다. 본연구는각방식이가지는장단점을명확히진단하고조사의품질과어떠한관련이있는지를분석함으로써향후여론조사의품질과신뢰성을제고할수있는방안을제안해보고자한다. 현재한국의선거여론조사에대해보다종합적인시각에서문제점을진단하고대안을모색하기위해본연구는기존의문헌에대한분석에더하여미국과영국등해외사례분석, 19대대선여론조사등록데이터분석, 그리고전문가심층인터뷰및설문조사등다차원적접근법을활용하여분석을시도한다. 본연구의분석결과는현재한국의선거여론조사의현실을상세히진단하고바람직한선거여론조사방법을모색하는데중요한자료가될수있을것이다. 요약문 3
Ⅱ. 연구의범위와방법 1. 연구의범위 : 선거여론조사주요쟁점 본연구는선거여론조사의품질과관련하여한국에서특히중요하게제기되고있는문제들에초점을맞추어연구를진행하고자한다. 본연구가초점을맞추고있는쟁점들은다음과같다. < 표 1> 연구의범위 : 선거여론조사주요쟁점 표집단계 조사단계 기타 할당표집과가중비, 최소표본수여론조사응답률, 재접촉 (Call back), 접촉성공률, ARS 조사, 유 무선전화비율, 조사기간, 문항효과조사비용, 규제관련, 원자료 (raw data) 공개등 표집단계쟁점은할당표집과가중비, 최소표본수문제이다. 할당추출방식은비확률추출방법이기때문에통계적추정이어려울뿐아니라성별, 연령대, 지역외다양한특성들에대한고려가없어표본의대표성을확보하기어렵다는문제가제기되고있다. 또한전화번호를무한대체하며할당된숫자만채우는식으로대표성이왜곡되고있다는점도중요한문제점으로지적되고있다. 더불어, 하위집단별로분석한결과를공개할때표본수가매우작아지는현상에대한통제를하지못하고있어이문제를해결하기위한논의가진행중이기도하다. 조사단계와관련하여응답률문제를해결하기위해재접촉 (call back) 및접촉성공률공개가논의되고있으나이는조사기간및조사비용의문제와직접관련되어있기때문에그실효성에의문이제기되고있는쟁점이다. ARS 조사방법은낮은응답률과특정연령대의높은조사거절율로인한높은가중값, 전화번호무한대체걸기등앞서언급된문제들이 ARS 조사에서특히심각한수준이라는지적이많은반면, 오히려동일환경의질문이가능하고솔직한응답을받을수있어신뢰할만한방법이라는주장도있다. 전화조사시유선전화와휴대전화사용자의사회경제적, 인구학적구성이상이하기때문에이두전화사용자표본의비율문제도중요한논쟁점이다. 4 유 무선전화비율등바람직한여론조사방법에관한연구
질문방식과순서등문항효과또한선거여론조사품질과관련되어있다. 질문방식에따른답변의차이, 특정후보에게유리한결론을도출하려는의도가있는질문형식에대한규제문제등이관련쟁점중하나이다. 이밖에조사비용, 원자료공개등의이슈가중요한논쟁점이며, 공직선거일 6일전선거여론조사결과공표를금지하고있는규정의실효성과더불어기타현행규제에대해서도포괄적으로논의한다. 2. 연구의방법 문헌조사 : 본연구는표집단계, 조사단계및그외여론조사의품질과관련이있는요인들에대해심도있는문헌조사를우선적으로실시한다. 여론조사방법의문제점과개선방안을지적하고있는국내외문헌들을조사하여본연구의대상이되는주제들과관련한종합적인분석을시도한다. 국내외조사사례분석 : 외국사례의경우, 미국과영국사례에초점을맞추어본연구가관심을가지고있는주요쟁점들이이들국가의선거여론조사에서어떻게적용되고또공개되고있는지를주로분석한다. 국내조사사례분석은지난대선기간에수행되어중앙선거여론조사심의위원회에등록된 801개대통령선거관련여론조사사례를대상으로한다. 각선거여론조사들이사용한표집방법및조사방법에따라분류하여조사결과를비교분석한다. 이분석을토대로표집및조사방법이여론조사결과에미치는영향에대해일련의결과를도출해낼수있다. 특히공식선거운동기간에실시된여론조사사례에대해서는마틴등 (Martin et al.) 이제안하고있는척도 A를이용하여각여론조사방법의정확성및실효성을비교해본다. 전문가심층인터뷰및설문조사 : 심층인터뷰는선거여론조사관련주요쟁점에대한 22 명의학계및조사업계전문가들의의견을수렴하였으며, 설문조사는학계및업계 100 명의전문가를대상으로실시되었다. 요약문 5
Ⅲ. 선거여론조사에대한기존문헌검토 선거여론조사에대한기존문헌검토는학계, 조사업체및논쟁점을중심으로크게표집단계 (1절), 조사단계 (2절) 그리고기타요인 (3절) 부문으로구분하여정리하였다. 1절표집단계에서는표본수, 대표성, 그리고할당표집이주요쟁점이었는데, 표본수문제의경우에는기본규정보다적은표본수와큰오차문제, 표본왜곡가능성이쟁점으로부각되었다. 할당표집부문에서는여론조사의품질을위한표본추출과정에대한논란, 가중치배율, 강화된할당표집가능성이주로논의되었다. 2절조사단계에서는조사방법, 응답률, 문항효과, 조사기간, 조사비용등이주요쟁점이다. 조사방법은면접조사, ARS조사, 인터넷조사및유무선조사병행의적실성에대한논란이많이제기되었다. 여기에는접촉성공률의계산방식에대한부문과접촉성공률도입찬반에대한논란도포함되어있다. 응답률부문에서는낮은응답률을높일수있는방안에대한고민이주로제기되었다. 문항효과부문에서는문항설계방법이, 조사기간에서는충분한조사기간 ( 주말포함 ) 연장, 이에따른조사비용의현실화가쟁점으로남아있다. 3절기타요인은조사기관의공정성과미디어보도의편향성문제그리고공표기간, 등록기준, 규제와같은제도적문제가논의되었는데, 기타요인이라하더라도여론조사주체와미디어, 법등의환경문제또한여론조사의신뢰도에영향을미칠수있다는점에서중요한쟁점임을알수있었다. Ⅳ. 해외사례분석 : 선거여론조사방법공개를중심으로 미국의여론조사관련통계방법론적표준과공개윤리 / 원칙은 AAPOR 와 NCPP 가제정하여여론조사시장에확산시켜려고노력한다. 특히 AAPOR 는 표준정의 의개정을통해여론조사현장에서발생하는다양한사례를각각의코드로분류하고이를여론조사기관들이적용하기를권장한다. 영국의경우잇따른총선예측의실패로인해설립된 BPC가여론조사방법과정보공개를추진하고있다. 그런데이러한영국과미국의협의체조직의노력은소속회원사의여론조사방법에완 6 유 무선전화비율등바람직한여론조사방법에관한연구
전히반영되지않은실정이다. 대부분여론조사기관들은현대여론조사기법에필요하다고판단되는최소하위표본수, 가중치, 재접촉, 접촉성공률등의정보를공개하지않는다. 이는영국과미국의경우선거여론조사의적절성을관리하는국가기구가없고자체시장경쟁에맡기기때문인것으로판단된다. 그럼에도불구하고이들나라여론조사의공통된특성은다음과같다 : 1 유권자분류에서성별, 지역별, 연령별변수외에도다양한변수 ( 학력, 소득, 인종, 지지정당, 주택소유여부, 과거선거참여경력등 ) 를도입하여유권자들의투표행태를분석하려고노력한다. 2 온라인 ( 패널 ) 조사기법이확대되고있다. 3 신문기사의텍스트에바로링크를걸어서여론조사결과의자세한정보를소비자가직접확인할수있도록접근성을높였다. Ⅴ. 한국사례분석 : 19 대대선등록여론조사분석 한국의여론조사사례는 2016년 4월 12일부터 2017년 5월 3일까지중앙선거여론조사심위원회에등록된 801개대통령선거여론조사데이터를사용하여분석한다. 1. 제 19 대대선여론조사의조사방법 제19대대선여론조사에는총 20가지조사방법이사용되었으며유무선 ARS와무선전화면접, 그리고스마트폰앱패널을활용한방법이약 26% 로가장많이활용되었다. 그다음으로유무선전화면접방법과유무선 ARS, 그리고무선 ARS가그뒤를잇고있다. 조사방법에따라문재인후보지지율을비교하였을때, 전화면접에비해 ARS에서문재인후보지지율이일관되게더높은것으로조사되었다. 특히무선전화 ARS 방식만사용된경우문재인후보지지율은다른방법에비해특히높은것으로나타나고있다. 반면, 스마트폰앱패널의비중을크게늘린유무선ARS/ 무선면접 / 스마트폰앱방식의경우, 문재인후보지지율이상당히큰차이로낮은수치를보여주고있다. 각조사방법에서나타나는분포의폭을보면, 유무선전화면접이유무선 ARS나유무선 ARS/ 무선면접 / 스마트폰앱방식에비해두해모두지지율평균값이넓게분포되어있으 요약문 7
며분산값의크기는 2016년에는네가지방법중가장크고, 2017년에는분포의폭이가장넓은무선 ARS를제외하고는가장큰값을보여주고있다. 유무선ARS/ 무선면접 / 스마트폰앱방식에서는문재인후보지지율의평균값이다른방식들과큰차이로낮을뿐아니라상대적으로분산치도크지않다. 2. 유 무선비율 유무선전화면접에비해유무선 ARS의평균유선비율이높은편이고그비율의편차도더큰편이다. 유선전화면접의경우, 전체 182개조사의약 46% 에서유선전화비율을 20% 이하로사용한반면, 유무선 ARS의경우, 93개경우중약 30% 의조사들이유선전화비율 20% 이하이다. 유무선전화면접과유무선 ARS 방식의유선전화사용비율과대선후보자지지간의상관관계를분석해보면, 2017년데이터전체에서는유선전화비율이홍준표후보지지율에만통계적으로유의미한영향을미친것으로나타났는데, 유선전화비율이높을수록홍준표후보의지지율이높게나오는경향이있는것으로조사되었다. 그러나전체적으로는유선전화비율과문재인후보지지율및안철수후보지지율은의미있는상관관계를보이지않는것으로나타났다. 유무선비율을혼용한대표적인방법들을별도로분석해보았을때, 전화면접에서는유선비율이높아지면문재인후보와안철수후보의지지율을유의미한수준으로낮게측정하는경향이있으며, ARS에서는유선전화비율이높을때특히문재인후보의지지율을낮게측정하는경향이있는것으로나타났다. 어떠한방식으로표본을추출하더라도유선전화의비율이높을때는전체적으로문재인후보의지지율은상대적으로낮게, 그리고홍준표후보의지지율은상대적으로높게측정되었다고말할수있을것이다. 3. 응답률 제19대대선여론조사의약 75% 가응답률 15% 미만으로나타났다. 조사들의약 49% 가 10% 미만의응답률을보이고있고 5% 미만도 19% 에이르고있다. 응답률은 ARS 방식 8 유 무선전화비율등바람직한여론조사방법에관한연구
에서특히낮고, 유무선 ARS의경우에는평균응답률 4.1%, 표준편차 1.7로일관되게매우낮은경향을보이는데 ARS의이러한낮은응답률이실제조사품질에어떻게영향을미치는지에대한규명은아직은부족한상황이다. 4. 조사기간 제19대대선여론조사의약 72% 가이틀이내에조사를마쳤으며약 13% 는당일치기조사를수행한것으로나타나고있다. 약 91% 의조사가 3일이내에진행된조사였다. 유무선전화면접은평균 2.3일동안진행되었고유무선 ARS는평균 2.1일동안진행된것으로조사되었다. 무선 ARS의경우평균 1.9일로유무선전화면접이나유무선 ARS 그리고유무선 ARS/ 무선전화면접 / 스마트폰앱방식에비해조사기간이약간짧게나타났다. 조사기간과문재인후보지지간상관관계계수는 -0.12( 신뢰도 99% 수준에서유의미함 ) 로조사기간이길어질수록문재인후보의지지율이낮게측정되는것으로나타났지만, 조사기간에따른지지율분포를보면조사기간과지지율변동간의일정한경향성을발견하기는어렵다. 다만, 조사기간은지지율의표준편차에는영향을미친것으로조사되었는데, 특히당일치기조사의경우조사결과 ( 지지율 ) 간편차가크게나타났다. 5. 여론조사결과에영향을미치는여론조사방법론적요인들 문재인후보지지율에미치는여러여론조사방법변수들의영향을조사한회귀분석결과, 조사방법, 유선전화비율, 응답률, 조사기간등의변수에따라후보자지지율에영향을미치는정도와방향이다르게나타났다. 유무선전화면접방식의경우와유무선 ARS, 그리고무선 ARS 방식은문재인후보의지지율을상대적으로높게측정하고있는반면, 유무선ARS/ 무선면접 / 스마트폰앱방식은문재인후보지지율에부정적으로작용한것으로나타났다. 조사기간은유무선 ARS와무선 ARS 방식에서조사기간이길어질수록문재인후보의지지율을낮게측정하는것으로조사되었으며, 다른두방식에서는후보자지지율과통계 요약문 9
적으로유의미한관계가없는것으로나타났다. 다만, 모든방식에서계수가지지율과음의관계로나타나조사기간이길어질경우문재인후보지지율에어느정도부정적영향을미쳤을것으로추정할수있다. 유무선전화면접방식에서는응답률이높을수록문재인후보의지지율이낮게나타났고, 다른세가지방식에서는응답률이높을수록문재인후보의지지율이높게나타나고있다. 유선전화비율은조사를위해유선전화를사용한세가지방식모두에서문재인후보지지율에통계적으로유의미하게부정적효과를보이는것으로조사되었다. 6. 척도 A 를이용한예측정확성분석 척도 A는두후보의예측득표율비에서실제득표수비를나누어얻은오즈비 (odds ratio) 를이용한통계량으로서예측지지율이실제지지율과얼마나근접해있는지뿐아니라어느방향으로편향되어있는지를보여준다. A는편향성정도와방향을나타내고, A의절댓값 ( A ) 은예측오차를나타낸다. 공식선거운동시작일인 4월 17일부터여론조사결과공표금지일인 5월 3일사이에실시된여론조사결과들의편향성과예측오차를척도 A를이용하여측정한결과, 문재인후보와홍준표후보의경쟁에서여론조사결과들은대부분문재인후보의우세로편향성을보인것으로나타났다. 편향성을가장강하게보이고있는방법은유무선ARS/ 무선면접방식이다. 이와같은결과에는여론조사방법상의문제가영향을미쳤을수도있지만사실상 2017 년대선의특수상황을고려하지않을수없다. 2017년대선은전대통령의탄핵과파면및구속으로이어지는정치적상황에서보수정당을강하게지지해오던보수적유권자들이자신들의정치적입장과정체성을드러내는것을조심스러워하던시기에치러졌다. 이때문에강한보수적유권자들의여론조사참여율은상당히낮았던것으로분석되고있다. 문재인후보와안철수후보간비교에서는대체로안철수후보우세로편향을보이고있는것으로나타났다. 유무선 ARS, 조사기간 3일, 유무선전화면접및유선전화비율 20% 초과경우의순으로안철수후보에로편향된선거여론조사결과를도출한것으로분석된다. 10 유 무선전화비율등바람직한여론조사방법에관한연구
조사방식별로보았을때, 여론조사표집방법에있어서는특정한방식에관계없이모든방법이상당한정도의편향성과예측오차를보여주고있다. 이렇게척도 A를이용해분석한경우, 많은전문가들의주장과는달리전화면접이 ARS 방법에비해더정확하고신뢰할수있다는근거는발견되지않는다. 유무선전화면접과유무선 ARS, 무선 ARS, 유무선ARS/ 무선면접방식은모두문재인대홍준표경우에는문재인후보방향으로, 문재인대안철수경우에는안철수후보방향으로강한편향과큰예측오차를보이고있다. 특히예측오차는문재인대홍준표경우유무선ARS/ 무선면접방식과유무선전화면접에서가장크게나타나고있다. 유선전화비율에있어서는문재인대홍준표경우유선전화비율이 20% 이하인경우에, 그리고응답률이 10% 이상인경우더강한편향성과큰예측오차를나타내고있지만어떤방법에서도편향의크기가작은경우는없다. 조사기간과관련해서는문재인대홍준표, 문재인대안철수경우둘다조사기간이 1~2 일인경우나 3일인경우모두편향성과예측오차의크기가매우크게나타나는데특히 3일인경우에편향성과오차가더컸던것으로분석되고있다. Ⅵ. 전문가심층인터뷰및설문조사결과분석 1. 심층인터뷰결과분석 1) 전문가구성 전문가인터뷰대상은학계 13명, 조사업계 9명으로구성되었으며, 분석결과의견이수렴되거나통일되지않고매우분산적이고다양한의견을보이는것으로나타났다. 2) 표집단계 표본수와관련한응답은우선 ( 최소 ) 표본수규모를현행으로유지하는의견에서동규정을삭제해야한다는의견및각급공직선거단위별로편차를두고확대하자는의견까지다양하게제시되었다. 하위표본수와관련한응답은대체로학계의경우최소표본수설정에대하여찬반의견이비등한반면조사업계는반대의견이상대적으로훨씬더많이제시되었다. 그리고 요약문 11
찬반의견과무관하게규정으로도입하는방안에는무응답또는반대의견이우세하게나타났다. 할당표집관련이슈에대해서전문가들은매우다양한의견을제시하였다. 다만학계는할당표집의문제점인식이더강하였고, 조사업계는할당표집의문제점을지적하는의견도제시되었으나그럼에도불구하고현실적으로무리없는표집방식으로인식하는경향이강하게나타냈다. 3) 조사단계 유 무선비율설정에관련해서전문가들은듀얼프레임에대한반론은거의없었으나특정비율설정에대해서는대체로부정적인의견을우세하게개진하였다. 주요의견을정리하면다음과같다. 첫째, 무선통신비율이증대와가상번호이용환경에서유 무선병행조사도입은불가피하다. 둘째, 유 무선비율은표집틀에관한문제인데보유율에대한명확한근거를찾을수없다. 셋째, 비확률추출법인할당표집이아니라확률추출법하에서유 무선비율을논의해야한다. 넷째, 무선전화최적비율에대한연구가필요하나최적의유 무선비율은존재하지않으며, 조사기관들이다양한실험을해가면서자율규제를기반으로사후적인책임의강화로방향을잡는것이바람직할것이다. 응답률하한선규정도입과관련해서전문가들은대체로현행응답률의문제점에대해서는공감하나해법과대안에서는각양각색의의견을제시하였다. 대안을요약하면첫째, 응답률을협조율등실질적인지표로개선해야한다. 둘째, 최소응답률은설문방식에따라적용되어야하며응답률이상대적으로높은설문방식의비중을높일필요가있다. 셋째, 최소응답률의근거가없으며응답률하한선을규정하더라도패널이나특정번호를재활용하는등더체계적인오류가만들어질수있어응답률규제는바람직하지않으며대표성을높이는데역점을두어야한다. 콜백에대한전문가입장을찬반양론으로나누어정리하면다음과같다. 찬성론의입장에서당해조사일에한해서콜백포함, 최소 3회에서최대 5회의콜백이적절함, 콜백관련프로세스의가이드라인제시와사후자료제출이필요함, 접촉성공률을높이기위해서콜백을제도화할필요가있음등의의견이제시되었다. 그리고반대론의입장에서콜백은과잉콜백으로인한유권자거부반응, 콜백보다조사과정지침준수가더욱중요함, 조사기간과비용을전제할때콜백의한계가드러남, 할당조사에서콜백을강제할수없으며패널조사에국한해야함, 제반환경을고려할때권장사항이지규제사항이아님등의의견이제시되었다. 12 유 무선전화비율등바람직한여론조사방법에관한연구
접촉성공률도입은비교적전문가들의공감대가큰이슈로서반드시이규정을도입하지않더라도콜백을활성화하여대표성을제고한다는취지에서풍성한논의를요청하였다. ARS 자동응답조사는전문가입장이가장극명하게엇갈리는문제로서, 학계는대개문제점을지적하는반면조사업계는소속기관의조사관행에의거해서입장이취해지는경향을보였다. 찬성론의입장을요약하면, 조사비용과여건및일정상 ARS 자동응답조사와결과에큰문제가없으며중요한점은조사관리지침을이행하고있는지여부라고본다. 반면반대론의입장을요약하면, ARS 자동응답조사에비해대면조사와직접통화가조사결과의신뢰도를충실하게기할수있으며 ARS 자동응답조사는보조적인방식에불과하다는것이다. 조사기간과조사시간대 요일에대한의견은조사기간의경우조사업계가비교적관용적이었으나조사시간대 요일의견은양집단간입장이별반대조적으로나타나지않았다. 즉조사업계전문가들은대체로조사의여건상조사기간이다양할수밖에없으며조사기간이길어야조사결과가좋은것은아니라는입장을취했다. 조사시간대및요일과관련해서학계전문가들은기간과함께요일과시간을충실하게반영해야한다는입장을나타냈으며, 양집단모두응답거부시대체리스트가아닌콜백할수있는시간을확보해야대표성이제공된다는입장에공감하였다. 문항효과와관련해서는문항효과가조사결과에미치는영향은분명하지만, 조사의내용과선거의성격등여러요인들이개입되어있으므로일괄적인대응방안을마련하는것은가능하지않다는의견이대표적이다. 4) 제도개선및기타 제도개선과관련해서대체로현행선거여론조사제도가그취지와순기능에도불구하고, 국가기간의과도한규제와검열의문제가초래되고있다는의견이적지않았으며조사업계는이러한문제의식이더욱선명하게나타났다. 정성조사규제관련해서전문가들의입장은선거여론조사에대한지나친규제는표현의자유와민주주의정치가정에대한위협이될수있어, 최소한의가이드라인과시장의자율규제를검토할필요가있다는것으로요약될수있다. 원자료공개는엉터리조사를예방하고다양하게활용할수있는효과가있는반면, 재산권을침해할소지가크다는의견이다수이다. 요약문 13
5) 심층인터뷰분석의함의 심층인터뷰결과의함의는다음세가지로요약할수있다. 첫째, 각질문문항별로의견이통일적이거나수렴되는양상이거의나타나지않는다. 또한학계와조사업계의개별차원에서도계통적으로의견이결집되지않고다양하게산재한것이중요하게발견되는특징이다. 이러한현상이일어나는이유는무엇보다한국조사연구 ( 학 ) 의학문적토대와저변이취약하다는점과조사업계와의협업적 실천적분석작업이활성화되어있지않고있기때문일것이다. 둘째, 전문가들의응답태도에서각각학계의과학주의와현장의경험주의의경향성을엿볼수있으며, 아울러동일계통내부에서도크게엇갈리는이해가드러나고있다. 학계는주로이론기반으로학습한내용과문헌의범주에서각자의논리를개진하고있고, 조사업계는대개현장의경험과노하우그리고현실적으로수행가능한여론조사방식을전제하여실용적인준거틀에서논리를전개하였다. 조사업계내부적으로도소속기관의이해-규모, 조사방식등-에따라응답내용이크게엇갈리는경우가적지않았다. 요컨대, 전문가심층인터뷰는통일적대안보다는분할된의견의실상을보여줌으로써, 향후학문과현장의교류와연구를통하여실증적인분석과이에토대한대안추구의과제를안겨주고있다. 셋째, 규제관련하여서는심층인터뷰분석결과, 대체로지나치게세부적이고열거주의적인규제조항의양산이과도한규제와조사시장의위축이나왜곡을야기할수있다는문제의식으로수렴되었다. 즉각론차원에서개별규제조항의합리적개선이요청됨과동시에, 총론차원에서민주적인방식으로규제시스템이작동되어야한다는요구가양립하고있다는것이다. 14 유 무선전화비율등바람직한여론조사방법에관한연구
2. 전문가설문조사결과분석 1) 표집단계 선거여론조사의최소표본수에대한전체전문가응답은표본수를확대해야한다는의견이가장많았고, 이어서현행유지와규정폐지의견이뒤따랐다. 학계의의견분포순위도이와동일하게나타났다. 반면조사업계는규정폐지의견이가장많았고현행유지가그다음으로많아학계와는대조적인응답경향을보였다. 현행규정과같이최소표본수를특정하는대신허용표본오차의범위를제시하는방식으로규정을변경하는방안에대하여전체적으로찬반의견이호각세를보였다. 학계는찬성의견이더많은반변, 조사업계는반대-특히매우반대- 의견이더많았다. 선거여론조사를하위집단으로나누어분석한결과를공개할경우, 공개가능한각하위집단 ( 교차표상셀 ) 의최소표본수에대해표본대비일정비율을정하자는의견이가장많았으며, 30명으로정하자는의견이뒤를이었다. 학계의여론도이러한경향을띠었으며특히응답자의절반이상이일정비율규정을선호하였다. 반면조사업계는최소표본수규정이불필요하다는의견이가장많았다. 선거여론조사기준에서현행가중값비율규정에대해서학계와조사업계는공히현행규정유지에가장많이응답하였으며, 이어서가중값배율에대한제한없이공표의무만규정해야한다는의견이많았다. 아울러학계는특정집단이과표집되었을시에가중값배율을확대해야한다는의견도많이제안되었다. 현행할당표집방식에대한전문가응답은적절한방법이라는의견과재접촉이나할당집단별최소표본등의규정으로보완해야한다는의견이비슷하게나타났다. 다만학계는응답자의절반이상의보완의견을제시한반면, 조사업계는절대다수가적절한방법이라고의견을제시하였다. 학계에서는이어서현행할당표집방식이적절하다는의견도적지않게제출되었다. 할당표집방식의가장큰문제점으로학계와조사업계는공히비확률적표집방식이라고지적하였다. 가령전화번호를무한대체하면서할당된수를채우는방식에여기에해당한다. 이어서학계와조사업계모두특정집단의수가적게포함되었을경우가중치를크게주어표본을왜곡하는문제를지적하였다. 이밖에성별 연령대 지역등일부변수만을고려하여할당함으로써편향발생문제가지적되었으며, 조사업계는 24.2% 가문제없음의견을제시하였다. 요약문 15
2) 조사단계 선거여론조사기준에유 무선응답비율 ( 또는응답비율의범위 ) 을특정하는규정을도입하는방안에대하여, 전체적으로응답비율을특정하지않고비율만공개하는현형규정을유지하자는의견이가장많았으며, 특히조사업계는절대다수가이의견에동조하였다. 학계또한현행규정유지의견이과반수를넘었는데, 응답비율을특정한규정을도입하자는의견도 40.3% 로상당히높게나타났다. 공직선거여론조사의높은품질을위해유 무선응답비율을정할경우의범위에대해학계와조사업계전문가들은공히조사목적과방식에따라적정비율이다르기때문에, 적정응답비율을특정할수없다는의견을가장많이제시하였다. 그리고최근의조사방식을반영하듯이, 이어서 20:80 및 30:70 의유 무선응답비율을많이제시하였다. 선거여론조사품질향상을위해응답률규정을도입하는방안에대하여학계는 10% 이상만공표하도록하자는의견이가장많이제시된반면, 조사업계는규정도입에반대한다는의견이가장많이제시되었다. 이어서학계와조사업계모두 5% 이상만응답률을공표하도록하자는의견이 2순위로제시되었다. 선거여론조사에서하위집단별응답률을공개하는방안에대하여학계는찬성의견이절대다수인반면조사업계는반대의견이절대다수로나타났다. 특히학계의매우찬성의견은과반수가까이로나타났고조사업계의매우반대의견은과반수를훨씬넘는것으로집계되었다. 접촉성공률규정을도입하여공개하는방안에대하여학계는도입찬성의견이절대다수로나타난반면조사업계는도입반대의견이우세하였다. 특히학계는단계적도입의견이상대적으로더많았고조사업계는장점에비해단점이큰이유로도입에반대하는의견이상대적으로더많았다. 선거여론조사에서의 ARS 자동응답방식신뢰도에대한전문가응답분포는다음과같다. 전체적으로 ARS 자동응답방식에대한신뢰도가낮게나타났다. 학계는별로신뢰할수없다는의견이가장많이제시되었고, 조사업계는전혀신뢰할수없다는의견이가장많이제시되었다. 선거여론조사에서당일조사결과신뢰도와관련한문항에서학계와조사업계모두어느정도신뢰의견이가장많았는데, 조사업계의경우신뢰성과관련없다는의견이상당히제시된점이특기할만하다고할수있다. 16 유 무선전화비율등바람직한여론조사방법에관한연구
최소조사기간에대하여전문가응답분포는매우분산적으로나타났다. 대체로 1~3일을최소조사기간으로간주하였으며조사기간과품질간의직접적인관련성이없다는의견도비슷한비율을보였다. 학계는 3일을최소조사기간으로제시하는의견이가장많았고, 조사업계는당일또는 2일의견이가장많았다. 선거여론조사에서조사요일이나조사시간이조사결과에미치는영향에대한전문가응답은학계와조사업계모두어느정도영향을미친다는의견이압도적으로많았다. 한편학계는영향이매우크다는의견이두번째로많은반면, 조사업계는영향을별로미치지않는다는의견이두번째로많아대조를보였다. 접촉실패사례를대상으로한 call-back 이조사품질향상과어느정도관련있는가에대한전문가응답분포는전체적으로관련있다는의견이관련없다는의견보다우세하게나타났다. 학계와조사업계공히다소관련있다는의견이가장많았으며, 학계는매우밀접하게관련있다는의견이두번째로많은반면조사업계는별로관련없다는의견이두번째로많이제시되었다. 최소 call-back 횟수규정및번호별접촉시간대공개규정을도입하는방안에대한전문가응답분포는전체적으로부분적도입의견이가장많았지만, 학계는도입의견이훨씬강한반면조사업계는도입반대의견이훨씬강하여대조를이루었다. 특히학계는부분적도입의견이가장많았고, 조사업계는별로도입할필요가없다는의견이가장많았다. 선거여론조사에서 call-back 규정을도입할경우어떠한방식을선택할것인가에대해, 전체적으로 call-back 최소횟수를규정하자는의견이가장많긴했지만, 학계와조사업계의의견이매우대립적으로나타났다. 학계는 call-back 최소횟수를비롯해서특정방식을규정하자는의견이압도적으로많았지만, 조사업계는어떤방식이든도입하지말아야한다는의견이과반수에육박하였다. 3) 공표단계및기타 선거여론조사에서질문지와결과표외에원자료 (raw data) 도공개하는방안에대하여전체적으로찬성의견이훨씬더많이제시되었지만, 학계와조사업계의의견이매우대립적으로나타났다. 즉학계는매우찬성의견이압도적인반면, 조사업계는매우반대의견이과반수에근접하였다. 요약문 17
선거여론조사결과공표를공직선거일 6일전부터금지하는규정에대하여학계와조사업계모두동규정을폐지해야한다는의견이가장많았다. 이어서공표금지기간을단축해야한다는의견이양측공히두번째로많았다. 선거여론조사기준에전문가, 대학생등특정집단을대상으로하는조사나표적집단면접조사 (focus group interview) 와같은정성조사기준을마련해야되는가에대한전문가들의응답은전체적으로필요하다는의견이필요없다는의견보다많았으며, 학계와조사업계모두어느정도필요하다는의견이가장많았다. 이어서학계는별로필요없다는의견이두번째로많았으며, 조사업계는매우필요하다와전혀필요없다는의견이동률을이루었다. 선거여론조사개선에대한기타의견들중빈도수를기준으로가장많이제시된의견은과잉규제를개선하여규제조항을양산하지말고조사기관의자율성을배양해야한다는것이다. 특히조사기관과언론종사자들중상당수가이러한취지의의견을개진하였으며학계종사자중에서도이러한의견이개진되었다. 그밖에표집단계에서는패널조사관련문제가제기되었고, 조사단계에서는 call-back, 가상번호도입, 유 무선응답비율, 정성조사기준관련의견이제기되었으며, 공표단계에서는원자료공개와여론조사보도준칙관련의견이제시되었다. Ⅶ. 선거여론조사개선방안논의 1. 선거여론조사방법의현황과문제점 19대대선을앞두고개정된공직선거법과선거여론조사기준은여론조사품질을제고하기위한기준을강화함으로써그간제기되어오던몇몇방법론적문제점들을개선하는데기여했다는평가를받고있다. 그중에서도휴대전화가상번호의허용은여론조사에대한신뢰도를제고하는데중요한역할을하였던것으로평가된다. 제도적으로도선거여론조사의공표와보도기준을강화하고여심위의조사및조치권을신설하여관리의실효성을확보했다. 그러나본연구의결과는한국의선거여론조사가여러방법론적문제들에노출되어있으며정확도와품질의향상을위해서는이문제들에대한대안이시급히모색되어야함을시사하고있다. 문헌조사, 국내외사례조사, 그리고전문가심층인터뷰및설문조사 18 유 무선전화비율등바람직한여론조사방법에관한연구
를통해드러난한국선거여론조사의방법론적문제들의원인은다음과같이진단할수있다. 첫째, 선거여론조사에대한학문적토대와저변이취약하여학계와조사업계양자가동의할수있는여론조사기준이아직마련되지않았다. 국가기관이시장에대한규제를크게는강화할수없는제한점때문에그기준들은모든영역에서방법론적엄밀성을요구하기어렵다. 또한규제의대상이되고있는업계의필요나동의를바탕으로기준을마련하기보다는학계의과학주의적의견을중심으로기준이마련되는경향이있어규제에대한업계의동의를얻기가힘들다. 둘째, 턱없이낮은조사비용이한국선거여론조사의품질을떨어뜨리는또하나의중요한요인이다. 조사비용의한계는충분한표본의확보를어렵게하고재접촉시도를불가능하게만드는중요한요인이다. 셋째, 잘못된조사관행을고치고자하는조사업계의자구적노력또한부족하다. 하지만저비용 속보성선거여론조사환경은조사방법의개선을위한자구적노력을제한하는큰요인이되고있다. 특히낮은응답률, 전화무한대체걸기, 비접촉률에대한무관심, 당일치기조사등은한국여론조사의품질을떨어뜨리는주요한요인임에도불구하고이를극복하기위한전방위적인실질적노력이이루어지지못하고있다. 넷째, 학계와조사현장간정확성제고논의를활성화하기위한지속적이고장기적인협력체계를구축하지못하고있다. 학계와업계는문제인식과대안에있어서매우상이한의견을가지고있다. 학계내에서도어떠한학문적영역에속해있는지에따라여론조사의엄밀성에대한요구가다르고, 여론조사현장에서는현실적수행가능성에초점을맞추어학계와는매우다른목소리를내고있다. 선거여론조사를의뢰하는언론사의태도또한조사품질향상을방해하는주요한요인이되고있다. 언론사는조사업계의조사능력을향상시키기위한어떠한노력도없이최소의예산으로보도를위한여론조사를진행하는데급급한경향이있다. 요약문 19
2. 바람직한선거여론조사방법모색 실제데이터분석결과, 본연구가다루고있는모든쟁점들이조사의정확도를떨어뜨리고편향성을유도하는등조사의품질에유의미한영향을미치고있는것으로나타났다. 이러한결과에도불구하고, 선거여론조사관련전문가들의응답에서보이듯이각방법론에대한찬반이나특정수치를제시하는것은쉽지않아보인다. 선거여론조사품질향상을위한당위적접근과현실적수행가능성이크게부딪혀있기때문이다. 개별적조사방법에대한구체적인개선방안을제안하는대신본연구는위의절에서진단한문제점들을바탕으로선거여론조사의포괄적개선방안을제안한다. 첫째, 학계와조사업계간조사의정확성제고를위한논의를활성화시켜야할필요성이있다. 학계와조사업계의지속적이고장기적인협력은학자들이연구활동을통해축적한경험과조사전문가들이현장에서축적한경험및노하우를바탕으로보다정확한선거여론조사를가능하게할것이다. 이러한논의의활성화는학계와조사업계가모두동의할수있는기준을마련할수있는장을제공한다. 둘째, 예측정확도가높은여론조사를위해서는비용의확보가필수이다. 조사를의뢰하는언론사나조사를실제로수행하는조사기관들은정확성제고를위한최소한의조사예산을확보 집행할필요가있다. 현재한국에서는여론조사결과의편향을각여론조사기관들의책임으로넘기는경향이있지만, 실제로조사의품질은그조사를의뢰한언론사의검증을필요로한다는점에서언론사의책임또한크다고할수있다. 셋째, 조사현장에있는업계의지속적인자구적노력이요구된다. 무엇보다도표본의대표성을훼손하는갖가지관행적조사행태를벗어날필요가있다. 이를위해서는현실적으로수행가능한조사방식에집착할것이아니라실제로정확도를높일수있는방안에대한논의와협력을활성화할필요가있을것이다. 넷째, 열거주의식규제방식을벗어나, 중장기적으로선거여론조사규제모델을탑다운형에서거버넌스형으로전환하는방안을모색할필요가있다. 이를위해서는시장과전문가집단의자율규제 (self-regulation) 가주축이되고국가기구의후견과감독이유기적으로결합하는규제시스템을창안하는방안을적극적으로검토할필요가있을것이다. 20 유 무선전화비율등바람직한여론조사방법에관한연구