선거예측조사의신뢰성증진방안 -16 대총선을중심으로 1) (A plan of improving the reliability of the election forecast survey - A case of the 16th general election) 류제복 2) Ryu, Jeabok 지난 4월 13일에실시된 16대총선에서방송사와조사기관들이공동으로조사하여발표한선거예측조사에서많은오류가발생하여선거예측조사에대한신뢰성에큰타격을받았다. 이에향후선거예측조사의신뢰성을회복하고보다정확한예측을위해기발표된예측조사내용을다각도로심층분석하여조사의오류가발생한원인을살펴보고이들오류를줄이는방안들을제시하였다. 아울러이번에처음으로실시된출구조사에대한문제점과개선안도함께살펴보았다. Since the results of the election forecasting survey that was executed jointly by T.V stations and survey research companies in the 16th Korea General Election( April 13, 2000) had many errors, the reliability of the election forecasting survey was greatly damaged. Therefore, in order to recover the reliability and to increase the accuracy of the election forecasting survey in the future, we figure out the sources of the survey's errors and suggest methods of reducing them through deeply analyzing the forecasting data from many angles. In addition, we discuss some problems and an improvable direction on exit poll executed for the first time. I. 서론 2000년 4월 13일제16대국회의원선거마감시간인오후 6시가지나자마자 KBS와 SBS, 그리고 MBC가동시에선거예측조사의결과를발표하기시작하였다. KBS와 SBS는미디어리서치, 코리아리서치, TN소프레스글로벌리서치, 그리고한국리서치등 4개조사전문회사와콘소시엄형태로, MBC는한국갤럽과선거예측조사를실시하여그결과를일반시청자들에게공표하였다. 그러나그결과는몇시간이지나지않아실제와많은차이가생겨서공용방송과조사기관의실수를대중에게공개하는상황이되어버렸다. 4년전인 1996년 4월 11일의제15대국회의원선거에서도 TV 3사와 CBS가 5개여 1) 이논문은 2000~2001 학년도청주대학교의학술연구조성비 ( 특별과제 ) 에의하여연구되었음. 2) 청주대학교자연과학부통계학전공 (jbryu@chongju.ac.kr) - 1 -
론조사기관과합동으로투표자전화조사를실시하여투표가끝나는시간에조사결과를발표하였으나, 실제개표결과와 39곳이나차이가났다하여공영방송의공신력과여론조사의신뢰성에커다란상처를받았다. 당시에는지금보다도열악한조사환경과적절치못한조사방법으로인하여정확치못한조사의가능성이높았다. 96년의 15대총선에서조사의오류에대한많은지적과함께개선방향으로한결같이제안한방법이바로출구조사로이것만이오류를줄일수있는최선의방법이라하였다. 당시문제점으로지적되었던방송사의경쟁적방송태도, 윤리성의미비에대한질책, 그리고조사기관의안일한조사방법과얼버무리기식대처가 4년간의세월속에고스란히묻혀있다그대로발굴되어다시사용되었다는것이다. 이미많은선진국에서실시하여그신뢰성을인정받고있는출구조사가최선의방법이고이방법을국내에도입한다면정확한조사결과를얻을수있어국민들의알권리를충실하게충족시켜주어선거방송의효시가될것이라는기대를모았다. 그러나국내에서실질적으로처음실시된출구조사 ( 경합또는혼선지역인 80개정도의지역에대해서만출구조사를실시하였다 ) 를병행한선거예측조사의결과가지난 96년의조사에서의오류와마찬가지로개선된점이보이지않자출구조사를허용하지말자는주장도있다. 또한이를계기로통계조사전반에대한무용론도대두되고있다. 대부분의언론에서보도한바와같이 MBC가 23곳 KBS와 SBS가 21곳을실제와틀리게예측보도하여국민들로부터비난과함께담당자들에대한문책이이어졌다. 그러나통계학적측면에서볼때당선자를맞추지못한곳이얼마나되는가가문제가아니라후보자들의실제득표율에대한예측값들의차가어느정도허용오차의범위를벗어났는지그리고허용오차의범위를벗어난곳이얼마나되는지가조사의신뢰성을판가름하는기준이된다따라서본연구에서는금번에실시된 16대총선에서선거예측조사결과의오류발생의원인들을분석하고, 또한법적문제점, 조사방법상의문제점그리고그밖의여러사항들을검토하여향후선거예측조사의신뢰성증진을위한방안을제시하고자한다. II. 조사결과의비교우리나라에서실시된선거에서의여론조사는 14대총선이전에는법적으로할수없었다. 그러다 1992년 3월 24일에실시된 14대총선에서야비로소조사자체는허용되었지만공표는할수없었다. 그후 14대대선에서는선거기간이전에는공표를할수있게되는등우리나라에서선거에대한여론조사의역사는미천한상태이다. 그러나국민들의알권리에대한욕구가거세지고나라도점차적으로민주화되면서국민들의이러한바램과언론기관과조사관련단체등에서의계속적인요구로 15대총선에서야방송사들과조사기관들이함께참여하여실시하는여론조사가실시되었다. - 2 -
그러나이러한여론조사는말만의여론조사지실제로는여론을제대로반영할수없는상황이었다. 1996년의 15대총선에서는투표당일언론기관이나조사기관이투표결과를예상하기위해서조사를할수있었지만투표소로부터 500m밖에서만허용되었고투표의비밀이침해되지말아야한다는조항과많은조사비용으로인해서조사다운조사를실시할수없었다. 이런상황하에서각방송사와조사기관은연대해서조사일주일전부터전화조사를실시하고그것을근거로예상득표율을발표하였으나많은오류를범하게되었다. 이러한문제가발생한후개최된토론회와여러연구에서출구조사의필요성이제기되었다. 1967년미국 CBS가처음실시한이래널리사용되고있는출구조사방법을병행한이번의조사도만인의기대를충족시키지못했는데이는출구조사의실시를위한여건이아직충분히마련되지않았고사전에이에대한철저한준비가없었던것이문제점이라할수있다. 15대총선과이번 16대총선에서의차이를비교해보면 < 표 1> 과같다. < 표 1> 15 대와 16 대총선비교 구분 15 대총선 (1996.4.11) 16 대총선 (2000.4.13) 선거인수 31,488,294 33,504,262 국회의원수 ( 지역구 / 비례대표 ) 299(253/46) 273(227/46) 언론기관이선거결과를예상 선거법 하기위해서투표소로부터투표소로부터 500m밖에서투표의비밀이개정침해되지않는방법으로질 문이가능 투표율 63.9% 56.4%( 최저 ) 300m 밖으로 1,000 표차이내 14 15(300 표차내 :9, 20 표차내 :4) 최소표차 350 3 조사방법 조사비용 전화조사 ( 투표당일포함 1주일간 ) 15 억 경합지역 80여곳은출구조사 ( 면접, 무기명 ) 를하고그밖의지역은전화조사 45억 (MBC:22억,KBS-SBS:23억) - 3 -
15대와 16대총선에서의차이는우선국회의원수가지역구에서만 26명이줄었다. 500m이내에서조사를할수없었던선거법이 300m 이내로다소완화되었지만그밖에법적으로변화된것은없었다. 투표율은 16대가사상최저의투표율 (56.4%) 을기록하였고당선자와 2위간의차이가 1,000표이내인지역은지난 15대와비슷하나박빙의지역이이번이훨씬많았다. 특히 300표차이하의지역이 9곳이었고 20표미만의지역도 4곳이나되었다. 예측조사에서의큰차이점은이번에처음으로출구조사가실시되었다는점이다. 16대총선에서 227개지역구에대해정당별국회의원의석수에대한방송사들의예측은 < 표 2> 에나타나있다. 비례대표의원 45명에대해서 MBC와 KBS-SBS의예측은민주당과한나라당이 20석, 자민련이 5석으로예측치가같았으나결과는민주당이 19석한나라당이 21석을차지하였다. 지난 15대총선에서지역구 (253개) 에대한예측조사는여당의예상의석수를실제보다 25.6% 나높게예측하였는데이번에도 MBC가 11.5%, KBS-SBS가 16.7% 높게예측하였다 ( 참고 : 박재수 (1996)). < 표 2> 16대총선정당별지역구의석수 구분 투표결과 MBC( 한국갤럽 ) KBS-SBS( 미디어리서치등 4개기관 ) 민주당 96 107(+11) 112(+16) 한나라당 112 100(-12) 95(-17) 자민련 12 12 12 민국당 1 2(+1) 1 한국신당 1 1 1 민주노동당 0 5 2 6(+1) 무소속 5 4 계 227 227(±12, 5.3%) 227(±17, 7.5%) * ( ) 내의숫자는오차, % 는오차율을나타냄 이번에실시된출구조사에서각방송사 ( 조사기관들 ) 들이사용한방법들에대한비교는 < 표 3> 에있다. 출구조사는앞에서언급한바와같이 MBC, KBS-SBS 모두경합 ( 또는혼선 ) 지역 80여곳을대상으로실시하였는데각선거구에서 6-10개의투표소를확률추출하고추출된투표소로부터 5-7명주기의계통추출을사용하여응답자를선정하였다. 조사원은대부분이 20대여대생이었는데이것이조사원채용의기본원칙을등한시한것으로무응답또는응답거부를줄이거나적절하게대처하지못하는하 - 4 -
나의요인이된것으로보여진다. 조사원들에대한교육은다소차이가있으나대체로 3-6시간정도였고조사원들을위한지침서를마련하여조사원교육에활용하였다. 출구조사시간은한국갤럽이오전 8시부터오후 4시까지, 미디어리서치와 TN소프레스가오전 6시부터오후 4시, 한국리서치는오전 6시부터오후 3시, 그리고코리아리서치가오전 6시부터오후 3시 30분까지실시하여조사시간에약간의차이가있었다. 이번오차의가장큰요인으로볼수있는무응답자또는응답거부자들이대부분 40 대후반이후의연령이고그중에서도여성이많았다고보여진다. 무응답이나응답거부의주된요인으로는출구조사에대한이해부족과출구조사시개인의비밀 ( 누구에게투표를하였는지여부 ) 이노출될것을우려하였기때문인것으로예상된다. < 표 3> 출구조사에대한비교 구분 MBC( 한국갤럽 ) 경합지역 80여곳은당일출구조사를실시하고나머조사방법지지역은사전, 당일전화조사를실시 KBS-SBS( 미디어리서치등 4개조사기관 ) 좌동 허용오차 ± 4.4% p ± 3.1%p~±4.4% p 출구조사시응답자선정방법 출구조사방법 투표인수에따라서 5-7명당 1명씩계통추출 직접질문 -> 기록 -> 전송 좌동 ( 약간의차이는있음 ) 투표형식 ( 용지주고-> 기입 -> 봉투또는상자투입 ) 조사원여대생 (20 대 ) 좌동 ( 일부남학생 ) 조사원배치조사구당 1 팀 2 명조사구당 1 팀평균 5 명 자료전송개인휴대정보단말기 (PDA) ARS 등 무응답자또는응답거부자조치방법무응답층과출구조사의이해정도 다음사람으로교체, 교체한사람도무응답이면그다음사람 ( 응답한사람부터다시추출방법을적용 ) 40대후반이후의연령이무응답층의주류를이루고있으며그중여성이많음. 출구조사에대한이해가부족하고비밀보장을우려 무응답자, 응답거부자들의성별, 연령만을기입하여무응답처리하거나 (2곳), 다른응답자로교체 (2곳) 좌동 - 5 -
두방송사의출구조사방법이각기달랐는데, Bishop과 Fisher(1995) 는 1992년미국대통령선거에서의연구결과로대면조사보다는비밀투표형식의조사가응답거부나무응답을줄이는효과적인방법임을보여주고있다. 16대총선에서실시된출구조사의경우에도비밀투표방식이직접질문방식보다예측오류가작았다 (3장참조 ). 선거예측조사의성패는후보자들에대한실제득표율을얼마나정확하게예측하느냐에달려있는데각방송사에서예측발표한예상득표율과실제득표율과의차이가허용오차의범위 ( 지역별로허용오차의범위가달라여기서는 ± 5.0 %p 를허용오차의범위로하였다 ) 를넘는것이상당수에이르러이번선거예측결과는통계학적으로볼때신뢰성에문제가있다고평가할수있다. 당선자에대한예상득표율과실제득표율과의차이그리고 1, 2위간예상득표율의차이와실제득표율간의차이에대한비교가 < 표 4> 에제시되어있다. < 표 4> 로부터당선자들에대한예상득표율과실제득표율과의차이를볼때오차가 ± 5.0 %p 를초과한지역이전체 227개선거구중에서 MBC( 한국갤럽 ) 가 83개지역으로전체의 36.6% 이고 KBS-SBS( 미디어리서치외 3개회사 ) 도 MBC의경우보다는다소적지만 75개지역으로전체의 33.0% 를차지하고있다. 오차가 ± 10.0 %p 를초과한지역도 MBC와 KBS-SBS가각각 21개지역 (9.3%) 과 22개지역 (9.7%) 이나되었다. 경상도지역 ( 부산, 대구, 울산, 경북, 경남 ) 의 65개선거구에서오차가 ± 5.0 %p 를초과한지역이 MBC가 41개지역이고 KBS-SBS는 29개지역으로경상도전체의 63.1% 와 44.6% 에이르고있다. 또한 ± 10.0 %p 를초과한지역도 MBC가 12개지역 (18.5%) 을그리고 KBS-SBS가 8개지역 (12.3%) 을차지하고있다. 전라도 ( 광주, 전북, 전남 ) 지역도전체 29개지역중에서 MBC는 ± 5.0%p 를초과한지역이 19개지역으로전라도전체의 65.5% 에이르고있으며 ± 10.0 %p를초과한지역도 7개지역 (24.1%) 이나되었다. KBS-SBS도전라도지역에서 ± 5.0 %p와 ± 10.0%p를초과한곳이각각 14개지역과 5개지역으로전라도전체의 48.3% 와 17.2% 를차지하였다. 특히 MBC는부산과대구지역에서오차범위 ± 5.0%p 내에있는지역은 28개선거구중에서단 3곳에불과했다. 반면에 KBS-SBS는서울에서오차범위 ± 5.0 %p 를초과한지역이 16개지역으로 45개선거구의 35.6% 가되었다. 이번 16대총선에대한선거예측조사에서의특징은전체적으로오차범위를넘은지역이많았고지역별로편차가극심하였다. 전국227개선거구중에서경상도와전라도에는전체선거구의 41.4% 인 94개선거구가있다. 그러나오차가 ± 5.0 %p 를초과한지역이 MBC의경우전체 83개지역중에서경상도가 41개지역 (49.4%) 전라도가 19 개지역 (22.9%) 으로두지역이전체의 72.3% 를차지하고있으며 ± 10.0 %p 를초과하는지역은전체 21개선거구중에서경기도지역 2곳을제외한 19개지역이모두경상도와전라도지역이다. 한가지흥미로운것은오차가 ± 10.0 %p 를초과하는 21개지 - 6 -
역중에서경기도 2곳과경북 1곳을제외하고는모두작게예측하였다. 한편 KBS-SBS도허용오차가 ± 5.0%p 를초과한전체 75개지역중에서경상도 29개지역 (38.7%), 전라도 14개지역 (18.7%) 으로전체의 57.3% 나되고 ± 10.0 %p 를초과하는지역은전체 22개선거구중에서경상도 (8) 와전라도 (5) 가 13개지역 (59.1%) 이었다. 그러나 MBC와는반대로 17개지역을높게예측하였다. < 표 4> 지역별예상득표율과실제득표율과의차이 p 1 - p 1 100 ( p 1 - p 2 )-(p 1 - p 2 ) 100 지역 5.1 ~ 10.0 % p 10.1 % p 이상 10.0 ~ 19.9 % p 20.0 % p 이상 M K-S M K-S M K-S M K-S 서울 (45) 7 11 0 5 1 10 0 2 부산 (17) 7 3 7 0 6 2 5 0 대구 (11) 7 4 4 2 8 5 1 1 인천 (11) 3 2 0 0 2 1 0 0 광주 (6) 1 3 3 2 3 2 1 1 대전 (6) 1 0 0 0 0 1 0 0 울산 (5) 2 2 0 1 1 2 0 1 경기 (41) 4 4 2 2 6 4 1 2 강원 (9) 2 2 0 0 2 1 0 0 충북 (7) 1 1 0 1 0 0 0 1 충남 (11) 1 3 0 1 1 4 0 0 전북 (10) 5 3 2 1 2 3 2 1 전남 (13) 6 3 2 2 5 4 0 1 경북 (16) 6 7 1 3 5 8 1 2 경남 (16) 7 5 0 2 3 3 0 2 제주 (3) 2 0 0 0 2 0 0 0 합계 (227) 62 (27.3%) 53 (23.3%) 21 (9.3%) 22 (9.7%) 47 (20.7%) 50 (22.0%) 11 (4.8%) 14 (6.2%) * 본자료의일부는 2000 년 4 월 13 일오후 6 시에방송된 T V 자료를참고하였음. 당선자에대한예측치의차가가장크게난지역은 MBC가부산사하갑의엄호성 ( 한나라당 ) 후보에대해실제보다 20.7% 나낮게예측하였고 KBS-SBS는전북의진안 - 7 -
-무주-장수지역의정세균 ( 민주당 ) 후보를 18.8% 나높게예측하였다. 1위와 2위간의차에대한예측도실제와의차이가 ± 10.0 %p 이상인지역이 MBC 가 58개지역 (25.5%) 이고 KBS-SBS가 64개지역 (28.2%) 이나되었다. 차이가가장큰지역은 MBC의경우역시부산사하갑에서실제보다 40.7% 나낮게예측한반면에 KBS-SBS는전북의진안-무주-장수지역에서 37.2% 나높게예측하였다. 위의결과로볼때, 예측결과의오류에큰영향을주는요인으로지역적특성을들수있다. 따라서향후예측에서는이러한지역적특성에의한조사방법의개발과가중치조정문제에심혈을기울여야할것이다. MBC와 KBS-SBS가당선자들에대해각각발표한예상득표율의차이가 ± 5.0 %p가넘는지역이 99개지역이나되었고 1위와 2위간의차이에대한예상득표율과실제득표율간의차가 ± 10.0 %p이상나는지역도 78곳이나됨을 < 표 5> 로부터알수있다. 1위예측차이가 10.1 % p이상나는 39지역중에서 2곳을제외한 37 개지역에대해서 KBS-SBS가 MBC보다높게예측하였고 1위와 2위와예측차이에대해서도 1곳을제외한 15개지역에대해서 KBS-SBS가높게예측하였다. 예측에있어서전체적으로 KBS-SBS가 MBC보다높게예측하였다. 방송사들간의차이를볼때도예측에있어서의큰오류가있음을알수있다. < 표 5> 방송사들간의예측치차이 구분 KS ( p 1 )-M ( p 1 ) KS ( p 1 - p 2 )-M ( p 1 - p 2 ) 5.1 ~ 10.0 % p 10.1 % p 이상 10.0 ~ 19.9 % p 20.0 % p 이상 서울 (45) 10 7 8 2 경기인천 (52) 11 4 9 3 경상도 (65) 21 19 27 8 전라도 (29) 7 5 10 1 충청도 (24) 8 4 5 2 강원도 (9) 1 0 2 0 제주도 (3) 2 0 1 0 계 (227) 60 39 62 16 III. 표본크기의계산 표본조사를실시하기전에주어진여건을감안하여표본크기를정하여야한다. 표 - 8 -
본크기는조사의신뢰성및조사비용과직접적으로관련이있으므로이점을고려하여결정하게된다. 통상적으로선거예측조사에서사용되는표본크기의결정은특정후보의득표율을예측하기위한것이므로비율추정의분산공식을사용한다. 주어진신뢰수준과허용오차의범위내에서특정후보의지지율을예측하기위한표본크기는식 (1) 을사용한다. 지난 15대총선의전화조사나이번 16대총선의전화조사와출구조사의경우도마찬가지지만지금까지대부분의선거조사에서이러한공식을사용하였다고보여진다. 그러나선거예측조사에서관심의초점은당선이확실한지역보다는 1위와 2위후보들간의당선가능성이백중한곳이되고이지역에대한예측에서의차이가여론조사의신뢰성에큰영향을미치게된다. 이번의선거예측조사에서도 MBC의경우혼선지역 (1위와 2위간의예측차이가 ± 5.0 %p이하의지역 ) 53개중에서실제와예측치간의차이가이범위를벗어난지역이 19개지역 (35.8%) 이고 KBS-SBS의경우경합지역 (MBC와달리 1위와 2위의예상득표율의차가 ± 5.0 %p 이하가아니라허용오차범위내의지역 ) 51개중에서주어진범위를벗어난지역이 13 개 (25.5%, 허용오차의범위가각지역별로달라일정하지않아 MBC와같이 ± 5.0 %p를기준으로하였다 ) 나되었다. 이러한결과로볼때사전조사에의해혼선또는경합지역으로분류되는지역에대해서는타지역과동일한방식을사용하기보다는두후보간의예상득표율차의분산공식을사용하여표본크기를정하는것이바람직하다고본다. 이때는비율차가다항분포를하게되므로식 (2) 를사용하여표본크기를정한다. < 표 6> 과 < 표 7> 에의하면신뢰수준과허용오차의범위가같다하여도표본크기가두후보간의비율차를사용하였을때가커지게된다. 1. 특정후보에대한득표율추정 ( p ) i 번째응답자 ( X i ) 가특정후보에투표를했으면 1 이고그렇지않으면 0 이라하면 X i 는 b (1, p ) 인베르누이분포를한다. 단순확률표본 n 으로부터특정후보의득표율에대한추정량과추정량의분산은각각다음과같다. p = 1 n i n x i, =1 Var ( p )= p (1-p). n 95% 신뢰수준하에서허용오차를 B로했을때다음관계식으로부터필요한표본크기의식 (1) 을얻는다 p - p z 0.025 p (1-p ) n = B ( 허용오차 ), n = z 2 0.025 p (1-p ) B 2 2 2 4B 2 (1) - 9 -
여기서 z 0.025 2. < 표 6> 당선자득표율예측에필요한표본크기 B 0.01 0.02 0.025 0.03 0.04 0.05 n 10,000 2,500 1,600 1,111 625 400 2. 두후보에대한득표율차의추정 ( p 1 - p 2 ) 두후보의득표율차에대한추정량의분산은다음과같이된다. Var ( p 1 - p 2 ) = Var( p 1 )+Var( p 2 )-2Cov( p 1, p 2 ) = p 1 (1-p 1 ) n + p 2 (1-p 2 ) n + 2 p 1 p 2 n 95% 신뢰수준하에서허용오차를 B로했을때다음관계식으로부터필요한표본크기의식 (2) 을얻는다 ( p 1 - p 2 )-(p 1 - p 2 ) z 0.025 1 n p 1(1-p 1 )+ p 2 (1-p 2 )+ 2p 1 p 2 = B ( 허용오차 ) n = z 2 0.025 p 1 (1-p 1 )+ p 2 (1-p 2 )+ 2p 1 p 2 B 2 2 2 (2) B 2 여기서 z 0.025 2 < 표 7> 두후보의득표율차를예측하는데필요한표본크기 B 0.01 0.02 0.025 0.03 0.04 0.05 n 40,000 10,000 6,400 4,444 2,500 1,600 IV. 편향의측정선거예측조사의관건은당선자에대한예상득표율과실제득표율과의차이가어느정도가되는가가문제가된다. 그러나선거환경이나국민들의의식에따라차이가발생하게된다. 편향이생기는요인은여러가지가있을수있겠으나우리나라에서선거예측조사를실시한결과를놓고볼때다음과같은이유로편향이발생한다고볼수있다. 1. 무응답에따른편향 1996년 15대총선과 1997년 15대대선에서실시한전화조사에서무응답률이무려 - 10 -
50%( 응답거부, 응답자접촉불능포함 ; 박무익 (1998), 박재수 (1996), 21세기방송연구소 (1996)) 를넘었고, 이번 16대총선에서도여전히무응답률이문제가되었다. 특히이번에처음으로실시된출구조사에서도정확한수치는얻지못했으나조사원들과조사기관의예측으로볼때무응답률이대략 30% 선에이른다니선거예측추정에편향 (bias) 이생기지않을수없다. 이제까지사용했던전화조사의단점을보완하기위해서요구됐던출구조사는확률표본을얻을수있고이에대한통계적방법의적용이다양하다는점이다. 그런데대면조사로실시한출구조사에서도무응답이많이발생하므로이점을고려한추정이필요하게된다. 1) 특정후보에대한득표율추정 ( p ) 무응답편향을측정하기위해서모집단비율을다음과같이나타낸다. p = λ p n +(1-λ ) p r 여기서, λ 는모집단을무응답그룹과응답그룹으로나누었을때의무응답그룹의비율이고무응답그룹과응답그룹에서특정후보에투표한비율을각각 p n 와 p r 이라하자. 표본추출과무응답으로인한오차이외에는조사오차가없는경우를가정하고, 응답자들만을기반으로한 p 의불편추정량을 p r 이라할때, Bias( p r ) = E ( p r )-p = p r - λ p n -(1-λ) p r = λ ( p r - p n ) 가된다. 무응답률 λ 와응답집단과무응답집단에서특정후보에투표한비율의차에따른편향은 < 표 8> 에있다. λ 와비율차 ( p r - p n ) 가클수록편향이증가하는것을쉽게알수있다. 두후보의예상득표율차에대한경우도유사한결과를얻는다. < 표 8> 무응답발생에따른편향 λ p r - p n 0.3 0.5 0.7 0.9 0.05 0.10 0.15 0.20 0.015 0.030 0.045 0.060 0.025 0.050 0.075 0.100 0.035 0.070 0.105 0.140 0.045 0.090 0.135 0.180 2) 두후보에대한득표율차의추정 ( p 1 - p 2 ) - 11 -
특정후보에대한득표율추정에서와동일한가정하에서편향은다음과같다. Bias( p 1r - p 2r ) = E ( p 1r - p 2r )-(p 1 - p 2 ) = λ ( p 1r - p 2r )-(p 1n - p 2n ) 2. 거짓응답에따른편향무응답과함께예측조사에서오류발생의주요요인으로거짓응답을들수있다. 이것도출구조사에서문제점으로지적되고있는사항중의하나로응답자들이솔직한응답을하지않았을것이라는점이다. 그렇다면응답자들의거짓응답으로인한편향이어느정도인가를살펴보는것도중요하다. 실제투표소에서특정후보 (A 후보라가정한다 ) 에게투표를한사람이나와서출구조사에응할때거짓응답의경우를살펴본다. A후보에투표한사람들의비율을 p A ( 실제득표율 ) 라하면단순확률표본인 n명의응답자들중 n' 명이 A 후보에게투표를했다고솔직하게응답하면 A 후보의실제득표율 p A 의추정량 p A 는다음과같이된다. p A = n' n 이때 p A 는 p A 의최우추정량이고추정량의분산은 p A (1-p A )/n 가된다. 그러나응답자들이진실되게응답하지않을경우, 류제복 (1993) 에서가정한 바와같이응답확률변수 R i (i=1,2,,n) 를 i 번째응답자가 A 후보에게투표 를했다 라고응답하면 1이고 A후보에게투표를하지않았다 라고응답하면 0이라정의하고모든응답자에대하여다음과같은가정을한다. 1 δ = P ( R = 0 A ) 2 β = P ( R = 1 A ) 3 응답은각표본단위에대하여독립이다. 이러한가정으로부터응답자들이 A후보에게투표를했다고응답할확률은 p = P ( R = 1) = p A (1-δ ) + ( 1 - p A ) β 가된다. 그런데가정 3 으로부터 n R i 는 i =1 b(n, λ) 가되므로거짓응답으로부 터 p A 의최우추정량 p A 를얻는다. - 12 -
p A = 1 n i n R i =1 p A 를 p A 의추정량으로사용하면편향이발생한다. 즉, Bias ( p A ) = ( 1 - p A ) β - p A δ 만약 δ = β (=θ) 라면편향은다음과같이간단하게된다. Bias ( p A ) = θ (1-2p A ) 3. 무응답교체에따른편향 이번출구조사에서응답자들이응답을거부하거나또는응답을하지않은경우가 상당히높은것으로나타났다. 이에대해조사기관에서는응답거부자나무응답자들을 다른사람들로교체 (substitution) 해서응답을얻는방법을사용하였다. 그러나이러한 교체방법을사용할경우에도편향이발생하게된다. 가장간단한경우의예를들어보 면, 모집단을응답집단과교체집단으로나누고교체집단의비율을 4.1절에서와같이 λ 로두고교체집단으로부터얻은특정후보의지지율을 p s 라두면특정후보를지지 하는비율은다음과같이된다. p = λ p s +(1-λ ) p r 표본추출과무응답으로인한오차이외에는조사오차가없는경우를가정하고, 응답 자들과교체응답자들을기반으로한 p 의불편추정량을 p rs 이라할때, Bias( p rs ) = E ( p rs )-p = λ ( p s - p n ) 이된다. 따라서무응답자를교체하는경우의편향을줄이기위해서는 4.1. 절에서와같이무응답률을줄이는것과교체표본들의특정후보를지지하는비율이무응답자들의지지비율과같도록교체하는것이바람직하다. 예를들어, 50대이후의여성들이무응답또는응답거부자일때는단순히다음순번의사람들로교체하는것보다는같은연령대의여성으로표본을교체하는것이편향을줄여주게된다. V. 결론및토의법적으로우리나라에서선거예측조사가 1992년부터가능하였으므로채 10년도되지않은시점에서완벽한조사결과를기대하기는어렵지만선거예측조사가실시되고있는시점에서보다정확한조사결과를내놓는것이조사기관뿐만아니라이분야에종사하는모든사람들의책임이라할수있다. 지금까지의선거예측조사에대한내용을검토해볼때향후선거예측조사의신뢰성 - 13 -
을높이기위해서는다음과같은몇가지사항에대한개선및연구가필수적이다. < 법적인문제 > 지난 15대총선과대선에서는법적으로선거일에투표소로부터 500m이내에서의조사가금지되어전화조사만으로선거예측조사를하였다. 이러한법적제한이 2000년 2 월 16일에개정되어종전의 500m이내제한이 300m 이내로완화되기는했지만이러한법적제한속에서는실질적인출구조사가불가능하다. 이번의출구조사에서일부지역은법적제지로출구조사시문제가발생하기도했다. 따라서제대로된출구조사로신뢰성있는조사결과를얻기위해서는이러한법적제한을철폐해야한다. 아울러선거기간동안조사결과의발표금지조항도삭제또는수정되어야한다. 왜냐하면이와같은법적제한이일반국민들에게출구조사등선거관련조사에부정적인상을주어조사에어려움을주기때문이다. < 조사방법상의문제 > 1. 표본크기의선정 : 통상적으로선거예측조사에서표본크기는한특정후보의득표율을추정량의분산식을이용한식 (1) 로구하고있다. 그러나앞에서지적하고있는바와같이경합지역또는혼선지역의경우는두후보간의차의비율공식을이용한식 (2) 를사용하는것이바랍직하다. 따라서항상동일한식을사용하기보다는필요에따라적합한공식을사용하여표본크기를결정하여야한다. 2. 무응답이나거짓응답을줄이기위해서응답자들의신분을보장해주는방법 ( 확률화응답기법, 등 ) 들을적용하고무응답률과거짓응답률에대한추정의문제도고려하여야한다. 또한 4.3절에서언급한바와같이무응자교체시편향을줄이기위해서는무응답층에대한정확한분석과무응답층과유사한사람으로교체하여야한다. 그리고응답자교체가여의치않을경우대체 (imputation) 추정방법을사용한다. Smith et al.(1999) 은 1992년영국의총선거에서투표성향을예측하기위해로그-선형모형을사용하여무응답문제를다루었다. 3. 선거예측조사의오류가지역에따라큰차이를보이고있으므로지역적특성에맞는조사방법의개발과가중치조정문제에심혈을기울여야할것이다. 향후선거예측조사의정확성을높이기위해서는이번선거예측자료와실제결과자료를비교분석하여무응답층과지역의특성을파악하고이에따른가중치계산등에대한연구검토가필요하다. < 기타문제 > 1. 조사원채용시응답자들의여건과비슷한사람들을조사원으로채용하여응답자들의부담을덜어주어무응답과응답거절및거짓응답의가능성을줄인다. 2. 한국의정치사회적여건상 50대이후의연령층들이출구조사에대한이해부족과응답자들의신분보장이안된다는생각에조사에응답을하지않거나거부하며, - 14 -
심지어거짓응답의가능성이있다. 그러므로조사전에출구조사에대한이해와응답자들의신분보장에대한충분한설명등이있어야한다. 3. 언론보도에서도마치점쟁이가점을치는것과같은형태로, 예상했던후보가실제로얼마나당선되었는가로예측조사의신뢰성를평가할것이아니라좀더과학적이고통계적인방법으로이를평가하고국민들이선거예측결과에대한올바른판단을할수있도록유도하는것이공영언론기관으로서의의무라본다. 선거여론조사의역사가짧은상황에서향후선거예측조사의신뢰성을높이기위해서는학계와조사전문기관들간의지속적인연구 협동체계가이루어져야한다. 참고문헌 류제복, 홍기학, 이기성공저. 1993. 확률화응답모형 자유아카데미이시윤편. 1993. 1993년도판판례소법전 청림출판사이택규외편저. 2000. 2000년대한민국신헌법 법률출판사 21세기방송연구소. 1996. 투표자조사, 어떻게할것인가. 제9회토론회결과보고서 노규형. 1998. 선거예측조사의이론과실제. 1998년한국통계학회춘계학술발표회논문집 : 10-16 대법원. http:\\www.scourt.go.kr 동아일보. 2000년 4월 14일, 15일자신문류제복. 1993. 대체확률화응답기법. 응용통계연구 6(2): 311-318 박무익. 1998. 한국의제15대대통령선거와선거예측조사. 1998년한국통계학회춘계학술발표회논문집 : 1-9 박재수. 1996. 선거예상조사에대한비판 (15대총선투표자전화조사를중심으로 ). 통계 22(2): 2-17 조선일보. 2000년 4월 14일, 15일자신문중앙선거관리위원회. http:\\www.nec.go.kr 중앙일보. 2000년 4월 14일, 15일자신문 MBC, KBS-SBS, 2000년 4월 13일, 선거예측조사 T V방송보도자료 Backstrom, C. H. and Hursh-César. 1981. Survey Research(2nd. ed.): John Wiley & Son, Inc. Lessler, J. T. and Kalsbeek, W. D. 1992. Nonsampling Error in Surveys: John Wiley & Son, Inc. Scheaffer, R. L., Mendallhall, W. III, and Ott, R. L. 1996. Elementary Survey - 15 -
Sampling(5th. ed.): Duxbury Press Bishop, G. F. and Fisher, B. S. 1995. Secrete Ballots and Self-Reports in an Exit-Poll Experiment. Public Opinion Quarterly 59: 568-588. Smith, P. W. F., Skinner, C. J., and Clark, P. S. 1999. Allowing for Non-ignorable Non-response in the Analysis of Voting Intension Data. Applied Statistics 48(4): 563-577. - 16 -