연구논문 제 16 대국회의원선거의예측조사에대한사후적검증 A Post-Examination of Forecasting Surveys for the 16th General Election 홍내리 1) 허명회 2) Nae-Ri Hong and Myung-Hoe Huh 2000년 4월 13일의제 16대국회의원선거에서전화조사와출구조사를활용하여 KBS, SBS, MBC 등 TV 방송사들은당선자예측방송을한바있다. 그러나결과적으로부정확한것으로드러났고이에따라통계조사에대한일반인의불신감만키우는결과가되었다. 이연구의목적은다음과같다. 1) 4 13 총선거예측에서전화조사와출구조사가실제로어떠하였는가? 2) 무엇이문제였는가? 3) 무엇을개선해야하는가? 등이다. 주요결론은전화조사에서재통화 (call back) 에대하여느슨한조사규칙이적용되는등확률표집의원칙이충실하게준수되지않았으며출구조사에서는투표소표집수가너무작았다는것이다. 또한근본적인개선을위해서는선거여론조사에관한법의개정이필요함을지적하였다. On the election day of the 16th Korea National Assembly, nationwide TV stations such as KBS, SBS and MBC broadcasted election forecasting based on telephone surveys and exit polls. The result turned out to be significantly wrong, undermining general audience's confidence on the "scientific" surveys. The purpose of this study consists of the followings. i) What form of telephone surveys and exit polls were adopted by survey institutions in real field? ii) What were the problems? iii) What can we do to make it straight? Major findings of the study include the ignorance of call-back rules in telephone survey and the inadequate number of sampled election posts to make satisfactory forecasting. It is pointed out that it is necessary to amend election laws related to election opinion polls to make a substantial progress. 1) 고려대학교통계학과석사과정졸업, e-mail: hongnl@dreamwiz.com 2) 고려대학교정경대학통계학과교수. (136-701) 서울특별시성북구안암동 5 가 1. 전화 02-3290-2235, 팩스 02-924-9895, e-mail: stat420@mail.korea.ac.kr - 1 -
1. 들어가며 선거예측조사는여론조사의잘잘못이확연히가려질수있는거의유일한여론조사이다. 예를들어, 현정부의남북정책에대한여론조사에대해서는그결과가맞았는지혹은틀렸는지를알기어렵다. 그러나, 선거예측조사에서주요한사항인지지율에대한답은투표가마감된후불과며칠, 또는몇시간만지나면밝혀지게된다. 선거예측조사의역할및필요성에대하여는많은논란이있지만, 통계적측면에서는한나라조사연구의질적수준을살펴볼수있는좋은기회인것이사실이다. 본논문의목적은제16대국회의원선거 (2000년 4월 13일실시, 이하 4 13 총선거로약칭 ) 예측조사를여러통계적관점에서검토하고문제점을파악한뒤궁극적으로선거여론조사방법의개선방안을찾는데에있다. 구체적으로본연구는 4 13 총선거에대한예측조사로서 KBS, SBS, MBC 등 TV 방송사의의뢰로 5개조사회사에의해선거운동기간동안선거일당선자예측보도를위해계획되고실시된조사만을대상으로한다. (KBS와 SBS는 4 13 총선거를위한예측조사를미디어리서치, 코리아리서치, 한국리서치, TN 소프레스등 4개조사회사에의뢰하였고, MBC는한국갤럽에단독의뢰하였다. 조사회사는전화조사와출구조사를혼합 실시하여 TV 방송사에득표율예측자료를제공하였다.) KBS/SBS와 MBC의당선자예측결과를살펴보면, 227개선거구중 KBS/SBS는 21 개 (9.3%), MBC는 23개 (10.1%) 선거구에서당선자예측에실패했다. < 표 1> 과 < 표 2> 를보면, 민주당후보의당선을예상했으나한나라당후보의당선으로인해예측오류가발생한경우는 KBS/SBS, MBC가각각 15건, 14건임을알수있다. 이는이번총선거예측에서전반적으로여당인민주당이과대예측된반면, 한나라당은과소예측되었음을보여주는것이다. KBS/SBS는총 21개예측오류중 15개 (71.4%) 가출구조사를통해최종예측치를산출한선거구에서발생했고, MBC의경우에는총 23개중 15개 (65.2%) 가그러하였다. KBS/SBS는총 77개선거구에서출구조사를실시하였고, 그중 15개선거구에서예측오류가발생했다. 특히, 이 15개예측오류는모두예상과는달리한나라당후보가당선됨으로써발생한것이다. MBC는총 79개선거구에서출구조사를실시하였고, 그중 15개선거구에서예측오류가발생했다. KBS/SBS와마찬가지로한나라당후보가당선됨으로써예측실패로돌아간곳이 13개선거구로많았다. 앞서살펴보았던당선자예측에서의한나라당과소예측의경향은출구조사에서두드러지게나타난현상임을알수있다. < 그림 1> 은한나라당과민주당후보자에대한예측오차를보여준다. 이에의하면 KBS/SBS의전화조사에서예측오차의위 아래사분위수차이가 6~7%p로서표준오 - 2 -
차로환산하면 4.4~5.2%p 정도이며출구조사에서는 2%p 정도의편향이존재한다. 정도 ( 精度 ) 측면에서는출구조사가전화조사에비하여다소나은편이다. MBC 조사도 KBS/SBS와유사하지만전화조사에서한나라당에대한과소예측편향과출구조사에서민주당에대한과대예측편향이뚜렷이드러난다. < 표 3> 은 227개선거구당선자에대한예측오차가 ±5%p 미만의경우와이상의경우를방송사 조사방법별로분류해본것이다. 전체적으로는예측오차가 ±5%p 미만으로나타난상대빈도가 66.5%(KBS/SBS) 63.4%(MBC) 에불과하고전화조사에비하면출구조사가오히려정확한편임을볼수있다. 그러나 100% 가까이정확성이기대되는출구조사에대한예측에서도오류수가상당한것이사실이기때문에전화조사및출구조사등선거예측방법이전반적으로실제어떤문제점을갖고있는지엄밀히검토해볼필요가있다고하겠다. 15대총선거에대한검증적연구에대하여는허명회 (1998) 의제 1장이있으며, 16 대총선거예측에대하여는한국조사연구학회김정훈 (2000) 의 2000년춘계학술대회토론과류제복 (2000) 과박용치 (2000) 등의선행연구가이연구의기본골격이되었음을밝혀둔다. < 표 1> KBS/SBS의당선자예측결과 결과예측 한나라당 민주당 자민련 기타 합계 한나라당 94 1 0 0 95 민주당 15 95 0 2 112 자민련 0 0 12 0 12 기타 3 0 0 5 8 합계 112 96 12 7 227 < 표 2> MBC의당선자예측결과 결과예측 한나라당 민주당 자민련 기타 합계 한나라당 96 4 0 0 100 민주당 14 91 1 1 107 자민련 0 1 11 0 12 기타 2 0 0 6 8 합계 112 96 12 7 227-3 -
< 그림 1> KBS/SBS( 위 ), MBC( 아래 ) 의정당별예측오차 < 표 3> 전화조사와출구조사의당선자득표율예측결과비교 KBS/SBS ±5%p 미만 ±5%p 이상 전체 전화조사 83 (55.3%) 67 (44.7%) 150 (100%) 출구조사 68 (88.3%) 9 (11.7%) 77 (100%) 전체 151 (66.5%) 76 (33.5%) 227 (100%) MBC ±5%p 미만 ±5%p 이상 전체 전화조사 77 (52.0%) 71 (48.0%) 148 (100%) 출구조사 67 (84.8%) 12 (15.2%) 79 (100%) 전체 144 (63.4%) 83 (36.6%) 227 (100%) - 4 -
2. 선거예측조사의실제 KBS/SBS와 MBC의의뢰로이루어진 5개조사회사들의전화조사및출구조사가실제로어떻게진행되었는가를살펴보도록하겠다. 자료접근및담당자인터뷰에있어 KBS/SBS 조사에대하여는비교적자유로웠으나 MBC 조사에대하여는제한적이었으므로분석의폭에있어불균형이초래되는결과가되었음을미리알려둔다. 2.1 전화조사 KBS/SBS( 미디어리서치, 코리아리서치, 한국리서치, TN 소프레스 ) 는경합정도에따라 2~3회의전화조사를실시하였다. 한국리서치와 TN 소프레스는막판에출구조사의필요성을감지하였으나미처준비가안된지역에대해서투표당일전화조사를실시하였다. MBC( 한국갤럽 ) 는선거운동기간동안에지역구별로 2~4회의전화조사를실시하였고, 4월 13일과 14일에두차례의사후전화조사를실시하였다. 사후조사는후보지지이유, 투표영향요인, 이슈에대한견해등투표행태에관한정보제공및전국구득표율을예측하기위해실시하였다. 응답자선정방법미디어리서치는읍 / 면 / 동유권자비율에따라표본가구수를정하고, 선거구내전화번호들을지역별로구분한뒤구분된각지역내에서계통추출로표본가구를추출하였다. 응답자의선정은해당읍 / 면 / 동의성, 연령비율에따라할당된표본수를채워나가는방식으로하였다. 코리아리서치는 2000년 1월최신전화번호부를이용하여미디어리서치와비슷한방법으로응답자를선정하였다. 한국리서치는읍 / 면 / 동유권자수비율에따라표본가구수를정한후최근의전화번호부에서응답가구를무작위추출하였다. 1차, 2차전화조사에서응답자선정은각선거구의성, 연령비율에따라할당된표본수를채워나갔으며, 3차전화조사에서는성, 연령, 읍 / 면 / 동비율에따라표본수를할당하였다. 2개이상의행정구역이하나의선거구를구성하는복합선거구의경우에는행정구역별로별도의할당추출을하였다. TN 소프레스역시표본가구는전화번호부를이용하여무작위추출하였고, 표본가구내에서응답자의선정은선거구내읍 / 면 / 동, 성에대한유권자분포를토대로할당추출하였다. TN 소프레스는다른조사회사들과달리연령을할당변수로고려하지않았다. 한국갤럽은읍 / 면 / 동별할당수를정한후각동 ( 洞 ) 의담당조사원들이정해진수만큼의응답을받아내도록하였다. 담당동의전화번호부에서전화번호를추출하는 - 5 -
것과통화가된가구에서응답자를선정하는것등을모두조사원들에게일임하였다. 재통화 (call-back) 규칙이번총선거예측조사에참여했던 5개조사회사는부재중, 통화중, 조사거절의상황에서모두재통화를하지않았다. 그이유는표집방식이지역, 성, 연령등을할당변수로하여할당표본수를채워가는것이었으므로재통화를통해처음접촉자에게응답을받아내려는노력이굳이필요하지않은것으로보았기때문이다. 따라서응답률 1) 도매우낮았을것으로예상되는데, 전화조사에서응답률을조사한 TN 소프레스에의하면응답률은평균 16.2% 였다고한다. TN 소프레스는경합이예상되나출구조사를실시하지못한지역에대해서선거당일투표자사후조사를실시하였는데, 이때는재통화를하였으며, 원칙적으로 3회까지시도하였다. 질문지의구성미디어리서치는가장먼저 5점척도로투표의향을묻는다. 그리고나서바로지지후보에대하여묻되, 응답하지않은경우에는어투를바꾸어한번더질문한다. 지지정당이나인구통계적변인과같이기본적인사항들을질문한후마지막으로지지후보에대해다시확인하는질문을한다. 매전화조사마다질문의변화가조금씩있었지만, 코리아리서치도투표의사, 지지후보, 당선가능후보, 정당기준선호도, 응답자특성 ( 성, 연령, 거주지역, 직업, 학력, 소득, 원적 ) 의순서로질문하였다. 한국리서치는인구통계적특성 ( 성, 연령, 거주읍 / 면 / 동 ), 투표권유무및투표의향, 지지후보및지지정당, 사회경제적특성 ( 학력, 직업, 고향 ) 등을질문하였다. 지지후보가없다고답하는경우에는호감가는후보를물었고, 지지후보가없는이유 ( 혹은결정하지못한이유 ) 에대해질문하였다. TN 소프레스는지지후보에대해서 ~ 중어느후보가당선되면가장좋을것같습니까? 라는표현으로질문하였고, 이에응답하지않는경우한번더생각해볼것을부탁하면서재차질문하였다. 투표의사에대해서는대부분의유권자가솔직한대답을하지않기때문에투표참여의향을직접묻지않고 투표할것같습니까? 투표하지않을것같습니까? 와같이간접적으로질문하였다. 특히, TN 소프레스는투표당일언제투표할것인지를질문하였다. 한국갤럽은성, 연령, 학력, 원적, 거주지역을기본적으로질문하고, 지지후보와이 1) 여론조사에서 응답률 은두가지의미로쓰인다. 무응답률에반대되는의미로쓰이기도하지만, 거절하지않고조사에응한비율을의미하기도한다. 여기에서는후자의의미로쓰였다. - 6 -
에무응답인경우호감가는후보를물었다. 투표의향은 4점척도문항으로질문하였다. 최종예측치산출방법미디어리서치는선거구에따라최종예측치산출을위해사용한방법이다르다. 크게는무응답자를제외한방법, 단순판별, 단순뉴럴, 분류판별, 분류뉴럴방법의 5가지로나눌수있다. 판별분석의경우지역상황에따라판별변수가변하는데, 예를들어서울에서한나라당과민주당의경합이예상되는지역이면출신지역을가장우선적으로고려하나, 자민련이우세로나타나는지역에서는출신지역을판별변수에서제외하기도했다. 그리고각각의방법에대해서전체응답자를대상으로하는방법이있고, 투표예상자만을대상으로, 주요직업에종사하는응답자만을대상으로, 주요지역의거주자만을대상으로하는네가지분석방법이있다. 따라서총 20가지의분석이가능하다. 여기에이전선거의투표율을토대로성, 연령가중치를부여한결과까지포함하면모두 40가지방법에의한예상득표율이나온다. 이중에서그지역의판세나선거에영향을미칠수있는여러요인을고려하여가장타당한예측치를최종예상득표율로정하였다. 코리아리서치는무응답자중에서 4점척도로조사한투표의향에서 4점인 반드시투표하겠다 에응답한무응답자만을대상으로판별분석을하였다. 먼저, 투표의향에따라추려진무응답자에게 15대총선에서의선거구별, 성별, 연령별투표율을토대로가중치를부여하였다. 그후에성, 연령, 학력, 지역, 원적지를판별변수로하여무응답자판별을하였다. 응답자에대해서도역시 반드시투표하겠다 는응답자에게만 15대총선에서의선거구별, 성별, 연령별투표율을토대로가중치를적용하였다. 그리고나서, 앞에서와같은방법으로판별된무응답자의자료를응답자자료와합하여최종예측치를산출하였다. 한국리서치는표본의성별, 연령별응답자분포가해당선거구의유권자분포와일치하도록가중치를부여하였다. 그런다음투표의향자비율이 60% 이상인경우에는지지후보에대한 1차질문에서응답자가응답한결과를기준으로후보별예상득표율을추정하였다. 그러나, 가중치를부여한투표의향자비율이 60% 미만인경우에는투표의향자의지지후보에대한응답과무응답자의호감가는후보 ( 또는호감가는후보가없을경우에는지지정당 ) 에대한응답을고려한결과를기준으로후보별예상득표율을추정하였다. 투표일당일전화조사의경우에는투표자가실제투표한후보와투표할의향이있다고말한응답자가지지하는후보를조사하였으나, 후보별예상득표율추정을위해서는이미투표를마친응답자들의지지후보만을고려하였다. TN 소프레스도기본적으로투표의향이있는응답자들의자료만을포함하였다. 그 - 7 -
리고, 전화면접원별로후보지지도를분석하여, 다른면접원과상이한패턴을나타내는면접원의조사가구에대해서는추적조사를하여부정확한조사를행한것이밝혀지면, 해당면접원의자료는제거한후예측치를산출하였다. 한국갤럽은무응답자에대해판별분석을실시하였다. 도시의경우원적지, 성, 연령, 학력, 직업을판별변수로주로사용하였으며, 지방의경우는읍 / 면, 성, 연령, 학력을주로사용하였다. 지방의경우, 선거구내읍 / 면에거주하는사람들이후보로나오기때문에각후보들이어느지역출신이냐에따라지지성향이매우달라지므로, 이를가장중요한변수로생각하였다고한다. 이때다른조사회사와의차이점은투표의향에관계없이모든응답자들을최종예측치산출에반영하였다는것이다. 2.2 출구조사미디어리서치는 18개, 코리아리서치는 20개, 한국리서치는 19개, TN 소프레스는 20개선거구에서출구조사를실시하여, KBS/SBS는결과적으로총 77개선거구에서출구조사를실시하였으며, 한국갤럽은단독으로 79개선거구에서출구조사를실시하였다. 총 65개지역구에서양방송사가동시에출구조사를진행한것으로나타났다. 출구조사대상지역선정방법미디어리서치는 1~3차에걸친전화조사결과를토대로 18개선거구를최종확정하였다. 이때득표율차이만을절대적기준으로삼은것이아니고, 다음과같은사항들을고려하였다. 즉, 일반적인지역정서와상반된조사결과가나타나는가, 1위와 2 위의지지도차이가점차줄어드는경향을보이는가, 정당지지도혹은역대선거결과와는상이한지지판세를보이는가, 무소속이나군소정당후보가높은지지도를얻고있는가, 대규모아파트단지조성으로유권자구성과성향이바뀌었는가등을고려하여출구조사대상지역선정에반영하였다. 코리아리서치와한국리서치는후보자등록이전에방송과신문등의여론조사결과를기초로 30-40개지역을후보지로선정하였고, 2차전화조사이후확정하였다. 투표소표집방법미디어리서치의경우, 추출투표소수는 6개를기본으로하되지역구별경합정도와전체투표소수, 유권자수, 복합선거구등의특성에따라가감하였다. 표집방법은편의상 역대선거오차의최소제곱법 으로부르는방법이다. 이방법의핵심은가까운시점의역대선거에서지역구전체결과와각투표소별결과의차이 ( 오차 ) 가가장적은투표소순으로추출한다는것이다. 이때각선거의성격, 지역구내특성, 후 - 8 -
보구도등에대한연구분석을통해각선거결과오차의단순합이아닌가중합을구하게되며, 당연히과거선거와이번선거간에선거구조정이있거나해당투표소관할통 / 리의변동이있는지에대해사전에파악하였다. 이번에역대선거결과로고려한선거는 14대총선, 15대총선및대선, 98년지자제선거였다. 코리아리서치는평균 6~7개의투표소를추출하였다. 사전계획단계에서는 15대총선및대선등 역대선거오차의최소제곱법 을이용하여선거구를대표할만한투표소를선정할예정이었으나, 실제로는최소제곱법을통해선거구를대표할만한대표읍 / 면 / 동을추출한후해당읍 / 면 / 동내에서는투표소를확률비례표집 (PPS) 하는 2 단계방식으로수정하였다. 한국리서치는확률비례표집 (PPS) 방법으로선거구당 21개의투표소를표집하였다. 배열된투표소목록에서최초출발점은, 최소제곱법에의해 15대대선과 15대총선에서전체선거구와후보별득표율이가장비슷한투표소로하였다. TN 소프레스가투표소표집을위해사용한방법은최소편차제곱법, strata 설정법, 순환식조사법등 3가지이다. 한국갤럽은유권자수와투표소위치의분산여부를고려하여 10개정도의투표소를추출하였다. 응답자선정방법미디어리서치는투표소별유권자수, 오후 4시까지의예상투표자수추정등을고려해 5~7명마다 1명을선정하였다. 코리아리서치는투표자 7명마다 1명을응답자로선정하였다. 한국리서치는매 5번째투표자를응답자로선정하였다. 1개투표소당 1~2개지점에서조사를실시하므로, 1개지점에서만조사할경우응답자는매 5번째투표자를추출하고, 2개지점에서조사할경우매 10번째투표자를추출하였다. 그러나, 오후로접어들면서투표자수가급격히줄어들어응답자수가너무작다고판정되는선거구에서는 3명마다 1명으로규칙을바꾸어적용하기도했다고한다. TN 소프레스는매 5~6번째투표자를응답자로선정하였다. 한국갤럽도마찬가지방법으로응답자를선정하였다. 출구조사진행과정모든조사회사가공통적으로투표후보, 성, 연령만을질문하였다. 미디어리서치의경우, 한조는 5명으로구성되었고, 조사는오전 6시부터오후 4시까지진행하였다. 면접원은질문지수거함과조사원신분증, 방송사협조공문사본을지참하였으며, 조사는자기기입식응답후직접접어서수거함에넣는방법으로진행하였다. 조사거절자수는집계하지않았으며, 선정된투표자가조사를거절할때는 - 9 -
그투표자를제외하고다시동일간격만큼센후선정된사람으로대체하였다. 코리아리서치의조사기간과기입방식은미디어리서치와동일하다. 선정된투표자가응답을거절하는경우에는별도로표시한후다음 7번째사람을조사하였다. 투표소별로조사거절자의수는집계하였으나, 성과나이는기록하지않았다. 조사거절률은약 20-25% 였다. 한국리서치는한선거구에 7개조 ( 한조는 4명으로구성 ) 를배치하였고, 각조는 3 개의투표소를시간대별로이동하면서조사하여, 한선거구에서는총 21개투표소가조사되었다. 조사는응답자가직접기입한후수거함을대신한가방에넣도록하는방식으로진행하였다. 선정된투표자가응답을거절하면, 다음 5번째투표자를면접하였고, 거절자에대해서는면접원이직접성과연령을기입하였다. 이렇게하여집계된조사거절률은지역, 성, 연령별로다르지만, 약 20% 정도였다. TN 소프레스도자기기입후수거용봉투나가방에직접넣도록하였다. 조사를거절하는투표자에게는성과연령만이라도기입해달라고부탁하여성과연령에대한응답을받아내도록하였다. 이렇게하여집계된조사거절률은약 8% 였다. 한국갤럽은 2명이 1조를이루어한개투표소를담당하였다. 조사는오전 8시부터오후 4시까지진행되었다. 조사원에게는무선인터넷폰을지급하여응답내용을듣는즉시입력하여한국갤럽컴퓨터로전송되도록하는방식을사용하였다. 거절자에대한집계와조사는하지않았다. 최종예측치산출방법미디어리서치는투표소별유권자수비율에따라가중치를부여하였다. 코리아리서치는조사거절자비율을고려하여가중치를부여하였다. 즉, 거절자비율이높은투표소의결과에는상대적으로낮은가중치를부여하는것이다. 한국리서치는대부분의선거구에서는응답자자료만을이용하여득표율을계산하였다. 그러나, 전화조사와비교하여특이한지지패턴을보이고, 초경합양상을보이는 2~3개지역에대해서는성, 연령유권자비율가중치를부여하였다. TN 소프레스의경우, 출구조사최종예측치는기본적으로응답자자료만을이용하여산출되며, 선거구에따라서는유권자수비율에따라가중치가적용된곳이있다. 한국갤럽은각투표소의유권자성, 연령비율을토대로가중치를부여하였다. - 10 -
3. 선거예측조사의문제점 15대총선거가끝난 1996년 4월 11일오후 6시정각, 방송 3사는일제히 신한국당의압승 을예측보도하였다가큰망신을당했다. 그런데꼭 4년이지난 4월 13일 16 대총선거에서비슷한실수가되풀이되었다. 일반시청자들의눈에는여당쪽으로편향된부정확한여론조사로비치고말았다. 이런상황이벌어진데에는, 여론조사를마치족집게점쟁이정도로비치게한보도방법도큰책임이있지만, 조사과정과예측방법의곳곳에문제가발생할수있는소지가있음을부정할수없다. 이절에서는선거예측조사과정의이러한문제점들에대해지적할것이다. 3.1 전화조사에서의문제점전화조사는전국을거의동일시점에서커버할수있으며, 면접조사나우편조사에비해비용도훨씬절감할수있다. 더욱이한장소에서조사원들을감독할수있고, 조사원들이장소를옮길필요가없기때문에시간적으로도절약된다. 인터뷰가끝난후에면접결과에대한분석이즉시가능하므로조사를완성하는데에도많은시간을절약할수있다. 이와같이전화조사가갖는방법론적인장점과지난 80년대에이루어진높은전화보급률로인해전화조사는여론조사를위한효과적인조사방법으로자리잡았다. 그러나, 국민생활패턴이많은변화를보이면서기존의방식대로전화여론조사를실시하는것이많은문제점을드러내고있다. 할당표집으로인한선택편향 (selection bias) 우리나라에서활용되고있는전화조사는대부분이최종조사대상자선정을할당표집 (quota sampling) 에의존하고있다. 이번선거예측을위한전화조사에서도전화번호부에서전화번호를추출할때에는무작위추출이나계통추출방법과같은확률표집방법을사용하였지만, 최종적으로응답자를선정할때에는성별, 연령별, 지역별로일정한수를할당해서표집하였다. 할당표집방법의사용으로인해이번선거예측에서전화조사가갖는문제점은두가지측면으로정리할수있다. 첫째는표집오차의계산이불가능하다는것이다. 다른조사방법도마찬가지겠지만, 전화조사에서그결과의신뢰성은표집방법에크게좌우된다. 주지하다시피방법론적으로가장안정하고신뢰할수있는표집방법은무작위표집 (random sampling) 방법이며, 무작위표집방법의최대장점은확률이론에근거하여표집오차의계산이가능하다는것이다 ( 양승목 김현주 조성겸, 1991). 전화조사가과학적인조사가되기위해서는표집오차의계산이가능해야한다. 모든전화조사 - 11 -
에서표집오차를제시하였지만, 최종적인응답자선정이비확률적으로이루어지고있기때문에사실상표집오차의계산은불가능하며, 제시된표집오차를신뢰할수없다. 두번째는할당변수이외의변수들에대해서는모집단분포를대표하지못할수있다는것이다. 원래할당추출은조사된사람들과조사되지않은사람들간의차이를강력히억제할수있는변인이있는경우채택할수있는비확률적표집방법이다 ( 조성겸, 1997). 후보지지성향과관련하여타당성이입증된할당변수를사용하여야하지만, 그렇지못한경우할당표집방법은매우위험한결과를초래할수있다. 충분한조사기간과재통화규칙하에서조사를실시한다면할당변수외의변수들에대해서도어느정도왜곡되지않은표본을얻을수도있겠지만, 이번선거과정에서전화조사는대부분 2~3일동안에급하게이루어졌다. 재통화부재와응답자선정에서의문제점면접원은조사과정에서각종문제에부딪힐수있다. 통화중, 부재중, 결번, 상가번호, 자동응답기등의상황에부딪힐수있으며, 통화가되더라고비협조적이거나집에선거권이있는사람이없거나, 아이가받는경우, 질문을이해하지못하는경우가또한발생한다. 또, 한가정에는선거권이있는어른이보통한명이상거주하는경우가많기때문에이들중누구를응답자로선정하느냐가중요한문제이다. 이러한상황에서면접원이마음대로응답자를고르게되면심각한선택편향이생기게된다. 이에대한경계로미국의조사회사들은 1988년과 1992년선거에서적게는 2, 3회에서 5회정도까지재통화를시도하였으며, Kish Table이나 Birthday Method와같은방법으로응답자를선정하는등의노력을기울였다 (Voss, Gelman, and King, 1995). 이번선거예측조사과정에서 5개조사회사들은모두재통화를실시하지않았으며, 가구내응답자선정에있어서도규칙이없었다. 그결과접근이용이한계층이과대표집되었을것으로보인다. 조사거절과무응답전화조사에서응답률을집계한 TN 소프레스에의하면, 평균응답률은 16.3% 였다고한다. 나머지 83.7% 에는결번, 유권자가없는경우, 통화중, 부재중, 조사거절인경우가모두포함되어있으므로, 조사거절률만을정확히알수는없었다. < 표 4> 는 1995년에리서치앤리서치가우리나라선거여론조사에서면접성공률이얼마인가를알아보기위해실험적으로조사한결과이다 ( 노규형 김학량, 1997). 이실험의결과를통해조사거절의정도를예상할수있을것이다. 조사성공률이 TN 소프레스가제시한것과비슷함을확인할수있다. 결번과통화중 / 부재를제외하 - 12 -
고통화가된 1,900가구중에서는조사거절률이 47.4% 로절반에이르고있다. 즉, 전화가된경우절반정도는조사를거부한다는것인데, 이는매우심각한수준이다. 여론조사가생활화된미국에서도처음전화를걸었을때응답을거절하는비율은줄잡아 60~70% 라고한다 ( 변상근, 2000년 3월 28일자중앙일보 ). 이번선거과정에서도전화공해라고불릴정도로많은여론조사와선거운동이전화를통해이루어졌고, 자신의견해를밝히기꺼려하는사회적태도, 과거권위주의시절피해의식의잔재로인한거부감의작용으로많은유권자들이조사를거부했을것으로보인다. < 표 4> 첫번째시도에서의전화면접조사성공률 총통화 결번 통화중 / 부재 조사거절 조사성공 5,668 (100%) 1,029 (18.2%) 2,739 (48.3%) 900 (15.9%) 1,000 (17.6%) 통화가된가구중에서도절반가까이는조사를거절하게되는데, 더욱문제가되는것은조사에응하는유권자중에서 15~35% 정도의유권자는지지후보를묻는결정적인문항에대해 모름, 밝히기싫음, 아직결정하지않았다 와같이응답한다는것이다. < 그림 2> 는 KBS/SBS의조사를수행한 4개조사회사의결과를바탕으로 1 차전화조사와 3차전화조사의지역별무응답률평균을나타낸것이다. 무응답률이높게되면, 무응답자의지지후보를무리하게추측하여득표율산출에반영하게된다. 그러나, 조사회사마다무응답자판정방법이나무응답자포함여부가다를정도이므로이에대한찬반의견은분분한것으로보인다. 그러므로, 어떤방법으로무응답자를판정하느냐에따라그예측결과는제각각이게되고, 이것이최종예상득표율산출에상당한영향을미쳤을것으로보인다. < 그림 2> 지역별무응답률평균 - 13 -
3.2 출구조사에서의문제점출구조사를흔히 투표함에손을넣어조사하는것과같은 방법이라고이야기한다. 종전의유권자를대상으로하는조사에서는대상자가실제로투표를하는가하지않는가하는점에서차이가생길가능성이늘있었던것에비해출구조사는투표를끝낸사람을대상으로하기때문에이런가능성은거의없다. 그러나, 실제조사과정을살펴보면계획과과정상에많은문제가드러나, 출구조사를통해정확한예측을할수있으리라는기대는섣부른것이었음을알수있다. 실사와조사원의부족뒤늦게출구조사대상지역으로선정된경우에는실사가부족하여투표소의출입구위치파악과같은기본적인사항도체크하지못하고출구조사에임한경우가있었다. 또한, 조사원의부족도문제점으로지적할수있다. 한조사회사의경우 2명이 1조를이루어한개투표소를담당하였다고한다. 조사원이부족하면다음응답자선정을위한여유가없기때문에조급해지게되고, 조사거절자를설득할시간적여유도없어지며, 거절자에대한최소한의기록 ( 예컨대, 성과연령 ) 도할수없게된다. 투표소수의부족이전선거결과를근거로대표투표소를선정하여출구조사를진행했던미디어리서치와코리아리서치는 6~7개정도의투표소를선정하였다. 한국리서치는시간대별로투표소를이동하면서조사하는순환식조사방법을사용하여대략 21개정도의투표소에서조사를하였다. TN 소프레스는이러한두가지방법을모두사용하였는데, 대표투표소를선정한경우마찬가지로 6~7개정도의투표소를선정하였으며, 순환식으로진행한경우에는 20개정도의투표소를선정하였다. 한국갤럽은한선거구당 10개의투표소를선정하였다. 여기서는한선거구에서 6~7개의투표소를추출하는것이득표율예측을위해타당한가에대해서검토할것이다. 이를위해미디어리서치와코리아리서치담당선거구를대상으로다음과같은모의실험을실시하였다. 모의실험 1: 1 각선거구에서조사회사들이실제로조사를실시했던투표소수 ( n) 가얼마인지 를조사하고, 선관위 2) 의투표소리스트에서 n 개투표소를무작위추출한다. 2) 중앙선거관리위원회는전국 227 개선거구에대해서투표소별로각후보의득표수와투표자수, 유권자수, 무효표수에대한정보를제공하고있다 (http://www.nec.go.kr). - 14 -
2 각후보의기호를추출된투표소에서획득한득표수만큼생성한후, 이를규칙성이없이배열되도록섞는다. 3 2의결과로마련된목록에서 7번째 3) 마다 1개씩의숫자를뽑아서, 추출된투표 소 ( i) 별로각후보 ( j) 의예상득표율 ( p ij ) 을산출한다. 4 다음과같은비추정 (ratio estimation) 공식을이용하여, 해당선거구전체의모비율 ( 각후보의실제득표율 ) 을추정한다. p j = n M i p ij i =1 n M i : i번째투표소의투표자수 M i i =1 5 1~4의과정을 999번반복하여평균, 표집오차 4), 최소값, 2.5% 분위수, 중위수, 97.5% 분위수, 최대값등의통계량과평균표본수를구하였다. 38개선거구에대해서모의실험을실시한결과 22개선거구의표집오차가 ±5%p를넘는것으로나타났다. 즉, 이들선거구에서는 1, 2위간예상득표율차가 10%p라하더라도당선자를확신할수없다. 특히, 울산북구, 경기양평 / 가평, 강원영월 / 평창, 충남공주 / 연기는표집오차가 ±10%p를넘는다. 충남공주 / 연기의경우, 7개의투표소를추출하여출구조사를여러차례실시한다면임재길 ( 민주당 ) 후보에대한예상득표율들의 95% 는 7.7% 와 37.9% 사이에놓이게된다. 즉, 임후보에대한예상득표율의몬테칼로분포를통해실제득표율에대한 95% 신뢰구간이 (7.7%, 37.9%) 임을알수있다. 그러나, 이러한조사결과는득표율예측에거의정보를제공하지못한다. 5개투표소를추출했던울산북구도, 노동자들이주로거주하는지역의투표소가주로추출되었다면실제로 41.8% 를득표한최용규 ( 민주노동당 ) 후보가 58.9% 를득표한다는예측결과가나올수도있다는것이다. 이런극단적인지역을예로들지않더라도대부분의선거구가비교적큰표집오차를보이고있다. 이를통해, 허용표집오차를 ±5%p로한다는전제하에, 6~7개의투표소또는응답자추출율 1/7은너무작아서그지역선거구를제대로반영하지못하였다고말할수있다. 투표소선정방법의문제 확률비례표집 (PPS) 방법을사용한한국리서치를제외하고대부분의조사회사는투 3) 실제로는각선거구의유권자수를고려하여 5~6명마다 1명의투표자를응답자로선정하였다. 모의실험에서는조사거절이발생하지않고, 투표가이루어진전시간동안에출구조사가이루어짐을가정하기때문에실제와같이응답자를추출할경우표본수에서실제와많은차이를보이게된다. 4) 1.96 ( q ij 의표준편차 ) - 15 -
표소추출방법으로의도적표본추출 (judgemental or purposive sampling) 방법을사용하였다. 의도적표본추출법은통계이론에근거하여표본추출을하지않고, 조사자의판단에따라표본을추출하는방법이다. 표본의주관적추출때문에추출된표본은결코모집단을확률적으로대표할수없다. 다만, 조사자가모집단의속성을어느정도알고있을때에는모집단의속성에근접하는표본을추출할수있다 ( 노규형 김학량, 1997). 이번선거조사에서는역대선거에서선거구의지지성향과가장유사한투표성향을보인투표소를추출하였다. 그러나, 현재선거에서의대결구도가역대선거와다른양상으로전개된다면이러한방법은오히려위험할수있다. 따라서, 이번절에서는이러한의도적표본추출방법이타당하였는지에대해서사후적으로검증하도록하겠다. 의도적표본추출방법이타당하였는가는추출된투표소들이해당선거구를제대로대표하는가를검증함으로써밝혀진다. 이를위해서다음모의실험을실시하였다. 모의실험 2: 1 실제로출구조사를실시했던 n개투표소하에서모의실험 5) 을통해 1 2위후보 자의예상득표율 q 1, q 2 을구한다. [ 의도적추출방법으로구한각후보예상 득표율 ] 2 실험 1에서 999번의반복으로구한 p 1 의분포에서 q 1 이어디에위치하는가를 살펴본다. 2위자에대해서도마찬가지로 p 2 의분포에서 q 2 가어디에위치하는가 를살펴본다. 이를위해서다음을구한다. Pr { p 1 > q 1 } = q 1 보다큰 p 1 의개수 /999 Pr { p 2 > q 2 } = q 2 보다큰 p 2 의개수 /999 자료수집의어려움으로실제진행된투표소이름을알수있었던 38 개선거구에 대해서만모의실험을실시할수있었다. Pr { p 1 > q 1 } 혹은 Pr { p 2 > q 2 } 이 0.05이하이거나 0.95이상일때선정된투표소는 1위혹은 2위의지지성향에있어서해당선거구전체를제대로대표하지못하는것으로판단할때, 모의실험결과, 38개선거구중에서 3개선거구에서투표소선정에문제가있었던것으로보인다. 즉, 이 3개선거구의출구조사투표소들은역대선거에서는선거구전체를대표했을지몰라도이번선거에 서는전체를대표하지못했다. 예컨대, 서울동대문을선거구의경우에 Pr { p 1 > q 1} 는 5) 일단 n 개투표소가선정된후선정된투표소하에서모의실험을통해예상득표율을구하는과정은모의실험 1 의 2~4 와같다. - 16 -
0.9970으로매우큰반면에, Pr { p 2 > q 2} 는 0.0260으로작음을볼수있다. 즉, 의도적표집방법으로투표소를추출한결과김영구 ( 한 ) 후보 ( 당선자 ) 의지지자들이적고, 허인회 ( 민 ) 후보의지지자들이많은투표소들이주로표집되었다는것이다. 이러한문제점을드러낸선거구는경기하남시, 경기평택을등이있다. 6) 조사거절과거짓응답으로인한비표집오차의발생이번총선거예측을위한출구조사에서조사거절자수를집계하고, 거절자에대한성과연령을기록한한국리서치의자료에의하면, 조사거절률은전체적으로 20% 를약간웃도는것으로나타났다. 성별로보면, 남성보다는여성투표자층에서, 연령대별로는남녀모두 50대이상연령층에서높은거절률을보였다. 특히 50대이상인여성의경우, 전체 19개지역중에거절률이 40% 를넘는지역이 2곳있었고, 30% 를넘는지역은 9개나되었다. 지역별로보면, 강원, 충북, 충남등에서서울이나인천과같은대도시보다비교적높은거절률을보였다. 높은거절률은응답자선정에편향을가져오며, 이는예측결과를실제와멀어지게한다. 조사거절외에비표집오차의원인으로생각할수있는것은거짓응답이다. 실제로출구조사에투입되었던조사원들에의하면, 지방에서는마을사람들이단체로투표장에오는장면이흔히목격되었다고한다. 심지어마을선거운동원이트럭으로마을사람들을실어나르는경우도있었다고한다. 이런사람들은대부분투표가끝난후에도모여서함께가기때문에조사에어려움이많다. 우선은응답자선정이어렵게되고, 주변에함께온사람들이있기때문에응답자는주변을의식하게된다. 이런경우거짓응답이나무응답이발생할가능성이높아지며, 실제로지지후보난에표시할때망설이는응답자들이종종목격된다고한다. 영국은 1992년선거예측에서의실패이후패널연구를통해조사거절과거짓응답이예측에어떠한영향을미쳤는가를사후적으로분석하였다 (Jowell, Hedges, Lynn, Farrant and Heath, 1993). 우리나라는이러한패널연구가아직이루어지지않아조사거절과거짓응답의효과가어느정도인지알수없다. 그러나, 조사거절및거짓응답이득표율예측에미치는효과가어느정도인가를파악하기위한하나의시도로서다음과같은모의실험을하였다 7). 6) 한심사위원이지적한대로보다정교한결과를얻기위해서는모의실험 2의단계 1을여러번반복하여 Pr { p 1 > q 1} 과 Pr { p 2 > q 2} 에대한평균값을구하여야한다. 이연구에서는계산적부담때문에반복작업이수행되지못하였다. 7) 출구조사원자료를제공받을수있었던미디어리서치담당선거구만을대상으로모의실험을하였다. - 17 -
모의실험 3: 1 실제로출구조사를실시했던 n개투표소의실제투표자수와후보별득표수를모두파악한다. 2 각후보의기호를추출된투표소에서획득한득표수만큼생성한후, 이를규칙성이없이배열되도록섞는다. 3 2의결과로마련된목록에서 N번째마다 1개씩의숫자를뽑는다. 4 2-3의과정을 n개투표소에대해모두실시한다. 5 n개투표소에서뽑힌모든숫자를모아서각후보별로단순득표율을계산한다. 6 위와같은실험을 1,000번실시한다. 실제조사원들이오전 6시부터오후 6시까지자리를뜨지않고 N번째마다 1명을선정하는계통추출의규칙을정확히준수하면서조사를진행하였고, 거짓응답하는사람과조사거절자가전혀없었다면, 조사결과산출되는예상득표율은위실험의결과와비슷할것이다. 따라서, 전자의가정이충족된다면예상득표율과모의실험결과의차이는조사거절과거짓응답에기인한것으로예상할수있다. 계통추출의경우비교적정확하게한것으로보이며, 4시이후의투표자수는그리많지않으므로, 전자를가정하는것이그다지무리는아닐것이다. 모의실험결과의평균 (A) 을출구조사에서실제로얻는응답을근거로산출한단순지지율 (B) 과비교하여두값의차이가큰지역이상대적으로조사거절및거짓응답이많이발생한지역이라고할수있다. 실험결과에의하면, 조사거절과거짓응답이많았던지역은울산북구, 경기수원권선구, 경기동두천 / 양주, 경북봉화 / 울진등이었다 ( 각각 B-A = +5.6%p ( 민주당 ), +4.1%p ( 민주당 ), +4.5%p ( 민주당 ), +7.9%p ( 민주노동당 )). 8) 모두한나라후보의단순지지도가모의실험결과들의평균보다낮게나와, 이지역에서한나라당지지자들이대거응답을거절하거나거짓응답을하였음을알수있었다. 반면에상대방후보에게서는반대의현상이나타났다. 지역별로조사거절과거짓응답효과에차이가존재하지만, 위대상선거구에대해살펴본결과조사거절과거짓응답으로인해득표율예측에서대략 2% 대의차이가생김을알수있었다. 조사방식의문제 8) 여기서는크기 500 의단순임의표본이갖는신뢰수준 95% 에서의단측최대표집오차 3.7% 를임계적기준으로하였다. 1.645 0.5 0.5 / 500 = 0.0368, 즉 3.7%. 단순임의추출이가정된이유는조사투표소가고정되어있기때문이다. - 18 -
일부조사회사들은비밀보장을통해좀더성실한응답을유도하기위해서변형된비밀투표방식을사용하였다. 응답자로하여금스스로질문지에기입하게한후에모의투표함의형식을빌린봉투나가방같은것에직접넣도록하였다. 반면에, 다른조사회사는조사원이투표자로부터응답을듣는즉시단말기를이용하여데이터를본사로전송하였다. 이렇게비밀이전혀보장되지않는방식하에서는사회요망성 (social desirability) 으로의편향이발생할수있을것이다. < 표 5> 는이러한두방식에의해동시에출구조사가진행된부산북 / 강서을 1, 2위후보의예상득표율을나타낸것이다. 면접방식에서민주당노무현후보의득표율이과대예측됨을확인할수있다. 이는한나라당후보를지지하는것이지역감정에편승하여투표를한것으로보일수있다는염려때문에한나라당에표를던진투표자들이조사를거절하거나거짓응답을했기때문인것으로보인다. 9) 즉, 지역감정에의한후보자선택은부당하다라는사회요망성이응답에영향을미친것이다. < 표 5> 조사방식에따른예상득표율의차이 후보조사방식 허태열 ( 한나라당 ) 노무현 ( 민주당 ) 자기기입방식 (KBS/SBS) 50.4% 37.0% 면접방식 (MBC) 45.0% 42.9% 실제득표율 53.2% 35.7% 300m 거리제한의문제이번출구조사는투표소로부터 300m 밖에서이루어졌다. 선관위의제재가심하지않았던일부선거구에서는실제로 300m 안으로들어가조사가진행되기도했지만, 이런경우에는면접원이심리적부담을안기때문에응답자에게도불안정한응답환경을제공하게된다. 결과적으로, 이러한규정으로인해응답자선정에편향이생기게되고조사거절과거짓응답의발생가능성이높아지게되었다. 9) 논리적으로는, 이러한두방식의차이가조사방식에의한것이아니라, 선정된투표소의차이, 즉두방식이진행된투표소가일치하지않음으로써생긴것이라는주장이가능하다. - 19 -
4. 선거예측조사의개선방안 지금까지제16대총선거예측조사의결과와조사방법, 그리고문제점에대해서살펴보았다. 이러한선행작업들이궁극적으로목표했던바는선거예측조사방법의개선방안모색이었다. 이절에서는전화조사와출구조사로나누어조사방법의개선방안에대해서살펴보고, 올바른여론조사의환경과토대마련을위한언론기관의역할, 정확한여론조사수행과정착에걸림돌이되는제도에대해서지적해보기로한다. 4.1 전화조사의개선방안조사거절률의집계 4 13 총선거예측조사에참가했던 5개조사회사중에서조사거절률을집계한조사회사는없었다. 다만, 낮은응답률이조사거절을포함하여부재중, 통화중, 결번으로인해응답자와접촉하지못한비율이높았다는것만을말해주고있을뿐이다. 높은조사거절률은조사기간이충분하지못했음을의미하기도하고, 응답자를어렵게찾는과정에서여러편향이생길수있기때문에조사의질을판단하는데에하나의기준이될수있다. 그러나, 조사가긴박하게이루어질수밖에없는사정등을이유로하여조사거절률을집계, 발표하지않는다면, 국민의알권리를위해존재하는여론조사가국민을속이는위험한결과를초래할수있다. 또한조사거절률을소홀히대하는분위기가만연되어이에무감각해진다면, 더이상조사방법의발전을기대할수없다. 적절한재통화규칙의마련과준수선거관련여론조사의경우, 조사기간은대부분 1~2일정도로매우짧고조사기관간경합으로매우낮은비용으로수행되고있다. 조사기간이짧은경우재통화를할시간적여유가없기때문에결국조사시간대에쉽게접근할수있는계층이과대표집되게된다. 그결과로조사자료의질이떨어지게되는것은당연한일이다. 조사거절자는고연령층이나교육수준이낮은계층인경우가많다. 또, 서울대학교신문연구소에서실시한국민생활시간조사결과에의하면전화조사가주로이루어지는저녁시간의경우직업, 학력등에따라재택자비율이달라지는것으로나타났다 ( 양승목, 김현주, 조성겸, 1991). 즉, 특정시간대에부재중인경우는특정한직업이나학력의계층일수있다는것이다. 이번총선거예측조사에서는조사회사들이모두재통화를실시하지않았다. 할당추출에대한과신과시간 비용의제약을이유로재통화를하는것이현실적으로불가 - 20 -
능하다고이야기하지만, 바로이부분이거듭된예측실패의주요원인일수있으므로, 낮은수준에서라도재통화규칙을세워지켜나가야한다. 예를들어, 부재중인경우는 1~2시간후에도그대로일수있으므로, 충분한시간간격을두고 2회정도라도재통화를시도하고, 조사거절인경우는거듭된시도가오히려더큰거부감을낳을수있으므로숙련된면접원으로교체하여최소한한번의재통화를시도하는식으로조사의성격과예산에맞추어적절한재통화규칙을세우는것이중요하다. 또, 조사기관은의뢰인의비용에조사방법을맞추기보다는정확한조사를위해서필요한사항임을이해시키는적극성을발휘해야할것이다. 조사거절률과무응답률을낮추어야조사거절률과무응답률을낮추는방법으로패널조사방법을생각할수있다. 패널을구성하여선거기간동안여러차례조사한다면거절률과무응답률을낮출수있을것이다. 이때패널을구성하는응답자들의성향이일반유권자들보다더정치적으로변한다거나선거에더관심을갖게되는등조사가거듭되면서오염될수있다. 따라서하나의패널을선거기간내내조사하는방법보다는 2~3개패널을구성하여선거기간중에교체하여조사하는것이적절한방법일것이다. 패널연구를통한사후분석 1992년영국총선거예측조사에서조사기관들은사상최악의예측오류를범하였다. 모든조사의결과는한결같이노동당의승리를예상하였지만, 결과는보수당이노동당을지지율에서 7.6% 나앞서면서승리했다. 현대통계학의발상지이며, 여론조사의오랜역사를지닌영국에서그런심각한오류가발생했음은놀라운사실이다. 그러나그들은치밀한사후분석을통해예측오류의원인이무엇인가를소상히밝혀내었다. 이러한사후분석이가능했던것은예측조사과정에서패널조사방법이사용되었기때문이다. (Jowell, Hedges, Lynn, Farrant and Heath, 1993). 이번총선거예측오류의원인은상당부분높은무응답률과조사거절률, 거짓응답에기인할것이다. 그러나, 무응답자와거절자를추적하여실제어떻게응답했는가를조사함으로써이러한계층이미친영향을계량적으로파악하지않는이상이러한생각은추측일뿐이다. 패널을통한사후조사의경험을누적시킨다면, 부동층과거절층의지지성향과거짓응답자의속성등을파악할수있을것이다. 따라서단시간에효과를기대하기보다는긴안목으로패널조사를계획한다면, 이후더욱정확한예측을할수있는토대가마련될것이다. - 21 -
Random Digit Dialing 방법의적용가능성이번총선거예측조사에서 5개회사는전화조사시모두전화번호부를표집틀로사용하였다. 그러나, 이방법은비등재된번호와등재를원하지않는가구의전화번호가누락되어있고, 전화가없는가구는처음부터제외되며, 전화가많은가구는표본으로뽑힐확률이더높다는단점을지니고있다. 결과적으로, 사생활침해를우려하는사회적계층 ( 단독가구및젊은세대들 ) 과이사율이높은저소득인구층이과소표집될수있어, 표본이특정계층에편중될위험성이존재한다. Gallup의조사에따르면, 미국의가구용전화보급률은약 95% 이고, 이중에서비등재된전화번호가약 30% 를차지한다고한다 (http://www.gallup.com). 이정도이면약 28.5% 의가구를처음부터조사대상에서배제하는것이기때문에전화번호부를표집틀로하는것은매우위험한방법이다. 자료의미비로정확한비율을알수는없었지만, 우리나라의경우도비등재된전화번호의비율이점점늘어나고있다고한다. 등재를원하지않을경우, 관할전화국에전화만하면등재를쉽게취소시킬수있어앞으로이비율은점점더늘어날것으로보인다. 따라서전화번호부를이용한가구추출방법은해가거듭될수록점점더많은취약점을드러낼것으로보인다. 이에대한해결책은임의번호걸기 (Random Digit Dialing, RDD) 방법이다. 임의번호걸기방법이조사회사의여건상당장실현될수는없을지라도, 대안모색의일환으로이방법의적용가능성에대해서살펴볼때라고생각한다. 4.2 출구조사의개선방안조사거절자에대한조사조사거절자들에게서특정한성향이나타나지않는다면, 또는나타나더라도그것이지지후보를결정하는데에영향을미치지않는다면조사거절자는선거예측에서별로문제가되지않는다. 그러나이전에도많은조사를통해드러났듯이조사거절자들이특정한지지성향을갖고있기때문에문제가되는것이다. 거절률이높으면그투표소의결과는상대적으로신뢰성이떨어지므로최종예측치산출시이를고려해야한다. 또, 비록성과나이만을묻고있지만, 거절자의인구통계적인속성을조사한다면사후분석을통해여러정보를얻을수있으며, 이는이후선거예측조사계획에도움이될수있다. 이번총선거예측조사에서는일부조사회사들만이거절률을조사하였는데, 앞으로는더세심한조사설계와면접원교육을통해거절률을집계하고, 나아가거절자의성과연령도정확히조사해야할것이다. 응답자의비밀성을보장하는조사방식 - 22 -
1992년오하이오주해밀턴카운티에서는출구조사의면접방식과비밀투표방식을비교하는실험을하였다 (Bishop and Fisher, 1995). 면접방식에서는조사원이질문지를읽어주고, 응답을대신기록하였고, 비밀투표방식에서는응답자가스스로질문지를읽고응답한후 SECRET BALLOT 이라고적힌상자에직접넣도록하였다. 이두방법을 30분씩번갈아가면서실시하였고, 지지후보 ( 대통령, 상원의원, 하원의원 ) 와노인법 ( 노령자를위한새로운과세 ) 에대한찬반, 인구적변인등을질문하였다. 그결과대통령후보를묻는문항에대해서는비밀투표방식 (1.2%) 에비해면접방식 (9.9%) 에서더높은거절 / 무응답률을보였다. 즉, 면접방식의조사에서는일부투표자들이응답에상당한심리적부담을느꼈음을알수있다. 주목할만한결과는노인법에대한응답에서나타났다. 非투표 / 거절 / 무응답과같이의사를밝히기를꺼리거나주저하는비율이면접방식에서더높게나타났다 (29.7% 대 36.1%). 그리고, 면접방식일때보다비밀투표방식일때노인법에반대하는비율이높음을알수있다. 대면접촉에서는노령자복지를위한세금징수에반대한다는의사를자신있게밝히지못하지만, 투표방식에서는비밀이보장되기때문에좀더솔직한응답을했다고할수있다. 이번총선거예측조사에서는변형된비밀투표방식이사용되었다. 4개조사회사는응답자의자기기입원칙은충실히지켰지만, 선관위의제재와이동의효율성을위해대부분모의투표함이아닌가방이나봉투를이용하여질문지를수거하였다. 조속한시일내에관련법규의개정으로완전한모의투표함을이용한비밀투표방식이사용되어야할것이다. 나아가 300m 거리제한조항의폐지로투표소와가까운위치에응답을위한간이공간을마련하여완전히비밀을보장해준상태에서투표자들의의향을묻는방식으로출구조사가진행되어야할것이다. 철저한사전준비출구조사에서는실시예상지역구에대한실사를충분히하는것이중요하다. 실제로출구조사를실시할지역구수보다충분히많은예상지역구를선정해서해당지역구의투표소위치조사와답사, 과거대비투표소구성의변화여부, 과거선거결과자료의준비등기초적인작업들이최소한이루어져야한다. 그래야뒤늦게혼전이예상되는지역이더라도출구조사를허둥대지않고진행할수있다. 우리나라대부분의조사회사는총선거예측조사와같은대규모조사를담당할만큼충분한수의조사원을평소에보유하고있지못하다. 따라서조사원의충분한확보와교육이무엇보다도중요하다. 적절한사후가중치방법사용 - 23 -
출구조사시계통추출규칙을엄격히지켜응답자를선정하고, 조사거절자가발생할때마다거절자의성과연령만이라도꼼꼼하게기록한다면, 표본을통해서적어도조사가완료된시간까지의투표자성, 연령분포를추정할수있다. 이를토대로출구조사응답자에게가중치를부여한다면, 이번예측조사에서와같이 50대이상의여성이과소표집된경우이를보정할수있다. 투표소표집에대해서투표소의수를늘리는것이후보자득표율예측에얼마나효과적인가를살펴보기위해서 3.2절에서와같은방법으로모의실험을하여보았다. 다만, 여기에서는모의실험 1에서사용한투표소수의 2배를추출하였다. 그결과, 서울, 부산, 5개광역시에서는울산북구를제외하고는표집오차가모두 2~3% 대로낮아졌음을볼수있었다. 즉, 투표소를 2배정도로늘릴경우예측값들이훨씬안정적임을확인할수있다. 지방의경우에도표집오차가훨씬줄어들기는하지만, 여전히 4%p 이상이되는선거구가절반정도된다. 즉, 지방의경우투표소별로지지패턴이워낙상이한선거구가많아서투표소수를 2배로늘려도예상득표율과실제득표율의차이를좀처럼줄이지못함을알수있다. 따라서대도시를중심으로는출구조사투표소수를더욱늘리는것이바람직하겠지만, 지방의경우에는소지역적특성을고려한새로운투표소추출방안이계속모색되어야할것이다. 다음으로, 투표소수는 2배로유지하되 14명마다한명을계통추출하여역시실험 1과같은방법으로모의실험을하여보았다. 지면상의제약때문에여기서그결과를모두보일수는없지만, 모든선거구에서실제투표소수를유지하고 7명당한명을추출한경우에비해서투표소수를 2배로늘리고 14명당한명을추출한경우에서표집오차가줄어듬을확인하였다. 즉, 전체표본수가비슷함에도예측값들이더안정적임을나타내었다. 물론전체표본수가같다고총소요비용이같은것은아닐것이다. 비용의문제로인해투표소수를늘리는것이현실적제약을받는다면, 투표소수를적절한수준으로늘리되각투표소내의응답자수를줄이는것이비용을크게증가시키지않고도표집오차를줄일수있는적절한방법이될것이다. 투표소수는늘리고각투표소내응답자수를줄이는방법으로는한조가한투표소에서머무는시간을줄이고여러개의투표소를이동하게하는순환식방법이있을것이다. - 24 -
4.3 보도관행의개선올바른개표방송의정착방송사들은이번총선거개표보도에서각자가실시한출구조사결과를최대한활용하며대규모속보전쟁을벌인바있다. 그러나, 한눈에보아도오차범위에들어있는예측불허의경합지역임에도불구하고, 방송사들간의시청률경쟁때문에 1위와 2 위를결정지어보도하는것이개표방송의정형으로굳어지고있다. 이렇게당선자예측을위주로개표방송이진행되고, 이러한목적에맞추어선거예측조사가진행된다면, 엄청난비용을들여실시하는선거예측조사의자료는 6시정각당선자예측보도이후곧쓰레기가되고마는것이다. 미국의출구조사에서는투표후보만을묻는것이아니고, 응답자의성, 인종, 학력, 나이, 종교, 이념, 소득수준등을자세히묻고있다. 여기다특정후보에게왜투표했으며, 지난선거에서는어느후보를찍었고, 4년전과비교한미국과주의경제상황과투표자의개인소득변화등국가적이거나주의경제상황과투표자의개인소득변화등국가적이거나주의주요현안에대한반응까지도묻고있다. 이처럼질문항목이많은것은출구조사의주목적이당선자예측이아니라투표자성향을자세히분석해선거이후정당의주요정책결정에도움을주려는데있기때문이다. 실제로개표가끝난다음날뉴욕타임스등주요신문들은출구조사를통해드러난유권자들의정치관과행태를상세하게공개했다고한다. 시청자들의관심이주로누가당선될것인가에있기때문에당선자예측보도라는이제까지의목적을주로고려하지않을수는없지만, 결과적으로개표방송은조사과정에서수집한응답자들의인구통계적, 사회경제적속성을바탕으로유권자들의정치행태를분석하고이를정책결정에반영하게하여정치선진화를촉진시키는촉매제로서의역할을해야한다. 응답률의공개공정선거및선거부정방지법제108조 4항은 누구든지선거에관한여론조사의결과를공표또는보도하는때에는조사의뢰자와조사기관 단체명, 피조사자의선정방법, 표본의크기, 조사지역 일시 방법, 표본오차율, 응답률, 질문내용등을함께공표또는보도하여야하며 라고규정하고있다. 여론조사결과를발표하는대부분의신문과방송은이조항에서제시한대부분을보도하고있다. 그러나, 유독잘지켜지지않는것이응답률에관한것이다. 표본의크기는자신있게보도하지만, 그만큼의표본으로부터응답을얻기위해서몇명에게접촉을시도하였는지는공개하지않는다. 처음선정된사람에게서응답을얻어내지못하고실패를거듭하면서겨우응답을 - 25 -
얻어낸경우, 그과정에서표본의심각한왜곡이일어날수있다. 또, Overnight-Poll 과같이단시간내에재통화규칙없이진행된조사의경우응답률이낮기쉽다. 이렇게응답률은조사의질을판단하는잣대가되기때문에여론조사결과를투표후보결정을위한정보원으로사용하는대부분의국민들에게는응답률이반드시공개되어야한다. 표집오차에대한정확한보도이번선거과정에서실시된모든전화조사와대부분의출구조사는엄밀히말해서확률추출방법에근거하여최종응답자를선정하지않았다. 전화조사에서는가구내응답자선정에서할당추출이이루어졌으며, 출구조사의투표소추출과정은확률추출에근거하지않았기때문에확률이론에근거하여표집오차를계산할수없다. 그럼에도불구하고, 신문과방송은항상표집오차를보도한다. 게다가군집추출인경우의표집오차는무작위추출을가정하여보도되는표집오차보다크다. 이와같이비확률적표집방법에의한조사결과를보도할때에는표집오차의계산이어려우므로, 예측보도에보다신중할필요가있다. 또한, 표집오차에대한이해를돕지는못하더라도, 이를잘못보도하여국민들이여론조사결과를이해하는데에잘못된인식을심어주지않도록노력해야할것이다. 4.4 제도적측면에서의개선방안공정선거및선거부정방지법제167조의개정공정선거및선거부정방지법 ( 이후공선법 ) 제167조 2항은 텔레비전방송국 라디오방송국 정기간행물의등록등에관한법률에의한일간신문사가선거의결과를예상하기위하여선거일에투표소로부터 300미터밖에서투표의비밀이침해되지않는방법으로질문하는경우에는그러하지아니하며 ( 즉, 선거인에게투표한후보자성명이나정당명을질문할수있으며 ) 이경우투표마감시각까지그경위와결과를공표할수없다 라고규정하고있다. 투표소에서나오는출구가 2개이상인경우, 자동차를이용해바로퇴장하는경우, 2개의투표소가인접해있는경우에면접원은 300m라는제한된거리에서정확하게응답자를선정하기가매우어렵다. 투표자를놓치기쉽고, 정확한카운트를할수없으며, 심지어는어느투표소에서투표한사람인지조차구분할수없기때문이다. 이조항에대한문제는법률적인문제로정치권에서해결되어야할문제이지만, 선거예측조사가사회에미치는파장을고려한다면방송사, 조사회사, 학계, 중앙선거관리위원회등이입법청원등이에대해보다적극적인대처를해야한다. - 26 -
공정선거및선거부정방지법제108조의개정공선법제108조 1항은 누구든지선거기간개시일부터선거일의투표마감시각까지선거에관하여정당에대한지지도나당선인을예상하게하는여론조사의경위와그결과를공표하거나인용하여보도할수없다 라고규정하고있다. 이조항의취지는왜곡된여론조사를통한흑색선전과조사결과의불법이용을배제함으로써이러한조사들이선거인의투표에영향을미치는것을방지하자는것이다. 그러나, 여론조사결과사전발표금지는헌법상에명시된국민의알권리에대한침해이자다양하고정확한정보를바탕으로국민의대표를뽑을권리에대한침해라고도볼수있기때문에이에대한논의가필요하다고본다. 4.5 조사현업의여건개선긍극적으로통계적선거예측이제대로되려면조사현업의여건이개선되어야한다. 조사업계의과당경쟁과최저가입찰제 적격심사낙찰제하에서는더이상의조사업의발전은기대하기어렵다는한국갤럽연구소의박무익 (2000) 의주장에동의하지않을수없다. 우리사회가조사의질에대한차별적평가를지금과같이방치하는한더이상의발전은기대하기어려울것이다. 이글을매듭지으며질적조사에대한사회의관심을재삼촉구한다. - 27 -
참고문헌 김정훈. 2000. 한국조사연구학회 2000년도춘계학술대회토론내용. 노규형, 김학량. 1997. 선거와여론조사 서울 : 나남출판사. 25-26, 116-117. 류제복. 2000. 선거예측조사의신뢰성증진방안-16대총선을중심으로 조사연구 1권 2호, 15-34. 미디어리서치, 코리아리서치, TN소프레스, 한국리서치. 2000. ( 사 ) 한국마케팅여론조사협회 5월월례세미나자료집 박무익. 2000. 우리나라조사산업의현황과전망, 조사연구 1권 2호, 161-177. 박용치. 2000. 선거예측에서편의의감소 : 거짓응답을중심으로 조사연구 1권 2 호, 35-57. 양승목, 김현주, 조성겸. 1991. 전화조사에서가구내응답자의무선확률표집에관한연구, 신문학보 제26호, 189-214. 조성겸. 1997. 대통령선거여론조사와할당표집방법의문제점, 언론과사회 제18 호, 29-53. 한국갤럽. 2000. 제16대국회의원선거투표행태 허명회. 1998. 사회여론조사 - 통계적연구사례 서울 : 자유아카데미. 52-67. Bishop, G. F. and Fisher, B. S. 1995. Secret ballots and self-reports in an exit-poll experiment, Public Opinion Quarterly 59: 568-588. Jowell, R., Hedges, B., Lynn, P., Farrant, G. and Heath, A. 1993. The 1992 British election: The failure of the polls, Public Opinion Quarterly 57: 238-263. Traugott, M.W. and Price, V. 1992. Exit polls in the 1989 Virginia gubernatorial race: Where did they go wrong?, Public Opinion Quarterly 56: 245-253. Voss, D.S., Gelman, A. and King, G. 1995. Preelection survey methodology: Details from eight polling organizations, 1988 and 1992, Public Opinion Quarterly 59: 98-132. - 28 -