<C1B6BBE7BFACB1B835B1C732C8A328312EC1B6BCBAB0E2292E687770>

Size: px

Start display at page:

Download "<C1B6BBE7BFACB1B835B1C732C8A328312EC1B6BCBAB0E2292E687770>"

동직 도
6 years ago
Views:

1 조사연구 ( ) 5 권 2 호 : 연구논문 출구조사의투표소표집방안비교 * How to Select Polling Places in Exit Poll? 조성겸 **, 김지연 *** Sung Kyum Cho, Ji Yun Kim 1) 출구조사에서투표소표집방법으로는지금까지판단표집의일종인대표구추출 방법과층화대표구의두가지방법이주로사용되고있지만아직어느방법이더 효과적인가에대해서체계적인연구가이어지지않았다. 본연구는지금까지논의 되어온네가지투표소추출방법중에서어느방법을사용할때오차가가장적을 것인지그리고어느정도의투표소를추출하는것이적절한지에대해서분석해보았 다. 17 대총선에서 1 위와 2 위간의격차가 8% 이내로경합을보인 50 개선거구를대 상으로투표소추출방법과추출규모를달리했을때예측오차가어떻게달라지는가 를분석한결과, 과거선거결과를토대로투표소를정치성향별로정렬한후체계적 으로추출하는 종단적체계적추출방법 이지금까지주로사용되었던대표구혹은 층화후대표구방법보다우수한것으로나타났다. 그리고표집규모는 9 개에서 11 개 정도의투표소추출이적절한것으로나타났다. 주제어 : 대표구, 출구조사, 투표소추출 In Korea, bellwether voting places were selected for exit poll based on the past voting results. Sometimes, voting place stratification were used to improve the exit poll performance. The sampled voting places are intended to mirror the general voters of the entire electoral district. But few studies have been done as to which sampling method works better. This study compared the four sampling methods- bellwether voting place sampling method, random sampling method, stratified bellwether sampling method and systematic sampling from ordered voting places method. When we applied the four methods to the 2004 general election data, the systematic sampling from ordered voting places method outperformed the other three * 이논문은 2002년도충남대학교자체연구비의지원에의하여연구되었음. ** 교신저자 (corresponding author) : 충남대학교언론정보학과교수조성겸. skcho@cnu.ac.kr *** 미디어리서치사회여론조사본부본부장.

2 4 조사연구 sampling method. Also, we found that the additional sampling of voting places over nine contribute little to the accuracy of the estimation. key words : exit poll, bellwether, voting place sampling Ⅰ. 서론 1. 문제의제기출구조사는선거예측조사의대표적인방법으로활용되고있다. 이방법은투표자를대상으로실시되기때문에전화조사와는달리투표율이낮은상황에서도정확도가높을것으로기대된다. 전화조사의경우, 유권자전체를모집단으로삼아표본을추출한후조사대상자의응답에의존하여투표예상자를가려내기때문에통상적으로투표율이낮은선거에서는그정확성이떨어진다. 이러한이유에서우리나라에서는 2000년총선부터출구조사방법이선거예측에서본격적으로활용되고있고, 미국과영국등외국에서도출구조사가주요선거예측및선거분석조사방법으로활용되고있다. 그렇지만출구조사의구체적인절차나방법에대해서는아직개선할부분이많이있다는지적이다 ( 류제복 2003; Biemer et al. 2003; Moon 1999). 출구조사의경우예측오차는전화조사보다는낮게나타나지만정당별의예측에편향이나타나는문제가발생하고있다 ( 조성겸 2001). 출구조사방법에서특히논란이되는부분은투표소표집방법과표본크기다. 출구조사는많은경비가소요되기때문에선거구내의투표소중에서일부만을선정하여조사하는데, 방송사마다다르기는하지만대체로선거구별로다섯개에서열개정도의투표소를추출하게된다. 따라서투표소를어떻게그리고몇개를선정해야하는가의문제가중요해진다. 추출투표소수를증가시키면예산도증가될뿐만아니라필요한조사원을모집해서배치하는것도어려운문제다 1).

3 출구조사의투표소표집방안비교 5 현재까지투표소추출은일종의판단표집 (judgement sampling) 방법을이용해서이루어졌다. 이러한방법중의하나가 대표구 (bellweth -er polling place) 추출방법 인데이것은선거구의투표성향을가장잘대표할수있다고판단되는투표소를선정하여조사하는방법이다. 투표소추출에서확률표집 (probability sampling) 방법보다는판단표집방법을더많이사용하게된것은확률표집방법이조사의효율성측면에서문제가크다고보았기때문이다. 확률표집방법을사용할경우표집오차를적절한수준으로낮추기위해서는상당한수의투표소를추출해야하지만이렇게되면면접원수와비용이증가하게된다. 반면에판단표집방법은가장대표적인투표소를추출하는것이기때문에그수가많아야할이유는없다고보았다. 즉실제선거조사에서 5개에서 9개정도의투표소를선거구별로추출하게되는데이정도의표본크기라면확률표집보다는판단표집방법이더나을것이라고보았기때문이다. 한국선거의경합도는높은편이다. 1997년 15대대선의경우 1,2 위후보자의득표율차이가 1.6% 였고, 2002년 16대대선은 2.3% 였다. 그리고 2000년 16대총선의경우 20표이내에서승부가갈린서울동대문乙, 경북울진 / 봉화, 경기광주등을포함하여 1% 이내가 14개였으며, 5% 이내의경합지역이 53개에달하고있다. 또한 2004년 17 대총선역시 9표차를보인충남당진을비롯하여 1% 이내가 8개였으며, 5% 이내의경합지역이 43개에이르렀다. 따라서출구조사를이용한예측이실패하지않기위해서는투표소추출과정에서발생하는오차를낮추어야한다. 이에따라그동안방송사의출구조사설계과정에서는투표소추출방법에대한많은논의가이루어졌다. 초기에는대표구표집방법한 1) 예컨대 115 개선거구에서평균 8 개의투표소를추출하고각투표소별로 4 명의면접원을배치할경우 3,680 명의조사원이필요하게된다.

4 6 조사연구 가지만을이용했지만층화대표구등변형된방법들이활용되었고, 또종단적계통표집방법등도논의되었다. 그렇지만각방법이갖는장점과단점이분명하지않은상태에서선뜻실제출구조사에적용하기어렵기때문에방법적인변화가많이이루어지지못했다. 본연구는이러한맥락에서출구조사에서현재사용되고있는판단표집방안과아직사용되지는않았지만대안적방법으로검토되었던방안을경험적자료를토대로비교 검토함으로써투표소표집방법선택에도움이되고자한다. 이렇게함으로써본연구는출구조사방법의개선은물론, 유권자의투표행태에관한연구에도도움이될수있을것으로기대한다. 과거투표행태를토대로선정한투표소가그특성을어느정도유지하는가는곧투표행태에영향을주는결정요인의변화정도를나타내준다고볼수있기때문이다. 2. 연구문제한국에서출구조사를위한투표소를추출할때, 과거선거결과를토대로선거구를대표할수있는투표소를추출하는대표구추출방법, 그리고과거선거결과에따라층을구분한후층내대표투표소를추출하는층화대표구추출방법의두가지를가장많이사용해왔다. 그렇지만선거구에따라서는투표소가과거선거때와비교했을때많이달라지는경우도있다. 이럴경우에는과거선거결과를활용할수없기때문에단순계통표집방법등확률표집방법을사용해왔다. 이외에도아직실제적용되지는않았지만과거선거결과에따라투표소를배열한다음계통적으로추출하는방안, 즉종단적계통표집방법이있다. 이방법역시투표소변화가많을경우에적용하기는문제가있다고판단된다. 지금까지실제출구조사과정에서사용되어왔던투표소추출방법중어느방법이더효율성이높은지그리고대안적방법들은과연어

5 출구조사의투표소표집방안비교 7 떠한지에대해서는아직체계적으로검토되지않았다. 구체적으로확률표집방법의경우, 투표소수가많아야한다는이유로극히제한된조건에서만사용되었지만, 실제로그러한이유가타당한가에대한경험적인검토는없었다. 따라서이연구는투표소추출방법을실제과거선거자료에입각해서체계적으로검토해봄으로써각방법의효율성을비교해보고자한다. 그럼으로써출구조사의정확도를높이는데기여함과동시에아울러투표행태에관련된연구에도움이되고자한다. 구체적으로본연구는다음과같은연구문제를설정하고이에대한답을구해보았다. 연구문제 1: 출구조사투표소추출의방법별로어떤방법의정확도가가장높은가? 연구문제 2: 출구조사의적절한투표소수는얼마인가? Ⅱ. 투표소추출방법에대한검토 1. 단순계통추출방법 (systematic sampling from random population) 투표소추출에활용되는확률표집방법중가장대표적으로사용하고있는것이단순계통추출방법이다. 표집틀 (sampling frame) 로사용하는투표소별유권자수정보가선관위를통해공고되기때문에계통추출방법을적용하기에어려움은없다. 구체적추출절차에따라여러가지방법이있을수있지만, 투표소별크기를고려해서추출하는방법과고려하지않는방법두가지로크게구분할수있다. 한국의출구조사에서는추출된투표소에서응답자를추출할때투표소크기에비례해서추출하게된다 2). 따라서투표소추출단계에서는투표소크기 2) 투표소에서조사대상자를추출할경우 5 명에서 7 명정도의간격으로계통추출을하게된다. 따라서투표소크기에따라추출된표본의크기가달라지게된다.

6 8 조사연구 를고려할필요가없다. 투표소는그크기에관계없이동일확률로추출하고, 추출된투표소에서표집하는응답자수를투표소크기에비례하도록하는방법이대표적으로사용된다. 출구조사의표집오차는추출되는투표소수그리고급내상관계수 (intraclass correlation) 에따라달라지지만, 실제출구조사에서어느정도의표집오차가발생하는지에대해서는아직명확한분석이이루어지지않았다. 그러나김재광 (2004) 의분석은대략적인오차의크기를짐작하게하는데, 그는 16대총선자료를토대로 16개선거구의급내상관계수를산출한다음그것을토대로선거구별예측치의오차한계가대략 3.51% 에서 9.83% 정도일것으로추정하였다. 이때각선거구별로 10개의투표소를추출하고각투표소별로는 200명의응답자를표집하는것으로가정하였는데이것은실제 17대총선에서 KBS와 SBS의출구조사규모와비슷한수준이다. 따라서이연구결과가 17대총선출구조사에도적용될수있다고본다. 이렇게볼경우, 1위와 2위후보자간경합도가높은총선의경우출구조사가순위를정확하게예측하기위해서는위에서가정한선거구별 10개보다훨씬많은투표소를추출해야한다는결론이나오게된다. 비용대비효율성이떨어지기때문에단순계통추출방법은투표소구획의변화가심하여과거선거자료를활용할수없는경우에한하여적용하고있다. 예컨대 17대총선 KBS-SBS 공동예측조사의경우전체출구조사대상지역 115개선거구중에서 30개선거구에서단순계통추출방법을사용하였다. 2. 대표구추출방법 (bellwether polling place sampling) 확률표집방법을사용할경우, 통계적으로안정적인결과를얻기위해서는많은수의투표소를추출해야하는것으로믿어왔기때문에한국의출구조사에서는이보다는다소불확실한방법이지만대표적인

7 출구조사의투표소표집방안비교 9 투표소를소수선정하는대표구추출방법을채택하여왔다. 이방법은선거구전체의투표결과를대표할수있을것으로판단되는투표소를추출하여조사하는방법이다. 대표투표소를잘고를경우, 그투표소의투표결과만으로전체선거구의투표결과를알수있다고가정하는것이다. 대표투표소를찾는방법은여러가지가있을수있다. 예컨대소득이나연령, 종교등주요유권자특징이전체선거구를대표할수있는선거구를찾을수도있을것이다. 그러나출구조사에서는과거선거에서의투표소별투표결과를보고, 선거구전체의투표결과와가장비슷한결과를보인투표소를대표투표소로선정하게된다. 유사성정도는개별투표소의후보별득표율과선거구전체의후보별득표율차이를가지고판단하는데, 다음식에서보듯이각후보별득표율차이를제곱하여그총합이적을수록유사성이높다고본다. A 투표소의오차합 = n (X k -x Ak ) 2 k =1 x k : k위득표자의선거구전체득표율 x Ak : k위득표자의 A투표소득표율 k =1,2,,n위 이와같이과거선거에서선거구전체의투표결과를대표할수있는투표소를찾게되면이투표소가이번선거에서도그러한대표성을유지할것으로보는것이다. 이때, 선거구전체를가장잘대표할수있는투표소가존재한다면그투표소하나만을추출하면될것이다. 그렇지만실제로그러한대표성에확신이없기때문에전체선거구결과와가장유사한결과를보인 5~9개정도의투표소를추출하게된다. 이러한이유로투표소수가많아진다고해서더정확해진다고보기는어렵다.

8 10 조사연구 문제는투표소가가진대표성이과연계속유지될수있느냐는것이다. 미국의 1916년이후선거자료를토대로하여이러한대표구 (bellwethers) 가존재하는지검토한연구 (Tufte & Sun 1975) 에의하면이러한대표구는존재하지않는다고한다. 결국투표행태는변화한다는것이다. 그렇지만앞서지적하였듯이적은수의투표소를가지고예측해야한다면확률표집방법보다는이방법이더정확할것으로예상되었다. 특히유권자유입과유출에따른인구변동이적고, 선거구조정에따른급격한정치환경변화가없는경우에는특히이러한대표구방식이효율적일것으로보고있다. 이러한믿음은총선이후시간이그리경과되지않은보궐선거등에서, 즉투표소변동이적은선거에서이러한방법을이용하여투표소를추출한다음출구조사를실시하였을때그결과가비교적정확했다는경험에의해뒷받침되고있다. 3. 층화대표구추출방법 (bellwether polling place sampling after stratification) 대표구추출방법이선거구전체의결과를대표할수있는투표소를추출하는것이라면층화대표구방법은선거구를몇개의층으로구분한다음각층별로대표투표소를찾는방법이다. 보통선거구를 2개에서 4개정도의층으로구분한다음각층을대표할수있는투표소를층별로두개이상추출한다. 이방법은선거구에어떤변화가있더라도층별로구분하여표집하기때문에이러한변화가표집에반영될수있다고본다. 그렇지만층구분을어떻게해야하는지와관련한방법의선택이나층수의결정이연구자에따라달라지기때문에실제적용과정에서어려움이많다. 이방법은 KBS의 2002년지방선거예측에서활용되어비교적성공적이라는평가를받았다. 당시출구조사에서는투표소의변화를대표구방식이적절하게반영하지못한다고보았다. 따라서층별로구분해서대표구를추출하는것이보다적합할

9 출구조사의투표소표집방안비교 11 것으로보고, 각선거구를 2개에서 4개정도의층으로구분한다음, 각층별로적절한수의선거구를표집하여예측치를구하였는데, 이때의출구조사는당선자예측이빗나가지않았고, 실제예측오차도그리크지않았다. 그리고사후분석결과투표소추출과정에서발생한오차의평균은 1% 포인트정도인것으로밝혀졌다. 따라서그이후 2002년보궐선거와대통령선거에도이방법이사용되었다. 2004년총선에서는복합선거구등일부선거구에서사용되었다. 4. 종단적계통추출방법 (longitudinal systematic sampling from ordered polling places) 선거구전체의대표투표소를찾는방법은투표소에발생하는변화가반영되지않기때문에한정적이지만이를극복하려는층화대표구는층을구분하는방식에서주관성이많이개입된다는문제점이있다. 이러한문제점을극복할수있는방법으로종단적계통추출방법을들수있다. 이방법은특정정당이나후보자의득표율을기준으로투표소를배열한다음일정한간격으로즉계통적으로투표소를추출하게된다. 대표구추출방법과다른점은투표성향이각기다른층에서도투표소를추출하기때문에선거구의변화를반영해준다는점이다. 즉, 대표구방식은선거구전체의평균과가장유사한투표성향을보이는투표소들만을뽑는반면, 종단적계통추출방법은여당지지가강한투표소, 여야의지지율이비슷한투표소, 야당지지가강한투표소등을모두뽑는다는특징이있다. 그러면서도층을구분하지않기때문에층화대표구방법의단점인층구분의임의성이배제된다는장점도있다. 그렇지만층이명확하게구분되어있을때는경우에따라층별특성이적절하게반영되지않을위험성도있다. 예컨대비슷한크기의두개층으로구분되는선거구에서세개의투표소를추출할경우층의크기는유사하지만추출된투표소수는달라진다. 만약각층별

10 12 조사연구 로성향차이가크고층내의성향차이가적다면층구분을무시하고표집하는종단적계통표집방법이부정확하게될수도있을것이다. 이방법은우리나라에서는아직적용하지않았지만영국의출구조사에서활용되었는데 (Moon 1999), 이들은이방법을그대로사용할경우갖게되는편향을제거하기위해대칭추출방식 (mirror-image) 을이용하여정치적성향의균형을꾀하도록변형하여사용하였다. 우리나라에서이방법이활용되지않았던것은그동안대표구방법에대한확신이강했기때문에굳이새로운방법을도입할필요성을느끼지못했기때문일것으로판단된다. Ⅲ. 연구방법 한국에서는 1999년 3.30재보선에서최초로출구조사가도입된이후, 1999년 6.3재보선, 2000년 16대총선, 2002년 3회지방선거, 2002 년 8.8재보선, 2002년 16대대선, 그리고최근의 2004년 17대총선에이르기까지총 7번의출구조사가이루어졌다. 이중 16대와 17대총선에서출구조사의정확도가떨어지는것으로나타났고, 다른선거에서는비교적정확한예측이이루어졌다. 투표소표집이특히문제가되는경우는총선이기때문에본연구는 17대총선자료를이용하여표집방법을비교하였다. 총선출구조사는선거구수가많기때문에선거구별투표소수를많이추출할수없고또예측이빗나가는경우도많았기때문이다. 1. 투표소추출에사용된자료대표구표집방법, 층화대표구표집방법, 종단적계통표집방법은모두과거투표행태를기준으로투표소를표집하는방법이다. 17대총선예측조사에서사용할수있는과거투표행태자료로는 2000년에실

11 출구조사의투표소표집방안비교 13 시된 16대총선결과와 2002년에실시된 16대대선결과등이있다. 총선의경우선거구의투표소별투표행태가대통령선거나지방선거와는다를것으로보인다. 예컨대대통령선거나광역단체장선거의경우, 후보구도와이에따른선거테마가전국을아우르기때문에개별선거구단위의특성들은중요하게인식되지않는다. 반면, 총선의경우에는이러한요인이외에도개별후보자의출신지역, 출신학교등이투표행태에중요한영향을미치게되는등다른선거와차이가있다. 따라서총선자료를이용한대표구추출을실시하는것이이론적으로는가장적합하다. 그러나 17대총선의경우 16대에비해지역구국회의원수가 227개에서 243개로늘어나면서선거구구역조정이일어난곳이 < 표 1> 에서보는바와같이 75개에달한다. 따라서 16대나그이전선거행태를토대로 17대총선에서의투표소별특성을파악하는것은상당한어려움이있다. < 표 1> 16 대총선대비 17 대총선선거구변동현황 유형 선거구 1개선거구가 2개로분리 서울성동갑 / 을등 44개 3개선거구가 2개로통합 전북김제 / 완주, 진안 / 무주 / 장수 / 임실등 10개 2개선거구가 3개로분리 서울노원갑 / 을 / 병등 9개 2개선거구가 1개로통합 대구남구 / 중구등 4개 복합선거구소속시 / 군의변화 강원화천 / 철원 / 양구 / 인제등 4개 신설선거구 경기수원영통등 1개 신설선거구에따른구역조정 경기수원팔달등 3개 계 75 개

12 14 조사연구 이연구는 2000년 16대총선이아닌 2002년 16대대선투표자료를투표소표집을위한자료로활용하였다. 실제로지난 17대총선출구조사에서도이러한이유로투표소표집과정에서 16대대선자료를이용하였다. 2. 분석대상지역실제선거예측조사에서출구조사는 1위와 2위후보자간의예상득표율차이가 8% 이내일경우에실시되는경우가많았기때문에본연구에서도 8% 를기준으로하여실험지역을정하였다. < 표 2> 에서살펴볼수있듯이 17대총선에서는 243개지역구중에서 80개지역이 8% 이내의경합도를보였다. < 표 2> 17 대총선 1~2 위격차가 8% 이하인선거구의 16 대대선대비투표소수증감현황 0 ±1 ±2 ±3 이상계 20 개 (25.0%) 11 개 (13.8%) 7 개 (8.8%) 42 개 (52.5%) 80 개 (100.0%) 실제분석대상이된지역은 38개였는데그것은이들 80개지역중에서 16대대선에비해투표소변동이 3개이상발생한지역은제외했기때문이다. 투표소변동이이처럼많을경우과거투표행태를기준으로투표소를추출하지못하고계통추출법과같은확률표집방법을사용할수밖에없다. 따라서방법별비교라는연구목적상 17대총선에서경합도가높으면서도투표소에변동이적었던 38개선거구를대상으로투표소표집방법을비교하였다.

13 출구조사의투표소표집방안비교 15 < 표 3> 분석에투입된선거구현황 No 시도선거구투표소수증감 투표소수 No 시도선거구증감 No 시도선거구투표소수증감 1 서울종로 0 14 인천남동乙 0 27 서울영등포甲 1 2 서울용산 0 15 인천부평甲 0 28 서울강동甲 -1 3 서울광진乙 0 16 울산울주군 0 29 부산영도 1 4 서울은평乙 0 17 경기남양주甲 0 30 부산북강서甲 1 5 서울서대문乙 0 18 경기파주 0 31 부산사하乙 1 6 서울양천乙 0 19 전북고창 / 부안 0 32 경기광명乙 -1 7 서울강서乙 0 20 경남양산 0 33 경기고양시일산甲 2 8 서울영등포乙 0 21 서울동대문甲 1 34 경기남양주乙 2 9 서울동작甲 0 22 서울노원乙 강원춘천 서울송파乙 0 23 서울서대문甲 1 36 강원철원 / 화천 / 양구 / 인제 서울송파丙 0 24 서울마포甲 전남담양 / 곡성 / 장성 서울강동乙 0 25 서울마포乙 전남고흥 / 보성 인천남구甲 0 26 서울금천 1 3. 구체적인표집절차분석을위해네가지표집방안별로표본크기 ( 투표소수 ) 를 5, 7, 9, 11, 13개로달리하여총 20개경우의투표소추출을실시하였다. 추출투표소수를 5~13개로삼은것은실제방송사출구조사도그정도범위내에서진행되기때문이다. 총선을기준으로선거구별투표소는대략 50개에서 60개정도 3) 이며, 이중에서 7~10개전후의투표소가추출되어최종예측에사용된다. 지난몇차례의출구조사를통해비용대비효율성측면에서이정도의표본크기가적절하다고판단되었기때문이다. 실제분석에서사용한각표집방법별구체적절차는 3) 17 대총선의전체 243 개선거구를분석한결과 1 개선거구당평균 54.2 개투표소로구성되어있다.

14 16 조사연구 다음과같다. 1) 단순계통추출방법단순계통추출방법에의한투표소추출을다음과같은절차에의해시행하였다. 먼저, 17대총선자료를기준으로선거구내에서투표소를무작위로배열한후, 난수를발생시켜최초추출점 (starting point) 에해당되는투표소를추출하였다. 다음으로배열된투표소전체수를추출투표구수 (k) 로나누어간격 (interval) 을구한다음, 그간격에따라계통적으로건너뛰며해당하는투표구를선정하였다. 2) 대표구추출대표구추출방법은선거구전체의투표결과를대표할수있는투표소를뽑는방법인데, 구체적인방법은여러가지가있다. 우선 1단계에서투표소를바로뽑는일단추출법과, 상위행정단위인읍 / 면 / 동, 혹은시 / 군 / 구를먼저뽑고그다음에투표소를뽑는다단추출법으로나눠지는데, 본분석에서는일단추출법을사용하였다. 실제추출하는과정은 16대대선자료를이용하여선거구전체의후보별지지율에서개별투표소의후보별지지율을뺀값을제곱하여합한다음, 그크기에따라정렬한후그차이가적은순서대로 k개의투표소를뽑았다. 이러한이유때문에대표구표집방법이오차최소제곱법 (least squares method) 이라고도불린다. 3) 층화대표구추출선거구를몇개의층으로구분한다음각층별로대표구를추출하는방법이다. 이방법의성과는층을어떻게나누느냐에달려있는데그방법에따라오차가커지기도, 줄어들기도한다. 층내동질적이며층간이질적이라는기본원칙이잘반영되게층을나누는것이중요하다. 층을나누는방법은투표소별각후보의과거선거득표율을토대로군집분석등통계모듈을적용하는방법과각투표소별로지지성향

15 출구조사의투표소표집방안비교 17 의점수값을부여하고이분포를보고연구자의판단에의존하여층을나누는방법이있다. 본연구에서는개별투표소단위의 16대대선후보별지지율자료를가지고군집분석을실시하여층을 2개~5개로구분하였으며, 층을나눈후는앞의대표구표집방법과동일한단계를거쳤다. 4) 종단적계통추출선거구를층으로구분하지않고, 선거구내의투표소를투표성향별로나열한다음체계적으로추출하자는것이다. 먼저, 16대대선자료를이용하여선거구내에서노무현후보지지율순서대로투표소를정렬하였다. 그다음단계부터는앞의단순계통추출방법을그대로사용하였다. 단순계통추출의경우선거관리위원회의투표소배열을무작위적인것으로전제하고있다면, 종단적계통표집은과거선거의여야지지성향을기준으로투표소를재정렬한후추출한다는차이가있다. 4. 투표소추출오차 ( 예측오차 ) 투표소추출방법별비교는각방법을사용했을때의예측오차 4) 를산출하여이를토대로실시하였다. 예측오차를구하는방법으로는당선자만을기준으로구하는방법, 1위와 2위후보자두명의오차를평균하거나더하는방법, 모든후보자의오차를합하는방법이있다. 그러나선거예측에서는각후보자의득표율예측의정확도보다는상대적정확도가더중요하기때문에 1위와 2위후보의득표율격차를기준으로다음과같이예측오차를구하였다. 예측오차 =(1위득표자의선거구전체득표율 -2위득표자의선거구전체득표율 )- (1 위득표자의추출된투표소득표율 -2위득표자의추출된투표소득표율 ) 4) 선거구전체결과와추출투표소결과의차이

16 18 조사연구 Ⅳ. 연구결과 출구조사표본의추출방법을단순계통, 대표구, 층화대표구, 종단적계통방법으로각기달리하였을때예측오차가어떻게달라지는가를분석하기위해 17대총선자료를이용해 38개선거구를대상으로표본을추출한다음예측오차를산출하였다. 또한, 추출투표소수의차이에따른예측오차의변화도함께검증하기위하여각선거구별로표본크기 ( 추출투표소수 ) 를 5,7,9,11,13으로각기달리하여분석하였다. 그결과네가지표집방법별로 5개의표본크기별예측오차가계산되어총 20개의각기다른예측결과가산출되었다. 그다음이러한예측결과를실제투표결과와비교하여예측오차를구하였다. 그다음이예측오차가추출방법및추출투표소수에따라어떻게달라지는가를분석해보았다. 1. 투표소수에따른예측오차차이투표소수를증가시키면예측오차는감소하지만예산과실행의어려움이있기때문에적정투표소수를추출하는것이중요하다. 그동안총선출구조사에서는선거구별로 5개에서 13개정도의투표소를추출해조사했지만과연어느정도의투표소를추출하는것이적절한것인가에대한체계적인분석이이루어지지는않았다. 본연구는투표소수를달리했을때예측오차가어떻게달라지는가를주요연구문제로설정하고이를분석하였다. 분석결과 < 표 4> 에서보듯이투표소수를증가하면예측오차가감소하는경향이있었다. 단순계통표집의경우, 대체적으로투표소수가증가할수록예측오차가작아지는경향을보였다. 대표구표집의경우는 5개추출에비해 7개를추출하였을때예측오차가크게감소하였으며, 그보다투표소수가증가하더라도오차가거의감소하지는않았

17 출구조사의투표소표집방안비교 19 다. 층화대표구방식으로표집하였을경우는 9개와 11개가상대적으로우수한편이었으며, 종단적계통표집의경우는투표소수와상관없이대체적으로높은예측력을보였다. < 표 4> 표집방법및투표소수별예측오차 표집방법 투표소수 평균 표준오차 5개 개 단순계통표집 9개 개 개 개 개 대표구표집 9개 개 개 개 개 층화대표구표집 9개 개 개 개 개 종단적계통표집 9개 개 개 이러한예측오차가표집방법과투표소수에따라과연달라지는가를알아보기위해 SPSS의 GLM 모듈을이용해분석하였는데그결과투표소수의영향은통계적으로의미있는것으로나타났다.

18 20 조사연구 < 표 5> 변량분석결과 Source Type III Sum of Squares df Mean Square F Sig. 표집방법 (a) Huynh-Feldt error Huynh-Feldt 투표소수 (b) Huynh-Feldt error Huynh-Feldt 상호작용 (a*b) Huynh-Feldt error Huynh-Feldt * SPSS GLM 모듈의 repeated measures design 사용 그리고추출투표소수를증가시킬경우, 예측오차가어떻게변화하는가를구체적으로측정하기위해세부적으로분석해본결과 < 그림 1> 과 < 표 6> 에서살펴볼수있듯이투표소수를 9개로할때까지오차가감소하였지만 9개를초과하는투표소수추출은예측오차의감소에기여도가별로없는것으로나타났다. 이결과는그동안 7~10개정도의투표소를추출하는것이적절하다는그동안의가정에큰문제가없음을보여준다. < 표 6> 투표소수 Contrast 분석결과 투표소수 Source Level 2 vs. Level 1 Level 3 vs. Previous Level 4 vs. Previous Level 5 vs. Previous Type III Sum of Squares df Mean Square F Sig * Level 1 : 5개추출, Level 2 : 7개추출, Level 3 : 9개추출, Level 4 : 11개추출, Level 5 : 13개추출

19 출구조사의투표소표집방안비교 21 가. 전체 [ 예측오차 ] [%] 개 7개 9개 11개 13개 [ 투표소수 ] 나. 방법별 [ 예측오차 ] [%] 단순계통표집대표구표집층화대표구표집종단적계통표집 개 7개 9개 11개 13개 [ 투표소수 ] < 그림 1> 투표소수증가에따른예측오차변화 2. 투표소추출방법에따른예측오차차이다음으로표집방법별예측오차차이분석을실시하였다. 본단계에서는투표소수 9개이상만을분석대상으로삼았다. 앞에서살펴본바와같이투표소수 5개와 7개는표집방법과상관없이대체적으로예측오차가컸는데, 이러한이유로표집방법별변별력을떨어뜨릴것으로판단했기때문이다. 분석결과, 표집방법의유의확률이.061로나타나 95% 신뢰수준에서는표집방법별유의미한차이가인정되지않았다. < 표 8> 의각방법

20 22 조사연구 별다중비교를살펴보면, 종단적계통표집의예측오차가단순계통표집보다유의미하게작았지만, 다른조합의경우에는통계적인차이가발견되지않았다. < 표 7> 표집방법변량분석결과 Source Type III Sum of Squares df Mean Square F Sig. 표집방법 Huynh-Feldt error Huynh-Feldt * 투표소수 5 개와 7 개는분석에서제외 < 표 8> 표집방법에따른다중비교 Tukey HSD (I) 표집방법 (J) 표집방법 평균차 (I-J) 표준오차 유의확률 대표구 단순계통 층화대표구 종단적계통 대표구 층화대표구 종단적계통 단순계통 층화대표구 종단적계통 단순계통 대표구 종단적계통 단순계통 대표구 층화대표구 * 투표소수 5 개와 7 개는분석에서제외 당선자예측이가장중요하게고려되는실제선거예측과정에서는예측오차의평균보다는오차의분산이표집방법선택에있어서더중요하게고려되기도한다. 즉, 예측오차평균이적은표집방법이라하더

21 출구조사의투표소표집방안비교 23 라도분산이클경우, 보다정확히말하자면극단치의수가많을경우, 당선자예측실패선거구수가늘어나기때문이다. 반면, 오차평균이상대적으로떨어지는방법론이라하더라도극단치의수가적다면, 절대다수의선거구에서당선자예측에성공할수있기때문이다. < 표 9> 를살펴보면, 일단평균적으로는종단적계통표집과대표구방법이층화대표구와단순계통표집방식보다우수해보인다. 하지만대표구의경우, 분산이가장크며특히극단치가많은문제가있다. 만약, 실제과정에서종단적계통표집을사용할수없는경우라면, 대표구표집방법을포기하고단순계통표집이나층화대표구방식을사용하는것이더적절할수도있는것이다. 이럴경우, 여러가지요인을고려해보아야하겠지만, 투표소를충분히뽑을수있다면단순계통표집방식이, 그렇지못할경우는층화대표구방식이더효율적일수있다. < 표 9> 표집방법별예측오차의크기와극단치수 구분 단순계통 (n=190) 대표구 (n=190) 층화대표구 (n=190) 종단적계통 (n=190) 평균 분산 극단치사례수 2개 9개 5개 2개 * 극단치 : q3 + 3(q3 - q1) 보다큰값 지금까지의연구결과를종합해보면, 다음과같이정리할수있다. 비록표집방법별예측오차의평균이통계적으로는유의미하지않았지만실무적인관점에서보면종단적계통표집과대표구표집의예측오차차이가의미있는것으로받아들여진다. 그리고극단치분석결과까지종합적으로고려할경우, 평균과분산두가지측면모두에서종단적계통표집이 4개표집방법중가장우수한방법인것으로판단된

22 24 조사연구 다. 이러한연구결과는지금까지의투표소추출방법이적절치않았다는점을보여준다. 지금까지는대표구추출방법과층화대표구방법중에서어느방법이효율적인가에대한논란이많았고, 실제로이두방법을주로적용해왔다. 실제분석결과는이러한가정이타당하지않았다는것을보여준다. 본연구에서대표구방법의정확도가종단적계통표집방법에비해높게나타나지않았는데, 이것은선거구전체의투표결과를언제나나타내주는그러한대표구가존재하지않는다는투프테와선 (Tufte & Sun 1975) 의연구결과와도일치한다. 즉선거구는끊임없이변화되고있고, 따라서어떤특정투표소가전체선거구의투표결과와유사했다고해서그러한특성이다음선거에서계속된다고기대할수없다는것이다. 특히본연구의결과가투표소조정이거의없었던지역을대상으로실시한분석에서얻어진것이라는점을감안하면실제로대표구추출방법의유용성은상당히낮다고평가된다. 층으로구분해서대표구를추출할경우대표구추출방법의많은문제점이해결될것이라던주장도설득력이떨어지는것으로나타났다. 또한단순계통표집방법의경우도표본크기가충분히확보되지않을경우, 대표구방법보다예측력이떨어질것이라는예상이사실로드러났다. 분석결과단순계통표집방법을사용할경우, 13개정도의투표소를뽑아야대표구방식으로 7~9개정도의투표소를뽑을경우와비슷한예측오차를보였다. 3. 종단적계통추출방법과층화지금까지분석해온바와같이투표소추출방법으로는그동안실제적용하지는않았던종단적계통표집방법이가장뛰어난것으로나타났다. 이방법은과거선거결과를활용하고는있지만대표구방법과는

23 출구조사의투표소표집방안비교 25 달리다양한성향의투표소를표집하고있고, 또층화대표구와는달리층구분이임의적이지않다는장점이있다. 이러한연구결과에도불구하고각표집방법별로장단점이존재한다는점을염두에둘필요가있다. 결국종단적계통표집방법은층을무시하는데서, 층화대표구방식은층구분의임의성이개입될수있다는점에서, 그리고대표구표집방식은투표소변화를무시하는데서각각예측오차가커지게된다. 그렇게본다면명확하게층이구분되는경우에는층화방식이, 그렇지않은경우에는종단적방식이적절한선택이라고볼수있겠다. < 표 10> 종단적계통표집방법변화에따른예측오차비교 ( 철원 / 화천 / 양구 / 인제선거구 ) 구분 9개추출 11개추출 13개추출 평균 층화대표구 종단적계통 층화후종단적계통 * * 개별郡을하나의층으로간주한후각층에서종단적계통표집방법으로투표 소를추출하여각층 ( 개별郡 ) 의값을계산한후이를합산하는방식 < 표 10> 은비교적층이명확하게구분된다고평가받고있는복합선거구를대상으로분석한결과이다. 총선에서의복합선거구는대부분소지역별로자기지역출신후보를지지하는등명확히대비되는투표행태를보이기때문에지역 ( 郡 ) 구분과층의구분이거의일치하는특징을보인다. 한개선거구의결과만을가지고일반화시킬수는없겠지만, 위의분석결과는층이존재할때의표집상의문제점을보여준다. 층화대표구와종단적계통표집방법은앞의분석에서사용한방식이며, 층화후종단적계통표집은이두가지방법을혼합한방식이

24 26 조사연구 다. < 표 10> 에서살펴볼수있듯이층이명확하게구분되는선거구의경우는기존의종단적계통표집방법보다는층화대표구방식이상대적으로우수해보인다. 하지만, 층화표집의장점과종단적계통표집의장점을결합한방식으로추출할경우에는예측오차가더줄어드는것으로나타났다. 이와같은복합선거구가아니더라도층이비교적명확이구분되는선거구의경우, 예를들어읍 / 면 / 동별로지지패턴이뚜렷히나눠지는경우는유사읍 / 면 / 동별로층을구분한후층화후종단적계통표집방법을사용하면유용할것으로판단된다. Ⅴ. 결론 본연구에서분석자료로사용한 17대총선이투표소선정과관련하여어느정도보편성을띠고있는지에대해서검토할필요가있다. 일단, 17대총선의경우탄핵정국이라는특수성이국회의원선거라는보편성을지배했던것처럼보인다. 이러한특수성으로인해 17대총선결과를토대로실시한본연구의결과는판단표집방법에불리하게나타났던것으로생각할수있다. 이번 17대총선의분위기가과거선거와달라진만큼과거선거결과에기반한판단표집방법은오류가커질수있기때문이다. 하지만, 이러한특수성은지난다른선거에서도북풍, 병풍등의형태로선거결과에커다란영향을미쳐왔다. 그리고앞으로실시될미래의선거에서도또다른이슈가선거에영향을미치게될것으로보인다. 2008년 18대총선역시, 탄핵은아니지만또다른어떤변화가있을수있기때문이다. 따라서이번 17대총선자료가특별히판단표집방법에불리한자료라고판단할필요는없을것으로본다. 또본연구의한계로지적될수있는것은대통령선거를토대로

25 출구조사의투표소표집방안비교 27 투표소를추출하였다는점이다. 동일유형의선거자료를활용할경우좀더대표구방법에의한투표소추출방법에유리한결과가나왔을가능성도있다. 총선의경우후보자와의관련성에따라투표행태가영향을많이받을수있는데이러한투표소별특성이대통령선거나광역단체장선거에서는강하게나타나지않기때문이다. 따라서대통령선거에서의투표행태를토대로투표소별특성을분석할경우총선에만나타나는특성이반영되지않게되고따라서투표소의대표성이달라질가능성이있다. 그러나한국의경우투표소조정이계속되고있기때문에비단이번 17대뿐만아니라과거 16대의경우도직전의동일유형의선거자료를활용하는것에어려움이많다. 동일종류의선거자료를토대로대표구추출을하기는어렵기때문에본연구의결과가대표구추출방법에실제보다불리하게설계되었다고보기는어렵다고본다. 따라서비록대통령선거자료를이용해서판단표집을실시했고, 또 17대총선이탄핵정국이라는특수성이있지만본연구의결과는어느정도의일반성을가진다고볼수있다. 이러한점을고려하여본연구결과를토대로출구조사의투표소추출방법에대해결론을내려보면다음과같다. 앞으로의출구조사는종단적계통표집방법을사용하는것이합리적이라고볼수있다. 과거에가장보편적으로사용되어왔던대표구방식은앞으로사회변화가더욱가속화될것이고투표행태의변화도더많을것으로예상되기때문에그효율성이떨어질것으로예상된다. 종단적계통표집방법은우리나라에서는아직적용되지않았지만이미영국에서활용하고있는방법이다. 다만앞서지적하였듯이상이한특성의층이이미존재하고있을때이러한존재를무시하고계통적으로만추출할경우특정층이과대대표될가능성이있다. 예를들어특정선거구가비슷한크기의두개층으로구분되어있는데여기에서다섯개의투표소를추출할경

26 28 조사연구 우어느한층이다른층보다더많이대표되게된다. 따라서실제상이한유형이존재할경우각유형별로구분하여추출하는것이바람직하다. 이런경우, 단순평균형식의추정방법을사용하면편향이생기게되므로층별추출률을반영한층화추출에서의추정식을사용해야한다. 그러나층화대표구추출방법에대한검토결과에서보았듯이무조건층을구분하는것은오히려예측오차를증가시킬수있다. 즉실제로층이존재하지않을경우또는존재하더라도그수나크기를잘못추정하는경우에는예측오차가커지기때문이다. 따라서층이존재한다는명확한경우를제외하고는층을고려하지않는것이바람직할것으로보인다. 출구조사의표본크기에대해서는많은논란이있었지만명확한결론이내려지지못한상태였다. 이번연구는그러나지금까지사용해왔던 7개에서 10개의투표소수가가장타당했었다는것을보여준다. 이론적으로본다면투표소수가증가할수록표집오차는감소한다고보아야한다. 그러나본연구의결과는 9개를초과해서추출했을때표집오차가감소하지않았다. 표집방법과는달리표본의크기에서는그동안의가정이적절했었다는것을보여주는결과다. 하지만, 이러한것모두가실제선거예측과정에서 100% 적용가능한것은아니다. 즉, 종단적계통표집방법으로 9개투표소를추출하는것이최선의방법만은아니라는것이다. 먼저, 선거의성격, 투표소변화정도, 소요예산, 조사회사의실사능력등을종합적으로고려해야한다. 다음으로표집방법별장단점을이러한전제조건과대비시킨후선거구별로적절한표집방법을선택해야한다. 이때고려해야할사항은각선거구별예상경합도에따른오차의허용범위이다. 실제상황에서는투표소표집오차이외에투표소내에서응답자추출과정에서나타나는표본추출오차, 그리고실사에서발생하는무응답등에따른비표본오차도발생한다는점을함께고려해야한다. 마지막으로

27 출구조사의투표소표집방안비교 29 선택된표집방법에잘부합되는방향으로추출투표소수를결정하면될것이다. 앞으로투표소추출에따른예측오차를감소시키기위해서는보다다양한선거와방법론에대한실증적연구검토가이루어질필요가있다. 참고문헌 Biemer, Paul, R. Folsom, R. Kulka, J. Lessler, B. Shah, and M. Weeks "An Evaluation of Procedures and Operations Used by the Voter News Service for the 2000 Presidential Election," Public Opinion Quarterly, 67(1): Moon, Nick Opinion Polls: History, Theory and Practice. Chapter 7. Manchester University Press. Tufte, E. R. and A. Sun Are There Bellwether Electoral Districts? Public Opinion Quarterly, 39(1):1-18. 김정훈 선거예측과출구조사 : 16대대선을중심으로. 조사연구 4(2): 김재광 제17대총선예측조사와관련된통계적이슈고찰. 조사연구학회춘계학술대회발표논문집 류제복 출구조사의역사와개선방향. 조사연구 4(1): 조성겸 천년총선예측조사와편향요인, 한국언론학보 45(3) : 한상태 강현철 허명회 SPSS 실험설계와분산분석. SPSS아카데미. 홍내리 허명회 제16대국회의원선거의예측조사에대한사후적검증. 조사연구 2(1):1-36.

조사연구 sampling error of polling sites and the additional error which comes from non-response, early voting and second stage sampling error of voters in

조사연구 sampling error of polling sites and the additional error which comes from non-response, early voting and second stage sampling error of voters in 조사연구 권 호 DOI http://dx.doi.org/10.20997/sr.18.4.7 연구노트 2016 년국회의원선거출구조사오차분석 Analysis of Prediction Error of the Exit Polling for 2016 National Assembly Election in Korea 1) 3) a) b) c) 주제어 대국회의원선거 예측오차