조사연구 aim of this study is to find main cause of the forecasting error and bias of telephone survey. We use the telephone survey paradata released by N

조사연구 권 호 DOI http://dx.doi.org/10.20997/sr.17.3.5 연구노트 2016 년국회의원선거전화여론조사정확성분석 Analysis of Accuracy of Telephone Survey for the 2016 National Assembly Elections 1)2) a) b) 주제어 선거여론조사 전화조사 예측오차 편향 대국회의원선거 We investigate the forecast error and bias of public opinion polls conducted for 20th national assembly elections in Korea. The

조사연구 aim of this study is to find main cause of the forecasting error and bias of telephone survey. We use the telephone survey paradata released by National Fair Election Survey Deliberation Commission and the measure of predictive accuracy(statistic ) proposed by Martin et el.(2005). By analyzing the 203 public opinion polls carried out in Seoul, Incheon and Gyeonggi province, we found that telephone survey method, period of poll, variation level of weights, and response rate are the factors to cause the forecasting error and bias in telephone survey. Key words : public opinion poll, telephone survey, forecasting error, bias, 20th national assembly election Ⅰ. 서론

년국회의원선거전화여론조사정확성분석

조사연구 Ⅱ. 여론조사정확성척도와분석대상여론조사

년국회의원선거전화여론조사정확성분석 log

조사연구 Ⅲ. 여론조사정확성분석결과 1. 지역별예측오차비교

년국회의원선거전화여론조사정확성분석 < 표 1> 지역별편향및예측오차 지역 편향비율 0.2842 0.3080 0.2376 108 46 0 0.4259 0.3036 0.3160 0.2037 76 36 0 0.4737 0.3015 0.3093 0.2182 19 6 0 0.3158 그림 지역별 의분포 그림 지역별 의분포

조사연구 2. 조사기관별예측오차비교 < 표 2> 조사기관별편향및예측오차 조사기관 편향비율 A 0.2410 0.2677 0.2069 7 3 0 0.4286 B 0.3844 0.3857 0.1974 55 36 0 0.6545 C 0.1387 0.1870 0.1668 49 5 0 0.1020 D 0.2536 0.2642 0.1758 15 5 0 0.3333 E 0.5023 0.5023 0.1631 5 4 0 0.8000 F 0.2596 0.2596 0.1275 5 2 0 0.4000 G 0.3568 0.3568 0.1607 7 4 0 0.5714 H 0.2001 0.2077 0.1664 6 2 0 0.3333 I 0.1333 0.1936 0.1944 13 1 0 0.0769 M 0.6689 0.6689 0.2223 6 6 0 1.0000 N 0.2781 0.2781 0.1673 7 1 0 0.1429

년국회의원선거전화여론조사정확성분석 그림 조사기관별 의분포 그림 조사기관별 의분포 < 표 3> 조사기관별 의 LSD 다중비교결과 조사기관 평균 그룹 M 0.6689 a E 0.5023 ab B 0.3857 bc G 0.3568 bcd N 0.2781 cde A 0.2677 cde D 0.2642 de F 0.2596 de H 0.2077 de I 0.1936 e C 0.1870 e

조사연구 3. 조사방법별예측오차비교

년국회의원선거전화여론조사정확성분석 < 표 4> 조사방법별편향및예측오차 조사방법 편향비율 0.2177 0.2471 0.2046 117 31 0 0.2650 ARS& 0.4819 0.4819 0.1661 7 6 0 0.8571 ARS 0.4350 0.4364 0.2161 51 39 0 0.7647 0.3024 0.3077 0.1641 28 12 0 0.4286 그림 조사방법별 의분포 그림 조사방법별 의분포

조사연구 < 표 5> 조사방법별 의 LSD 다중비교결과 ( 수도권 ) 조사방법비교 차이 값 유의여부 ARS-ARS& -0.0455 0.5274 ARS- 0.1892 0.0000 *** ARS- 0.1287 0.0025 ** ARS& - 0.2348 0.0009 *** ARS& - 0.1742 0.0218 * - -0.0605 0.1084

년국회의원선거전화여론조사정확성분석 4. 조사시점에따른예측오차비교 < 표 6> 조사시점에따른편향및예측오차조사시점 편향비율 4.3 0.3123 0.3280 0.2310 141 61 0 0.4326 4.3 0.2495 0.2727 0.1977 62 27 0 0.4355 그림 조사시점에따른 의분포 그림 조사시점에따른 의분포

조사연구 5. 응답률에따른예측오차비교 < 표 7> 응답률에따른편향및예측오차 응답률 편향비율 5% 0.4382 0.4392 0.1986 73 56 0 0.7671 5% 10% 0.2617 0.2737 0.1752 49 20 0 0.4082 10% 15% 0.1842 0.2303 0.2245 41 7 0 0.1707 15% 0.1783 0.2061 0.1678 40 5 0 0.1250

년국회의원선거전화여론조사정확성분석 그림 응답률에따른 의분포 그림 응답률에따른 의분포

조사연구 < 표 8> 응답률에따른 의 LSD 다중비교결과 응답률비교 차이 값 유의여부 5% 5% 10% 0.1766 0.0000 *** 5% 10% 15% 0.2540 0.0000 *** 5% 15% 0.2599 0.0000 *** 5% 10% 10% 15% 0.0775 0.0596 5% 10% 15% 0.0834 0.0441 * 10% 15% 15% 0.0059 0.8905

년국회의원선거전화여론조사정확성분석 6. 가중치변동에따른예측오차비교 < 표 9> 가중치비에따른편향및예측오차 가중치비 편향비율 1.5 0.1994 0.2172 0.1758 9 1 0 0.1111 1.5 2.5 0.1798 0.2162 0.1778 70 13 0 0.1857 2.5 3.5 0.2529 0.2709 0.2074 49 18 0 0.3673 3.5 4.5 0.4090 0.4104 0.1656 49 36 0 0.7347 4.5 0.4879 0.4879 0.2465 26 20 0 0.7692

조사연구 그림 가중치비에따른 의분포 그림 가중치비에따른 의분포

년국회의원선거전화여론조사정확성분석 < 표 10> 가중치비에따른 의 LSD 다중비교결과 가중치비교 차이 값 유의여부 1.5 1.5 2.5 0.0197 0.7733 1.5 2.5 3.5-0.0535 0.4438 1.5 3.5 4.5-0.2096 0.0030 ** 1.5 4.5-0.2885 0.0001 *** 1.5 2.5 2.5 3.5-0.0732 0.0424 * 1.5 2.5 3.5 4.5-0.2292 0.0000 *** 1.5 2.5 4.5-0.3082 0.0000 *** 2.5 3.5 3.5 4.5-0.1561 0.0001 *** 2.5 3.5 4.5-0.2350 0.0000 *** 3.5 4.5 4.5-0.0789 0.0924 7. DB 활용조사를제외한응답률및가중치에따른예측오차비교

조사연구 < 표 11> DB 활용조사를제외한응답률에따른편향및예측오차 응답률 편향비율 5% 0.4385 0.4396 0.2138 60 46 0 0.7667 5% 10% 0.2779 0.2887 0.1788 41 18 0 0.4390 10% 15% 0.2685 0.2966 0.2663 17 6 0 0.3529 15% 0.1454 0.2013 0.1881 11 3 0 0.2727 그림 활용조사를제외한응답률에따른 의분포

년국회의원선거전화여론조사정확성분석 그림 활용조사를제외한응답률에따른 의분포 < 표 12> DB 활용조사를제외한응답률에따른 의 LSD 다중비교결과 comparison difference -value sig. 5% 5% 10% 0.1606 0.0002 *** 5% 10% 15% 0.1700 0.0037 ** 5% 15% 0.2931 0.0000 *** 5% 10% 10% 15% 0.0095 0.8757 5% 10% 15% 0.1325 0.0643 10% 15% 15% 0.1231 0.1307

조사연구 < 표 13> DB 활용조사를제외한가중치비에따른편향및예측오차 가중치비 편향비율 1.5 0.1612 0.1812 0.1423 8 0 0 0.0000 1.5 2.5 0.2223 0.2491 0.1839 29 10 0 0.3448 2.5 3.5 0.2651 0.2872 0.2255 27 13 0 0.4815 3.5 4.5 0.4129 0.4146 0.1721 41 31 0 0.7561 4.5 0.5020 0.5020 0.2517 24 19 0 0.7917 그림 활용조사를제외한가중치비에따른 의분포

년국회의원선거전화여론조사정확성분석 그림 활용조사를제외한가중치비에따른 의분포 < 표 14> DB 활용조사를제외한가중치비에따른 의 LSD 다중비교결과 comparison difference -value sig. 1.5 1.5 2.5-0.0611 0.4498 1.5 2.5 3.5-0.1039 0.2033 1.5 3.5 4.5-0.2517 0.0016 ** 1.5 4.5-0.3408 0.0001 *** 1.5 2.5 2.5 3.5-0.0428 0.4294 1.5 2.5 3.5 4.5-0.1906 0.0002 *** 1.5 2.5 4.5-0.2797 0.0000 *** 2.5 3.5 3.5 4.5-0.1478 0.0037 ** 2.5 3.5 4.5-0.2369 0.0001 *** 3.5 4.5 4.5-0.0891 0.0884

조사연구 Ⅳ. 전국단위정당지지율여론조사분석

년국회의원선거전화여론조사정확성분석 그림 시간에따른척도 의변화추이 새누리당 더민주당

조사연구 그림 시간에따른척도 의변화추이 새누리당 국민의당

년국회의원선거전화여론조사정확성분석 그림 시간에따른척도 의변화추이 여당 야당 Ⅴ. 결론

조사연구 참고문헌. 2011. : 2010. 12(3): 25-48.. 2014. 2014. 15(4): 1-32.

년국회의원선거전화여론조사정확성분석. 2013. 18. 14(1): 1-30.. 2013. 18. 14(2): 1-18.. 2016. 20.. Bolger, G., D.W. Davis, C. Franklin, R.M. Groves, P.J. Lavrakas, M.S. Mellman, P. Meyer, K. Olson, J.A. Selzer, M.W. Traugott, and C. Wlezien. 2009. An Evaluation of the Methodology of the 2008 Pre-Election Primary Polls. American Association for Public Opinion Research. Martin, E.A., M.W. Traugott, and C. Kennedy. 2005. A Rewiew and Proposal for a New Measure of Poll Accuracy. Public Opinion Quarterly 69 (3): 342-369. Mokrzycki, M., S. Keeper, and C. Kennedy. 2009. Cell-phone-only Voters in the 2008 Exit Poll and Implications for Future Noncoverage Bias. Public Opinion Quarterly 73(5): 845-865. Sturgis, P., N. Baker, M. Callegaro, S. Fisher, J. Green, W. Jennings, J. Kuha, B. Lauderdale, and P. Smith. 2016. Report of the Inquiry into the 2015 British Gneral Election Opinion Polls. London: British Polling Council and the Market Research Society. Traugott, M.W. and W. Christopher. 2009. The Dynamics of Poll Performance During the 2008 Presidential Nomination Contest. Public Opinion Quarterly 73(5): 866-894. < 2016/08/18, 2016/08/27>