Journal of the Korea Academia-Industrial cooperation Society Vol. 17, No. 10 pp. 158-167, 2016 http://dx.doi.org/10.5762/kais.2016.17.10.158 ISSN 1975-4701 / eissn 2288-4688 조미경 1, 김희영 2* 1 을지대학교간호대학, 2 남서울대학교아동복지학과 A Quality Assessment of Meta-Analyses Research in Social Work Mi-Kyoung Cho 1, Hee-Young Kim 2* 1 College of Nursing, Eulji University 2 Department of Child Welfare, Namseoul University 요약본연구의목적은사회복지관련메타분석연구를대상으로 Assessment of Multiple Systematic Reviews (AMSTAR) 도구를이용하여질평가를하기위한서술적조사연구이다. 메타분석, 사회복지, 사회사업 을키워드로하여 2000 년부터 2015년에 KISS, DBpia, RISS4U 데이터베이스를이용하여출판된연구중 42개의메타분석연구에대해질평가를실시하였다. 수집된자료는기술통계, 독립집단 t-test, 일원분산분석으로분석되었다. 평균 AMSTAR 질평가점수는 4.76±1.66점이었고, 낮은수준이 19개 (45.2%), 중간수준이 22개 (52.4%), 높은수준이 1개 (2.4%) 이었다. 질평가점수는연구의특성인출판년도, 대상자, 분석논문의수, DB의수, 저널유형, 재정지원유무, 연구의질평가유무, 분석대상논문을추출흐름도유무, 주제에따라차이가분석되었다. 질평가점수는출판년도, DB의수, 연구의질평가유무, 분석대상논문을추출흐름도유무에따라통계적으로유의한차이가있었고, 4개요인이메타분석연구의질에영향을미치는요인으로 51.9% 의설명력이있었다. 본연구는메타분석연구의질을향상시키기위해필요한가이드라인을제시하는데기여하고있다. 본연구는사회복지분야메타분석연구의질향상과분석결과의신뢰성확보를위하여첫째, 메타분석보고를위한공통적이고구체적인가이드라인을마련하고공유하는것, 둘째, 근거기반의실천적개입을위해서는질평가를통해근거강도가높은논문의결과를메타분석으로합성하는것, 셋째, 분석대상논문의연구특성을제시하는것, 마지막으로문헌선택과자료추출과정에서두명이상의연구자에의한독립적실시와최종문헌추출을위한합의과정과이해상충여부가보고되어야함을제안하고있다. Abstract This study was conducted to evaluate the quality of meta-analysis of social work in South Korea using the Assessment of Multiple Systematic Review (AMSTAR). Electronic databases including the Korean Studies Information Service System (KISS), DBpia, and RISS4U were searched for 'meta-analysis', 'social work', and 'social welfare' from 2000 to December 2015, and 42 meta-analysis studies were included. Data were analyzed using descriptive statistics, t-tests, and ANOVA. The mean score for AMSTAR evaluation was 4.766±1.66, while 19 studies (45.2%) were classified at the low-quality level, and 22 (52.4%) were at the moderate-quality level. The scores of quality assessment were analyzed by publication year, participants, number of studies included, number of DB, reporting study quality, extraction diagram and topics. The findings indicated that the following changes should be implemented to improve the quality and reliability of meta-analysis results in social work research: 1) common reporting guidelines should be provided for the social work field, 2) quality analyses of each study should be conducted to achieve a high level of evidence of effectiveness of social work interventions, 3) the characteristics of the included studies should be provided, and 4) a consensus and procedure based on at least two independent data extractors should be reported. Keywords : Meta-Analysis, Quality Assessment, Social Work * Corresponding Author : Hee-Young Kim(Namseoul Univ.) Tel: +82-41-580-3053 email: hkimjk@naver.com Received July 11, 2016 Revised (1st August 12, 2016, 2nd September 1, 2016) Accepted October 7, 2016 Published October 31, 2016 158
1. 서론 1.1 연구의필요성최근사회복지실천에있어서개입효과성확보와클라이언트중심의개입을강조하면서근거기반실천 (evidence-based practice) 모델에근거한접근을강조하고있다 [1-2]. 이러한사회복지분야의근거기반실천은조사연구, 실험연구, 메타분석과같은과학적지식의활용을강조하여얻어진연구결과들을증거로활용하여사회복지실천개입을체계적으로실현할것을제시하고있다 [3]. 특히, 메타분석은다양한개별연구결과를체계적이고계량적으로종합하고분석하여개입의효과를도출하는가장높은수준의과학적근거를제고하는연구방법 [2,4] 이다. 또한사회복지실천개입의효과성평가를도출하기위하여최근사회복지연구분야에서많이사용하고있는연구방법이기도하다. 사회복지분야에서는국외의경우 1980년대후반부터메타분석에대한연구물이나오기시작하였고 [5-6], 현재까지 317편의학술지가국제데이터베이스인 EBSCOhost에서검색되고있다. 국내에서도사회복지분야에서발표된연구중메타분석을검색용어로하였을때, 2000년이후현재까지 15년동안국내데이터베이스인 RISS에서만도학위논문 16 편, 학술지게재논문 21편이검색되었다. 이를통해국내외적으로메타분석연구가사회복지분야에서도지속적으로팽창하고있음을알수있다. 메타분석은특정주제에관련해연구대상의표집, 측정도구, 자료분석방법을달리한개별연구들의상이한결과로부터개입효과크기를얻어내고통계적으로종합하여, 연구결과의객관적인일반화를할수있도록하는연구의통합 (research synthesis) 기법이다 [7]. 그러나메타분석은동질성과타당성이높거나낮은상이한개별연구들을종합하는방법이기때문에, 연구물선택의편차및독립성가정위반등의문제를야기할수있고이로인한왜곡된결론을도출할가능성에대한비판을받고있다 [7]. 메타분석의연구결과로부터도출된결과의적용과해석에대한정확한판단을위해서는메타분석의연구방법과결과에대한신뢰성과타당성이먼저확보가되어야한다 [2]. 따라서메타분석의보고지침이나평가지침에따른자료수집절차와방법, 통계적분석방법등이적절하게수행되었는지에대한연구방법론적검증은메타분석으로인한오류를줄이면서연구간불일치 를해결하고신뢰도가높은결과확보를위하여필수적인과정이라할수있다. 국외의경우, 메타분석연구결과의신뢰성확보를위하여 1990년대이후부터메타분석연구보고에대한질평가실시의중요성을보고하고있으며, 메타분석의질평가자체가연구결과의신뢰성확보를위한도구로서꾸준히개발되고제안되고있다 [8-9]. 지금까지메타분석보고의질을높이기위한다양한메타분석의질평가도구들로무작위실험연구의질평가를위한 21개의평가기준을제시한 Moher 등 [9] 이개발한 QUOROM (quality of reporting of meta-analysis of randomized controlled trials), 2009년 QUOROM의수정판으로보완된 27-35개체크리스트항목을제시하고있는 PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-analysis), 미국심리협회에서 QUOROM과 PRISMA 등의메타분석보고기준을검토하여교육과심리학분야에적절하도록보완및수정하여제시한 APA (American psychological association) 보고기준이있다 [10]. 본연구에서는메타분석의방법론적검증과연구의질평가를위한 11개의항목들로구성된 AMSTAR (assessment of multiple systematic reviews) 를사용하고자한다. 기존도구에비해간결하고사용이용이하고 [11-12]. 기존도구들이체계적문헌고찰의보고기준으로만활용되고있는반면, AMSTAR는유일하게신뢰도와타당도가검증된도구이며, 보건및의료분야 [13] 뿐만아니라다양한학문분야 [11,14-15] 에서메타분석연구의객관적인질평가를위해활용되고있다 [11,16-17] 또한국내의경우한국보건의료연구원에서 AMSTAR를승인받아번역한한국어판 AMSTAR를메타분석연구의질평가도구로사용할수있도록제시하고있다 [18]. 사회복지분야의경우에도 Lee, Kim, Yeum[19] 이 APA 에서제시하는기준들에얼마나부합하는지를 5개의영역 ( 제목및초록, 서론, 방법, 결과, 논의 ) 을 APA (American psychological association) 보고기준에따라보고한연구가있으나, Lee, Kim, Yeum[19] 의연구는메타분석연구의작성방법면에서 APA에서제시하는기준들에얼마나부합하는지를알아보는데에만그쳤다. 따라서, 본연구에서는메타분석의질평가도구로써타당도와신뢰도를확보한 AMSTAR 평가도구를활용하여국내학술지에게재된사회복지분야메타분석연구 159
한국산학기술학회논문지제 17 권제 10 호, 2016 의질평가를실시하고사회복지실천연구에서메타분석연구의질향상방안을제시하며더나아가근거기반실천에기반을둔사회복지실천에기여하고자한다. 1.2 연구의목적본연구의목적은사회복지관련메타분석연구를대상으로메타분석질평가도구인 Assessment of Multiple Systematic Reviews(AMSTAR) 평가기준에따라질평가를실시함으로써메타분석방법론적인질향상을위한방안을제시하고자하는것이며구체적인목적은다음과같다. 첫째, 분석대상메타분석연구의특성을파악한다. 둘째, 분석대상메타분석연구의질평가수준을파악한다. 셋째, 분석대상메타분석연구의특성에따른질평가점수를파악한다. 2. 연구방법 2.1 연구설계본연구는사회복지관련메타분석연구를 AMSTAR 평가도구를활용하여논문의질을평가하는서술적조사연구이다. 2.2 분석대상논문의선정및자료수집사회복지관련메타분석논문의질평가를위해한국학술정보원 (Korean studies information service system [KISS]), DBpia, RISS4U 데이터베이스를이용하여한국어로 메타분석, 사회복지, 사회사업 을주요어로하여 2000년부터 2015년 12월까지발간된논문을 2명의연구자가각각독립적으로검색및자료추출을실시하였다 (Figure 1). 분석대상논문의선정기준은첫째, 메타분석연구, 둘째, 사회복지관련효과크기를분석한메타분석연구, 셋째, 한국어로발표한메타분석연구이었다. 검색된자료는총 128편의연구물이었고, 이중연구자의합의에의해분석에이용된메타분석연구는총 42 편이었다. Fig. 1. Literature search strategy 2.3 연구도구 2.3.1 메타분석연구의질평가도구본연구에서는메타분석연구의질평가를위해 Shea 등 [20] 이개발하고 Kim 등 [18] 이국내에서한국어로번역하여신뢰도와타당도가검증된 AMSTAR 한국어버전을사용하였다. 이도구는 사전에 체계적문헌고찰의계획이수립되었는가?, 문헌선택과자료추출을여러명이수행하였는가?, 포괄적인문헌검색을하였는가?, 포함기준에출판상태 ( 예 : 회색문헌 ) 가사용되었는가?, 포함및배제된연구목록이제시되었는가?, 포함된연구의특성이제시되었는가?, 포함된연구의질이평가되고기술되었는가?, 포함된연구의질은결론을도출하는데적절히사용되었는가?, 개별연구의결과를결합한방법이적절하였는가?, 출판비뚤림의가능성을평가하였는가?, 이해상충이기술되었는가? 의 11개항목으로구성되었으며, 각항목에대해 예, 아니오, 대답할수없음, 적용할수없음 으로판단하여체크하였다. 점수는 예 는 1점을주고, 아니오, 대답할수없음, 적용할수없음 은 0점으로기록하였고, 11개항목의점수를합산하여총점을산출하였다. 합산된질평가점수는 0-4점은낮은수준, 5-8점은보통수준, 9-11점은높은수준으로해석하였다 [18]. Shea 등 [20] 이본도구를개발당시 Intra Class Coefficients는 0.91, 측정자간일치도는 Cohen s kappa=0.70이었고, 본연구에서 Intra Class Coefficients는 0.95, 측정자간일치도는 Cohen s kappa=0.88이었다. 2.4 연구진행절차및자료수집질평가도구를이용한개별논문에대한코딩은논문제목, 출판년도, 대상자, 주제, 저널유형, 데이터베이스 160
수, 분석대상논문수, 재정지원유무, 자료추출흐름도유무, 질평가유무, 질평가각항목의점수와총점을기록할수있는코딩북을만들어서공유한후연구자 2인이개별적으로실시하였다. 질평가도구의항목기준을명확하게이해하기위해 AMSTAR도구를이용하여메타분석논문의질평가를수행한경험이있는교수의자문을받아서각항목에서의판단기준을명확하게하였다. 2편의논문을대상으로 AMSTAR도구를이용하여평가하고항목에대한이해와판단기준을합의하는사전훈련을시행하였다. 사전에 체계적문헌고찰의계획이수립되었는가? 항목은연구문제나목적이제시되어있고분석대상문헌의포함기준이있는경우에, 문헌선택과자료추출을여러명이수행하였는가? 항목은문헌선택과자료추출을 2명이상각각한경우에, 포괄적인문헌검색을하였는가? 는적어도 2개의전자자료원을이용하여검색한경우, 검색시출판년도와주제어가제시되어있는경우 예 로판단하였으며, 포함기준에출판상태 ( 예 : 회색문헌 ) 가사용되었는가? 는문헌검색이학술논문이나보고서등까지이루어졌다는언급이있으면 예 로판단하였다. 포함및배제된연구목록이제시되었는가? 는연구특성이표로제시되었거나참고문헌으로있는경우에, 이해상충이기술되었는가? 는분석대상논문의연구비출처가명확하게제시되어있는경우에 예 로판단하였다. 2.5 자료분석수집된자료는 SPSS 21.0 프로그램을사용하여분석하였다. 분석대상연구의특성과분석대상연구의질평가를위해 11개평가항목에대해실수, 백분율, 평균과표준편차로분석하였다. 메타분석연구의특성에따른질평가점수는독립집단 t-검정 (independent t-test), 일원분산분석 (one way ANOVA) 으로분석하였다. 메타분석연구의질평가에영향을미치는요인을파악하기위해 multiple regression(enter) 으로분석하였다. 모든통계적유의수준은 ρ<.05로하였다. 3. 연구결과 3.1 분석대상연구의특성분석대상연구의출판년도는 2000~2009년 11편, 2010~15년 31편이었고, 연구대상은건강인이 30편, 환자 9편, 프로그램 3편이었다. 분석대상논문의수는 60 편미만이 24편, 60편이상이 18편이었으며, 데이터베이스수는 4개미만이 22편, 4개이상이 19편이었다. 저널유형은연구재단등재지및등재후보지가 37편, 미등재가 1편, 학술대회발표자료가 4편이었다. 재정지원을받은연구가 11편이었고, 연구의질평가가이루어진연구가 1편이었으며, 자료추출흐름도가있는연구가 7편이었다. 주제는다양하였고, 프로그램의효과를본연구가 22 편, 관련변인을파악하기위한연구가 20 편이었다 [Table 1]. Table 1. Characteristics of Studies (N=42) ID year Participants N. of N. of study DB support study quality diagram 1 2015 Adolescents 25 8 No Yes Yes 2 2015 Social worker 76 4 Yes No No 3 2015 Program 33 5 Yes No No 4 2014 Elderly 76 7 No No Yes 5 2014 Elderly patients with chronic 123 11 No No Yes disease 6 2014 Care helper 83 4 No No No 7 2014 Teacher 20 5 No No No 8 2014 Youth 84 6 Yes No No Persons with severe 9 2014 172 mental illness 6 No No Yes 10 2014 Adolescent 82 6 Yes No Yes 11 2014 ADHD children 31 2 No No No 12 2013 In-home elderly 155 3 No No No 13 2013 Program 30 3 No No No Persons with severe 14 2013 67 mental illness 4 Yes No No 15 2013 Social worker 111 4 No No No 16 2012 Elderly 21 3 Yes No No 17 2012 Child abuse experience 16 5 No No No 18 2012 All 31 3 Yes No No 19 2012 Older adult 41 Not mentio No No No ned 20 2012 Older adult 54 3 No No No 21 2012 Child abuse 41 6 Yes No No 22 2012 Depression patient 23 3 No No No 23 2012 People with schizophrenia 72 4 No No No 24 2012 The disabled 104 3 No No No 25 2012 The aged 102 2 No No No 26 2012 Adolescent 60 3 No No Yes 27 2012 Adolescent 101 4 No No No 28 2011 Program 25 2 Yes No No 29 2010 Children, student 43 3 No No Yes 30 2010 Alcoholics 22 4 No No No 31 2010 Children of parentless family 55 3 No No No 161
한국산학기술학회논문지제 17 권제 10 호, 2016 32 2009 Mentally ill 20 4 No No No 33 2009 Children, adolescent, parent 22 2 No No No People with severe 34 2008 disabilities 6 2 No No No Children's exposure 35 2008 to domestic 45 8 Yes No No violence 36 2005 Parent-children 65 1 No No No 37 2005 Adolescent 65 3 No No No 38 2004 Adolescent 39 2 No No No 39 2004 Student, adult 36 2 No No No 40 2003 Adolescent 93 2 No No No 41 2002 Children adolescent 54 1 No No No 42 2000 Client 29 3 Yes No No 3.2 연구의질평가점수 AMSTAR도구를이용한분석대상연구의메타분석질평가점수평균은 4.76±1.66점 ( 범위 : 2~10점 ) 이었고, 낮은수준 (0-4점) 이 19편, 보통수준 (5-8점) 이 22편, 높은수준 (9-11점) 이 1편이었다. 연구의질평가항목중 사전에체계적문헌고찰의계획이수립되었는가? 는 42편 (100%) 모두기술하고있었고, 포함기준에출판상태 ( 예 : 회색문헌 ) 가사용되었는가? 는 41편, 포괄적인문헌검색을하였는가? 는 38편, 개별연구의결과를결합한방법이적절하였는가? 에대해서는 31편으로대부분의논문이평가기준을충족하고있었다. 포함및배제된연구목록이제시되었는가? 는 15편, 문헌선택과자료추출을여러명이수행하였는가? 는 13편, 출판비뚤림의가능성을평가하였는가? 는 12편으로나타났고, 포함된연구의특성이제시되었는가? 는 5편, 포함된연구의질이평가되고기술되었는가?, 포함된연구의질은결론을도출하는데적절히사용되었는가? 는 1편, 이해상충이기술되었는가? 에대해서는 1편뿐이었다 [Table 2]. Table 2. Scores of Assessment of Multiple Systematic Reviews no. Items Answer of yes n (%) 1 Was an a priori design provided? 42 (100.0) 2 Was there duplicate study selection and 13 (31.0) data extraction? 3 Was a comprehensive literature search 38 (90.5) performed? Was the status of publication (i.e. grey 4 literature) used as an inclusion 41 (97.6) criterion? M±SD 5 Was a list of studies (included and excluded) provided? 15 (35.7) 6 Were the characteristics of the included 5 (11.9) studies provided? 7 Was the scientific quality of the included studies assessed and 1 (2.4) documented? 8 Was the scientific quality of the included studies used appropriately in formulating conclusions? 1 (2.4) 9 Were the methods used to combine the 31 (73.8) findings of studies appropriate? 10 Was the likelihood of publication bias 12 (28.6) assessed? 11 Was any conflict of interest stated? 1 (2.4) Level of quality Low (0-4) 19 (45.2) 3.32±0.75 Moderate (5-8) 22 (52.4) 5.77±0.81 High (9-11) 1 (2.4) 10.00±0.00 Total 42 (100.0) 4.76±1.66 3.3 연구특성에따른질평가점수비교 AMSTAR도구를이용한질평가점수는분석대상연구의출판년도가 2010년이전보다는 2010년이후에출판된논문들이질평가점수가높았고 (t=-3.40, p=.002), 분석에이용된데이터베이스의수가 4개미만인경우보다 4개이상인경우가질평가점수가높은것으로나타났으며 (t=-2.33, p=.025), 통계적으로유의한차이를보였다. 질평가점수를보고한논문 (t=-3.63, p=.001) 과, 자료추출흐름도가있는경우가그렇지않은경우보다질평가점수가높은것으로나타났으며 (t=-3.57, p=.001) 와, 통계적으로유의한차이를나타냈다. 그러나, 대상자, 분석대상연구의수, 저널유형, 재정지원여부, 주제에따라서는차이를보이지않았다 [Table 3]. Table 3. Comparison of Scores of Assessment of Multiple Systematic Reviews by Characteristics of Studies Characteristics Categories n (%) M±SD t or F (p) 2000-2009 11 (26.2) 3.45±1.04-3.40 Publication year 2010-2015 31 (73.8) 5.23±1.61 (.002) Healthy 30 (71.4) 4.73±1.74 people 0.19 Participants Patients 9 (21.4) 4.67±1.32 (.829) Program 3 (7.1) 5.33±2.31 Number of studies included Number of DB Journal type Financial support < 60 24 (57.1) 4.71±1.94-0.24 60 18 (42.9) 4.83±1.25 (.813) < 4 22 (52.4) 4.27±1.58-2.33 4 19 (45.2) 5.42±1.57 (.025) KCI (E) 37 (88.1) 4.76±1.67-0.05 The others 5 (11.9) 4.80±1.79 (.957) Yes 11 (26.2) 4.54±1.75 0.50 No 31 (73.8) 4.83±1.66 (.622) 162
Reporting study quality Extraction diagram Topics Yes 1 (2.4) 10.00±0.00-3.63 No 41 (97.6) 4.63±1.46 (.001) Yes 7 (16.7) 6.57±1.62-3.57 No 35 (83.3) 4.40±1.44 (.001) Effect of program Influencing factor 4. 논의 22 (52.4) 4.95±1.86 20 (47.6) 4.55±1.43 0.78 (.438) 본연구는국내사회복지분야에서 2000 년부터최근 2015 년 12 월까지출간된메타분석연구물을 AMSTAR 평가도구를사용하여메타분석의방법론적인질향상방안을제시하고근거기반사회복지실천향상에기여하고자수행되었다. 4.1 메타분석연구의질평가수준 AMSTAR의평가점수는점수범위에따라서수준이낮음 (0-4), 보통 (5-8), 높음 (9-11) 으로구분되는데, 본연구에서총 42편의메타분석연구를분석한결과, 논문전체의질평가수준은 45.2% 가 낮음, 52.4% 가 보통, 2.4% 가 높음 으로 11점만점에평균 4.76점으로사회복지분야에서의메타분석연구의질수준이낮게나타났다. 이러한결과는동일한 AMSTAR평가도구를사용한간호학분야메타분석논문 [13] 의질평가결과 (5.61점) 보다수준이낮았으며, 국내운동관련메타분석논문 [11] 의질평가결과 (4.18 점 ) 와노인관련메타분석연구 [15] 의질평가결과 (4.10점) 와는비슷한수준이었다. 이는다양한학문과주제분야에서근거기반개입의필요성을인식하고근거확보를위한메타분석연구가실행되고있으나메타분석연구의질은낮은것을알수있었다. AMSTAR의세부항목별점수를살펴보면다음과같다. 첫째, 포함된연구의질이평가되고기술되었는가? 와 포함된연구의질은결론을도출하는데적절히사용되었는가? 의평가문항은본연구에포함된연구중 1 편 (2.4%) 에서만실시한것으로, 간호학분야에서는 31.0% 가질평가를실시하는반면 [13] 사회복지분야에서는질평가가이루어지지않음을알수있었다. 운동 [11] 과노인관련연구 [15] 에서질평가결과가각각 12.1% 와 0.13% 로본연구와비슷하게낮았는데, 이러한 결과들은사회복지분야뿐아니라국내메타분석연구전반에있어서아직까지개별연구의질평가가중요하게다루어지고있지않음을시사한다. 메타분석수행에있어서개별연구의질평가는연구결과의신뢰성을확보하는매우중요한요인으로, 개별연구논문의연구설계, 문헌의질, 연구방법의타당성및일관성등을고려한질평가를메타분석최종결과에반영하여제시할때연구결과의신뢰성과타당성이높아진다고할수있다. 무작위실험설계 (randomized experimental design) 를이용한개입효과성연구가많은의료연구분야와는달리, 사회복지연구분야에서는유사실험설계 (quasi- experimental design) 가보편적으로사용되는만큼적절한질평가도구를선택하는것또한중요하다. 비무작위연구 (nonrandomized study) 의질평가를위한 RoBANS(risk of bias assessment tool for non- randomized study), GRADE(the grading of recommendations, assessment, development and evaluation), 그리고 MINORS (methodological items for non-randomized studies) 등과같은도구를사용하여사회복지분야에서도메타분석연구결과의수준을평가하고, 결과와논의에서질평가가연구결과에미치는영향들을올바르게해석하는것이필요하다. 둘째, 이해상충이기술되었는가? 에관한항목또한대상논문의 2.4% 인 1편의논문에서만언급이되었다. 즉, 개별연구를실행할경우체계적인문헌고찰이나포함된연구들의연구비출처가명확하게제시가되었는지의여부를 AMSTAR평가에서는요구하지만본연구대상논문들에서는이해상충여부를보고한연구는거의없었다. 이러한결과는국내학술지의경우연구비출처에대한명시를하고는있으나외국의학술지처럼이를반드시보고해야하는지침이없기때문이다. 따라서국내학술지도메타분석연구의보고지침을연구자들에게명확하게공지하는것이필요하다. 셋째, AMSTAR평가문항중 포함된연구의특성이제시되었는가? 에대해서개별연구의연령, 인종, 성별등과같은연구대상, 개입방법, 결과가표형태가아니어도연구내용에제시되어야하나대부분의연구는개별연구에대한구체적인특성들을제시하지않았다. 이는간호학분야 97.6%, 노인관련분야 46.2%, 국내운동관련분야의 69.7% 가평가기준을충족한것에비하여사회복지분야에서는 11.9% 로매우낮았다. AMSTAR평가도구 163
한국산학기술학회논문지제 17 권제 10 호, 2016 를사용한질평가연구는아니지만, Lee, Kim, Yeum[19] 의연구에서도개별연구에대한표본크기, 연구결과를포함한표를제공한논문이 19.2% 로대다수의연구가개별연구의특성들을본연구와같이제시하지않은것으로나타났다. 개별연구의특성을제시하는것은자료의객관성과타당성을확보하는중요한부분임에도불구하고사회복지분야메타분석연구보고에서는일반적으로간과되고있다는것을알수있었다. 개별연구들의효과크기및표본크기, 개입방법, 변수등과같은개별연구의특성들에대한정보제공은다른연구자가메타분석과정을반복했을때같은연구결과를보여줌으로서연구결과에대한신뢰도를높일수있게하는중요한요인들이므로추후사회복지분야의메타분석연구에서는분석에포함된연구의특성을반드시제시하여야겠다. 넷째, AMSTAR는 개별연구의결과를결합한방법이적절하였는가? 와 출판편의 (publication bias) 의가능성을평가하였는가? 의 2개문항에서효과크기산출과정을평가하도록제시하고있다. 메타분석은효과크기를이용하여개별연구결과를통합하고대상변수의효과에대한방향과크기를제시하는것으로서효과크기를어떠한방법으로결합하였는지그리고결합과정이적절하였는지여부를분석과정에제시하는것이중요하다. 분석에포함된개별연구결과들이한모집단에서추출된결과인지또는다른모집단에서추출된결과인지여부를카이제곱검증이나 I 2 와같은동질성검증을통하여고정효과모형 (fixed effect model) 또는무작위효과모형 (random effect model) 을선택하는근거가된다. 본연구의경우 73.8% 의논문이동질성평가를제시하고분석모델을선택하는통계적근거와기준을제시했으나, 통계적으로의미있는연구만을출판하는출판편의가사회복지분야의메타분석연구결과에미치는영향을통제했는가의평가에서는 28.6% 로메타분석연구에서는대체로이루어지지않는것으로나타났다. AMSTAR평가에서는출판편의가능성을 funnel plot 과같은그림이나통계적검정인 Egger's test와 Fail-safe N 산출등으로확인하고그결과를객관적으로보고해야함을강조하였다. 또한출판편의를시사하는이상치 (outlier) 는메타분석결과의타당성을저하시킬수있는주요요인이될수있기때문에 Trim & fill분석이나이상치제거와같은방법으로연구결과의왜곡을통제하려는시도가있었는지여부를확인해야한다. 이는메타분 석결과의타당성을저하시킬수있는주요요인이될수있기때문이다. 다섯째, 본연구결과 문헌선택과자료추출을여러명이수행하였는가? 에대한문항에서대상논문의 31.0% 만이기준을충족한것으로나타났다. 메타분석결과에대한정확성과신뢰도에영향을미치는중요한오류중하나가검색오류이다. 메타분석에서는문헌선택과자료추출의오류를막기위하여사전에정해진연구선택기준에따라서적어도 2명의연구자가독립적으로문헌을검색하고결과를비교할것을권장한다. 뿐만아니라추출된자료의코딩과정에도두사람이상이코딩을실시하고불일치를해결하는과정을통해자료의신뢰도를높이도록하고있다 [12]. 그럼에도불구하고본연구에서분석된과반수의논문들은문헌선택과자료추출과정에서 2명이상의연구자들이참여했다고보고하고있으나독립적인문헌검색의과정이나문헌선정의사결정과정을자세히기술하고있지는않았다. 1차자료분석으로이루어지는일반연구와달리 2차자료분석을활용하는메타분석연구의경우연구결과의정확성과신뢰도확보를위하여사회복지분야연구자들의체계적이고합리적인자료추출과정및합의과정의실행뿐만아니라그과정에대해분명하게기술이되어야하겠다. 여섯째, 포함및배제된연구목록이제시되었는가? 에대한항목의경우, 포함된연구목록을참고문헌으로또는본문에제시했는가를평가한항목은본연구대상논문의 35.7% 만이해당기준을충족한것으로나타났다. AMSTAR평가기준은연구분석에포함된논문뿐아니라배제된연구목록도참고문헌으로함께제시할것을요구하였으나 APA나 PRISMA의보고기준에서는배제된연구목록의경우는배제된이유와개수만간략하게제시하도록하고있다. 이차자료에의존하는메타분석연구의특성을고려할때연구결과의정확성을위하여분석에포함된연구목록을제시하는것이메타분석연구게제를위한학술지의공용가이드라인이제안될수있기를기대한다. 일곱째, 사전에체계적문헌고찰계획이수립되었는가?, 포괄적인문헌검색을하였는가?, 포함기준에출판상태가사용되었는가? 와같은기준에있어서는대상논문의 90.5%~100% 가충족한것으로나타났다. 특히적어도 2개이상의자료원을이용하여검색하고, 검색연도와주요키워드제시여부에대해서 포괄적인문헌 164
검색 과회색문헌의포함여부를제시하는 출판상태의포함 의기준항목은간호학 [13] 의 64.3%~88.1%, 노인관련 [15] 의 62%~69%, 국내운동관련 [11] 의 41.2%~ 54.5% 보다본연구결과가높은수준임을알수있었다. 4.2 메타분석연구특성에따른질평가본연구에서연구특성에따른메타분석연구의질평가점수의차이를분석한결과, 2010년이전에출판된논문보다이후에출판된논문의질평가점수가높았다. 간호학분야와노인관련분야연구에서 2010년이후에출판된논문의질이높았다고보고한것과동일한결과이다. 이는한국보건의료연구원의 PRISMA기준을확산한것이기여를했고, 교육과사회과학분야에서도메타분석연구물의질을평가하려는시도 [14,21] 가시작되었기때문인것으로볼수있다. 또한, 분석에이용된데이터베이스의수가 4개미만인경우보다 4개이상인경우가질평가점수가높은것으로나타났다. AMSTAR의경우는 2개이상의자료원제공여부를평가하며, APA보고기준에서는특별히자료원의개수를제시하고있지는않으나, 선택편의 (selection bias) 를제거하기위하여문헌검색에있어서다양한자료원을활용하는것은검색의민감도 (sensitivity) 를높이는중요한부분이다 [18]. 질평가점수를보고한논문과자료추출흐름도가있는경우가그렇지않은경우보다질평가점수가높은것으로나타났다. 메타분석을실행하는연구자들은검색한논문들의근거를평가하고실행된연구방법론의수준을결과에제시함으로써메타분석결과의타당성을사회복지분야의실무자들로하여금파악하고적용할수있도록하는것이필요하겠다. 특히자료추출흐름도는다른연구자들로하여금재분석 (replication) 을통해검증해볼수있는기회를제공할수있기때문에메타분석결과에대한신뢰성을높이는데필수적이라할수있다. 서메타분석연구의타당성을높일수있는방안을살펴보았다. 연구에포함된 42개논문을대상으로질평가를실시한결과질평가점수의평균은 4.76점 ( 범위 : 2~10 점 ) 이었고, 낮은수준 (0-4점) 이 19편, 보통수준 (5-8점) 이 22편, 높은수준 (9-11점) 이 1편이었다. 출판년도가 2010년이후인경우, 연구의질평가를시행한경우, 자료추출흐름도가있는경우, 데이터베이스의수가 4개이상인경우가그렇지않은경우보다 AMSTAR도구를이용한질평가점수에서통계적으로유의하게높은수준으로나타났다. 본연구는사회복지분야에서실시된메타분석연구의질평가를시도한것으로앞으로의사회복지연구의메타분석연구를위한제언은다음과같다. 첫째, 사회복지분야에서근거기반의사회복지를강조하는만큼메타분석을통한연구결과의근거를확인하려는연구가증가하고있는반면, 메타분석연구질평가수준은낮은것으로나타났다. 따라서사회복지연구분야안에서메타분석을위한공통적이고구체적인가이드라인을마련하고공유하는것이필요하다. 둘째, 사회복지분야에서근거기반의실천적개입을위해서는질평가를통한근거강도가높은논문의결과를합성하는것, 셋째, 분석대상논문의연구의특성을제시하는것, 마지막으로문헌선택과자료추출과정에서두명이상의연구자에의해독립적으로실시하고최종문헌추출을위한합의과정을제시하는노력과이해상충여부가보고되어야한다. 이를통해메타분석의오류를피하고신뢰도와타당성이확보된연구결과를도출하리라기대된다. 본연구는처음으로사회복지분야메타분석연구의질평가를 AMSTAR 질평가도구를사용하여분석함으로서사회복지분야메타분석연구결과의신뢰도를확인해볼수있었다는의의가있다. 그러나분석대상논문에국내에서출판된학술지만포함하고있으므로본연구결과로도출된결론은제한점을가지고있다. 5. 결론및제언본연구는국내사회복지분야에서출간된 42개메타분석논문의질평가를실시하고사회복지분야에서의메타분석연구의특성을파악하고타당도와신뢰도가확보된 AMSTAR질평가도구를활용하여사회복지분야에 References [1] Y. M. Kim, M. J. Park, A study on social worker attitude toward the adoption of evidence-based practice, Social Science Research Review, vol. 23, no. 2, pp. 281-303, 2007. [2] S. D. Hwang, Validation of evidence-based practice attitude scale, Social Science Research Review, vol. 27, 165
한국산학기술학회논문지제 17 권제 10 호, 2016 no. 4, pp. 77-97, 2011. [3] Z. Gellis, W. J. Reid, Strengthening evidence-based practice, Brief Treatment and Crisis Intervention, vol. 4, no. 2, pp. 155-165, 2004. DOI: http://dx.doi.org/10.1093/brief-treatment/mhh012 [4] G. V. Glass, Primary, secondary, and meta-analysis of research, Educational Researcher, vol. 5, no. 10, pp. 3-8, 1976. DOI: http://dx.doi.org/10.3102/0013189x005010003 [5] L. Videka-Sherman, Meta-analysis of research on social work practice in mental health, Social Work, vol. 33, no. 4, pp. 325-338, 1988. [6] K. Gorey, B. Thyer, D. Pawluck, Differential effectiveness of prevalent social work practice models: a meta-analysis, Social Work, vol. 43, no. 3, pp. 269-278, 1998. DOI: http://dx.doi.org/10.1093/sw/43.3.269 [7] S. S. Oh, Meta analysis : Theory and practice, pp. 1-283, Konkuk publisher, Seoul, 2011. [8] D. J. Cook, D. L. Sackett, W. O. Spitzer, Meteorologic guidelines for systematic reviews of randomized controlled trials in health care from the Postdam consultation on meta-analysis, Journal of Clinical Epidemiology, vol. 48, no. 1, pp. 167-171, 1995. DOI: http://dx.doi.org/10.1016/0895-4356(94)00172-m [9] D. Moher, D. J. Cook, S. Eastwood, I. Olkin, D. F. Stroup, Improving the quality of reports of metal-analyses of randomized controlled trials: the QUORUM statement, The Lancet, vol. 357, no. 27, pp. 1896-1900, 1999. DOI: http://dx.doi.org/10.1016/s0140-6736(99)04149-5 [10] S. D. Park, I. S. Shin, A review of meta-analysis research in early childhood education, Journal of Early Childhood Education, vol. 34, no. 2, pp. 393-412, 2014. DOI: http://dx.doi.org/10.18023/kjece.2014.34.2.018 [11] Y. S. Song, M. H. Gang, S. A. Kim, I. S. Shin, Review of meta-analysis research on exercise in south Korea, Journal of Korean Academy of Nursing, vol. 44, no. 5, pp. 459-470, 2014. DOI: http://dx.doi.org/10.4040/jkan.2014.44.5.459 [12] B. J. Shea, C. Hamel, G. A. Wells, L. M. Bouter, E. Kristjansson, J. Grimshaw, D. A. Henry, M. Boers, AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews, Journal of Clinical Epidemiology, vol. 62, no. 10, pp. 1013-1020, 2009. DOI: http://dx.doi.org/10.1016/j.jclinepi.2008.10.009 [13] J. H. Kim, A. K. Kim, A quality assessment of meta-analyses of nursing in South Korea, Journal of Koran Academy of Nursing, vol. 43, no. 6, pp. 736-745, 2013. DOI: http://dx.doi.org/10.4040/jkan.2013.43.6.736 [14] I. S. Shin, E. Y. Park, Review of the meta-analysis research in special education and related field, Korean Journal of Physical and Multiple Disability, vol. 54, no. 4, pp. 157-176, 2011. [15] Y. S. Song, M. H. Gang, S. A. Kim, Methodological quality of meta-analyses on the elderly in Korea, The Korean Association for Local Government & Administration Studies, vol. 28, no. 4, pp. 349-370, 2014. DOI: http://dx.doi.org/10.18398/kjlgas.2014.28.4.349 [16] C. Mikton, A. Butchart, Child maltreatment prevention: a systematic review of reviews, Bulletin of the World Health Organization, vol. 87, no. 5, pp. 353-361, 2009. DOI: http://dx.doi.org/10.2471/blt.08.057075 [17] J. Á. Bellón, P. Moreno-Peral, E. Motrico, A. Rodríguez-Morejón, A. Fernández, A. Serrano-Blanco, E. Zabaleta-del-Olmo, S. Conejo-Cerón, Effectiveness of psychological and/or educational interventions to prevent the onset of episodes of depression: a systematic review of systematic reviews and meta-analyses, Preventive Medicine, vol. 76, pp. 522-532, 2015. DOI: http://dx.doi.org/10.1016/j.ypmed.2014.11.003 [18] S. Y. Kim, J. E. Park, H. J. Seo, H. S. Seo, H. J. Sohn, C. M. Shin, Y. J. Lee, B. H. Jang, D. S. Heo, NECA s guidance for undertaking systematic reviews and meta-analyses for intervention, National Evidence-based Healthcare Collaborating Agency, pp. 1-287, 2011. [19] S. D. Lee, S. J. Kim, D. M. Yeum, Discussion and proposal for metal-analysis papers of social welfare field, Journal of Korea Contents Association, vol. 14, no. 1, pp. 209-222, 2014. DOI: http://dx.doi.org/10.5392/jkca.2014.14.01.209 [20] B. J. Shea, J. M. Grimshaw, G. A. Wells, M. Boers, N. Andersson, C. Hamel, A. C. Porter, P. Tugwell, D. Moher, L. M. Bouter, Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews, BioMed Central Medical Research Methodology, pp. 7-10, 2007. DOI: http://dx.doi.org/10.1186/1471-2288-7-10 [21] M. O. Suh, The review of meta-analysis and research methodology proposed, Korean Journal of Educational Research, vol. 49, no. 2, pp. 1-23, 2011. 조미경 (Mi-Kyoung Cho) [ 정회원 ] 2000 년 8 월 : 서울대학교간호학과 ( 간호학석사 ) 2008 년 8 월 : 서울대학교간호학과 ( 간호학박사 ) 1994 년 5 월 ~ 2009 년 2 월 : 서울대학교병원간호사 2009 년 3 월 ~ 2011 년 2 월 : 울산대학교의과대학임상전문간호학전공교수 2011 년 3 월 ~ 현재 : 을지대학교간호학과교수 < 관심분야 > 혈액투석, 자가간호, 인터넷일탈, 노인, 기초간호과학 166
김희영 (Hee-Young Kim) [ 정회원 ] 2008년 5월 : Louisiana State University, School of Social Work (M.S.W) 2002년 5월 : Louisiana State University, School of Social Work (Ph.D.) 2014년 3월 ~ 현재 : 남서울대학 교아동복지학과교수 < 관심분야 > 아동청소년복지, 행위중독, 청소년비행 167