ORIGINAL ARTICLE 대한간호학회지제 43 권제 6 호, 2013 년 12 월 ISSN (Print) ISSN (Online) X J Korean Acad Nurs Vol.43 No.6,

ORIGINAL ARTICLE 대한간호학회지제 43 권제 6 호, 2013 년 12 월 ISSN (Print) 2005-3673 ISSN (Online) 2093-758X J Korean Acad Nurs Vol.43 No.6, 736-745 김정희 김애경 단국대학교간호학과 A Quality Assessment of Meta-Analyses of Nursing in South Korea Kim, Jung-Hee Kim, Ae-Kyung Department of Nursing, College of Medicine, Dankook University, Cheonan, Korea Purpose: The purpose of the study was to assess the quality of meta-analyses on nursing published in South Korea. Methods: Relevant meta-analyses were identified through searches of the National Assembly Library, KISS (Korean Studies Information Service System), and the DBpia and RISS4U databases from 1990 to May 2013. Quality assessments were conducted using AMSTAR, a validated tool for assessing the quality of systematic reviews. Results: Forty-two meta-analyses were included in this study. Twenty-nine published between 1990 and 2010, and 13, between 2011 and May 2013. Two high quality studies and 11 moderate quality studies were published in the latter period. The mean score for the reviews was 5.61 (range 3 10); 11 studies were rated as low quality, 29 as moderate quality, and two as high quality. Conclusion: Although an improvement in the quality of meta-analyses conducted by nursing researchers in South Korea was observed across the study period, the study results indicate a need to use of more rigorous research methods when conducting systematic reviews or meta-analyses. Key words: Meta-analysis, Nursing 서론 1. 연구의필요성간호수행의근거는관찰과실험등을통해확립된과학적근거에기초해서이루어져야한다. 이러한간호수행을위한근거는연구에기반하며, 간호학연구는조사연구, 실험연구, 메타분석연구등을포함하여매우다양하게이뤄지고있다. 이중메타분석은연구의통합을통해축적된결과로새로운지식을형성하게하며임상실무를변화시킨다 (Brown, 2013). 메타분석은특정중재와관련해기존에출판되었거나출판되지않은모든결과물을융합하고자하는통계적인연구방법론으로 (Borenstein, Hedges, Higgins, & Rothstein, 2009; Leandro, 2005) 각각의연구로부터바로효과크기를얻어낼수있으며중재에대한결과를객관적으로도출하여근거기반의실제에대한결과를이끌어내는것을가능하게해준다 (Conn & Rantz, 2003; Craig & Smyth, 2007; Leandro). 또한, 기존의연구나관찰결과를종합하여임상적인활용성및위해성여부를판단하기때문에진단과치료에대한임상적결정에도움을준다 (Shin, Han, Pae, & Patkar, 2011). 그러므로메타분석은근거기반간호에서가장높은수준의근거수준으로분류되며메타 주요어 : 메타분석, 간호 * 본논문은 2012 년도정부재원으로한국연구재단의지원을받아연구되었음 (2012R1A1B5000460). *This work was supported by a Korea Research Foundation Grant funded by the Korean Government (MOEHRD, Basic Research Promotion Fund) (2012R1A1B5000460). Address reprint requests to : Kim, Jung-Hee Department of Nursing, College of Medicine, Dankook University, San#29 Anseo-dong, Dongnam-gu, Cheonan 330-714, Korea Tel: + 82-10-9017-3240 Fax: + 82-41-559-7902 E-mail: jhee90@dankook.ac.kr 투고일 : 2013 년 6 월 25 일심사의뢰일 : 2013 년 7 월 10 일게재확정일 : 2013 년 10 월 25 일 This is an Open Access article distributed under the terms of the Creative Commons Attribution NoDerivs License. (http://creativecommons.org/licenses/by-nd/4.0) If the original work is properly cited and retained without any modification or reproduction, it can be used and re-distributed in any format and medium. 2013 Korean Society of Nursing Science

737 분석을통해임상실무가이드라인을개발하고, 새로운연구계획과수행에서도필요한근거를마련할수있다 (Brown; Craig & Smyth). 그러나간호실무의적용여부를결정하기위해서는연구결과에대한신뢰성이전제되어야한다. 메타분석은출판편의, 선택편의등을포함하는오류들에대한비판을받고있으며 (Egger & Smith, 1998; Egger, Smith, & Altman, 2001; Song, Eastwood, Gilbody, Duley, & Sutton, 2004), 이들 bias가최소화되지않은상태로연구결과가보고되는경우연구결과의타당성을저하시켜 (Egger et al.; Sutton, Abrams, Jones, Sheldon, & Song, 2000) 실제임상이나현실에서활용하기어려운연구결과를얻게된다. 이와같이메타분석과관련된논란은잘못수행된메타분석연구에기인하며 (Lee, 2008), 보고지침이나평가지침에따른정확한연구방법을선택한다면메타분석으로인한오류를줄이면서연구간불일치를해결하여임상적의사결정에지침이될수있을것이다. 체계적고찰을위한원칙으로, 연구질문이명확해야하고사전에포함및제외기준이정의되어야하며폭넓고잘정제된검색전략이필요하다. 또한, 포함된연구의질평가, 문헌선택및자료추출의정확성, 연구결과주의깊은분석과기술, 동질성검정등이기술되어야한다 (Borenstein et al., 2009; Egger et al.; Leandro, 2005). Cochrane 가이드라인에서는임상적문제를연구개념의틀로만들기위해연구방법에서 PICO (Participants population/intervention or exposure/comparison Outcome) 에대한핵심질문설정을추천하고있다 (Higgins & Green, 2011). 메타분석에대한가이드라인이발전하면서연구형태에따라연구보고의질을평가하는도구들이제안되어왔다. 첫째로체크리스트와흐름도를수록한 QUOROM (Quality of Reporting of Metaanalyses) statement 가발표되었다 (Moher et al., 1999). 이들은제목, 초록 ( 목적, 자료원천, 고찰방법, 결과, 결론 ), 소개, 방법 ( 검색, 선택, 타당도평가, 자료추출, 연구성격, 양적자료의통합 ), 결과 ( 시험의흐름, 연구성격, 양적자료의통합 ), 토의에대한 21개의항목과하위항목으로구성되었다. 또한, 무작위대조군연구의확인, 포함, 배제과정등을쉽게확인할수있도록하는흐름도를제시하도록권고하고있다. 다음으로 MOOSE (Meta-analysis of Observational Studies in Epidemiology) statement 는관찰연구의메타분석에대한체크리스트로 (Stroup et al., 2000) 배경, 검색전략, 방법, 결과, 토의, 결론보고에대한권고들을제안하였다. 연구보고에포함되어야하는항목에는연구질문의정의, 가설, 예상되는결과, 사용된개입혹은노출위험의유형, 연구모집단에대한철저한기술등이포함된다. 셋째로 QUOROM statement (Moher et al.) 가 2009년에업데이트되면서보고의투명성에필요한항목을통합하여 PRISMA (Preferred Reporting Items for Systematic reviews and Meta-analyses) statement (Liberati et al., 2009) 가배포되었다. 그러나이상의 PRISMA 체크리스트등은보고기준에해당하며방법론적인질평가를위해 11개항목으로구성된 AMSTAR (Assessment of Multiple Systematic Reviews) 가소개되었다 (Shea et al., 2007). 메타분석의질평가도구로 AMSTAR는기존질평가도구들중신뢰도와타당도가검증되었으며, 쉽게적용할수있다는장점을갖고있어다양한학문분야에서메타분석평가로활용되고있다 (Shea et al.; Shea et al., 2009). 또한, 출판상태와출판언어, 연구지원을고려한연구의방법에대한평가를포함하고있다. 최신의연구들이 e -저널등을통해실시간으로출판되고있고, 다양한결과들이나오고있는시점에서객관적인결론을유도하는메타분석연구는매우유용할것이다. 메타분석시에발생할수있는 bias를줄이면서연구간이질성을최소화하면서연구결과에대한해석에세심한주의를기울인다면타당하고신뢰성있는연구결과들이도출될수있을것이다 (Lee, 2008). 비뇨기학 (MacDonald, Canfield, Fesperman, & Dahm, 2010), 정형외과학 (Dijkman et al., 2010), 백신분야 (Vaccinology) (De Vito et al., 2007), 약리학 (Melchiors, Correr, Venson, & Pontarolo, 2012), 치과학 (Papageorgiou, Papadopoulos, & Athanasiou, 2011; Suebnukarn, Ngamboonsirisingh, & Rattanabanlang, 2010) 을포함하는의학, 약학, 치의학분야에서각각 1990년대부터초반부터최근까지발행된메타분석평가연구가이뤄져왔다. 이와같이각학문분야별로메타분석의질관리를위해메타분석연구물을평가하고있으며, 이러한과정은메타분석의질적향상을위해학문적으로의의가있다고할수있다. 그러나아직국내간호학분야에서의메타분석질평가연구가없어국내에서출간된간호학분야의메타분석에대한적절한논의가이뤄지지못하고있는실정이다. 따라서, 본연구에서는국내에서간호학회지에서출간된메타분석연구의질평가를실시하고간호학에서의메타분석연구의질향상방안을제시하며더나아가근거기반에기초한간호실무향상에기여하고자한다. 2. 연구목적국내간호학회지에서출간된메타분석연구물을 AMSTAR 평가기준에따라질평가를실시하여메타분석의방법론적인질향상을위한방안을제시하고자하며구체적인내용은다음과같다. 첫째, 국내간호학회지에출간된메타분석연구의연구특성을파악한다. 둘째, 국내간호학회지에출간된메타분석연구의질평가를실시한다.

738 김정희 김애경 셋째, 국내간호학회지에출간된메타분석의연구특성에따른질평가점수를파악한다. 넷째, 국내간호학회지에출간된메타분석의출판연도와질평가점수의상관성을파악한다. 연구방법 지의검색기능을활용한경우가있었다. 다양한학회지들을검색한경우포괄적문헌검색에해당하는것으로합의하였다. 또한, 포함및배제된논문의목록제시여부항목에대해서는포함된최종리스트만을보고한경우에도기준에맞는것으로합의하였다. 이상의내용을검토후이상치나확인이필요한부분을확인하고교정하였다. 1. 연구설계 본연구는국내간호학분야에서출간된메타분석의논문을질평가도구를활용하여분석한서술적조사연구이다. 2. 분석대상논문의선정및수집 국내간호학분야에서출간된메타분석논문을분석하기위해국회도서관에서의학술지, 한국학술정보원 (Koreanstudies Information Service System [KISS]), DBPIA와 RISS4U의데이터베이스에서 간호, 메타, 메타분석 을주요어로하여 1976년부터 2013년 5월까지한국에서발행된학회지출판된논문을검색하였으며, 출판언어에는제한을두지않았다. 인터넷과도서관상호대차등을통해자료를검색및수집하였다 (Figure 1). 3. 자료분석 1) 코딩질평가도구를활용한개별논문에대한코딩은간호학교수 2인이실시하였으며, 문항의일치도를검증하고교수 2인의합의하에코딩을검토하였다. 이중데이터베이스가활성화되지않았던시기인경우포괄적인전자자료원을활용하지않고각분과학회홈페이 135 articles from electronic search 34 identified through National Assembly Library 30 identified thorough KISS 24 identified thorough DBPIA 47 identified thorough RISS4U 51 full articles assessed for eligibility 42 meta analysis included Exclusion of 84 duplicates 9 full text articles excluded 3 not nursing study 6 not meta-analyses studies KISS=http://kiss.kstudy.com; DBPIA=http://www.dbpia.co.kr; RISS4U=http://www.riss.kr. Figure 1. Literature searches and results. 2) 통계분석코딩한자료의통계분석을위해 SPSS 21.0 을사용하였으며, 분석방법은다음과같다. 첫째, 연구특성을파악하기위해실수, 백분율, 평균을구하였다. 둘째, 논문에대한질평가로 11개항목에대한실수, 백분율, 평균을구하였다. 셋째, 연구특성에따른질평가정도를파악하기위해 t-test를구하였다. 넷째, 국내간호학회지에출판된메타분석의출판연도와질평가점수의상관성을파악하기위해 Pearson correlation coefficients 를구하였다. 3) 질평가도구본연구에서는메타분석의질평가를위해 Shea 등 (2007) 이개발하고 Kim 등 (2011) 이번역한 AMSTAR를사용하였다. AMSTAR는 11개항목으로구성되었으며, 사전에문헌고찰의계획수립여부, 문헌선택과자료추출방법, 포괄적인문헌검색, 출판상태의포함기준, 포함된연구목록제시, 연구특성제시, 연구의질평가, 연구의질의결론도출시활용, 개별연구결과의결합방법의적절성여부, 출판편의가능성평가여부에대한기술이되어있는지를평가한다. 평가자는각항목에대하여 예, 아니오, 대답할수없음, 적용할수없음 으로체크한다. 예 는해당항목에관하여적절히다루었다는것을의미하며, 아니오 는해당항목에관하여잘수행되지않았을가능성을의미하며, 대답할수없음 은해당항목을시행했는지알수없는경우를의미하며 적용할수없음 은해당항목을적용할수없어수행하지못한경우라할수있다. 점수는 예 는 1점을주며 아니오, 대답할수없음, 적용할수없음 은 0점으로기록하고, 11 개항목은합산하여평가한다. 합산결과 0-4점은낮은수준 (poor quality), 5-8점은보통수준 (moderate quality), 9-11점은높은수준 (high quality) 으로해석한다. Intra Class Coefficients 는 0.91, 측정자간일치도는 Cohen s kappa= 0.70으로다른측정도구에비해높아신뢰도, 구성타당도가검증된도구이다 (Shea et al., 2009). 본연구에서의 Intra Class Coefficients는 0.94이며측정자간일치도는 Cohen s kappa= 0.87이었다.

739 연구결과 1. 메타분석연구의연구특성본연구분석에활용된 42개의메타분석논문의연구특성은 Table 1과같다. 한국연구재단등재논문은 38편 (90.5%) 이었으며, 9.5% 에해당하는 4개의논문은한국연구재단등재후보또는일반학술지인것으로확인되었다. 출판연도를볼때는간호학논문의메타분석은 1992년부터논문이출판되기시작하였으며, 보고기준이나오기전까지의 2010년까지는 29편 (69.0%), 2011 년부터 2013년 5월까지는 13편 (31.0%) 이게재되었다. 메타분석연구가연구비지원을받은경우는 19편 (45.2%) 이었다. 국내연구물만을분석대상에포함한연구는 28편 (66.7%) 이었다. 2. 메타분석연구의질평가메타분석연구물들의질평가결과, 평균 5.61점 ( 표준편차 1.69) 으로가능한점수 0-11점범위에서최소 3점에서최대 10점으로분포하고있었다. 0-4점에해당하는낮은수준의메타분석은 11편 (26.2%) 이었으며, 5-8점인보통수준은 29편 (69.0%), 9-11점에해당하는높은수준은 2편 (4.8%) 인것으로분류되었다. 1992년부터 2010 년까지의논문은평균 4.82점이었으며, 논문수준은낮은수준은 34.5%, 중간수준은 65.5% 였다. 2011 년부터 2013년최근까지의논문의경우평균 7.38 점, 낮은수준은 7.7%, 중간수준은 76.9%, 높은수준은 15.4% 인것으로나타났다 (Table 2). 11개항목에대해분석한결과를살펴보면, 사전에체계적인문헌고찰계획이수립되었는가? 에대한항목은 42편모두기준에맞게기술되었다. 문헌선택과자료추출을여러명이수행하였는가? 에대해서는 8편의논문 (19.0%) 이기술하였다. 연도별분석결과, 1992년부터 2010 년까지의논문의경우 13.8%, 2011 년부터 2013년최근까지의논문은 30.8% 가지켜지고있었다. 포괄적인문헌검색을하였는가? 즉, 두개이상의전자자료원을이용하여검색하였는지에대해서는 37편 (88.1%) 이해당되었다. 포함기준에출판상태가사용되었는가? 즉, 출판여부에관계없이문헌을검색하였는지, 출판상태와언어등에따라문헌을배제했는지여부가기술되어야하는항목에는 27편 (64.3%) 이해당되었다. 포함및배제된연구목록이제시되었는가? 에대해서는 5편 (11.9%) 이기준에부합했다. 포함된연구의특성이제시되었는가? 에대해서는 41편 (97.6%) 이기술되었으며, 포함된연구의질이평가되고기술되었는가? 는 13편 (31.0%) 이해당되었다. 연도별분석결과, 1992년부터 2010 년까지의논문의경우 6.9%, 2011 년부터 2013 년최근까지의논문은 84.6% 가지켜지고있었다. 포함된연구의질은결론을도출하는데적절히사용되었는가? 는 10편 (23.8%) 이 예 로분류되었다. 이또한 1992년부터 2010년까지의논문의경우 3.4%, 2011년부터 2013년최근까지의논문은 69.2% 가지켜지고있었다. 개별연구의결과를결합한방법이적절하였는가? 즉, 연구들이동질성을평가하여결합가능성이검정되었고, 그결과에따른분석방법을활용하였는지에대해서는 34편 (81.0%) 이해당되었다. 연도별분석결과, 2010 년까지의논문의경우 72.4%, 2011년부터 2013년최근까지의논문은 100% 지켜지고있었다. 출판편의의가능성을평가하였는가? 에대해서는 19편 (45.2%) 이평가하였다. 2010 년까지의논문의경우 34.5%, 2011 년부터 2013 년최근까지의논문은 69.2% 가지켜지고있었다. 이해상충이기술되었는가? 즉, 체계적문헌고찰및분석에포함된연구의연구비출처와지원에대한명시가있었는지에대한것은해당논문이없는것으로확인되었다. Table 1. Quality of Studies according to Study Characteristics (N =42) Categories Items n (%) M±SD t (p) Journal citation index KCI accredited KCI candidated or others Year of publication 1992-2010 2011-2013 Financial support Yes No Intervention study Yes No Inclusion of studies in english Yes No Reporting the study quality Yes No KCI=Korea Citation Index. 38 (90.5) 4 (9.5) 29 (69.0) 13 (31.0) 19 (45.2) 23 (54.8) 35 (83.3) 7 (16.7) 14 (33.3) 28 (66.7) 13 (31.0) 29 (69.0) 5.78±1.64 4.00±1.41 4.82±1.07 7.38±1.50 6.00±1.88 5.30±1.49 5.54±1.66 6.00±1.91 5.21±1.52 5.82±1.76 7.61±1.12 4.72±0.99 2.08 (.043) -6.29 (<.001) 1.33 (.189) -0.64 (.522) -1.09 (.279) 8.36 (<.001)

740 김정희 김애경 3. 연구특성에따른질평가및출판연도와질평가연구특성에따른질평가결과를확인한결과학술지등재지에출판한논문이등재후보또는일반논문에출판된연구에비해질평가점수가낮았다 (t = 2.08, p =.043). 출판연도에따른질평가점수차이가있었으며, 2010 년까지출판된논문의질평가점수는 4.82 점이였으며, 2011 년부터출판된논문점수는 7.38 점이었다 (t = -6.29, p<.001). 해외연구물들의포함여부 (t= -1.09, p=.279), 메타분석연구들의연구비지원여부에따른차이는통계적으로유의한차이가없었다 (t=1.33, p=.189). 또한, 간호중재의효과를분석한연구여부에따른차이도질평가점수에차이가없었다 (t = -.64, p =.522). 분석한연구의질평가여부를보고한메타분석이그렇지않은연구의질평가점수보다높았다 (t=8.36, p<.001) (Table 1). 출판연도와질평가점수를관계를살펴보면최근에출판연도가높을수록즉, 최근에출판한논문일수록메타분석의질평가점수가높은것으로나타났다 (r =.54, p<.001) (Table 3). 논의 13개의논문 (31.0%) 이출판되어메타분석에대한관심과수요가증가하고있음을보여주고있다. 이는비뇨기학분야가 1998년 (Mac- Donald et al., 2010) 약리학분야 1990년 (Melchiors et al., 2012), 백신분야가 1991년부터출판되어 (De Vito et al., 2007) 메타분석연구가활발해진최근까지비슷한경향을보이고있다. 연구의내용상으로는 90%(36 편 ) 가간호중재의효과를분석한연구였으며, 암환자를대상으로한연구가 23.8%(10 편 ), 만성질환자 19.0%(8 편 ), 소아및청소년 11.9%(5 편 ), 일반건강인 7.1%(3 편 ), 중환자또는수술환자 4.8%(2 편 ), 간호사 2.4%(1 편 ) 와나머지 31.0%(13 편 ) 는연구대상을정하지않고특정중재의효과를분석하였다. 이러한연구추세는간호의과학화, 근거기반간호의필요성에대한인식의확대로그수요가증가하고있음을보여준다. 또한, 간호학분야의특성에맞게중재효과를분석한연구가 83.3% 로대부분을차지하고있어메타분석이새로운중재의임상적인활용성및효과성을판단하고중재의근거기반을제공하는데활용되고있음을 (Brown, 2013; Shin et al., 2011) 반영하고있다. 국내간호학분야메타분석을활용한많은연구물들이출판되고있으나연구결과, 국내간호학분야에서의질적수준은 5.61점으 본연구는국내간호학분야에서출간된메타분석연구물을 AMSTAR 기준에따라평가분석하여메타분석의방법론적인질향상방안을제시하고자수행되었다. 연구결과, 간호분야에서는 1992년부터출판되었으며, 특히, 최근 2010 년부터 2013 년 5월까지는 Table 3. Correlation between the Publication Year and Quality of Studies (N =42) Variables Quality of studies Publication year r=.54 (p<.001) Table 2. Methodological Quality of Meta-analysis of Nursing Research in Korea (N =42) AMSTAR items Number of the reviews which met criteria Total (N =42) 1992-2010 (n=29) 2011-present (n=13) n (%) or M±SD n (%) or M±SD n (%) or M±SD 1. Was an 'a priori' design provided? 42 (100.0) 29 (100.0) 13 (100.0) 2. Was there duplicate study selection and data extraction? 8 (19.0) 4 (13.8) 4 (30.8) 3. Was a comprehensive literature search performed? 37 (88.1) 24 (82.8) 13 (100) 4. Was the status of publication(i.e. grey literature) used as an inclusion criterion? 27 (64.3) 19 (65.5) 8 (61.5) 5. Was a list of studies(included and excluded) provided? 5 (11.9) 2 (6.9) 3 (23.1) 6. Were the characteristics of the included studies provided? 41 (97.6) 28 (96.6) 13 (100.0) 7. Was the scientific quality of the included studies assessed and documented? 13 (31.0) 2 (6.9) 11 (84.6) 8. Was the scientific quality of the included studies used appropriately in 10 (23.8) 1 (3.4) 9 (69.2) formulating conclusions? 9. Were the methods used to combine the findings of studies appropriate? 34 (81.0) 21 (72.4) 13 (100.0) 10. Was the likelihood of publication bias assessed? 19 (45.2) 10 (34.5) 9 (69.2) 11. Was the conflict of interest stated? 0 (0.0) 0 (0.0) 0 (0.0) Mean of total score Poor quality Moderate quality High quality AMSTAR=Assessment of Multiple Systematic Reviews. 5.61±1.69 11 (26.2) 29 (69.0) 2 (4.8) 4.82± 1.07 10 (34.5) 19 (65.5) 0 (0.0) 7.38± 1.50 1 (7.7) 10 (76.9) 2 (15.4)

741 로보통수준의범주에속하였으며, 분류결과, 낮은수준의메타분석은 26.2% 였으며, 보통수준은 69.0%, 높은수준은 4.8% 인것으로분류되었다. 다른학문분야의점수를살펴보면, 치의학논문의전체적인수준은 5.7점으로중간정도였으며, 27.3% 의연구가낮은수준이었으며, 57.3% 가중간수준, 15.5% 가높은수준이었다 (Papageorgiou et al., 2011). 약학분야에서건강중재에대한메타분석평가결과에서도수준별로각각 19.3%, 58.0%, 22.5% 의순서로보고되었다 (Melchiors et al., 2012). 소아비뇨기분야저널에게재된메타분석연구의평가에서질평가결과 4.8점으로낮은수준으로보고되고있다 (Braga, Pemberton, Demaria, & Lorenzo, 2011). 몇몇타학문과비교했을때국내간호학논문은치의학, 약학분야와비슷한수준이였으나비교적높은수준질평가점수를받은논문이적은것으로보인다. 그러나출판연도와질평가점수가강한양적인상관을보이고있다는것은고무적인사실이다. Vaccinology 분야에서도출판연도가최근일수록질평가점수가높았음을보고하였으나 (De Vito et al., 2007) 57개의논문을대상으로한비뇨기계분야나 110개의논문을분석한치의학분야 (Papageorgiou et al., 2011) 에서는출판연도에따라유의한변화를보고하지못하였다 (MacDonald et al., 2010). 그러나 42개를분석하여통계적으로유의한결과가있었음은한국간호학분야연도에따른메타분석연구질향상의크기가다른학문에비해큼을알수있다. 또한, 본연구결과, QUOROM statement 와 PRISMA checklist 가유포되고활용된 2010 년을기준으로질평가의평균점수는유의하게높게나타났다. 국내간호학분야의 2011년부터 2013년최근까지논문은평균 7.38점으로중간수준이며분류결과, 낮은수준은 7.7%, 중간수준은 76.9%, 높은수준은 15.4% 인것으로확인되어 2010 년이전보다향상된점수를보이고있다. 이와같은가이드라인및보고기준의유포는전반적인메타분석보고의질을높일수있으며 (Moher et al., 1999), 이는대한저널편집위원과심사위원의메타분석방법론에대한보고에대한인식이높아져연구자또한이상의보고기준을따르도록노력한것에기인할수있다 (Suebnukarn et al., 2010). 따라서, 많은메타분석평가연구는보고지침을지속적으로업데이트하면서이를준수하고있는 Cochrane Library 의메타분석연구와비교를하고있다. 몇몇학문분야에서 Cochrane Library에출판된연구의질이일반저널의연구보다질평가점수가유의하게높음을일관되게보고되고있다 (MacDonald et al., 2010; Papageorgiou et al., 2011). 이는국내간호학회지도메타분석에대한보고지침이나지속적인가이드라인의업데이트및유포, 준수노력이필요함을보여주고있다. 한국의간호학분야메타분석연구가타학문과비슷한중간수준의질평과결과를보였지만여전히연구자나저널편집자가노력 해야할여지는남아있다. 문헌선택과자료추출방법에있어서 8편의논문 (19.0%) 만이기준을충족하였다. 2011 년부터의논문은 30.8% 로향상되었다고는하나치과학분야에서는 81.3%(Suebnukarn et al., 2010), 약학분야에서는 58%(Melchiors et al., 2012) 의기준충족과비교했을때에도매우낮은수준이다. 메타분석에서중요한오류중하나가검색오류인데데이터베이스에숙련된연구자도연구의 32-80% 정도밖에는걸러내지못하기에검색을위한전략은중요하며, 두사람이상이독립적으로검색하고결과를비교하는것이추천된다 (Leandro, 2005; Shea et al., 2007; Shea et al., 2009). 또한, 자료추출시에도결과기록의오류가발생되므로두사람이상이코딩을하고불일치를해결하는것이유용하다 (Leandro). 따라서, 추후간호학연구에서는두사람이상이문헌선택과자료추출을독립적으로수행하고불일치를합의하는연구방법의강화가필요하다. 포함된연구목록이제시되었는가에대한기준에는단지 5편 (11.9%) 이기준에부합되었으며, 2011 년이후연구에서도 23.1% 만이기준을충족하였다. 타학문영역에서 62.5%(Suebnukarn et al., 2010), 87%(Melchiors et al., 2012), 45.6%(De Vito et al., 2007) 와비교했을때개선이필요한부분이다. 국내출판여건상논문페이지수가제한되어있어연구목록의제시가어려운부분도있으므로메타분석의특성을고려한투고규정의업데이트도필요할것으로보인다. 본연구결과, 개별연구의질평가실시여부는 13편 (31.0%) 만이해당기준을충족하였으며, 치과학분야에서는 81.3%(Suebnukarn et al., 2010), 약학분야에서는 42%(Melchiors et al., 2012) 비뇨기학의경우 63.2%(De Vito et al., 2007) 로보고되고있다. 국내간호학분야에서 2011년이후연구는 84.6% 가기준을충족한것으로볼때최근질평가관련보고가증가하였으나전체총점에서는국내간호학분야가낮은점수를보이고있다. 또한, 분석결과연구의질평가여부를보고한메타분석이그렇지않은연구의질평가점수보다높았다. 메타분석과체계적고찰연구에서의질평가가중요시되고있으며, 이는질적으로낮은연구물을분석했을때의오류를막기위한것으로연구자의시간과노력이필요한부분으로메타분석연구물의질평가점수에매우관련이있음을알수있다. 많은연구에서개별연구의질평가가부족한편으로조사되고있고경우에따라서는질평가도구를적절하게사용하고있지못하다고보고한다 (Melchiors et al., 2012). AMSTAR 평가기준이나 PRISMA 보고기준에는질평가시행여부에초점을두고있으며, 측정도구에관해서는구체적인언급이없다. 그러나기존의타당화된질평가도구가있다면이를사용하는것이바람직할것이다. 코크란연합에서는무작위임상시험연구의질평가로도구로 RoB (The Cochrane's Risk of Bias), 비무작위연구를위해서는 Downs and Black 척도, 환자 -대조군연구의질평가도구로는 Newcastle -

742 김정희 김애경 Ottawa 척도를권장하고있다 (Higgins & Green, 2011). 국내무작위임상시험연구에서가장많이쓰이는평가도구는 Jadad s scale이나코크란연합에서는무작위임상시험연구의중요한항목인무작위배정순서의할당은닉에대한평가항목을포함하고있지않기때문에권장하지않고있는평가도구이다 (Lim et al., 2011). 본연구에서국내간호학분야에서는 13개의질평가를적용한논문중 1건은무작위대조군연구를평가하는데 Jardard s scale을사용하였으며, 3건의경우분석논문의특징에따라관찰연구인경우한국보건의료연구원의 RoBANS (Risk of Bias Assessment tool for Non-randomized Study) 또는 MINORS (Methodological Items for Non Randomized Studies) 를사용하였으며, 실험연구는 RoB (The Cochrane's Risk of Bias) 를활용하였다. 1건의조사연구에대해서는 CRF (Critical Review Form) 을활용하였다. 나머지 8건의메타분석연구물은기존질평가도구의일부만을활용하거나몇개의도구를통합, 수정하여활용하였다. 국내간호학분야에서출판되고있는메타분석연구의경우개별연구의질평가를대부분실시하고있으나질평가도구에대한세심한고려가필요하다. 개별연구의질평가가적절히이뤄지지않는다면중재효과가부풀려지거나축소될수있기때문에 (Kjaergard, Villumsen, & Gluud, 2001) 메타분석연구에서개별연구의연구설계에적합하고타당화된도구를활용하여연구를평가할필요가있다. 또한, 질평가를실시한후에는그결과를고려하여연구결과를기술해야하나, 본연구결과, 질평가를실시한 13편의연구에서 10 편만이질평가수준에따른결과기술을하였다. 즉, 개별연구의질평가에서나타난연구의특징으로인해고려해야할만한사항을논의에반드시추가하여야한다는것이다. 개별연구의질평가결과는메타분석의연구결과에영향을미치는오류의정도와혼란변수를확인하게해주기때문이다 (Kjaergard et al., 2001). 한편, 이해상충이기술되었는가 즉, 체계적문헌고찰및분석에포함된연구의연구비출처와지원에대한명시가있었는지에대한항목은해당되는논문이없는것으로확인되었다. 간호학분야에서메타분석연구의연구비출처에대한보고는있었으나분석한개별연구물에대한연구비출처를보고하고, 이를분석한연구는없었다. 치과학에서는 31.2%(Suebnukarn et al., 2010), 약학분야에서는 32%(Melchiors et al., 2012), 비뇨기학의경우 5.3%(De Vito et al., 2007) 로기준을충족하였다. 일반적으로간호학논문에서는상업적인기관지원을받은논문이별로없어분석하지않은것으로보이나, 간호분야에서도의료기, 특정치료요법등의활용을위한실험연구가증가추세에있으므로추후연구비지원대한오류를고려하기위해개별연구의지원유무, 영리목적 / 학술목적의지원을나누어분석할필요가있다. 한편, 본연구포함된 45.2% 의메타분석연구는연구비를지원받았으며모두학문적지원을받았고, 지원여부에따른질평가점수는유의한차이가없었다. AMSTAR 평가지침뿐만아니라 PRISMA 보고지침에서도개별연구물들의연구비출처와지원에대한명시를해야한다고지적한다. 연구지원을받은연구에서새로운약물이나중재의효과를검증하지못하는결과는매우불행한결과로인식하고있고 (Leandro, 2005) 메타분석논문들중에서경제적지원을받은분석이그렇지않은연구에비해연구의질이높았다는결과 (De Vito et al., 2007) 를고려한다면연구비지원에대한오류방지를위해연구자가반드시고려해야분석항목이다. 간호학분야에서는문헌고찰의계획수립여부, 포괄적인문헌검색, 출판상태의포함기준, 연구특성제시, 개별연구결과의결합방법의적절성여부, 출판편의가능성평가여부를비교적타학문에비해잘지켜지고있었다. 그러나여전히개선의여지가있으며방법론차원에서연구자들의세심한주의가필요한부분이존재한다. 출판편의에대한보고는 45.2% 만이기준에부합하였며 2011년이후연구에서도 69.2% 가기준을충족하였다. 타학문영역에서 6.2%(Suebnukarn et al., 2010), 1.8%(Papageorgiou et al., 2011), 16%(Melchiors et al., 2012) 와비교했을때의학, 약학분야에비해보고를잘하고있음을알수있다. 출판편의 (publication bias) 는통계적으로의미있거나긍정적인결과가나온연구만선택적으로출판되는현상으로즉, 이전의연구결과와일치하는유의한결과가채택되기쉬우므로, 메타분석에서흔히발생할수있는오류중에하나이다. AMSTAR 평가에서는출판편의에대한보고를할때에는 funnel plot을제시하거나통계량을제시해서객관적으로보고해야함을강조한다 (Shea et al., 2007; Shea et al., 2009). 이는 PRISMA 보고기준에서도동일하게강조되고있으며구체적으로 funnel plot 을활용시 x축과 y축의측정치와정밀도값을제시해야한다 (Liberati et al., 2009). 특히, 분석한연구물중일부는본문에 출판편의를검증하였다 만으로보고하기도하였는데, 국내간호학회지의경우표와그림의수를제한하기때문에메타분석의경우연구자가검증결과를시각적으로제시하지못하는한계가있었을것으로보인다. 즉, 메타분석보고에는연구특성, 동질성검증, 효과크기산출, 하위집단분석을위한표를제시하여야하며, 연구흐름도, 연구결과의 forest plots 등의그림을포함해야하기에표와그림수의제한에걸릴수있기때문이다. Funnel plot으로시각적대칭성을확인하고 Trim & fill 분석, Egger s test, Fail-safe N 산출등을활용하여다각도로검증하는것이중요하다고할수있다. 포함기준과제외기준에서도출판여부에따른검색여부를명확히제시할필요가있다. 또한, 메타분석연구에서출판여부에관계없이문헌을검색하였는지, 출판상태와언어등에따라문헌을배

743 제했는지여부가기술되어야한다 (Shea et al., 2007; Shea et al., 2009). 학위논문, 학회발표자료, 임상연구등록데이터베이스등을회색문헌이라고하며, 저널편집자들이부정적인연구보다는통계적으로유의한연구결과즉, 긍정적인연구결과를선호하기때문에이러한연구들이출판되기가쉽다. 결과적으로메타분석을위한문헌검색시통계적으로유의한결과가있는연구물들을많이얻게되며, 결과적으로메타분석의결과가왜곡될수있다 (Leandro, 2005; Simes, 1987). 그러므로출판되지않은결과물을종합하였을때는다른결과가나타날수있고, 연구자들은초록들을포함하는광범위한자료의종합이필요하다 (Leandro). 출판여부에관계없이검색을했거나출판상태에따른배제여부를기록한연구물은 61.5% 정도이나치과학분야에서는 93.8%(Suebnukarn et al., 2010), 약학분야에서는 87%(Melchiors et al., 2012) 로타학문에서는잘지켜지고있는항목이어특히개선이필요함을알수있다. 추가적으로본연구결과, 영문출판된논문을분석에포함한연구가 33.3% 였다. 한개의언어로출판된논문을선택할경우에빠질수있는오류의고려가필요하며, 연구자는이를고려하여검색시출판상태뿐아니라출판언어도제외또는포함기준에명확히기술해야할것이다. PRISMA 보고지침에서도선정기준에출판언어를넣도록권고하고있다. 추후간호학논문에서는출판여부, 출판언어를고려하여문헌검색기준을명확히제시할필요가있다. AMSTAR 평가항목중사전에체계적인문헌고찰계획수립여부를판단하기위해서는체계적고찰수행전에핵심질문과포함기준, 적어도두개의전자자료원을이용하여포괄적인문헌검색하였는지에대한평가는비교적높은수준으로지켜지고있었다. 여기서포괄적인문헌검색을위해서는민감도가높은검색즉, 적절한문헌을찾은가능성은포괄적인 (Comprehensive) 검색을통해높아질수있다 (Kim et al., 2011). 본연구에서데이터베이스가활성화되지않았던시기의연구들의경우포괄적인데이터베이스를활용하지않고각학회지를검색한경우가대부분이였는데, 이러한측면인 AMSTAR의문헌검색에대한평가기준이과거연구환경에는적합하지않음을보여주고있다. AMSTAR 평가도구와 PRISMA 보고지침은공통적으로개별연구의질평가, 연구비출처또는이해상충의기술에대해강조하고있다. 그러나 PRISMA 보고지침과비교하였을때중요한연구절차인문헌선택과자료추출을한개의항목으로통합하여점수화하였으며, 그럼에도모든항목에대한점수를 1점으로동일하게적용하고있어항목별가중치에대한고려도필요할것이다. 또한, PRISMA에서언급한추가분석즉, 하위집단분석이나메타회귀분석등의포함, 연구선택과배제과정및이유의흐름도 (flow chart) 제시등을평가항목에포함하지는않았다. AMSTAR가신뢰도와타당도가입증되 었다고는하나 (Shea et al., 2007; Shea et al., 2009) 빠르게변화하는연구환경을고려하여수정 발전시켜야할것이다. 또한, 추후간호학분야에서메타분석을낮은수준, 보통수준, 높은수준으로판별할수있는민감성을확인하는연구도필요할것이다. 이상의논의를통해서메타분석을이용한출간된국내간호학분야에서연구의동향및문제점을개괄적으로평가해보았다. 본연구는국내에서는처음으로간호학분야의메타분석의질평가를실시한연구로 AMSTAR 기준에따라방법론적인질평가를실시하였으며, 그결과를토대로메타분석의질적향상을위한방안을제시하고자시도되었다. 분석대상연구물에대한평가기준은간호학분야의특성을고려한기준이아닌 AMSTAR 평가도구에서제시한것이므로해석에는제한점이있을수있다. 또한, 국내에서출판된연구물만을포함하였고, 국내연구자에의해수행되어외국학회지에실린것은포함하지않았으므로전체연구로일반화하는데는제한이있을수있다. 결론본연구는국내간호학분야에서출간된메타분석의질평가를실시하고간호학에서의메타분석연구의타당성을높일수있는방안을제시하고나아가서는근거기반에기초한간호실무향상에기여하고자한다. 1992년부터 2013년 5월까지출판된 42개의메타분석연구를분석한결과, 질평가점수는 5.61 점으로보통수준이였으며, 낮은수준의메타분석은 26.2% 이였으며, 보통수준은 69.0%, 높은수준은 4.8% 인것으로분류되었다. 연구특성에따른질평가결과학술지등재지에출판한논문이등재후보또는일반논문에출판된연구에비해질평가점수가낮았으며, 2010년을기준으로질평가점수차이가있었다. 또한, 최근에출판된연구일수록메타분석의질평가점수가높은것으로나타났다. 항목별분석결과간호학분야에서는문헌고찰의계획수립여부, 포괄적인문헌검색, 출판상태의포함기준, 연구특성제시, 개별연구결과의결합방법의적절성여부, 출판편의가능성평가여부를비교적타학문에비해잘지켜지고있었다. 그러나다음의사항에대한노력이필요하다. 문헌선택과자료추출을적어도두명의연구자에의해독립적으로문헌선택과자료추출이이뤄져야하며의견불일치를해소하는합의과정이제시되어야한다. 또한, 포함된연구목록의제시가필요하며, 타당화된도구를활용하여연구의질평가를실시하고연구의질평가결과를논의나결론을도출할때활용되어야한다. 메타분석연구뿐아니라포함된개별연구물들의연구비출처와지원및이해상충에대한명시를연구자원의특성에따라분석하여메타분석의오류를피하고질높은연구결

744 김정희 김애경 과를도출해야할것이다. 또한, 간호학분야메타분석연구의증가와함께연구의질향상 을위한노력은더욱지속되어야할것이며간호학분야에서메타 분석의보고지침이지속적으로업데이트되어야할것이다. 또한, 이 를위해서는저널편집자, 심사위원및연구자의노력이중요하며이 러한결과는임상실무의근거기반을제공하는데기여할수있다. REFERENCES Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to meta-analysis. West Sussex, UK: Wiley. Braga, L. H., Pemberton, J., Demaria, J., & Lorenzo, A. J. (2011). Methodological concerns and quality appraisal of contemporary systematic reviews and meta-analyses in pediatric urology. The Journal of Urology, 186(1), 266-271. http://dx.doi.org/10.1016/j.juro.2011.03.044 Brown, S. J. (2013). Evidence-based nursing: The research-practice connection (3rd ed.). Burlington, MA: Jones & Bartlett Learning. Conn, V. S., & Rantz, M. J. (2003). Research methods: Managing primary study quality in meta-analyses. Research in Nursing & Health, 26(4), 322-333. http://dx.doi.org/10.1002/nur.10092 Craig, J. V., & Smyth, R. L. (2007). The evidence-based practice manual for nurses (2nd ed.). Edinburgh, UK: Churchill Livingstone. De Vito, C., Manzoli, L., Marzuillo, C., Anastasi, D., Boccia, A., & Villari, P. (2007). A systematic review evaluating the potential for bias and the methodological quality of meta-analyses in vaccinology. Vaccine, 25(52), 8794-8806. http://dx.doi.org/10.1016/j.vaccine.2007.10.034 Dijkman, B. G., Abouali, J. A., Kooistra, B. W., Conter, H. J., Poolman, R. W., Kulkarni, A. V., et al. (2010). Twenty years of meta-analyses in orthopaedic surgery: Has quality kept up with quantity? The Journal of Bone and Joint Surgery. American Volume, 92(1), 48-57. http://dx.doi. org/10.2106/jbjs.i.00251 Egger, M., & Smith, G. D. (1998). Bias in location and selection of studies. BMJ: British Medical Journal, 316(7124), 61-66. Egger, M., Smith, G. D., & Altman, D. G. (2001). Systematic reviews in health care: Meta-analysis in context (2nd ed.). London, UK: BMJ Books. Higgins, J. P. T., & Green, S. (2011, March). Cochrane handbook for systematic reviews of interventions version 5.1.0. Retrieved December 1, 2011, from www.cochrane-handbook.org Kim, S. Y., Park, J. E., Seo, H. J., Lee, Y. J., Jang, B. H., Son, H. J., et al. (2011). NECA's guidance for undertaking systematic reviews and meta-analyses for intervention. Seoul: National Evidence-based Healthcare Collaborating Agency. Kjaergard, L. L., Villumsen, J., & Gluud, C. (2001). Reported methodologic quality and discrepancies between large and small randomized trials in meta-analyses. Annals of Internal Medicine, 135(11), 982-989. Leandro, G. (2005). Meta-analysis in medical research: The handbook for the understanding and practice of meta-analysis. Malden, MA: BMJ Books. Lee, J. (2008). Meta-analysis. Journal of Korean Endocrine Society, 23(6), 361-378. http://dx.doi.org/10.3803/jkes.2008.23.6.361 Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gøtzsche, P. C., Ioannidis, J. P., et al. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: Explanation and elaboration. Journal of Clinical Epidemiology, 62(10), e1-e34. http://dx.doi.org/10.1016/j.jclinepi.2009.06.006 Lim, S. M., Shin, E. S., Lee, S. H., Seo, K. H., Jung, Y. M., & Jang, J. E. (2011). Tools for assessing quality and risk of bias by levels of evidence. Journal of the Korean Medical Association, 54(4), 419-429. http://dx.doi. org/10.5124/jkma.2011.54.4.419 MacDonald, S. L., Canfield, S. E., Fesperman, S. F., & Dahm, P. (2010). Assessment of the methodological quality of systematic reviews published in the urological literature from 1998 to 2008. The Journal of Urology, 184(2), 648-653. http://dx.doi.org/10.1016/j.juro.2010.03.127 Melchiors, A. C., Correr, C. J., Venson, R., & Pontarolo, R. (2012). An analysis of quality of systematic reviews on pharmacist health interventions. International Journal of Clinical Pharmacy, 34(1), 32-42. http://dx.doi. org/10.1007/s11096-011-9592-0 Moher, D., Cook, D. J., Eastwood, S., Olkin, I., Rennie, D., & Stroup, D. F. (1999). Improving the quality of reports of meta-analyses of randomised controlled trials: The QUOROM statement. Quality of Reporting of Meta-analyses. Lancet, 354(9193), 1896-1900. Papageorgiou, S. N., Papadopoulos, M. A., & Athanasiou, A. E. (2011). Evaluation of methodology and quality characteristics of systematic reviews in orthodontics. Orthodontics & Craniofacial Research, 14(3), 116-137. http://dx.doi.org/10.1111/j.1601-6343.2011.01522.x Shea, B. J., Grimshaw, J. M., Wells, G. A., Boers, M., Andersson, N., Hamel, C., et al. (2007). Development of AMSTAR: A measurement tool to assess the methodological quality of systematic reviews. BMC Medical Research Methodology, 7, 10. http://dx.doi.org/10.1186/1471-2288- 7-10 Shea, B. J., Hamel, C., Wells, G. A., Bouter, L. M., Kristjansson, E., Grimshaw, J., et al. (2009). AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. Journal of Clinical Epidemiology, 62(10), 1013-1020. http://dx.doi.org/10.1016/ j.jclinepi.2008.10.009 Shin, C., Han, C., Pae, C. U., & Patkar, A. A. (2011). Tools for quality evaluation of clinical research reports. Korean Journal of Psychopharmacology, 22(2), 67-72. Simes, R. J. (1987). Confronting publication bias: A cohort design for metaanalysis. Statistics in Medicine, 6(1), 11-29. Song, F., Eastwood, A. J., Gilbody, S., Duley, L., & Sutton, A. J. (2000). Publication and related biases. Health Technology Assessment (Winchester, England), 4(10), 1-115. Stroup, D. F., Berlin, J. A., Morton, S. C., Olkin, I., Williamson, G. D., Rennie, D., et al. (2000). Meta-analysis of observational studies in epidemiology: A proposal for reporting. Meta-analysis of Observational Studies in Epidemiology (MOOSE) group. JAMA: The Journal of the American Medical Association, 283(15), 2008-2012. Suebnukarn, S., Ngamboonsirisingh, S., & Rattanabanlang, A. (2010). A systematic evaluation of the quality of meta-analyses in endodontics. Journal of Endodontics, 36(4), 602-608. http://dx.doi.org/10.1016/j. joen.2009.12.019 Sutton, A. J., Abrams, K. R., Jones, D. R., Sheldon, T. A., & Song, F. (2000). Methods for meta-analysis in medical research. New York, NY: Wiley.

745 APPENDIX Cha, B. K., Chang, H. K., & Sohn, J. N. (2004). A meta-analysis of the effects of a self-efficacy promoting program. Journal of Korean Academy of Nursing, 34(6), 934-944. Chin, Y., So, E., & Lee, H. Y. (2011). A meta-analysis of Korean diabetes patient studies from 1977 to 2008. Journal of Korean Public Health Nursing, 25(1), 5-16. Choi, S. R., & Jung, H. S. (2005). Meta analysis about the causal factors and the effect of job-stress clinical nurses. Korean Journal of Occupational Health Nursing, 14(1), 71-82. Jang, E. H., Choi, K. S., & Kwon, S. J. (2013). A meta-analysis of intervention on depression in cancer patients. Asian Oncology Nursing, 13(1), 1-10. http://dx.doi. org/10.5388/aon.2013.13.1.1 Jang, S. Y., & Park, J. S. (2011). The meta-analysis of the effect of acupressure for nausea and vomiting in cancer patients receiving chemotherapy. Journal of Korean Oncology Nursing, 11(2), 116-126. http://dx.doi.org/10.5388/jkon.2011.11.2.116 Lee, E. O., Song, H. H., Lee, B. S., Kim, J. H., Lee, E. H., Lee, E. J., et al. (1992). Effects nursing interventions on anxiety and / or stress : A meta-analysis. The Journal of Nurses Academic Society, 22(4), 526-551. Kim, B. Y., & Lee, C. S. (2009). A meta-analysis of variables related to suicidal ideation in adolescents. Journal of Korean Academy of Nursing, 39(5), 651-661. http://dx.doi. org/10.4040/jkan.2009.39.5.651 Kim, D. S., Moon, W. H., Ahn, S. Y., Oh, H. S., Kwon, K. H., Park, M. K., et al. (2004). Meta-analysis of the research findings concerning functional relationships of explanatory variables to hope. Journal of Korean Academy of Nursing, 34(5), 673-684. Kim, E. J. (2003). Meta-analysis on the effects of sensory stimulation of preterm infants. Korean Journal of Child Health Nursing, 9(2), 131-139. Kim, E. J., & Cho, K. M. (2000). The meta-analysis of trends and contents of child nursing intervention research. Korean Journal of Child Health Nursing, 6(2), 119-131. Kim, H. S., Song, H. H., & Choi, S. E. (2000). A meta-analysis of effects of relaxation therapy on anxiety and blood pressure. Journal of Korean Academy of Nursing, 30(2), 282-292. Kim, J. H. (2007). A meta-analysis of effects of job stress management interventions (SMIs). Journal of Korean Academy of Nursing, 37(4), 529-539. Kim, J. H., Park, M. K., & Oh, M. R. (2013). Meta-analysis of complementary and alternative intervention on menstrual distress. Korean Journal of Women Health Nursing, 19(1), 23-35. http://dx.doi.org/10.4069/kjwhn.2013.19.1.23 Kim, M. Y., & Oh, P. J. (2011). Meta-analysis of the effectiveness on foot-reflexo-massage for cancer patients. Journal of Korean Oncology Nursing, 11(2), 127-135. http:// dx.doi.org/10.5388/jkon.2011.11.2.127 Kim, N. C., Song, H. H., & Kim, J. O. (1998). Effects of nursing interventions applied to surgery patients: A meta-analysis. Journal of Korean Academy of Adult Nursing, 10(3), 523-534. Kim, Y., Park, I., & Park, J. S. (2008). Meta-analysis of effects on adolescent smoking cessation programs in Korea. Journal of Korean Academy of Nursing, 38(2), 204-216. http://dx.doi.org/10.4040/jkan.2008.38.2.204 Kim, Y. O. (2005). The effects of hardiness: A meta-analysis of Korean nursing research findings. Journal of Korean Academy of Adult Nursing, 17(5), 783-792. Lee, K. H., Park, C. J., Kim, M. A., Park, K. M., Park, J. S., Shin, Y. H., et al. (2003). Effect of self regulation program on the hypertensive patient self efficacy and self care through meta-analysis. Journal of Korean Public Health Association, 29(3-4), 269-274. Smith, M. C., Holcombe, J. K., & Stullenbarger, E. (1996). A meta-analysis of intervention effectiveness for symptom management in oncology nursing research.(s. M. Lee, Trans.). Hospice Journal, 21(1), 71-82. (Original work published 1994). Lim, S. O., & Hong, E. Y. (1997). An integrative review and meta-analysis of oncology nursing research: 1985-1997.2. The Journal of Nurses Academic Society, 27(4), 857-870. Min, Y. C., & Oh, P. J. (2011). A meta-analysis of intervention studies on cancer pain. Journal of Korean Oncology Nursing, 11(1), 83-92. http://dx.doi.org/10.5388/ jkon.2011.11.1.83 Oh, P. J., & Choi, H. J. (2012). The effect of patient education interventions on distress, self-care knowledge and self-care behavior of oncology patients: A meta-analysis. Asian Oncology Nursing, 12(4), 257-266. http://dx.doi.org/10.5388/ aon.2012.12.4.257 Oh, H. S. (2003a). Meta-analysis on the effectiveness of interventions applied to preventing endotracheal suction-induced hypoxemia. Journal of Korean Academy of Nursing, 33(1), 42-50. Oh, H. S. (2003b). Meta-analysis on the effectiveness of pulmonary rehabilitation program on exercise capacity/tolerance and general health status. Journal of Korean Academy of Nursing, 33(6), 743-752. Oh, H. S., & Ok, S. Y. (1998). The comparison between the effects of integrated arthritis self-help programs and the effects of arthritis exercise programs through metaanalysis. Journal of Korean Academy of Nursing, 28(4), 941-957. Oh, P. J., & Jung, J. A. (2011). A meta-analysis of intervention studies on cancer-related fatigue in Korea: 1990-2010. Journal of Korean Clinical Nursing Research, 17(2), 163-175. Oh, P. J., & Kim, Y. H. (2012). Meta-analysis of spiritual intervention studies on biological, psychological, and spiritual outcomes. Journal of Korean Academy of Nursing, 42(6), 833-842. http://dx.doi.org/10.4040/jkan.2012.42.6.833 Oh, P. J., & Yoo, J. H. (2011). A meta-analysis of intervention studies on nausea and vomiting in cancer patients. Korean Journal of Adult Nursing, 23(4), 340-350. Oh, W. O., & Suk, M. H. (2002). A meta-analysis of the effects of imagery. Journal of Korean Academy of Nursing, 32(2), 265-276. Park, E. O. (2004). A meta-analysis of the effects of smoking prevention programs in Korea. Journal of Korean Academy of Nursing, 34(6), 1004-1013. Park, E. Y., Shin, I. S., & Kim, J. H. (2012). A meta-analysis of the variables related to depression in Korean patients with a stroke. Journal of Korean Academy of Nursing, 42(4), 537-548. http://dx.doi.org/10.4040/jkan.2012.42.4.537 Park, J. H., & Bae, S. H. (2012). A meta-analysis of chemotherapy related cognitive impairment in patients with breast cancer. Journal of Korean Academy of Nursing, 42(5), 644-658. http://dx.doi.org/10.4040/jkan.2012.42.5.644 Park, S. H., Lee, P. S., & Han, K. S. (2001). Effect of relaxation therapy on anxiety through meta-analysis. Journal of Korean Academy of Psychiatric and Mental Health Nursing, 10(3), 317-323. Park, W. J., Seo, J. Y., & Kim, M. Y. (2011). Meta analysis of variables related to attention deficit hyperactivity disorder in school-age children. Journal of Korean Academy of Nursing, 41(2), 256-268. http://dx.doi.org/10.4040/jkan.2011.41.2.256 Park, Y. J., Lee, S. J., Park, E. S., Ryu, H. S., Lee, J. W., & Chang, S. O. (2000). A meta-analysis of explanatory variables of health promotion behavior. Journal of Korean Academy of Nursing, 30(4), 836-846. Park, Y. J., Oh, K. S., Lee, S. O., Oh, K. O., Kim, J. A., Kim, H. S., et al. (2001). A metaanalysis of the effects of the supportive nurisng intervention. Korean Journal of Child Health Nursing, 7(2), 225-235. Roh, K. H., & Park, H. A. (2009). A meta-analysis of the effects of aromatherapy on psychological variables in nursing. Journal of Korean Academy of Community Health Nursing, 20(2), 113-122. Seo, J. Y., & Park, W. J. (2010). The meta analysis of trends and the effects of non-pharmacological intervention for school aged ADHD children. Journal of Korean Academy of Psychiatric and Mental Health Nursing, 19(2), 117-132. So, E. S., & Lee, I. S. (2010). Meta-analysis of hypertension-related nursing intervention programs. Journal of East-West Nursing Research, 16(1), 11-18. Song, J. H., & Kim, K. H. (2010). A meta-analysis of the ventilator circuit change period on ventilator-associated pneumonia. Journal of Korean Clinical Nursing Research, 16(3), 111-121. Yoo, J. S., & Lee, S. J. (2005). A meta-analysis of the effects of exercise programs on glucose and lipid metabolism and cardiac function in patients with typeii diabetes mellitus. Journal of Korean Academy of Nursing, 35(3), 546-554. Yoo, J. S., Park, J. W., & Lee, S. J. (2009). A meta-analysis on the effects of exercise on bone mineral density among middle-aged and older women. Journal of Korean Academy of Community Health Nursing, 20(3), 285-295.