<30315FC1F6BBF3B0ADC1C25FC0CCC1D8BFB528B1E8B5CEB8B8BCF6C1A4292E687770>

Transcription

1 대한내분비학회지 : 제 23 권제 6 호 /jkes 지상강좌 메타분석 고려대학교의과대학의학통계학교실 이준영 Meta-analysis Juneyoung Lee Department of Biostatistics, College of Medicine, Korea University The Rosiglitazone Story-계속되는불확실성의세계 2007년 6월에 Nissen과 Wolski는제2형당뇨병환자들에게사용하는혈당강하제중하나인 rosiglitazone (Avandia, GlaxoSmithKline) 의안정성여부를평가한메타분석연구결과를 NEJM에발표하였다 [1]. 주평가변수는심근경색 (myocardial infarction, MI) 발생률및심혈관질환으로인한사망률 (cardiovascular death, CVD) 이었으며, 메타분석에사용한연구들은 rosiglitazone 투여군과위약군또는활성대조군간의심혈관계질환에대한이환및사망건수를보고한 42개의무작위임상시험 (randomized clinical trial, RCT) 연구들로, 이중 40개는소규모임상시험연구들이었으며 2개는대규모임상시험인 The Diabetes Reduction Assessment with Ramipiril and Rosiglitazone Medication (DREAM) trial 및 A Diabetes Outcome Prevention Trial (ADOPT) 이었다. Nissen과 Wolski는소위 Peto 방법을사용한메타분석을통해 rosiglitazone군의 MI 발생 odds는위약군또는활성대조군에비해 1.43배 (95% 신뢰구간, 1.03~1.98) 그리고 CVD 사망 odds는 1.64배 (0.98~2.74) 높다고발표했다. 이를근거로 Psaty와 Furberg 은이제 rosiglitazone의안전성여부는불분명하며, 따라서 FDA가이후개발되는제2형당뇨병치료제신약을허가할때에는대리종료점 (surrogate end point) 에기초한단기연구결과이외에도추가적인대규모, 장기제4상임상시험연구결과를조건부로허가하는것을고려할필요가있고 [2], 필요하다면이에대한의무조항신설을고려해야할것이라고까지주장하였다 [3]. Nissen과 Wolski의논문으로인해심혈관계질환으로인한입원율및사망률에대해 rosiglitazone과메트포르민 (metformin) 또는설폰요소제 (sulfonylurea) 의병합요법을메트포르민과설폰요소제병합요법과비교하는 The Rosiglitazone Evaluated for Cardiac Outcome and Regulation of Glycaemia in Diabetes (RECORD) trial이원래계획에도없던중간분석을실시하게되었고, 그결과 rosiglitazone군에서심부전발생위험이더높게나타나긴했지만, 두군간의심혈관계질환입원율및사망률차이는, 중간분석으로인한낮은검정력과예상보다높게나온추적실패율및낮은발생률로인해, 아직은확증적인결론을내릴수없으며, 자체 Data and Safety Monitoring Board (DSMB) 에서는이연구를계속적으로진행하도록추천했다고발표하였다 [4]. 하지만이는곧 RECORD trial 결과가 Nissen과 Wolski의메타분석결과와는상이하지않음을의미하는것이라는의견 [5] 및혈당조절이미세혈관합병증억제에는효과적이긴하지만이와는별개로제2형당뇨병치료시굳이대혈관부작용을유발할수있는약물을사용할필요가있겠는가라는주장 [6] 도제기되었다. FDA advisory committee meeting에참여했던 Rosen (2007) 은이제당뇨병치료제에대한평가를위해서는혈당조절대리종료점인 HbA 1c 가아닌장기간에의해관찰되는임상적종료점을사용해야할것이라고언급했다 [7]. 하지만이주장에대해만일그렇게한다면당뇨병치료제와관련된신약개발이심각하게지체되게될것이기때문에 FDA에서는, 심혈관계관련안전성에관한문제제기가되는경우에한해서만, 시판전리뷰와시판후조사를통한안전성여부평가를고려하고있다고정정했고 (Joffe HV 등 ), GSK에서는 FDA 자체적으로실시한메타분석결과, rosiglitazone의 MI 발생위험이위약군과비교했을때에만통계적으로유의했지메트포르민이나설폰요소제투여군과비교했을때에는차이가없었을뿐더러, GSK 자체의역학조사결과도 rosiglitazone은 pioglitazone과비교해 MI 발생위험에유의한차이가없었다고반박하였으며 (Krall RL); 이에대해 Rosen은 FDA와관련된언급은개인적인의견이었을뿐이며, GSK의역학조사결과는그자체적으로

2 대한내분비학회지 : 제 23 권제 6 호 2008 한계가있는연구결과라고답변하였다 (Rosen CJ)[8]. 한편메타분석시 Nissen과 Wolski가사용했던 Peto 방법은다른여러메타분석방법들중 rosiglitazone의 MI 발생위험에관해유일하게통계적으로유의한결과를제공해주는방법인데, 이메타분석자료처럼비교집단간환자수가불균형을이루는연구결과들을결합하고자하는경우에는 Peto 방법을사용하는것이부적절하다 (Bracken MB). 메타분석에서사용된 DREAM trial의경우당뇨병이발병하는환자들에대해서는더이상의관찰을중지했었고, ADOPT trial은혈당조절수준이만족스럽지않은경우에대해서는추가관찰을중지했었기때문에두 trial 모두주평가변수에심혈관계사건발생여부가포함된연구들은아니며, 또한두 trial 모두 rosiglitazone 군의추적기간이대조군에비해상대적으로더긴데에도불구하고메타분석시에는이를감안하지않았기때문에해당메타분석결과는과대추정되었을가능성이있다 (Mannucci E 등 ). 두군간절대위험의차이는 0.2% 정도밖에되지않는데, 분석에사용된 42개무작위대조군시험 (RCT) 들중 MI 발생률에대해서는 event가발생하지않았던 4개 trial이, CVD 사망률에대해서는 19개 trial이분석에서제외되었기때문에이들결측값들이결과에영향을주었을수있다. 따라서전체자료를모두사용하는베이지안메타분석을실시해본결과, 두경우모두통계적인차이는없는것으로나타났다 (Diamond GA, Kaul S). 이런주장과함께임상가이드라인및이러한진료기준을마련하는전문가들모두제2형당뇨병치료의주목적으로혈당조절을제시하고있기때문에임상의들이 rosiglitazone을처방하는것은잘못되었다는 Psaty와 Furberg (2007) 의주장이야말로잘못된것이다 (Brett, A) 등 rosiglitazone 메타분석결과에대한반론들이제기되었으며, 이에대해원저자들은 Peto 방법은 event 수가적은연구들을결합하는경우에가장적절한메타분석방법인것으로이미알려져있으며, DREAM trial과 ADOPT trial 모두비교집단들간노출기간에차이가있다는증거는없고, 해당안전성자료들은무작위화가실시된 ITT 분석대상자료들이기때문에이미두집단간에는 ( 예후요인에관한 ) 균형이이루어졌었을뿐만아니라, 베이지안메타분석은여전히논란의여지가있는통계적인방법이고, 이방법에의하면언제나신뢰구간이넓게나올수밖에없다고반박하였다 [9]. 최근들어서는혈당조절강화요법은표준요법보다사망률이높았으며두요법간에주요심혈관계사건발생률의차이는없었다는 ( 그리고 rosiglitazone과관련해유의한심장부작용효과는관찰되지않았다 ) The Action to Control Cardiovascular Risk in Diabetes (ACCORD) trial[10] 및혈당조절강화요법이표준요법에비해주요대심혈관계및미세혈관계사건발생율을 10% 까지낮추었다는 The Action in Diabetes and Vascular Disease: Preterax and Diamicron Modified Release Controlled Evaluation (ADVANCE) trial[11] 결과가 NEJM 에동시에발표되는등당뇨병치료제의심혈관계안정성에관한논란은 2008년현재에도여전히지속되고있다 [12]. 이러한모든혼돈 (?) 의시발점이된연구가메타분석이라는통계적방법을사용한연구라는점에서이방법에대한관심이증가되는것은당연하다고할수있겠다. 하지만메타분석연구의주체는통계전문가가아니라임상연구자이기때문에메타분석방법론의장단점을충분히파악하고분석결과를정확히해석하기위해서는먼저이연구방법론에대한전반적인이해가필요하다고본다. 서론 Meta-analysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of results from individual studies for the purpose of integrating the findings. It connotes a rigorous alternative to the causal, narrative discussion of research studies which typify an attempt to make sense of the rapidly expanding research literature. Glass (1976) 의학연구논문에제시된자료들의결합이처음으로시도된것은 1904년 Karl Pearson에의해서이며 [13,14], 공식적인메타분석결과가처음으로발표된연구는 1954년 Lasagna 등의연구이다 [14,15]. 메타분석이라는용어는 1976년 Gene Glass가통계학적방법이아닌철학적개념으로이용어를사용하면서처음으로언급하였다 [16]. Glass는문헌들을고찰 (review) 하는것그자체가하나의연구방법론에해당하며, 따라서이고찰역시다른공식적인연구에못지않게체계적으로 (systematically) 수행되어야한다고주장했다. 한편의료행위중많은부분이적절한근거를기반으로이루어지지않고있음을설파한 Archie Cochrane은메타분석분야의선구자중한사람이라할수있다. 이영국의역학자는 1972년그의유명한원고 Effectiveness and efficiency에서의료와관련된의사결정을하고자하는많은사람들 (policy makers, professionals, consumers of services) 이현재가용하고, 믿을만하며, 엄격하게정리된근거들을쉽게접근할수있는방법을제공받지못하고있다고언급하였다 [17,18]: It is surely a great criticism of our profession that we have not organised a critical summary, by speciality or subspeciality, adapted periodically, of all relevant randomized controlled trials. Cochrane (1979)

3 이준영 : 메타분석 이러한 Cochrane의비판은출산과신생아에대한적절한관리방법을연구한 RCT 결과들을정리하는 10년간에걸친국가간협력연구를점화시켰고, 결과적으로모든보건및의료관련연구결과들을데이터베이스화하고자하는임상연구자들, 연구방법론전문가들및사용자들간국제적네트워크인코크란협력단체 (Cochrane Collaboration) 를탄생시키는밑거름이되었을뿐만아니라 [19], 궁극적으로는근거-기반의학 (evidence-based medicine, EBM) 운동을점화시키는도화선역할을하게되었다 [20]. EBM은 각환자들에게필요한치료방법을결정할때, 현존하는, 가장최신의, 그리고가장최상의근거를진지하고, 명료하며, 사려깊게사용하는것 이라할수있다 [21]. 이를위해두종류의근거, 즉, 임상가본인의전문적지식인내적근거와다른연구자들의연구결과인외적근거들을종합해임상적인의사결정을하고자하는것이다. 따라서 EBM을시행하기위해서는환자들을보살피는데도움이되는연구들을찾아내고, 이연구결과들을제대로평가할수있어야할것이다 [22]. 물론 RCT가 EBM에있어서최상의기준이긴하지만, 체계적고찰 (systematic review) 역시 EBM에효과적으로사용될수있는방법이다. 체계적고찰은명백한연구목적하에과학적인방법으로수행된일차연구들을대상으로, 연구주제설정, 연구들의포함기준, 자료수집방법등을미리계획하고사전정의한다음, 이를객관적이고재현성이확보된방법론을사용해찾아낸후, 이들의연구결과에대한고찰과분석 ( 즉, 결과의합성 ) 을실시하여, 연구질문에대한결론을내리고신뢰성있는정보를제공하고자하는연구합성방법론 (research synthesis methodology) 이다 [23]. 체계적고찰에서는통계적인방법을사용해각연구의상대적인공헌도를감안하면서자료들을결합할수도있지만, 연구들간의특성이너무이질적이면자료의결합을시도하지않을수도있다. 이러한자료결합단계를메타분석이라한다. 체계적고찰이라는용어와메타분석이라는용어가서로혼용되어사용되기도하지만, 엄밀히말한다면메타분석은체계적고찰의틀안에서수행되는연구결과결합방법론이라할수있다. 메타분석이라는용어는글자뜻그대로 - meta는그리스어로 after', beyond', with' 라는뜻을나타내는전치사 - 하나의주제에대해연구한여러연구의분석결과들을분석하는것 (analysis of analyses) 을의미하며, 따라서메타분석은특정중재와관련해기존에출판되었거나아직출판되지않은모든연구결과들을융합하고자하는통계적인연구방법론을의미한다. 메타분석은대규모연구들뿐만아니라, 사용된연구방법, 연구대상자들의특성, 결과에영향을미칠수있는다른중요한요인들등에있어서변동을보이는, 소규모로진행된연구들에대해서도사용될수있는방법론이다. 그렇다면이들소규모연구들을결합한메타분석결과와의학적 인중재효과를증명할수있는최상의기준으로간주되는대규모 RCT 결과가서로다르다면이를어떻게받아들여야하는가? 어쩌면이보다더중요한점은, 이들중하나만있는경우에, 해당연구의결과인신뢰구간 ( 결과에대한신뢰의정도 ) 이나표준오차 ( 결과에대한불확실성의정도 ) 를얼마나신뢰할수있겠는가하는점일것이다. 따라서이에대한결론은각연구의질과분석의정확성에달려있다고할수있다. 메타분석의목적은활용가능한연구들의장점및제한점들에기초하면서객관적인결론을유도하고자하는것이다 [14]. 즉, 유사한결과를보기위해유사한환자들을대상으로유사한처리를사용한유사한연구들의자료를결합함으로써가능한한최대의통계적검정력 (power) 과정밀성 (precision) 을확보한상태에서해당처리효과를추정하고자하는것이다 [24]. 메타분석에는다수의임상시험연구모집단 (study population) 들이포함되기때문에표본수가증가하게되고, 따라서만일실제로처리간에차이가존재한다면이를더쉽게탐지할수있게되며 ( 즉, 검정력이증가하며 ) 또한처리간차이를추정하는데있어서도정밀성이증가하게된다 ( 즉, 신뢰구간이좁아진다 ). 물론메타분석을잘수행하기위해서는시간도많이소요되고비용도많이들긴하지만, 그래도대규모임상시험에비하면훨씬적게드는것이사실이다. 메타분석에서는각연구들이원래추구했던임상질문들에대한답을하기위해두개또는그이상의독립적인연구결과 ( 주로처리간평균차이및해당신뢰구간 ) 들을특정방법, 즉, 가중평균방법을사용해결합한다. 이때가중치로는각연구들의표본크기 (sample size), 정밀성 (precision, 예를들면처리간평균차이에대한표준오차 ), 또는각연구의질 (study quality) 등이주로사용된다. 하지만메타분석의핵심은해당주제와관련된정보들을얼마나최대한그리고얼마나체계적으로찾아내서요약했는가에있다. 제대로된메타분석을수행하기위해서는연구주제에대한전문적인지식뿐만아니라해당방법론에대한전문적인지식또한필요하다. 따라서메타분석은임상전문가와경험이있는통계전문가간의공동연구로진행되는경우가거의대부분이다. 연구주제와관련된선정기준에해당하는연구들을최대한으로찾아내고메타분석과정중에발생하게될불확실성을줄이기위해서는무엇보다도먼저메타분석주제에관한명확한설정이필요하다. 그다음으로선정기준에부합하는모든적절한연구결과들을파악하기위한문헌탐색이광범위하게이루어져야한다. 보통의경우이렇게탐색된문헌들의수가매우많기때문에이들이메타분석포함기준에적절한지평가하기위해먼저초록검토 (abstract review) 를실시한후, 그다음으로자세한평가와자료추출그리고연구의질평가를위해전체를검토 (full review) 하는과정을

4 대한내분비학회지 : 제 23 권제 6 호 2008 거치게된다. 일반적으로는이러한과정을거치면서대략탐색된문헌들의 10% 전후만이남게된다. 자료추출및질평가를위한 full review 과정은미리준비된양식지를사용해조심스럽고세밀하게진행되어야한다. 마지막으로추출된자료의결합을시도하게된다. 물론연구들간의특성이너무차이가나서이러한자료결합이무의미한경우에는최종선정된각개별연구결과들을요약정리하는것으로메타분석을마무리할수도있지만, 대부분의경우에는이자료들을적절한통계적방법을사용해하나의, 대표적인, 최선의 추정치및신뢰구간으로요약하게된다. 사실이마지막단계가메타분석이비판을받는주된부분이기도하다. 왜냐하면메타분석에포함된연구들이실질적으로는서로다른것을측정하고있다는 ( 즉, 연구결과들이이질적이라는 ) 임상적, 통계적증거들이있는경우가많기때문에자료결합이의미가있기위해서는추가적인, 그러나논란의여지가있는, 통계적가정을해야만하기때문이다 ( 이에대해서는 5) 통계분석및결과제시에있는 (2) 변량효과모형을참조 ). 1. 메타분석관련프로그램메타분석을수행하기위한프로그램들은많이있다. 그중가장많이알려진것들로는코크란협력단체에서무료로제공하는 RevMan (Review Manager, Version 5.0, cc-ims.net/revman) 프로그램, 유료이면서메타분석전문프로그램인 Comprehensive Meta-Analysis Software (Version 5.0, 그리고상용통계분석전문소프트웨어이면서고급화된메타분석수행이가능한 STATA (Version 10.0, 등을들수있다. 본고찰에서는 STATA 프로그램을사용해메타분석의예를설명해나가기로하겠다. 2. 메타분석의수행메타분석은보통다음과같은다섯단계에걸쳐수행하게된다 [25,26]. 1 연구주제설정 (formulating research questions) 2 연구포함기준및제외기준설정 (defining inclusion and exclusion criteria) 3 문헌탐색및논문선택 (literature search and study selection) 4 연구의질평가및자료추출 (study quality assessment and data extraction) 5 통계분석및결과제시 (statistical analysis and result presentation) 1) 연구주제설정메타분석의첫단계는연구주제를명확히설정하고연구목적과가설들을자세히명시한프로토콜을작성하는것이 다. 연구주제는당연히임상적으로관심이있는것이어야하겠지만, 주로확증된것보다는논란이많은주제가선택되게된다. 연구의목적은구체적이고명확해야되며중재의종류, 비교집단에관한내용, 임상적관심변수등이포함되어야한다 [27]. 예를들면, 제2형당뇨병환자에대한 rosiglitazone의단독혹은병합요법이위약및인슐린, 설폰요소제, 메트포르민등다른혈당강하제의투여와비교해심혈관계질환의이환율및사망률을높이는결과를가져오는가? 등이다. 코크란가이드라인에서는이와같이임상적문제를구조적인질문의형태로전환하여연구의개념적틀을구축하기위해다음의 PICO 기준에기초한핵심질문설정을추천하고있다 [28]: Patient population ( 어떤집단에대해연구할것인가?) / Intervention 또는 exposure ( 어떤중재에대한연구를하려고하는가?) / Comparison ( 어떤비교대상을사용해해당중재가더좋은결과를제공한다는것을보이고자하는가?) / Outcomes ( 해당중재의효과로무엇을보고자하는가?). 이와더불어혹시해당주제와관련된연구의수가너무많아메타분석을진행하기힘들정도는아닌지, 그리고연구간에임상적, 방법론적이질성 (heterogeneity) 이너무심해이연구결과들을결합하는것이혹시무의미한작업은아닌지등에대해서도이단계에서미리심사숙고해야한다. 2) 연구포함기준및제외기준설정연구주제에합당한모든적절한연구들을찾아내기위해서는먼저연구선정기준을자세히정의해야한다. 여기에는주로연구설계의형태 ( 예 : RCT로한정할것인지아니면코호트연구등관찰연구도포함할것인지 ), 환자군의특성 ( 예 : 연령, 성별, 의학적상태여부등 ), 자료의출판형태 ( 예 : 초록집에만출판된자료를포함시킬것인지, 미출판자료역시포함시킬것인지 ), 사용된언어 ( 예 : 영어권이외에출판된연구들을포함시킬것인지 ), 그리고연구기간 ( 예 : 어느기간동안에수행된연구들로한정할것인지 ) 등이포함된다. 일반적으로메타분석대상은무작위이중눈가림임상시험들이다. 왜냐하면무작위할당 (random allocation) 이이루어져야만 bias가최소화되거나집단간에 bias의균형이이루어져서예후에대한비교성이확보될수있기때문이다 [21]. 포함기준은주연구주제에관한결론을내릴수있게끔구성되어야만한다 [26]. 예를들어, 삶의질에관한처리효과를보고자한다면결과 (outcome) 로삶의질을평가하지않은연구들은제외되어야할것이다. 사실포함기준을어떻게설정하는지가메타분석결과에막대한영향을끼치게된다. 이를지나치게넓게 ( 진보적으로 ) 설정하게되면 ( 예를들어비무작위임상시험이나관찰연구등을포함시키면 ) 보다광범위한연구를수행할수있긴하지만좀더주관적인결론을내리게될가능성이있고, 연구들간의이질성또한

5 이준영 : 메타분석 커져서메타분석결과의신뢰성이낮아지게될것이다. 반면에이를너무좁게 ( 보수적으로 ) 설정하면해당연구는제한된형태의부집단분석연구가될가능성이있다 [29]. 3) 문헌탐색및논문선택연구주제에관한답을하기위해서는주제와관련이있는연구들을가능한한많이찾아내는것이중요하며, 설정된포함기준에해당하는연구들을모두찾아내도록노력해야한다. 또한문헌탐색시사용된특정탐색어들은연구결과보고서 ( 혹은논문 ) 에제시해야한다. 효과적인문헌탐색을위해서는아래의전략들을단계적으로사용하는것이좋다 : 1 Cochrane Library, MEDLINE, EMBASE, BIOS (Life sciences and Biomedicine), SCI (Science Citation Index), CINAHL (Nursing and Allied Health Literature), AMED (Allied and Alternative Medicine), Biosis (Biological Abstracts), PsycINFO (Psychological Abstracts) 등전자의료관련데이터베이스를사용해상호심사과정을거친논문 (peer-reviewed journal) 을찾는다. 2 해당주제와관련된출판서적이나관련학술회의의초록집등을검토한다. 3 국내외관련학회의웹사이트등특정인터넷사이트를조사하고, 해당질병과관련된진료가이드라인등을살펴본다. 4 전국혹은지역단위의등록체계 (registry) 를조사하고미출판된논문들을찾는다. 이를위해해당질병과관련해명망있는학자나의료센터등을접근해본다. 5 출판되었거나미출판된연구자료에대한정보를입수하기위해제약회사의의료관련담당자들과연락을취한다. 6 Intute ( 등과같은의료관련포탈사이트및 Google, Yahoo 등과같은일반포탈사이트를조사한다. 전자의료데이터베이스탐색시에는포함기준을만족시키는출판논문들을빠트리지않기위해적어도두개이상의데이터베이스를동시에탐색하는것이매우중요하다. 영어이외의다른언어로쓴논문들역시반드시찾아야하며 ( 뒤에기술한 Publication bias' 참조 ), 필요한경우에는번역도실시해야한다 [30]. 초록집은대부분상호심사과정을거치지않은연구이며해당연구의질을평가하기에충분한정보들도없는경우가많기때문에 ( 뒤에기술한 연구의질평가및자료추출 ' 참조 ), 메타분석결과의민감도를평가하는정도로만사용하기도한다 ( 뒤에기술한 민감도분석 ' 참조 ). 또한신경써야할부분은중복게재된논문이나이전에발표된자료를확대혹은축소재생산한논문들이다. 예를들어하나의 RCT는동일한환자모집단을대상으로실시한 연구이지만여러개의논문으로출판되기도하므로이런논문들이중복계수되지않도록주의해야하고, 분석시제외해야한다. 또한출판되지않았거나출판을준비하고있는부정적 (negative) 연구들 ( 통계적으로유의한처리간효과차이를보이지못한연구들 ) 을찾아내도록노력해야만한다. 이를위해연구관련등록체계를살펴보거나해당분야에서명망이있는연구자에게직접연락을취해보는것도효과적인방법이다. 참고로문헌탐색시 RCT 관련논문들을찾기위해사용될수있는탐색전략을예로들면 Table 1과같다 [28]. 연구선정기준에따라탐색된문헌들중에서메타분석을실시하기위한논문들을선택할때에는유사한디자인이사용된논문들을선택해야한다. 논문들간유사성을평가하는데사용될수있는기준들은다음과같다 ( 물론이들중연구선정기준에서이미결정된사항들에대해서는재평가할필요가없다 ). 7 연구설계의종류 { 예 : 평행설계 (parallel design) 인지교차설계 (crossover design) 인지 } 8 각연구의환자모집단포함기준 ( 예 : 관상동맥질환을가진심장병환자군대관상동맥질환을가지고있지않은환자군, 모든제2형당뇨병환자군대최소한하나이상의심혈관계질환위험인자를가지고있는제 2형당뇨병환자군 ) 9 각연구의환자모집단제외기준 ( 예 : 65세이상인심장병환자또는심장병환자이면서신장질환을가지고있는환자, 제2형당뇨병환자이면서장기인슐린치료중인환자 ) 10 각연구가평가한중재방법 ( 예 : 베타차단제대위약인지아니면베타차단제대이뇨제인지, 혈당조절을위한단독요법대위약인지, 단독요법대병합요법인지아니면강화혈당조절요법대표준혈당조절요법인지 ) 11 연구에사용된일차평가변수 ( 예 : 사망인지재입원인지, 주요심혈관계질환의발생률인지심혈관계질환관련사망률인지 ) Rosiglitazone 안전성 (safety) 메타분석의경우, 42개의논문들을찾아내기위해 FDA 홈페이지, GSK 홈페이지및저널에출판된논문들을조사하였다. 선택된 42개 RCT 중 5 개는해당약제의허가를받기위해 FDA advisory board hearing에제출된소규모연구들이고 ( 상호심사과정을거치고저널에발표된연구 4개및미발표된연구 1개 ) 35개는 GSK 홈페이지의임상시험등록체계 (registry) 에등록된소규모연구들 ( 저널에발표된연구 9개, 미발표연구 26개 ) 이며, 나머지 2개는최근에발표된대규모임상시험연구결과 (DREAM trial 및 ADOPT trial) 이다 [1]

6 대한내분비학회지 : 제 23 권제 6 호 2008 Table 1. Cochrane highly sensitive search strategy for identifying randomized trials in MEDLINE. Following examples are adapted from Higgins and Green (2008) Ovid format PubMed format #1 randomized controlled trial.pt. #2 controlled clinical trial.pt. #3 randomized.ab. #4 placebo.ab. #5 clinical trials as topic.sh. #6 randomly.ab. #7 trial.ti. #8 1 or 2 or 3 or 4 or 5 or 6 or 7 #9 animals.sh. not (humans.sh. and animals.sh.) #10 8 not 9 Ovid search syntax.pt. denotes a Publication Type term;.ab. denotes a word in the abstract;.fs. denotes a floating' subheading;.sh. denotes a Medical Subject Heading (MeSH) term;.ti. denotes a word in the title. #1 randomized controlled trial [pt] #2 controlled clinical trial [pt] #3 randomized [tiab] #4 placebo [tiab] #5 drug therapy [sh] #6 randomly [tiab] #7 trial [tiab] #8 groups [tiab] #9 #1 or #2 or #3 or #4 or #5 or #6 or #7 or #8 #10 animals [mh] not (humans [mh] and animals [mh]) #11 #9 not #10 PubMed search syntax [pt] denotes a Publication Type term; [tiab] denotes a word in the title or abstract; [sh] denotes a subheading; [mh] denotes a Medical Subject Heading (MeSH) term ( exploded'); [mesh: noexp] denotes a Medical Subject Heading (MeSH) term (not 'exploded'); [ti] denotes a word in the title. (1) Publication Bias Publication bias ( 출판편향 ) 란저널편집자들이 negative 연구보다는 positive 연구 ( 통계적으로유의한차이를보인연구 ) 를더선호하기때문에 positive 연구들은출판될가능성이높게되고, 따라서메타분석을위한문헌탐색시 positive 결과를보인연구들이더많이파악되어결과적으로메타분석결과가왜곡되게되는 bias를의미한다 [31]. Publication bias가존재하는지의여부를확인할수있는방법은여러가지가있으나그중가장자주사용되는방법은 funnel plot ( 깔때기그림 ) 을그려보는방법이다 [32]. Funnel plot이란 x-축에는각연구에서추정된처리효과 ( 예를들면 OR) 를, y-축에는해당연구의정밀성을나타내는척도 ( 예를들면표본수나 OR의표준오차등 ) 를사용해산점도 (scatter plot) 를그린것이다 [ 보통의경우는 x-축척도의대칭성을위해로그변환한값들을사용한다 ]. 깔때기그림 ' 이라는명칭은연구의표본수가커지면커질수록실제효과에대한추정이더정밀하게되는점을반영해붙인이름이다. 즉, 만일메타분석결과에 publication bias가개입되지않았다면, 소규모연구들은연구의정밀성이낮기때문에이연구들의처리효과추정치들간에는변동폭이심할것이고따라서해당점들은산점도의아래부분에좌우로넓게퍼지게되는반면, 대규모연구들은정밀성이높은연구들이라서서로비슷한크기의처리효과추정치들을제공할것이고해당점들또한산점도의윗부분에서로모여있게되어, 결과적으로점들이대칭적이면서뒤집어진형태의깔때기모양으 로표현될것이다. 만일 publication bias가존재하는경우라면 funnel plot의점들은어느한쪽으로치우치게되어비대칭적인형태의산점도가그려지게되는데, 주로그림의왼쪽아랫부분에빈공간이생기게된다. 왜냐하면이부분은바로정밀성이낮으면서처리효과의크기도작은연구들에해당하는점들이위치하는부분인데, 처리효과의크기가작은경우이를발견해낼수있기에는너무적은표본수를사용한연구들은주로 negative 결과들을보였을것이고, 따라서해당연구결과들은발표되지않았을가능성이높아메타분석을위한문헌탐색에서도발견되지않았을것이기때문이다. Rosiglitazone 안전성메타분석에사용된 42개논문들중 rosilitazone군과대조군모두에서 MI 발생건수가보고되지않았던 4개논문을제외한 38개논문들을대상으로 MI 발생률에대한 funnel plot을그려보면 Fig. 1과같다. 가로축 (x-축) 의 0은 rosiglitazone군과대조군간 MI 발생 odds에차이가없음을의미하는값이고, 양수는 rosiglitazone군의 MI 발생 odds가대조군에비해높음을, 그리고음수는그반대를의미한다. 가운데수직실선은 38개논문들에대한메타분석결과인 MI 발생 OR에대한결합추정치 (pooled estimate) 를나타낸다 [Nissen and Wolski (2007) 에서사용되었던 Peto 방법에의한결과임 ]. Funnel plot은대략적으로대칭적인형태를보여주고있기때문에해당분석결과에 publication bias가개입되었을가능성은그리높지않은것으로보인다. 하지만오른쪽하단부가약간비어있는경향

7 이준영 : 메타분석 Fig. 1. A funnel plot of log odds ratios (ORs) of the incidence of myocardial infarction between rosiglitazone group and control group versus its standard error (SE). Data used was from the 42 trials displayed in Table 3 of Nissen and Wolski (2007). 을보이는것으로볼때, 표본수가적으면서 rosiglitazone군이대조군에비해상대적으로높은 MI 발생 odds를보인연구들이누락되었을가능성도무시할수는없을것같다 ( 이메타분석연구는주결과변수로효과 (efficacy) 가아니라안전정 (safety outcome) 을사용한연구이기때문에표본수가적으면서 rosiglitazone의 risk가높게나타나는부분인오른쪽하단부가비어있는경향을보이게된것이다 ). 하지만만일메타분석에포함되지않은해당연구들이추가되었다면결합추정치는현재보다더큰값으로 ( 즉, rosiglitazone의위험도가현재보다는더높은쪽으로 ) 나타나게되었을것이기때문에, 이경우의 publication bias는연구결과를보다보수적인방향으로유도하는 (toward to the null) bias라고할수있을것이다. 4) 연구의질평가및자료추출최종분석대상논문들이선택되면이들각논문으로부터적절한정보들을추출해야한다. 자료추출을위해서는먼저표준화된형태로구성된자료추출양식지를준비해야하며, 주요추출정보들로는각연구의특징에대한요약, 환자군의특성, 처리의종류, 연구수행기간, 일차평가변수및기타평가변수들에관한정보등이다 [30]. 이때추출되는자료들은동일한척도 ( 예를들면 OR) 로표현될수있는자료들이어야한다. 따라서일부연구들은이과정중에자료의부족으로인해제외될수도있다. 연구의질에대한평가는매우중요하다. 연구의질이란우리가보기에해당연구가 실제 효과를얼마나잘측정했는지에관한정도이며, 이러한측면의질을타당도 (validity) 라한다. 연구의타당도는내적타당도 (internal validity)-해당연구결과가원래연구하고자했던상황을얼 마나정확히반영하는지에관한정도. 즉, bias가최소화되는것-와외적타당도 (external validity)-해당연구결과가다른상황에까지얼마나정확히일반화될수있는지에관한정도. 즉, 결과의일반화가능성- 로구분하며, 메타분석에서연구의질평가란선택한논문들에대해이러한타당도를평가하는것을의미한다. 연구의질평가에대한언급은 Glass (1976) 까지거슬러올라간다 [16]. 메타분석시연구의질에대한평가가반드시이루어져야하는이유는분석에사용된연구들이실제로는질이낮은연구들임에도불구하고분석결과는마치높은수준의연구를통해얻어진결과인것처럼제시되거나보일수있기때문이며, 이보다더중요한문제는질이낮은연구결과들을결합하게되면 bias된, 따라서결과가왜곡 (misleading) 되는, 결합추정치가얻어지게되기때문이다. 'Garbage in, garbage out', 즉, 아무리정교한분석방법을사용해도질이낮은자료의한계점은극복할수없다. 메타분석을수행할때가장간과할수없는형태의 bias가바로이연구의질평가와관련된 bias이며 [33], 모의실험결과, 연구의질에주로영향을미치는것은부적절한방법론의사용, 그중에서도특히무작위배정에대한은폐 (random allocation concealment) 가제대로이루어지지않았을때가장 bias( 주로처리효과가과장되는방향으로 bias) 가큰결과가초래되는것으로나타났다 [34]. 연구의질평가에서고려해야될요인들로는무작위화실시여부, 배정은폐에관한언급여부, 이중눈가림실시여부, 연구철회 (withdrawal) 및탈락 (drop-out) 에대한언급여부, 그리고적절한통계분석사용여부등이다 [35]. 연구의질평가는 guilty unless proven innocent, 즉, 실시했다고언급되어있지않는이상실시하지않은것으로간주하는유죄추정의원칙을사용하는것이일반적이다. 연구의질을평가하

8 대한내분비학회지 : 제 23 권제 6 호 2008 는방법으로는크게두종류의접근방법이사용된다. 하나는복합적인형태의점수화된평가도구를사용하는척도적접근방법 (scale approach) 이고다른하나는연구특성을개별적으로평가하는항목별접근방법 (component approach) 이다. 질평가를위해개발된척도들은많지만, 이들중에는실제로연구의질을측정하는것이아니라논문내용의적절성이나연구결과의일반화와관련된외생요인들을평가하는데초점이맞추어져있어타당성에문제가있는것들도있다 [36]. 또한이러한척도를사용하는방법은각연구의전반적인질에관한정도를수치화할수있다는장점은있으나어떤척도를사용하느냐에따라결과가많이달라진다는단점도있다 [37,38]. 그러나그간편성때문에요소적접근방법보다더많이사용되는것이사실이다. 현재주로사용되고있는질평가척도로는 Chalmers scale[39] 및 Jadad scale[40] 등을들수있는데, Chalmers scale은연구의내적, 외적타당도및자료분석측면등을평가하는전체 30개문항 (100점만점 ) 으로이루어져있으며, Jadad scale은연구의내적타당도를평가하는 5개문항, 즉, 무작위화가실시되었다고기술되었는가? 연구대상자들의처리군할당에사용된일련번호들은적절하게생성되었다고기술되었는가? 이중눈가림이실시되었다고기술되었는가? 대조군에사용된처치 ( 예를들면위약 ) 는처리군의처치와구별될수없었다고묘사되었는가? 각집단별로추적실패또는분석에서제외된환자의수등손실내용 (attrition) 및그이유가기술되어있는가? 등으로구성된 5점만점의척도이다. Jadad scale이가장많이사용되는척도이긴하지만, 연구의실제방법론적인측면보다는작성된논문의내용에관한질을평가하는척도라는점, 그리고무작위배정과관련된은폐여부보다는무작위배정일련번호의생성여부에초점이맞추어져있다는것에대한비판도있다 [25,37]. 이에반해항목별접근방법은처리효과추정치와관련된연구방법론적질에대한평가로처리의배정은폐에관한측면, 무작위배정일련번호의생성에관한측면, 모든무작위배정된환자들의분석포함여부에관한측면, 그리고이중눈가림에관한측면등 4개측면에대한평가를각메타분석의연구주제에알맞게개별적으로평가하는방법이다 [34]. 최근에는되도록이면이방법을사용할것을추천하고있지만연구자가각자의메타분석연구내용에알맞게평가측면들을정하는게좋다 [28,38]. 결론적으로연구의질평가시어떤접근방법을사용할것인가, 그리고질평가내용에대해서는단순제시만할것인가, 아니면그결과를자료분석단계에서도이용할것인가등에대해서는아직도논란이많긴하지만, 선택된연구들에대한질평가는반드시실시되어야한다는점에는이론의여지가없다고할수있다. 자료를추출할때나연구의질을평가할때에는정확성을유지하기위해두명의연구자가각각독립적으로실시해야 한다. 또한평가결과에대한평가자들간의일치도를계산해야하고 ( 예 : 카파통계량 ), 불일치결과가발생했을때는어떻게해결했는지에대해서도기록해야한다 [30]. 논문의저자명및이를확인할수있는다른정보들에대해평가자들을눈가림하는것역시 bias를줄일수있는방법중하나이다 [28]. 5) 통계분석및결과제시메타분석의마지막단계는적절한통계적방법을사용해연구결과들을결합하는작업이다. 자료의결합은관심변수에관한각연구의개별환자자료 (individual patient data, IPD) 를사용해결합할수도있고 ( 물론이를위해서는각연구의환자자료를얻어야함 ), 각연구의해당변수에대한요약자료를사용할수도있다 (IPD 메타분석에대해서는참고문헌 41 및 42 등을참조 ). 요약자료를사용해처리간효과차이에대한메타분석을하기위해서는각연구에대해서기본적으로다음과같은두가지정보가필요하다. 1 처리효과차이에대한동일한형태의측정값 : 예를들면, 교차비 (OR), 위험비 (RR) 또는평균차이 (MD) 등 2 해당처리효과에대한표준오차 ( 또는분산 ) 메타분석에서각연구의효과차이들을결합할때사용하는주개념은각연구의표본수크기에근거한가중평균을사용하는것이다. 즉, 소규모연구는대규모연구에비해우연한차이로인한영향을더많이받기때문에결합시대규모연구에상대적으로더많은가중치를부여하고자하는것이다 [30]. 결합효과및해당신뢰구간을추정하고결합효과에대한가설검정을실시하기위해메타분석에서주로사용되는통계적모형으로는고정효과모형 (fixed-effects model) 과변량효과모형 (random-effects model) 이있다. 이들두모형의차이는각논문에서얻어진요약자료가어떤분포에서얻어진자료인지에대한통계적인관점의차이라할수있다 [43]. (1) 고정효과모형 (Fixed-effects Model) 이통계모형은각연구들이보고자했던처리효과는사실같은것인데연구결과가서로다르게나타난이유는연구들의표본추출오차때문이라고가정하는모형이다. Fig. 2(a) 는이를좀더알기쉽게그림으로표현한것이다. 즉, 각연구에서관찰된처리효과들은하나의공통된실제처리효과 (common true treatment effect) 를중심으로무작위로나타난결과들이라는가정이다. 따라서이모형은각연구들의처리효과들간에보이는변동의크기가단순한표본추출오차에기인한정도라고믿어지는경우, 즉, 각연구들의연구설계나방법론등이서로유사한경우에사용되는모형이다. 이모형을사용해결합효과 ( 결합추정치, pooled estimate) 를추정하는통계적방법들로는역분산가중추정법 (inverse variance

9 이준영 : 메타분석 A B Fig. 2. A graphical representation of the concepts of (a) a fixed-effects model and (b) a random-effects model. A fixed-effects model assumes that there is a common true treatment effect underlying studies and that each study result will vary randomly around this true effect (i.e., treatment effect for each study = common true treatment effect + study variation that called a random error). A random-effects model assumes that there is different underlying effect for each study and that there is also an additional source of variation between studies which reflects the amount of heterogeneity between them (i.e., treatment effect for each study = true average effect which follows a normal distribution + within study variation that called a random error). weighted estimation method, IVW), 멘틀- 헨쩰추정법 (Mantel-Haenszel estimation method, MH), 피토추정법 (Peto estimation method), 그리고최대가능도추정법 (maximum likelihood estimation method, ML) 등이있다. 이들중가장많이사용되는방법은 IVW 추정방법이다. 이방법은가중치로각연구의정밀성을나타내는효과차이에대한분산의역수를사용해연구결과들을결합하는방법이다. IVW 추정방법을 OR들을결합하는경우에대해간단히소개하면 Table 2와같다. 각추정방법들은나름대로의장단점을가지고있다 [25,44]. IVW 추정법은결합하고자하는연구들의수는적지만각연구들이표본수가큰연구들인경우에효과적인방법이다. MH 추정법은표본수가작은연구들이라할지라도그러한연구들의수가많을때효과적인방법으로, 처리효과들을결합할때 IVW 방법처럼각연구의 OR값에대해로그변환을하지않고 OR값자체를사용한다. Peto 추정법은계산하기가쉽고, 결과 (event) 수가적거나발생률 (event rate) 이낮은경우, 그리고처리군이나대조군중하나에서결과가발생하지않은연구들이있는경우 ( 이경우 IVW 방법이나 MH 방법은해당연구를제외하고결합하게된다 ), 즉, 빈칸 (zero cell) 이있는경우에효과적인방법이다. 그러나 Peto 방법은두처리집단간표본수에불균형이심한연구들이많으면 bias된 OR값 ( 주로 1에서멀어지는쪽으로 ) 및표준오차를제공하게되고, 반면에 true OR가큰경우에는이를과소추정 (under-estimate) 해주는경향이있기때문에비판을많이받는방법이다. ML 방법은연구들의표본수가작을때매우효율적인방법이고, 여러통계적인장점을많이가지고있는방법이긴하나, 계산 하기가어렵고, 표본수가클때에는 ( 각칸의값들이 5 이상인경우 ) MH 방법과거의동일한결과를제공해준다. 범주형자료의경우, MH 방법이나 Peto 방법은 2 2 분할표의경우에만사용할수있지만, IVW 방법이나 ML 방법은일반적인경우에도사용할수있다. 메타분석시어떤방법을선택할것인가하는것도중요하지만그에못지않게사용한방법을명확히기록해주는것도중요하다. Rosiglitazone safety 연구에서는각연구들의 event 수가낮고, 빈칸들도있기때문에 Peto 방법을사용해메타분석을실시하였다. Nissen과 Wolski (2007) 의 Table 3 (pp. 2466~2467) 자료를사용해 Peto 방법에기초한고정효과모형메타분석결과를 STATA 프로그램으로재현해보면 Fig. 3 과같다. 분석결과, control 군에대한 rosiglitazone 군의 MI 발생 OR 결합추정치및해당 95% 신뢰구간은 1.43 (1.03~1.98) 이었고, CVD 사망률의경우에는 1.64 (0.98~ 2.74) 이었다. 즉, rosiglitazone 치료는대조군 (control treatment) 에비해 MI 발생 odds를 43% 정도 ( 신뢰범위 3%~98%) 증가시키는것으로나타났다. 참고로이자료에대해 MH 방법을사용하면 MI 발생률은 1.28 (0.95~1.72), CVD 사망률은 1.33 (0.83~2.13) 인반면, IVW 방법을적용하면 MI 발생률은 1.29 (0.94~1.76), CVD 사망률은 1.31 (0.80~2.13) 으로계산된다. 메타분석결과를요약해서제시하는방법중하나로숲그림 (forest plot) 이많이사용된다. 이그림은각연구들의처리효과에대한추정치들및해당신뢰구간, 그리고메타분석결과로얻어진결합추정치와그신뢰구간을하나의그림으로표현한것으로, 마치나무들이모여있는숲처럼보인

10 대한내분비학회지 : 제 23 권제 6 호 2008 Table 2. A fixed-effects model meta-analysis using inverse-variance weighted (IVW) estimation method to obtain a pooled odds ratio (OR) estimate and its 95% confidence interval (CI) based on 2 2 tables comparing binary outcome between treatment and control groups 자료의형태 - k개의연구가있으며, 각연구들은다음과같은 2 2표형태의자료가있다고가정하자. Treatment Event Yes No Total A B a c b d a + b c + d Total a + c b + d n 필요가정들 - 모든연구들은동일한크기의실제 OR를가지고있다. - 각연구에서얻어진 OR들이서로다르게관찰된이유는각연구내에서표본추출변동 (within-study variation, 즉, random variation) 이발생했기때문이다. 계산방법 [1] 각연구의 OR값에대해자연로그를취함 : 예를들어 i 번째연구의경우, [2] 각연구의 ln(or) 값에대한표준오차 (SE) 를구함 : 예를들어 i 번째연구의 ln(or) 값에대한표준오차는 [3] 각연구에대한고정효과모형의가중치를계산함 : [4] ln(or) 에관한결합추정치 (pooled estimate) 를구함 : [5] ln(or) 결합추정치에대한표준오차 (SE) 를구함 : [6] OR 에관한결합추정치인 OR pooled 를구하기위해위 [4] 번의 ln(or) 결합추정치를역 - 로그변환함 : [7] 결합추정치 OR pooled 에대한 95% 신뢰구간을구하기위해위 [4], [5] 번결과를이용함 : 결과의해석 - OR pooled 는고정효과모형을사용해서얻어진결합처리효과를나타낸다. - 이 OR pooled 에대한 95% 신뢰구간은실제처리효과가존재할것으로믿어지는범위를나타낸다. - 만일이신뢰구간이 1 을포함하고있지않다면처리 A 의효과와처리 B 의효과는서로다르다고본다. - 만일이신뢰구간이 1 을포함하고있으면두처리의효과가서로다르다는통계적인증거는없다고본다. 다고해서 forest plot이라는명칭이붙었다. Rosiglitazone safety 메타분석의 MI 발생률에대한 forest plot은 Fig. 4와같다. 이그림에사용한기호들은 Fig. 4에자세히설명해두었다. 이 forest plot을보면각연구결과들은두군간에통계적인차이가없음에도불구하고메타분석결과는통계적으로차이가있는것으로나타났음을볼수있다. 그이유는메타분석을통해전체표본수가커졌기때문에두군간차이를탐지해낼수있는통계적검정력이 증가되었기때문이다. 한편가중치의크기를볼때 42개논문들중두개의대규모 RCT 연구 (DREAM trial 및 ADOPT trial) 가전체가중치의약 58% 를차지하고있음을볼수있다. (2) 변량효과모형 (Random-effects Model) 변량효과모형은각연구에서보고자했던실제처리효과가각각다르다고가정하는모형이다. 이는곧각연구설계

11 이준영 : 메타분석 Table 3. A random-effects model meta-analysis using DerSimonian-Laired (DL) estimation method to obtain a pooled odds ratio (OR) estimate and its 95% confidence interval (CI) based on 2 2 tables comparing binary outcome between treatment and control groups 자료의형태 - Table 1과동일한상황을가정하자. 필요가정들 - 각연구의실제 OR값들은서로다르다. - 관찰된 OR값들이서로다른이유는각연구내표본추출변동 (within-study variation, 즉, random variation) 뿐만아니라연구간변동 (between-study variation), 즉, 연구간이질성 (heterogeneity between studies) 때문이기도하다. 계산방법 [1] 연구들간의이질성존재여부에관한검정을실시함 : - 이질성여부를파악하기위해자주사용되는방법으로는 Cochran의 Q-검정을실시하는방법과 Higgins의 I 2 - 값을이용하는방법이있음 ( 자세한내용은본문내설명참조 ). 여기서는 Cochran의 Q-검정에대해설명함. - 귀무가설 : k개의실제 OR들은모두동일한값들이다. - 검정통계량 : - 여기서 wi는고정효과모형에서계산된 i번째연구의가중치를, OR i 는 i번째연구에서관찰된 OR값을, 그리고 OR F 는고정효과모형을사용해얻어진 OR에대한결합추정치를나타내며, 해당값들에대한공식은 Table 1에주어져있다. [2] 연구간변동에관한추정치를계산함 : [3] 각연구에대한변량효과모형의가중치를계산함 : w * i 1 = 1 +τ w i [4] ln(or) 에관한결합추정치 (pooled estimate) 를구함 : [5] ln(or) 결합추정치에대한표준오차 (SE) 를구함 : [6] OR 에관한결합추정치를구하기위해위 [4] 번의 ln(or) 결합추정치를역 - 로그변환함 : [7] 결합추정치 OR pooled 에대한 95% 신뢰구간을구하기위해위 [4], [5] 번결과를이용함 : 결과의해석 - 만일 Q = k - 1 이면 ( 또는이에해당하는 P 값 < 0.1 이면 ) 연구들간에통계적이질성 (statistical heterogeneity) 에관한증거가있다고본다. 만일 Q < k - 1 이면 ( 또는 P 값 > 0.1 이면 ) OR 값들이서로다르다는증거는없다고본다. - OR pooled 는변량효과모형을사용해서얻어진결합처리효과를나타낸다. - 이 OR pooled 에대한 95% 신뢰구간은실제처리효과가존재할것으로믿어지는범위를나타낸다. - 만일이신뢰구간이 1 을포함하고있지않다면처리 A 의효과는처리 B 의효과와다르다고본다. 들이서로다른특성을가지고있기때문에 ( 예를들면각연구에서사용된연구모집단, 지역, 또는 dose 등이다르기때문에 ) 이들메타분석에포함되는연구들이모두동일한처리효과를추구하고있다고볼필요는없다는관점이다. 이모형에대한개념을그림으로표현하면 Fig. 2(b) 와같다. 즉, 각연구들은어떤평균적인처리효과 (true average treatment effect) 를중심으로퍼져있는 ( 주로정규분포를가정 한다 ) 모집단내연구들로부터무작위로추출된연구들이라고간주하고, 따라서각연구의처리효과들간에관찰되는변동은표본추출변동 (sampling variation, within-study variation, random variation) 과각연구들간의변동 (between-study variation) 이함께표현된것이라고가정한다. 그러므로변량효과모형메타분석에서는자료결합시이연구들간의변동과각연구내의무작위변동을동시에고려한가중치를

12 대한내분비학회지 : 제 23 권제 6 호 2008 Fig. 3. A sample result of meta-analysis for the odds ratio (OR) of myocardial infarction (MI) between rosiglitazone group and control group using STATA software based on the data from the Table 3 of Nissen and Wolski (2007). Peto estimation method is used to combine the results of 38 trials. Four trials are excluded in the meta-analysis due to zero events observed in both groups. Fig. 4. A forest plot and the combined result of meta-analysis for the odds ratio (OR) of myocardial infarction (MI) between rosiglitazone group and control group. A fixed-effects model with Peto estimation method is used. Each of blocks represents the OR for each trial and the horizontal line indicates its 95% confidence interval (CI). The size of each block is approximately proportional to the statistical weight of the trial used in the meta-analysis. The diamond represents the pooled estimate and its 95% CI. The solid vertical line indicates no difference in the odds of MI between two groups, while the dashed vertical line represents the pooled effect. The left side of the solid vertical line represents lower odds of MI for rosiglitazone than for control, while the right side represents higher odds. Four trials are excluded in the meta-analysis due to zero events observed in both groups

13 이준영 : 메타분석 사용하게된다. 만일연구들간에이질성이전혀없다면변량효과모형은고정효과모형과동일한결과를제공한다. 하지만연구들간에이질성이존재한다면변량효과모형은고정효과모형에비해연구들간에더많은변동을인정하기때문에, 결합추정치에대해서더넓은신뢰구간을제공하게된다. 또한변량효과모형은자료결합시, 고정효과모형에비해, 소규모연구에상대적으로더많은가중치를부여한다. 따라서만일 publication bias가존재하는경우라면두모형의결과는서로달라진다 [24,45]. 사실연구들간의변동을인정하는변량효과모형은메타분석에포함되는연구들이어떤가상적인연구들로구성된모집단으로부터무작위로추출된연구들이라고가정하는것이기때문에, 자료를이런방식으로접근하는관점은개념적으로문제가있다고비판하는사람도있으나 [24], 이제는널리받아들여지는통계적인개념이되었다. 따라서연구결과들간에나타난이질성정도가단순히해당연구들의특성 ( 즉, 무작위변동 ) 때문인것으로만간주할수없을정도로너무크다면변량효과모형을사용할필요가있다. 변량효과모형을사용해결합추정치를계산하는통계적방법으로는가중최소제곱추정법 (weighted least squares estimation method, WLS), 비가중최소제곱추정법 (unweighted least squared estimation method, UWLS), 최대가능도추정법 (maximum likelihood estimation method, ML), 제한최대가능도추정법 (restricted maximum likelihood estimation method, REML) 등이있다. 이중 WLS 추정법이결과의안정성이나계산상의간편성때문에가장널리사용되며, 이방법을개발한연구자들의이름을따서보통 DerSimonian-Laired (D-L) 추정법이라부른다 [24]. Table 3 은 OR들을결합하는경우를예로들어 D-L 추정방법을간단히소개한표이다. 고정효과모형의분석결과와비교하기위해 rosiglitazone 안전성메타분석연구자료에대한변량효과모형메타분석을실시해본결과, D-L 추정법에기초한 MI 발생률의결합추정치는 1.29 (0.94~1.76), 그리고 CVD 사망률의경우에는 1.31 (0.81~2.13) 이다. 이결과들은고정효과모형의 MH 추정법을사용한결과와비교해볼때결합추정치의크기는비슷하지만신뢰구간은더넓어진것을볼수있다. (3) 통계적이질성의존재여부에대한평가연구들간의통계적이질성 (statistical heterogeneity) 이란각연구결과에관한요약자료 ( 처리효과에대한측정값및해당신뢰구간 ) 의크기들이통계적으로서로다른것을의미한다. 결합처리효과에대한고정효과모형의결과와변량효과모형의결과가서로같다면연구들간에는통계적으로유의한이질성이존재하지는않는다는의미이지만, 만일연구들간에통계적인이질성이많이존재한다면두모형의메타분석결과는상당한차이를보이게된다. 이런경우에는 더보수적인결과, 즉, 일반적으로변량효과모형에의한분석결과를제시해야된다. 연구결과들간의통계적이질성존재여부에관한평가는 Cochran의 Q-검정 [44,46] 과 Higgins의 I 2 -통계량 [47,48] 을이용하는방법이주로사용된다. Cochran의 Q-검정은통계적검정을통한 P값을제시해주긴하지만 ( 이때귀무가설은 연구결과들이동질적이다 ' 라는것이며, P값이낮으면연구들간에통계적인이질성이존재한다는의미이다 ) 메타분석의경우 Q-검정에사용되는연구의수가적기때문에실제차이를발견해낼수있는통계적인검정력이낮아지게된다. 따라서실제로연구결과들간에이질성이존재하는경우라할지라도일반적인유의수준 0.05 하에서 Q-통계량은유의하지않은결과를보일가능성이높으며, 이에따라메타분석에서는 Fleiss (1986) 가제안한대로유의수준 0.1을사용하는것이보통이다 [49]. Higgins의 I 2 -통계량은, Q-통계량과는달리, 연구의수나결과변수의형태또는처리효과의종류 ( 예를들면 OR) 등에영향을받지않도록만든지표로, 연구들간의이질성정도가메타분석결과에미치는영향력의크기를정량화해주는척도이다 [21]. I 2 -통계량은연구결과들간의전체변동량중이질성으로인한변동량이차지하는비율로정의되며, I 2 = [(Q - df) / Q] 100 (%) 으로계산된다 ( 여기서 df = k - 1, k = 사용된연구의수 ). 이값은 0% 에서 100% 사이의값을가지게되며, 만일연구들간에관찰되는이질성이없으면 0% 가된다. 계산상음수가나오는경우역시 0% 로정의한다. 이값에대한일반적인사용기준으로는 I 2 < 25% 이면통계적이질성이낮은것으로, 25% < I 2 < 75% 이면중간정도의이질성이있는것으로, 그리고 I 2 > 75% 이면이질성정도가심한것으로간주하며 [48], 모형선택시의기준값으로는 I 2 = 50% 가주로이용된다. Rosiglitazone 안전성메타분석의 MI 발생률에대한자료의경우, Q = 29.36, df = 37, P = 0.810이므로 I 2 = 0% 로계산되었고 (Fig. 3 하단부참조 ), 이결과들은고정효과모형을사용하는것이타당함을지지한다고볼수있다. (4) 부집단분석 - 이질성의원인탐색만일연구결과들간에통계적인이질성이존재한다는증거가있으면메타분석은조심스럽게진행되어야하며, 분석방법또한그에맞게조정되어야하고, 이질성이나타나게된원인도조사되어야한다. 통계적이질성이발견되지않았다면고정효과모형을사용하는것이좋다. 만일이질성의정도가약한경우라면변량효과모형에기초한메타분석이주로사용된다. 그러나통계적이질성이존재하는것으로판단된다면과연이들연구들을결합하는것이의미가있는가? 이러한연구들을결합하는것은사과에오렌지를, 그리고여기에레몬을섞는것이나다를바없다는비판도있으며 [50],

14 대한내분비학회지 : 제 23 권제 6 호 2008 연구들을결합해도좋은이질성의크기는얼마까지인가에대한명확한기준도없다. 그러나변량효과모형은연구결과들간의이질성을해결하기위한방법이아니라단지각연구내의무작위변동외에연구결과들간의변동을추가적으로고려한통계적인모형일뿐이다. 따라서이보다중요한것은이러한통계적인이질성이나타나게된원인들을파악하는것이라할수있다. 이질성의원인들을파악하기위해주로사용되는방법으로는부집단분석 (subgroup analysis) 을실시하는방법 [51], 통계적방법인메타회귀분석 (meta -regression analysis) 을사용하는방법 [52], 그리고그래프를이용하는방법등이있다. 부집단분석은환자군이나연구방법의특성에따라대상연구들을동질적인세부집단으로분류해서분석하는것을말한다. 부집단분석의목적은연구들간의통계적인이질성이임상적인이질성 (clinical heterogeneity) - 예를들면, 연구들간환자포함기준, 환자들의기저질환정도, 연령대및성별, 진단기준, 용량또는약제복용스케줄, 처리의종류, 결과변수에대한정의, 추적기간, 연구지역및연구상황등의차이여부 -이나방법론적인이질성 (methodological heterogeneity) - 예를들면, 연구설계의차이 ( 병행설계혹은교차설계 ), 무작위방법의차이 ( 개인별혹은집락무작위화 ), 연구질의차이 ( 무작위배정여부나이중눈가림실시여부등 ), 분석방법의차이 (ITT 분석결과혹은 PP 분석결과 ) 등에의해기인한것인지를파악하고자하는것이다 [53]. 그러나부집단분석은사용되는연구의수가더작아져검정력이굉장히낮아지기때문에해석에더욱주의를기울여야한다. 즉, 부집단분석결과는, 연구주제에대한 답을내리기위한것이아니라, 이질성의원인에대한탐색및추가연구를위한새로운가설을구축하기위한용도정도로만사용하는것이좋다. 참고로이질성탐색을위해자주사용되는그래프로는 Forest plot이나 L'Abb plot[26,54], 혹은 Galbraith plot[55] 등이있다 [25,44]. (5) 민감도분석민감도분석 (sensitivity analysis) 은메타분석결과가이를수행하는과정중각단계에서행해진주요결정사항들이나가정들에대해쉽게변화되는지를평가하고자하는것으로 [28], 주분석에이어부수적으로이루어지는추가분석에해당한다. 왜냐하면만일분석결과가분석방법이나분석과정중에내려진여러의사결정들에대해민감하지않다면 (robust) 우리는이결과에대해한층더자신감을가질수있기때문이다. 민감도분석을위해코크란가이드라인에서는연구포함기준 ( 환자군, 중재, 결과변수의정의등 ) 을변화시키면서재분석실시, 포함기준만족여부가불분명한연구들을포함 / 제외시켜보면서그효과를검사, 공식적인상호심사과정을거치지않은논문들이나미출판된연구들을포함 / 제외시켜보면서재분석실시, 질이낮은연구들이분석결과에미친영향은얼마나되는지그정도를검토, 추출된자료들중신뢰성이낮다고판단되는자료에대한재검토, publication bias에대한평가, 결측값이존재하는경우에는이를적절한범위내의값들로대체시키면서재분석실시, 결과예측이어느정도가능할만큼실시된외부연구가 Fig. 5. A plot for finding most influential trial in the result of meta-analysis for the odds ratio (OR) of myocardial infarction (MI) between rosiglitazone group and control group. Each of horizontal line indicates a repeated result of meta-analysis after omitting the corresponding trial in turn. Vertical solid lines represent Peto s pooled estimate and its 95% confidence interval using all of 38 trials

15 이준영 : 메타분석 있으면이를메타분석에포함시켜서결과의변화여부를조사, 가중치의크기를바꿔가면서분석에사용되는통계적모형에따라결과가얼마나변하는지를평가 [56] 등을시도해보기를추천하고있다 [28]. MI 발생률에대한 rosiglitazone 안전성메타분석결과의민감도를평가하기위해각연구를하나씩제외시켜나가면서메타분석을반복적으로수행해보았다 (Fig. 5). 즉, Fig. 5 의각가로줄은해당연구가제외되었을때의메타분석결과를나타내며, 세로줄인실선에해당하는 x-축수치들은전체 38개연구들을모두사용한경우의 Peto 방법에의한메타분석결과 ( 즉, OR 결합추정치및 95% 신뢰구간, 1.43 (1.03~1.98)) 를표시한다. 메타분석결과는맨밑의가로줄, 즉, 2개대규모임상시험결과중하나인 ADOPT trial이제외되는경우에제일많이변화되는것으로나타났으며, 이경우, 즉, ADOPT trial을제외하고나머지 37개연구들만을사용한경우의메타분석결과는 1.50 (0.98~2.30) 으로통계적인유의성여부가변하였다. 참고로 DREAM 연구를제외한경우에는 1.38 (0.97~1.98) 이었다. 3. 메타분석결과의제시메타분석연구를실시할때무엇보다도중요한것은모든분석과정을투명하게제시하고, 연구들의포함기준및제외기준을명확히기록해두는것이다. 또한이선택기준들을적용한문헌탐색대상자료원과사용된탐색전략들을명시해주어야하고, 선택된연구들의질을평가하는데사용된기준들에대해서도자세히기술해주어야한다. 이렇게하는이유는연구자가논문을선택하는과정중에본인의의도와는상관없이발생될수도있는 bias들을투명하게밝혀서독자들로하여금해당메타분석의결과에기초한근거의한계들, 이러한한계들을극복하기위한노력, 그리고해당결과로부터유도된추론의신뢰성등을평가할수있도록해주기위해서이다. 따라서메타분석결과를제시할때에는 Fig. 4와같은그래프들을적극적으로활용하는것이좋다. 논문을작성할때에는 RCT를대상으로한메타분석의경우, 연구의질을향상시키고그기준을제시하기위해개발된, QUOROM 지침 [57] 을, 그리고관찰연구를대상으로한메타분석의경우에는 MOOSE 지침 [58] 을준수하는것이좋다. 4. 메타분석에대한비판메타분석은현재가용한근거들을결합하는데매우효과적으로사용될수있는방법이긴하지만, 이에대한비판도있다. 메타분석에대한모든비판들은근본적으로자료가각기다른연구들로부터모아졌을때에는통계적인방법을실시해도연구들간차이가완전히보정되지못한다는관점에기초한다. 이들비판들중가장주된것은메타분석결과에는여러종류의 bias( 예를들면 selection bias, identification bias, language bias, citation bias, publication bias, time-lag bias, database bias, multiple publication bias 등 ) 가동시에존재할수있다는점이다 [59,60]. 따라서메타분석에서얻어지는결합추정치는사실상현실에서는사용하기에부적절한, 무의미한측정값이라는것이다 [25]. 메타분석의두번째문제점으로는분석에포함되지않은연구들은처음부터탐색되지못한연구들이기때문에이들이어떤연구들인지평가하기가아예연구시작단계부터불가능하다는점이다. 사실전문적인문헌탐색이이루어지지않으면모든, 적절한, 연구들이파악되지못할수도있다 [44]. 셋째, 메타분석에포함된연구들은모두자체적으로내적타당도 (internal validity) 와관련된문제점들을가지고있을수있는데, 메타분석시이 bias들이간과될가능성이있고, 이는곧해당결과에영향을미치게된다는점이다 [25,44]. 이런측면때문에메타분석시연구의질에대한평가가중요하다. 만일연구들간에이질성의정도가너무심하면해당연구결과들을결합하지말고더많은연구결과가얻어질때까지해당처리의효과에대한최종결정을유보해야할것이다. 넷째, 부적절한메타분석의실시역시메타분석이비판을받게되는주된이유중하나이다. 해당주제에대한임상적지식및이론적통찰력없이연구를수행하는것, 해당주제와관련해문헌탐색을적절하게실시하지못하는것, 선정된논문들로부터정보를요약하는과정을부주의하게진행하는것, 서로다른결과변수를제시한연구들을무분별하게결합하는것, 중요한변수들을미처고려하지못하는것, 메타분석을수행하는연구자의편견이개입되는것, 충분한전문적인지식없이통계적인방법을무분별하게사용하는것, 그리고어쩌면가장자주발생하는문제점인메타분석결과의강점및정밀도를과장되게서술하는것등이메타분석결과의신뢰성을떨어뜨리는주요원인들이라할수있다 [44,61]. 사실메타분석결과가잘수행된대규모무작위임상시험결과와다른경우도있으며 [62], 비슷한시기에동일한문헌탐색을거친메타분석연구들이서로모순된결과를보이거나전혀상반되는주장을펼친경우들이종종발견되기도한다 [63~66]. 바로이러한불일치들로인해메타분석의신뢰성에대한논란이제기되게된것이다. 그러나메타분석은주로아직논란의여지가있는연구주제나또는처리효과의크기변화가심한연구주제들을대상으로수행되는경우가많다. 따라서위와같은문제점들은메타분석자체의문제점을넘어서연구주제자체의한계점인측면이있다. 만일확실한대규모임상시험결과가존재한다면굳이메타분석을실시할필요는없을것이다. 사실메타분석과관련된논란의대부분은잘못수행된메타분석연구에기인한다고할수있으며, 메타분석그자체는오히려연구결과들간의불일치로인한논쟁을해결해줄수있는잠재력을가진연구방법론으로간주될필요가있다고본

16 대한내분비학회지 : 제 23 권제 6 호 2008 다. 즉, 연구자들이메타분석의연구방향및연구방법을정확히설정하고, 선택된각연구의특성에대해세심한주의를기울이며, 사용된가정들을명확하게정리하여, 메타분석시발생할수있는 bias를줄이기위해노력하고연구들간의이질성을최소화하면서연구결과에대한해석에좀더세심한주의를기울인다면타당하고신뢰성있는연구결과들이도출될가능성은올라가게될것이다. 또한의학연구분야에서메타분석이활발하게사용되고있긴하지만이연구를한개인이수행하는것은사실상쉽지않다. 따라서앞에서언급했듯이메타분석을수행하고자심사숙고하는연구자에게는이분야에대해경험이있는동료임상연구자들, 문헌탐색전문가, 그리고의학통계전문가와팀을이루어연구를진행하기를추천한다. 결론메타분석의결과는임상적근거를설정하는데중요한역할을한다. 비록방법론의복잡성이메타분석의한계점중하나이긴하지만, 특정임상적질문에대해명확한결론을내려주는대규모무작위임상시험결과가없는한, 메타분석은해당질문에대해답을해줄수있는차선책중하나이다. 또한기존의표준요법과비교해새로운치료법이더효과적인지에대해중간규모의임상시험연구들간에서로불일치한결과를보이는경우, 또는이연구들에서보여준효과크기들간에서로차이가나는경우등에있어서메타분석은해당요법이나중재에대한실제효과를좀더정확히측정할수있게끔해줄것이다. 그러나체계적고찰및메타분석결과는임상적논리를보강해주는데도움을주지만이를대체할수는없다. 따라서메타분석결과를무비판적으로수용하거나무감각하게적용해서는안될것이며, 임상가의지식, 경험, 가치관및임상적근거등을통합한의사결정이이루어져야할것이다 [67]. 메타분석과관련한연구들의수가급격하게증가하고있는현시점에서이제임상연구자들은이방법의장점및제한점에대해자세히알고있을필요가있으며 [68], rosiglitazone 메타분석연구처럼그결과가실제로임상진료 (clinical practice) 에영향을미칠수있다는가능성을감안한다면메타분석연구결과를비판적으로평가할수있는역량도키워나가야할것이다. 참고문헌 1. Nissen SE, Wolski K: Effect of rosiglitazone on the risk of myocardial infarction and death from cardiovascular causes. NEJM 356: , Psaty BM, Furberg CD:. Rosiglitazone and cardiovascular risk. NEJM 356: , Psaty BM, Furberg CD: The record on rosiglitazone and the risk of myocardial infarction. NEJM 357:67-69, The RECORD study group: Rosiglitazone evaluated for cardiovascular outcomes-an interim analysis. NEJM 357:28-38, Drazen JM, Morrissey S, Curfman GD: Rosiglitazone -continued uncertainty about safety. NEJM 357:63-64, Nathan DM: Rosiglitazone and cardiotoxicity-weighing the evidence. NEJM 357:64-66, Rosen CJ: The rosiglitazone story - Lessons from an FDA advisory committee meeting. NEJM 357: , Letters to the editor: Rosiglitazone and cardiovascular risk. NEJM 357: , Letters to the editor: Rosiglitazone and the FDA. NEJM 357: , The ACCORD study group: Effects of intensive glucose lowering in type 2 diabetes. NEJM 358: , The ADVANCE collaborative group: Intensive blood glucose control and vascular outcomes in patients with type 2 diabetes. NEJM 358: , Goldfine AB: Assessing the cardiovascular safety of diabetes therapies. NEJM 359: , Pearson K: Report on certain enteric fever inoculation statistics. BMJ 3: , Egger M, Davey Smith G: Meta-analysis: potentials and premise. BMJ 315: , Lasagna L, Mosteller F, von Felsinger JM, Beecher HK: A study on the placebo response. Am J Med 16: , Glass GV: Primary, secondary and meta-analysis of research. Edu Res 5:3-8, Cochrane AL: Effectiveness and efficiency: Random reflections on the health service. London: Nuffield Provincial Hospitals Trust, Cochrane AL: : A critical review, with particular reference to the medical profession. In: Medicines for the year London: Office of Health Economics, 1-11, Chalmers I, Sackett D, Silagy C, Maynard A, Chalmers TC: Non-random reflections on health services research. London: BMJ Publishing Group, Sackett DL, Rosenberg WM, Gray JA, Haynes RB,

17 이준영 : 메타분석 Richardson WS: Evidence-based medicine: what is it and what it isn t. BMJ 312:71-72, Lee JY: Medical Statistics at a Glance. Seoul, Epublic, Sackett DL, Straus S, Richardson S, Rosenberg W, Haynes RB: Evidence-based medicine: how to practice and teach EBM. 2nd ed. Churchill -Livingston, London, Greenhalgh T: Papers that summarise other papers (systematic reviews and meta-analyses). BMJ 315: , DerSimonian R, Laird NM: Meta-analysis in clinical trials. Control Clin Trials 7: , Egger M, Davey Smith G, Altman D: Systematic reviews in health care: Meta-analysis in context. London, BMJ Publishing Group, L Abbe KA, Detsky AS, O Rourke K: Meta-analysis in clinical research. Ann Intern Med 107: , Meade MO: Selecting and appraising studies for a systematic review. Ann Intern Med 127: , Higgins JPT, Green S: Cochrane Handbook for Systematic Reviews of Interventions. version The Cochrane Collaboration, Available from Accessed Nov 28, Counseil C: Formulating questions and locating primary studies for inclusion in systematic reviews. Ann Intern Med 127: , Egger M, Davey Smith G, Phillips AN: Meta-analysis: principles and procedures. BMJ 315: , Simes RJ: Confronting publication bias: a cohort design for meta-analysis. Stat Med 6:11-29, Egger M, Davey Smith G, Schneider M, Minder C: Bias in meta-analysis detected by a simple, graphical test. BMJ 315: , Greenland S: Invited commentary: a critical look at some popular meta-analytic methods. Am J Epidemiol 140: , Schulz KF, Chalmers I, Hayes RJ, Altman DG: Empirical evidence of bias: Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 273: , Moher D, Pham B, Jones A, Jones A, Cook DJ, Jadad AR, Moher M, Tugwell P, Klassen TP: Does quality of reports of randomized trials affect estimates of intervention efficacy reported in meta-analyses? Lancet 352: , Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh S: Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials 16:62-73, Juni P, Witschi A, Bloch R, Egger M: The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 282: , Moher D, Cook DJ, Jadad AR, Tugwell P, Moher M, Jones A, Pham B, Klassen TP: Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Assess 3:1-98, Chalmers TC, Smith H, Blackburn B, Silverman B, Schroeder B, Reitman D, Ambroz A: A method for assessing the quality of a randomized control trial. Control Clin Trials 2:31-49, Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJM, Gavaghan, DJ, McQuay H: Assessing the quality of reports of randomized clinical trials: Is blinding necessary? Control Clin Trials 17:1-12, Stewart LA, Clarke M: Practical methodology of meta-analysis (overviews) using updated individual patient data: Cochrane Working Group. Stat Med 14: , Cochrane Collaboration Individual Patient Data Meta -analysis Methods Group. uk/cochrane/ipdmg/ Accessed Nov 28, Hedges LV: Statistical Methodology in Meta-Analysis. Educational Testing Service, Princeton, Sutton AJ, Abrams KR, Jones DR, Sheldon TA, Song F: Methods for meta-analysis in medical research. John Wiley and Sons, New York, Fleiss JL: The statistical basis of meta-analysis. Stat Meth Med Res 2: , Cochran WG: The combination of estimates from different experiments. Biometrics 10: , Higgins JPT, Thompson SG, Deeks J, Altman DG: Statistical heterogeneity in systematic reviews of clinical trials: a critical appraisal of guidelines and practice. J Hlth Serv Res Policy 7:51-61, Higgins JPT, Thompson SG, Deeks J, Altman DG: Measuring inconsistency in meta-analyses. BMJ 327: ,

18 대한내분비학회지 : 제 23 권제 6 호 Fleiss JL: Analysis of data from multiclinic trials. Control Clin Trials 7: , Furberg CT, Morgan TM: Lessons from overviews of cardiovascular trials. Stat Med 6: , Oxman AD, Guyatt GH: A consumer s guide to subgroup analyses. Ann Intern Med 116:78-84, Schmid CH: Exploring heterogeneity in randomized trials via meta-analysis. Drug Info J 33: , Glasziou PP, Sanders SL: Investigating causes of heterogeneity in systematic reviews. Stat Med 21: , Song F: Exploring heterogeneity in meta-analysis: is the L Abbe plot useful? J Clin Epidemiol 52: , Galbraith RF: A note on the graphical presentation of estimated odds ratio from several clinical trials. Stat Med 7: , Thompson SG: Controversies in meta-analysis: the case of the trials of serum cholesterol reduction. Stat Meth Med Res 2: , The QUOROM group: Improving the quality of reports of meta-analyses of randomized controlled trials: the QUOROM statement. Lancet 354: , The MOOSE group: Meta-analysis of observational studies in epidemiology. a proposal for reporting. JAMA 283: , Egger M, Davey Smith G: Bias in location and selection of studies. BMJ 316:61-66, Song F, Eastwood AJ, Gilbody S, Duley L, Sutton AJ: Publication and related biases. Health Technol Assess 2004: Shapiro S: Meta-analysis/Shmeta-analysis. Am J Epidemiol 140: , LeLorier J, Gregoire G, Benhaddad A, Lapierre J, Derderian F: Discrepancies between meta-analyses and subsequent large randomized, controlled trials. NEJM 337: , Rosenfeld RM, Post JC: Meta-analysis of antibiotics for the treatment of otitis media with effusion. Otolaryngol Head Neck Surg 106: , Williams RL, Chalmers TC, Strange KC, Chalmers FT, Bowlin SJ: Use of antibiotics in preventing recurrent acute otitis media and in treating otitis media with effusion: a meta-analytic attempt to resolve the brouhaha. JAMA 270: , Kerlikowske K, Grady D, Rubin SM, Sandrick C, Ernster VL: Efficacy of screening mammography: a meta-analysis. JAMA 273: , Smart CR, Hendrick RE, Rutledge JH, Smith RA: Benefit of mammography screening in women ages 40 to 49 years: current evidence from randomized controlled trials. Cancer 75: , Cook DJ, Mulrow CD, Haynes RB: Systematic reviews: synthesis of best evidence for clinical decisions. Ann Int Med 126; , Davey Smith G, Egger M: Meta-analysis: unresolved issues and future developments. BMJ 316: ,