Brief Communication 보건정보통계학회지제 40 권제 3 호 pissn 2465-8014 eissn 2465-8022 Journal of Health Informatics and Statistics 2015;40(3):190-199 심성률 1), 신인수 2), 배종면 3) 1) 순천향대학교서울병원임상분자생물학연구소, 2) 전주대학교교육학과, 3) 제주대학교의학전문대학원예방의학교실 Meta-analysis of Diagnostic Tests Accuracy using STATA Software Sung-Ryul Shim 1), In-Soo Shin 2), Jong-Myon Bae 3) 1) Institute for clinical molecular biology research, Soon Chun Hyang University Hospital, Seoul 2) Department of Education, Jeonju University 3) Department of Preventive Medicine, School of Medicine, Jeju National University Abstract While some articles related to meta-analyses of diagnostic test accuracy (DTA) have been actively published recently, the methodology of DTA meta-analysis is developing now. In order to encourage a conduction of DTA meta-analysis, authors summarized commands of the STATA software related to conduct a DTA metaanalysis. Main commands for estimating the summary effect size, for evaluating publication bias, for conducting a meta-regression, and for drawing a coupled forest plot, summary receiver-operating characteristic curve and a nomogramwere reviewed. Especially authors stressed how to evaluate a heterogeneity in DTA meta-analysis. Key words: Meta-analysis, Diagnostic tests, Receiver-operating characteristic curve, Likelihood ratios, Nomograms [Submitted: 2015 년 09 월 05 일, Revised: 2015 년 10 월 09 일, Accepted: 2015 년 10 월 22 일 ] Corresponding author: Jong-Myon Bae, MD, PhD 102 Jejudaehak-ro, Jeju 63243, Korea Tel: +82-64-755-5567 E-mail: jmbae@jejunu.ac.kr
191 1. 서론 보건의료에사용되고있는약물이나기기에대하여비용대비효과적인것을알아보려는비교효과연구 (comparative effectiveness research, CER) 와의료기술평가연구 (health technology assessment, HTA) 는메타분석 (meta-analysis) 을활용한체계적고찰 (systematic review) 을주된연구방법으로사용하고있다 [1-3]. 특히코크란연합 (Cochrane collaboration) 에서중재법연구 (intervention study) 에관한체계적고찰을수행하는지침서 (handbook) 를개발하면서 [4], 중재 (intervention) 의실제효과를알아보는무작위배정임상시험에관한메타분석이활성화되었다 [4,5]. 이러한움직임의지향점은보건의료에있어최선의의사결정을하겠다는것으로 [6,7], 질병상태의진단을위하여사용하는의료기구나기기에대한정확성을비교하고평가하는-즉진단검사평가 (diagnostic test accuracy, DTA)- 체계적고찰도적극이루어져야한다 [3,8]. 그러나진단검사의특성상 DTA에관련한메타분석방법론정립은현재진행형이다 [9]. 이런현실임에도불구하고진단검사에관한체계적고찰연구들이최근활발히발표되고있다 [10,11]. 이런추세속에서, 국내 DTA 연구의활성화를위해서는, 연구자들이 DTA 메타분석을수행하기위하여적용하는통계프로그램 을숙지할수있도록하는것이필요하다. 그런데 DTA 메타분석을위해서는가설설정단계에서 PICO가아닌 PPP-ICP-TR을적용하고, 검색단계에서제한을하지않으며, 정보추출단계에서민감도 (sensitivity) 와특이도 (specificity) 를확보하고, 분석단계에서계층적랜덤효과모형 (hierarchical random effect model) 을적용해야한다 [3]. 이에코크란연합은진단검사메타분석을위해민감도와특이도를산출하고, 이를바탕으로관련공식을통하여기타척도들-우도비 (likelihood ratio), 예측도 (predictive value), 진단오즈비 (diagnostic odds ratio, DOR)-을추정하기위하여자체적으로개발한 RevMan프로그램대신 SAS program (SAS Institute Inc., Cary, NC, USA) 의 NLMIXED (nonlinear mixed models) 프로시져를활용하는것을제시하고있다 [9]. 이처럼진단검사메타분석의연구방법론이현재정립하는중이고, 분석에사용할소프트웨어도제한적인상황에서, 본단신은 DTA 메타분석과관련하여, STATA 14 program (STATA Co., Texas, USA) 이제공하는프로그램명령어들 (Table 1) 을소개하고자한다 [12]. 특히연구진들이스스로익힐수있도록, DTA 메타분석을수행한한논문 [11] 을중심으로관련명령어를적용해서결과들을재현해보고자한다. Table 1. Related commands on the STATA for meta-analysis of diagnostic test assessment Issues Suggest a summary table for accuracy index Draw a forest plot Estimate the summary effect size Draw a summary receiver operating characteristic Conduct a meta-regression Draw a nomogram Examples of the related commands midas tp fp fn tn, table(dss) midas tp fp fn tn, id(id) mscale(0.75) textscale(0.8) fordata forstats bforest(dss) midas tp fp fn tn; midas tp fp fn tn, results(all) midas tp fp fn tn, sroc(both) midas tp fp fn tn, regvars (var_lists) midas tp fp fn tn, fagan(0.12) Journal of Health Informatics and Statistics 2015;40(3):190-199
192 심성률, 신인수, 배종면 2. 분석관련 STATA 명령어 1) 정확도정보제시 일반적인중재법연구의메타분석은각논문의상대위험도 (relative risk, RR) 나오즈비 (odds ratio, OR) 를이용한하나의통합효과크기 (overall effect size) 를제시한다 [5]. 반면, DTA 메타분석은각논문의진양성 (true positive, TP), 위양성 (false positive, FP), 위음성 (false negative, FN), 진음성 (true negative, TN) 의 4가지정보로부터통합된민감도, 특이도, DOR 등으로제시한다 [3]. 따라서각논문으로부터 4가지정보-TP, FP, FN, TN-를추출하며, 이를입력해넣으며, 예제논문 [11] 의 Table 2에서제시한형태로나타내기위하여 <midas tp fp fn tn, tables(dss)> 란명령어를사용한다. 주명령어는 MIDAS이며 4가지정보를제시하여 table 로제시하려는의미를갖는다. <table(dss)> 옵션은민감도와특이도의요약추정치 (dss) 를 table 로만들라는의미이다. 이외에도 DOR을제시하는 <dlor>, 우도비를제시하는 <dlr> 옵션이있다. Table 2는예제논문의 Table 2 내용중 Studies evaluating the UAC as the screening test 에해당하는정보를입력한것이다. 2) 숲그림작성각논문의민감도, 특이도와각각의 95% 신뢰구간 (confidence intervals, CI) 을제시하여서연구내변동과연구간변동을쉽게파악할수있도록하는것이숲그림 (forest plot) 이다 [3]. 숲그림을작성하기위한 STATA 명령어예는 <midas tp fp fn tn, id(id) mscale(0.75) textscale(0.8) fordata forstats bfores(dss)> 이다. 주명령어는 MIDAS이며 4가지정보를제시하되, 숲그림을작성에관한여러옵션들을부여한것이다. 옵션으로추가한 <id(id)> 는개별논문들을의미하는변수를정해주는것이며, <mscale(0.75)> 는각연구들의효과크기에맞추어보여줄도형의크기를부여하며, <textscale(0.8)> 은글자크기를결정하는것이다. <fordata> 는각논문들의효과크기와 95% 신뢰구간을제시하라는의미이며, <forstats> 는이질성 (heterogeneity) 에대한통계량을제시하라는것이다. 마지막으로 <bforest(dss)> 는민감도와특이도의요약추정치를제시하라는의미이다. Figure 1은 Table 2 원자료에대하여숲그림작성명령을적용한결과이다. 이처럼 DTA 메타분석에서는민감도와특이도각각의숲그림이 Table 2. A raw data for demonstrating the results with applying commands of STATA* id tp fp fn tn country publish_year nopt cutoff Wiegmann 21 1 9 104 1 0 1 1 Bouhanick 49 21 7 110 1 0 1 0 Schwab 24 5 3 31 1 0 0 0 Zelmanovitz 39 6 5 48 0 0 1 1 Ahn 23 9 7 41 0 1 0 1 Ng 12 7 2 44 0 1 0 0 Gansevoort 10 13 3 40 1 1 0 0 Incerti 82 12 7 177 0 1 1 1 Sampaio 99 45 21 128 0 1 1 1 *Table 2 in Wu et al. [11]. country (1=western, 0=other), publish_year (1 1999, 0<1999), nopt (1 98 person, 0<98 person), cutoff (1 22, 0<22). 보건정보통계학회지제 40 권제 3 호
193 제시되기에 coupled forest plot 이라부르기도한다. 숲그림을통해민감도, 특이도각각에대해개별연구들의점추정과구간추정값을전체적으로볼수있다. 3) 요약효과크기산출진단검사메타분석에서의요약추정치는 summary receiver operating characteristic (SROC) 곡선으로제시한다 [3,13]. 이를구하기위해서는적합한모형을선택해야하는데, 민감도와특이도를동시에고려한모형으로 Moses-Littenberg SROC 모형 [14,15], Bivariate 모형 [16,17], Rutter & Gatsonis Hierarchical SROC (HSROC) 모형 [18] 등이주로활용되고있다. Moses-Littenberg 모형은진단검사메타분석을위해초기에개발된단순모델로, 단순회귀분석 (simple linear regression) 으로 SROC를추정한다. 이는중재법메타분석의고정효과 (fixed effect) 모형과유사하며, 연구들간의이질성을추정할수없는한계를가진다 [3]. 또한전체변동중연구내변동과연구간변동을분리할수없는모형으로모수추정치와표준오차, 신뢰구간을제공하지않고 SROC 곡선만을구할수있기때문에실제활용에는제약을갖는다. Moses-Littenberg 모형의한계를극복하고자계층적모형 (hierarchical model) 을바탕으로개발된것이 Bivariate 모형과 HSROC 모형이며, 만약공변량이없을때두모형은수리적으로동일한결과를갖는다 [17,19]. 중재법메타분석의랜덤효과 (random effect) 모형과유사하여서, 연구내변동과연구간변동을이용하여이질성을추정할수있다. 두모형모두연구내변동을이항분포 (binominal distribution) 로가정한다는점에서같지만, 연구간변동에대하여 Bivariate 모형은이변량정규분포 (bivariate normal distribution) 를가정하는반면, HSROC 모형은이항분포의확률에대하여로지스틱회귀모형 (logistic regression model) 을적용해서모형에포함한모수들에대해계층적분포 (hierarchical distribution) 를가정한다는점에서차이가있다. HSROC 모형은위계적인데이터분포를가정하는데, 기본적으로연구내변량과연구간변량의두가지수준데이터를가지고있다 [18]. 따라서 Bivariate 모형으로민감도와특이도의요약추정치, 신뢰영역 (confidence region), 그리고예측영역 (prediction region) 을구하고 HSROC 모형으로 SROC 곡선을추정한다 [3]. STATA 에서는요약추정치계산을위하여 <metandi> 와 <midas> 의두가지명령어를제공하고있다. 전체적인통계량을확인할때는 METANDI를권하며, 그외 SROC 곡선, 이질성검토, 출판편향 (publication bias), 임상적판단을위한계산도표 (nomogram) 를작성할때는 MIDAS 를권한다. Table 2의자료에서전체통계량을알아보기위하여 METANDI 명령을적용하여나온결과가 Figure 2이다. 하단의 Summary칸에서민감도 [se] 0.8479 (95% CI; 0.80, 0.89), 특이도 [sp] 0.8768 (95% CI; 0.80, 0.93) 을확인할수있다. Figure 1의요약 (combined) 민감도와특이도수치와동일함을재확인할수있다. 그리고 DOR 은참값 (true results) 에속하는민감도와특이도의곱을거짓값 (false results) 에속하는수치들의곱으로나누어구한값으로, 이값이클수록 ROC 곡선에서좌상 (left & upper) 으로움직여곡선아래의면적 (area under the curve, AUC) 이커진다는의미이다 [3,9]. 한편 Greiner et al. [20] 은 AUC 값 0.7, 0.9 기준에맞추어검사의정확도를 3군으로구분하였는데, Table 2의 AUC 는 0.91 (95% CI: 0.88, 0.93) 으로높은정확도를갖는다고해석할수있다. 또한 DOR 39.7012 (95% CI; 20.94, 75.26) 이며, 이외에출력된내용에대한설명은참고문헌으로대신한다 [21]. 추가로 <midas tp fp fn tn, results(all)> 이란 Journal of Health Informatics and Statistics 2015;40(3):190-199
194 심성률, 신인수, 배종면 명령어를사용해도 Figure 2와같은통계치를얻을수있다. <results(all)> 옵션은모든결과 (all results) 를제시하라는의미이다. 4) SROC 곡선작성 DTA 메타분석은요약추정치와함께 SROC 곡선을같이제시한다. 이를위해 MIDAS 명령어를적용하여얻은 SROC 곡선이 Figure 3이다. Figure 2의 METANDI 명령어로얻어낸요약추정치와동일함을확인할수있다. 입력한 STATA 명령어는 <midas tp fp fn tn, sroc(both)> 이다. 옵션으로추가한 <sroc(both)> 는 SROC 곡선을제시하되 95% 신뢰영역 (confidence contour) 과예측영역 (prediction contour) 둘을모두나타내라는의미이다. 이외출력된내용에대한설명은참고문헌으로대신한다 [22]. 5) 이질성확인중재법메타분석뿐만아니라 DTA 메타분석으로얻어낸요약추정치를제대로해석하려면, 우 선적으로이질성 (heterogeneity) 유무를확인해야한다. 특히진단검사의결과들은특별한경우가아니면이질성이있다고우선간주한다 [3]. 중재법연구의메타분석에서이질성을알아내는통계지표인 Q 통계량이나 I-squared 값과같은정량적통계량은개발되어있지않는상황에서, 앞서구한숲그림 (Figure 1), 요약통계표 (Figure 2), SROC 곡선 (Figure 3) 에서이질성유무를확인할수있다. Figure 1의숲그림의점추정과구간추정의중복 (overlap) 정도를눈으로볼때민감도는동질해보이고, 특이도는이질해보인다. 또한민감도, 특이도각각의 Q검정결과도이와같음을판단할수있다. Figure 2처럼 METANDI 명령어로얻어낸요약통계값에있어, 두가지점에서이질성을판단할수있다. 첫째, 상단의 Bivariate칸에서 corr(logits) 은로짓변환한민감도와특이도의상관계수이다. 두값은서로대립되는 (trade off) 관계이므로일반적으로음의값을가지게된다 Studyld SENSITIVITY (95% CI) Studyld SENSITIVITY (95% CI) Sampaio 0.82[0.75-0.89] Sampaio 0.74[0.67-0.80] Incerti 0.92[0.84-0.97] Incerti 0.94[0.89-0.97] Gansevoort 0.77[0.46-0.95] Gansevoort 0.75[0.62-0.86] Ng 0.86[0.57-0.98] Ng 0.86[0.74-0.94] Ahn 0.77[0.58-0.90] Ahn 0.82[0.69-0.91] Zelmanovitz 0.89[0.75-0.96] Zelmanovitz 0.89[0.77-0.96] Schwab 0.89[0.71-0.98] Schwab 0.86[0.71-0.95] Bouhanick 0.88[0.76-0.95] Bouhanick 0.84[0.77-0.90] Wiegmann 0.70[0.51-0.85] Wiegmann 0.99[0.95-1.00] COMBINED 0.85[0.80-0.89] COMBINED 0.88[0.80-0.93] Q = 13.93, df = 8.00, p = 0.08 Q = 13.93, df = 8.00, p = 0.08 0.5 1.0 SENSITIVITY 12 = 42.58[0.00-87.00] 0.5 1.0 SENSITIVITY 12 = 42.58[0.00-87.00] Figure 1. The coupled forest plots showing sensitivities and specificities in Table 2 with applying STATA MIDAS command such as <midas tp fp fn tn, id ms(0.75) textscale(0.8) ford fors bfor(dss)>. 보건정보통계학회지제 40 권제 3 호
195 [3]. 만약 0보다큰양수로추정된다면이는연구간의이질성을갖는다고볼수있다. 둘째, 중단의 HSROC칸에서 beta는 SROC 곡선의기울기를나타내는추정모수로서통계적으로유의한값을나타낸다면이질성을의심할수있다. Figure 2에서 corr(logist) 값이 -0.0625로음수이면서, beta 0.958의 p-값이 0.246으로이질하지않은것으로판단할수있다. Figure 3처럼 MIDAS 명령어로얻어낸 SROC 곡선에서도두가지점에서이질성여부를판단할수있다. 첫째, ROC 곡선의대칭성여부이다. 대칭성이란 ROC 곡선의 Y축상단에서 X축우하단으로임의의직선을나누었을때양분된추정곡선의모형이일치하는지를보는것이다. 단지 시각적인구분에만의존하기에전체적인윤곽만을파악할수있다. 둘째, 가는점선으로되어있는 95% 예측영역은민감도와특이도가위치할것으로예측되는영역이다. 만약이영역이크다면그만큼변동이심하다는의미이므로연구간의이질성을나타낸다고볼수있다. 6) Meta-regression 수행앞서 Figure 1, 2, 3에서 5가지항목을종합하여이질성이있다고판단할경우, 다음은이질성의원인을확인해야한다 [23]. 이를위해서메타회귀분석 (meta-regression) 을시행하는데, STATA 에서는 MIDAS 명령어옵션으로 <regvars> 을제공하고있다. 메타분석을수행하 Figure 2. The summary statistics in Table 2 with applying STATA METANDI command such as <metandi tp fp fn tn>. Journal of Health Informatics and Statistics 2015;40(3):190-199
196 심성률, 신인수, 배종면 Sensitivity 1.0 0.5 1 SROC with Prediction & Confidence Contours 8 4 3 6 2 5 7 9 Observed Data Summary Operating Point SENS = 0.85 [0.80-0.89] SPEC = 0.88 [0.80-0.93] SROC Curve AUC = 0.91 [0.88-0.93] 95% Confidence Contour 95% Prediction Contour 0.0 1.0 0.5 0.0 Specificity Figure 3. The summary receiver operating characteristic (SROC) curve in Table 2 with applying STATA MIDAS command such as <midas tp fp fn tn, sroc(both)>. 기위한 STATA 명령어는 <midas tp fp fn tn, regvars(country publish_yearnopt cutoff)> 이다. 주명령어는 MIDAS이며기본적인 4가지정보를제시하되, 괄호속의 4가지변수에대하여회귀 분석 (regvars) 을시행하라는의미이다. Figure 4는 Table 2 원자료에대하여메타회귀분석을수행한결과이다. country, publish_ year, nopt, cutoff 4가지변수의 p-value 모두통계적인유의성을갖지않는것으로나왔다. 앞서 Figure 2의 Bivariate 모형과 HSROC 모형요약추정치에서이질성이크지않음을알수있었는데 meta-regression에서도해당요인들이이질성의원인이아님을확인할수있다. 7) 계산도표작성메타분석으로최종도출한요약민감도와특이도를질병진단에적용하는과정을용이하게하도록계산도표 (nomogram) 를만들수있다 [25]. 특정질병의유병률이나선행연구결과에근거한사전확률 (pre-test probability) 을바탕으로해당검사가양성일경우우도비를반영하여특정질병에걸릴확률인사후확률 (post-test probability) 을얻어내는과정을보다용이하게해주기위한것이다. Fagan's nomogram은진단검사에서의결과에 Sensitivity and Specificity Parameter nstudies Sensitivity p1 Specificity p2 country publish_year nopt cutoff Yes No Yes No Yes No Yes No 4 0.82[0.75-0.90] 0.00 0.89[0.81-0.97] 5 0.86[0.81-0.91]. 0.86[0.78-0.95] 5 0.85[0.79-0.91] 0.00 0.84[0.75-0.93] 4 0.85[0.78-0.92]. 0.91 [0.85-0.98] 5 0.86[0.81-0.91] 0.02 0.90[0.84-0.96] 4 0.82[0.73-0.92]. 0.83[0.72-0.94] 5 0.84[0.79-0.90] 0.00 0.90[0.84-0.96] 4 0.86[0.79-0.94]. 0.84[0.73-0.94] 0.22. 0.00. 0.45. 0.39. Joint Model Parameter country publish_year nopt cutoff category LRTChi2 Pvalue I2 I2lo I2hi Yes 0.84 0.66 0 0 100 No..... Yes 1.80 0.41 0 0 100 No..... Yes 1.78 0.41 0 0 100 No..... Yes 1.41 0.49 0 0 100 No..... Figure 4. The results of meta-regression in Table 2 with applying STATA MIDAS command such as <midas tp fp fn tn, regvars(country publish_year nopt cutoff)>. 보건정보통계학회지제 40 권제 3 호
197 따라해당질환을가지게될확률을추정할수있 는그래픽도구이다 [26]. STATA 에서는 midas 명 령어옵션에 <Fagan> 을제공하고있으며, fagan 괄호안의숫자는사전확률이다. 12% 란수치를 임의로넣은결과는 Figure 5 이다. 즉, 사전확률 12% 에서해당진단검사에서양성 (positive) 결과 를얻었다면, 해당질환에걸릴사후확률은 48%, 음성 (negative) 결과를얻었다면해당질환에걸 릴사후확률은 2% 라고해석한다. Pre-test probility (%) 0.1 0.2 0.3 0.5 0.7 1 2 3 5 7 10 20 30 40 50 60 70 80 90 93 95 97 98 99 99.3 99.5 99.7 99.8 Likelihood Ratio 1000 500 200 100 50 20 10 5 2 1 0.5 0.2 0.1 0.05 0.02 0.01 0.005 0.002 0.001 3. 결론및제언 99.9 99.8 99.7 99.5 99.3 99 98 97 95 93 90 80 70 60 50 40 30 20 10 5 7 3 2 1 0.7 0.5 0.3 0.2 99.9 0.1 Prior Prob (%) = 12 LR_Positive = 7 Post_Prob_Pos (%) = 48 LR_Positive = 0.17 Post_Prob_Pos (%) = 2 Figure 5. The Fagan s nomogram in Table 2 with applying STATA MIDAS command such as <midas tp fp fn tn, fagan(0.12)>. 지금까지 DTA 메타분석을수행하는과정에 서요구되는숲그림작성, 요약효과크기산출, SROC 곡선작성, 이질성확인과메타회귀분석, 출판바이어스여부, 계산도표제시등을위한 STATA 프로그램의명령어들을살펴보았다. 이 상의내용을통해국내연구자들이 DTA 메타분 Post-test probility (%) 석수행을용이하게할수있게되어관련연구들이활성화되기를바란다. 그러나중재법메타분석에비하면 DTA 메타분석의방법론은아직도개발중에있다고보아야한다 [3,8,9]. 즉향후에방법론이새롭게보완되면서, 통계프로그램명령어들도이에맞추어개선될것임이분명하며, 만약 DTA 메타분석을수행한다면이를늘염두에두어야할것이다. 특히 DTA 메타분석에서는특별한상황이아니면이질성이있다고보기에 [3], 이질성의한계를넘어서는노력을아끼지말아야할것이다. 감사의글 본원고는메타분석연구회 ( 신인수회장 ) 연구활동의결과물임을밝힙니다. References [1] Bae JM, Park BJ, Ahn YO. Perspectives of clinical epidemiology in Korea. Journal of the Korean Medical Association 2013;56(8):718-723 (Korean). [2] Bae JM. Global trends in the use of nationwide big data for solving healthcare problems. Journal of the Korean Medical Association 2014;57(7):386-390 (Korean). [3] Bae JM. An overview of systematic reviews of diagnostic tests accuracy. Epidemiol Health 2014;36:e2014016. [4] Higgins JP, Green S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. Available at http:// handbook.cochrane.org/ [accessed on September 2015]. Journal of Health Informatics and Statistics 2015;40(3):190-199
198 심성률, 신인수, 배종면 [5] Ahn HS, Kim HJ. An introduction to systematic review. Journal of the Korean Medical Association 2014;57(1):49-59 (Korean). [6] Bae JM. The clinical decision analysis using decision tree. Epidemiology Health 2014;36: e2014025. [7] Bae JM. Academic strategies based on evidencepractice gaps. Hanyang Medical Reviews 2015;35(1):3-8 (Korean). [8] Cahndler J, Cochrane Editorial Unit. Cochrane Handbook for Diagnostic Test Accuracy Reviews. The Cochrane Collaboration. Available at http://www.cochrane.org/editorial-and-publishingpolicy-resource/cochrane-handbook-diagnostictest-accuracy-reviews [accessed on September 2015]. [9] Cochrane Diagnostic Test Accuracy. Handbook for DTA reviews. The Cochrane Collaboration. Available at http://srdta.cochrane.org/handbookdta-reviews [accessed on September 2015]. [10] Giljaca V, Gurusamy KS, Takwoingi Y, Higgie D, Poropat G, Štimac D, Davidson BR. Endoscopic ultrasound versus magnetic resonance cholangiopancreatography for common bile duct stones. Cochrane Database of Systematic Reviews 2015;Issue 2;CD011549. [11] Wu HY, Peng YS, Chiang CK, Huang JW, Hung KY, Wu KD, Tu YK, Chien KL. Diagnostic performance of random urine samples using albumin concentration vs ratio of albumin to creatinine for microalbuminuria screening in patients with diabetes mellitus: a systematic review and meta-analysis. JAMA Internal Medcine 2014;174(7):1108-1115. [12] Plana N, Abraira V, Zamora J. Meta-analysis of diagnostic test accuracy studies with Stata: simulation study. STATA Data analysis and statistical software. Available at http://www.stata.com/ meeting/spain13/abstracts/materials/sp13_plana.pdf [accessed on September 2015]. [13] Walter SD. Properties of the summary receiver operating characteristic (SROC) curve for diagnostic test data. Statistics in Medicine 2002;21(9):1237-1256. [14] Moses LE, Shapiro D, Littenberg B. Combining independent studies of a diagnostic test into a summary ROC curve: data analytic approaches and some additional considerations. Statistics in Medicine 1993;12(14):1293-1316. [15] Littenberg B, Moses LE. Estimating diagnostic accuracy from multiple conflicting reports: a new meta analytic method. Medical Decision Making 1993;13(4):313-321. [16] Reitsma JB, Glas AS, Rutjes AW, Scholten RJ, Bossuyt PM, Zwinderman AH. Bivariate analysis of sensitivity and specificity produces informative summary measures in diagnostic reviews. Journal of Clinical Epidemiology 2005;58(10):982-990. [17] Arends LR, Hamza TH, van Houwelingen JC, Heijenbrok-Kal MH, Hunink MG, Stijnen T. Bivariate random effects meta-analysis of ROC curves. Medical Decision Making 2008;28(5):621-638. [18] Rutter CM, Gatsonis CA. A hierarchical regression approach to meta analysis of diagnostic test accuracy evaluations. Statistics Medicine 2001;20(19):2865-2884. [19] Harbord RM, Deeks JJ, Egger M, Whiting P, Sterne JA. A unification of models for metaanalysis of diagnostic accuracy studies. Biostatistics 2007;8(2):239-251. [20] Greiner M, Pfeiffer D, Smith RD. Principles and practical application of the receiver-operating 보건정보통계학회지제 40 권제 3 호
199 characteristic analysis for diagnostic tests. Preventive Veterinary Medicine 2000;45(1-2):23-41. [21] Harbord RM, Whiting P. Metandi: Meta-analysis of diagnostic accuracy using hierarchical logistic regression. The STATA Journal 2009;9(2):211-229. [22] RePEc. help metandi. Boston College. Available at http://fmwww.bc.edu/repec/bocode/m/ metandi.html [accessed on September 2015]. [23] Dinnes J, Deeks J, Kirby J, Roderick P. A methodological review of how heterogeneity has been examined in systematic reviews of diagnostic test accuracy. Health Technology Assessment 2005;9(12):1-113. [24] Egger M, Smith GD. Bias in location and selection of studies. BMJ 1998;316(7124):61-66. [25] Jaeschke R1, Guyatt GH, Sackett DL. Users' guides to the medical literature. III. How to use an article about a diagnostic test. B. What are the results and will they help me in caring for my patients? The Evidence-Based Medicine Working Group. JAMA 1994;271(9):703-707. [26] Fagan TJ. Letter: Nomogram for Bayes theorem. The New England Journal of Medicine 1975;293(5):257. Journal of Health Informatics and Statistics 2015;40(3):190-199