300 황상현 오흥범 채정민외 4 인 능에대한정확하고신뢰성높은평가와해석이필요하게되었다. 체외진단키트의성능평가항목에는여러가지가있지만가장중요한항목은진단민감도, 진단특이도, 기존검사와의일치율이라할수있다 [1-4]. 지금까지이런주요항목에대한성능평가연구들이발표되었으나신뢰성이떨어

Size: px

Start display at page:

Download "300 황상현 오흥범 채정민외 4 인 능에대한정확하고신뢰성높은평가와해석이필요하게되었다. 체외진단키트의성능평가항목에는여러가지가있지만가장중요한항목은진단민감도, 진단특이도, 기존검사와의일치율이라할수있다 [1-4]. 지금까지이런주요항목에대한성능평가연구들이발표되었으나신뢰성이떨어"

서우 임
6 years ago
Views:

1 대한진단검사의학회지제 26 권제 4 호 2006 Korean J Lab Med 2006;26: 원저 기타진단검사의학 체외진단키트성능평가를위한웹기반의검체수산정프로그램개발 황상현 1 오흥범 2 채정민 3 서민관 3 정순영 3 최성은 4 이관제 4 부산대학교의학전문대학원부산대학교병원진단검사의학과 1, 울산대학교의과대학서울아산병원진단검사의학과 2, 고려대학교컴퓨터교육학과 3, 동국대학교통계학과 4 Development of a Web-based Program to Calculate Sample Size for Evaluating the Performance of In Vitro Diagnostic Kits Sang-Hyun Hwang, M.D. 1, Heung-Bum Oh, M.D. 2, Jeong-Min Chae 3, Min-Kwan Seo 3, Soon-Young Jung, Ph.D. 3, Sung-Eun Choi 4, Kwan Jeh Lee, Ph.D. 4 Departments of Laboratory Medicine, Pusan National University Hospital, Pusan National University School of Medicine 1, Busan; Department of Laboratory Medicine, Asan Medical Center, University of Ulsan College of Medicine 2, Seoul; Department of Computer Science Education, Korea University 3, Seoul; Department of Statistics, Dongkuk University 4, Seoul, Korea Background : Many studies evaluating the performance of in vitro diagnostic kits have been criticized for the lack of reliability. To attain reliability those evaluation studies should be preceded by sample size calculation ensuring statistical power. This study was intended to develop a web-based system to estimate the sample size, which was often neglected because it would require expert knowledge in statistics. Methods : For sample size calculation, we extracted essential parameters from the performance studies on the 3rd generation anti-hepatitis C virus (HCV) kits reported in the literature. We developed a system with PHP web-script language and MySQL. The statistical models used in this system were as follows; one sample without power consideration (model 1), one sample with power consideration (model 2), and two samples with power consideration (model 3). Results : Among the articles published between 1989 and 2005, 13 articles that evaluated the performance of anti-hcv kits were identified by searching with Medical Subject Headings (MeSH). The diagnostic sensitivity was % with a median of 145 samples (range; 12-1,091) and the specificity was % with a median of 1,025 samples (range; 33-4,381). The estimated sample size would be 280 in the model 1, 817 in the model 2, and 1,510 in the model 3, when we set 2% prevalence of HCV infection, 95% sensitivity of a conventional kit, 97% sensitivity of a new kit, 95% significance level (two-sided test), 2% allowable error, and 80% power. Conclusions : Our study indicates that an insufficient sample size is still a problem in performance evaluation. Our system should be helpful in increasing the reliability of performance evaluation by providing an appropriate sample size. (Korean J Lab Med 2006;26: ) Key Words : Sample size calculation, Performance Evaluation, Sensitivity, Specificity In vitro diagnostics, HCV 접 수 : 2006년 1월 25일 접수번호 : KJLM1920 수정본접수 : 2006년 4월 13일 게재승인일 : 2006년 5월 1일 교신저자 : 오흥범 우 서울시송파구풍납동 서울아산병원진단검사의학과 전화 : , Fax: hboh@amc.seoul.kr * 본연구는식품의약품안전청에서 2005년도에시행한용역연구개발사업의 연구결과입니다. 서 혈액을이용한체외진단키트는그동안주로질병진단을목적으로사용되었으나최근에는치료후추적관찰, 예후예측, 질병예방의목적으로까지그영역이확대되고있다. 따라서검사키트성 론 299

300 황상현 오흥범 채정민외 4 인 능에대한정확하고신뢰성높은평가와해석이필요하게되었다. 체외진단키트의성능평가항목에는여러가지가있지만가장중요한항목은진단민감도, 진단특이도, 기존검사와의일치율이라할수있다 [1-4]. 지금까지이런주요항목에대한성능평가연구들이발표되었으나신뢰성이떨어지는보고가많다는지적이있었다.

2 300 황상현 오흥범 채정민외 4 인 능에대한정확하고신뢰성높은평가와해석이필요하게되었다. 체외진단키트의성능평가항목에는여러가지가있지만가장중요한항목은진단민감도, 진단특이도, 기존검사와의일치율이라할수있다 [1-4]. 지금까지이런주요항목에대한성능평가연구들이발표되었으나신뢰성이떨어지는보고가많다는지적이있었다. Reid 등 [5] 의연구에의하면, 1978년부터 1993년사이 4개의주요의학저널에발표된 1,302건의성능평가연구들에대한조사에서 50% 정도만이적절한방법을적용한것으로나타났다. 2004년의한보고에서도성능평가에있어여전히방법적인문제가있음이지적되었다 [6]. 검체수산정은체외진단키트의올바른성능평가를위해반드시필요한과정이다. 필요한환자수보다적은환자수를사용하면기존진단키트와의성능차이를정확하게추정할수없다. 대조군과차이가없다 는결론을내린 71개의무작위환자-대조군임상시험중 57개 (80%) 연구는불충분한검체수로인한것이라는보고가있었다 [7]. 반면필요한환자수보다더많은환자수를사용하는것은비용-효율성이떨어지며일부에서는환자의임의추출이어려워잘못된결론에도달할수있다는보고가있었다 [8]. 검체수산정과정은통계학적전문지식을요구하기때문에종종무시되어온것이사실이다. 본연구에서는 3세대 C형간염바이러스 (hepatitis C virus, HCV) 항체검사를중심으로기존성능평가의문제점을알아보고, 아울러성능평가에필요한요소들을찾아낸후이를토대로검체수산정프로그램을웹기반으로개발하여누구나쉽게이용할수있도록하고자하였다. 하지않은단일집단에서의검체수산정 ( 모델 1, one sample without power consideration, one sample with power consideration), 2) 검정력을고려한단일집단에서의검체수산정 ( 모델 2, one population with power consideration), 3) 검정력을고려한두집단에서의검체수산정 ( 모델 3, two populations with power consideration) 통계모델이었다. 입력화면은성능을평가하고자하는새로운체외진단키트 (new kit) 와비교대상이되는기존체외진단키트 (reference kit) 의진단민감도, 진단특이도, 허용오차, 유의수준, 검정력, 검정방법, 검체수산정모델을선택한후 검체수산정 버튼을누르면적절한검체수가계산되도록구성하였다 (Fig. 1, 2A). 또한, 진단민감도, 진단특이도, 유의수준, 검정력의변화에따른검체수의변화를한눈에알아볼수있도록검체수 matrix 보기 기능을구현하였다 (Fig. 2B). 3. 검체수산정에사용된통계모델세가지통계모델은 Arkin 등 [10] 의논문을참고로하였다. 유병률을고려하는경우는 Nancy 등 [11] 의논문을참고로하였는데, 세가지통계모델을통해계산된검체수 (n) 를유병률 (p) 로나누는것으로다음의식과같다. 유병률을반영한검체수 N=n/p 1) 검정력을고려하지않은단일집단에서의검체수산정 (one 재료및방법 1. HCV 항체검사의성능평가연구문헌검색 본연구에서는 1989년부터 2005년동안 MEDLINE 데이터베이스에서 HCV와관련된주제를검색하였다. Medical Subject Headings (MeSH) 용어로 hepatitis C", mass screening", hepatitis C antibodies", sensitivity and specificity", diagnostic accuracy" 를사용하여검색하고, 3세대 HCV 항체검사키트의성능평가문헌중에서검체수, 진단민감도, 진단특이도, 대상집단, 참고검사법등을추출하였다. 각연구결과의진단민감도, 진단특이도의 95% 신뢰구간 (confidence interval, CI) 은직접계산하여도식화하였다 [9]. 2. 검체수산정프로그램개발 검체수산정프로그램을웹기반으로 개발도구로는공개소프트웨어인 PHP 웹스크립트언어와 MySQL 데이터베이스를사용하였다. 검체수산정을위한통계모델로다음세가지방법을이용하였다. 1) 검정력을고려 Fig. 1. The screenshot of the main input menu. The statistical parameters including sensitivity, specificity and allowable error limit were assigned. Significant level, power, and statistical models can be chosen via a select box or a check box, respectively.

power=80%. (B) When the power and significant level were selected, the estimation of sample size for comparison of two in vitro diagnostic devices was tabulated by the statistical models.

3 체외진단키트성능평가를위한웹기반의검체수산정프로그램개발 301 A B Fig. 2. Output screenshot of the program. (A) Sample size was estimated by giving prevalence of HCV=2%, sensitivity of the reference test=95%, sensitivity of a new test=97%, significant level (two-sided)=95%, allowable error=2%, and power=80%. (B) When the power and significant level were selected, the estimation of sample size for comparison of two in vitro diagnostic devices was tabulated by the statistical models. sample without power consideration) 2 n=z 2 p(1-p)/r 2 n: 필요검체수 Z 2: 양측검정에서의 Z값 (95% 신뢰구간에서는 Z 2=1.96) r: 허용오차혹은신뢰구간의절반 p: 진단민감도또는진단특이도 2) 검정력을고려한단일집단에서의검체수산정 (one sample with power consideration) n={ Z 2 a (1- a)+z 1 b (1- b) } 2 a- b n: 표본크기 ( 필요검체수 ) a: 새로운체외검사키트 A에서의진단민감도또는진단특이도 b: 예상되거나문헌에알려져있는체외검사키트의진단민감도또는진단특이도 Z : 1- =pr {Z -Z 2 Z Z 2} Z : 1- =pr {Z Z Z 1} 3) 검정력을고려한두집단에서의검체수산정 (two sample with power consideration) n={ Z (1-0)+Z 1 a (1- a)+ b (1- b) } 2 a- b n: 표본크기 ( 필요검체수 ) a: 비교하고자하는체외검사키트 A의진단민감도또는진단특이도 b: 새로운체외검사키트 B의진단민감도또는진단특이도 0: 두비율이동일하다는가정하에서결합비율 Z : 1- =pr {Z -Z 2 Z Z 2} Z : 1- =pr {Z Z Z 1} 결 과 1. HCV 항체검사성능평가문헌검색결과 1989년에서 2005년사이에보고된문헌들중에서, hepatitis C virus" 와 mass screening" MeSH 용어의조합으로검색한경우 233건의문헌이추출되었는데, 이중 1개의문헌이 HCV 항체검사의성능평가와관련된것이었다. hepatitis C antibodies" 및 sensitivity and specificity" 검색의경우는 351건의문헌이

4 302 황상현 오흥범 채정민외 4 인 Table 1. Performance evaluation studies of hepatitis C virus serological assays Studies Reference Assay Spectrum of patients Reference standard Stuyver [21] Ortho HCV 3.0 Blood donors with persistently increased HCV RNA by RT-PCR ALT and histological chronic hepatitis or steatosis Lavanchy [22] Ortho HCV 3.0 Hemodialysed patients HCV RNA by RT-PCR Courouce [23] Cobas Core anti-hcv EIA 2500 sera from patients and blood donors ELISA 2.0 and RIBA 3.0 Hennig (a) [24] AxSYM HCV version blood donors Abott Matrix HCV 2.0 and HCV RNA by RT-PCR Hennig (b) [24] IMX HCV version 3.0 Jonas (a) [25] ARCHITECT Anti-HCV 3811 blood donors, RIBA 1984 randomly selected clinical specimens Jonas (b) [25] ARCHITECT Anti-HCV Abdel-Hamid [26] Abott HCV EIA serum samples collected in a community-based study RIBA and RT-PCR Zachary (a) [27] Monolisa anti-hcv 2020 routine serum samples Plus version 2 Zachary (b) [27] AxSYM HCV version anti-hcv seropositive patients, RIBA and RT-PCR Zachary (c) [27] Ortho Vitros ECi anti-hcv 394 anti-hcv negative blood donors Judd (a) [28] OraSure (Epitope, Beaverton, RIBA and RT-PCR OR, USA)-Ortho HCV 3.0 SABe Judd (b) [28] Salivette (Sarstedt, Leicester, UK)- Ortho HCV 3.0 SABe Ismail [29] Ortho Vitros ECi Anti-HCV 177 anti-hcv-seropositive samples (Abbott EIA) RIBA 3.0 Huber [30] Cobas Core anti-hcv EIA 1090 patients with acute liver disease HCV RNA by RT-PCR or suspected chronic hepatitis Prince [31] ELISA 3.0, unspecified 301 blood donors with elevated ALT levels HCV RNA by RT-PCR Vrielink (a) [32] Abbott HCV EIA blood donor samples, HCV RNA by RT-PCR 212 non-a, non-b hepatitis patients, and RIBA multi-transfused patients, 1055 first-time blood donors Vrielink (b) [32] Murex anti-hcv Vrielink (c) [32] Ortho HCV 3.0 Busch [33] ELISA 3.0, unspecified 1091 blood donors HCV RNA by PCR and RIBA 2.0 Table 2. Comparison of confidence intervals and P value for the assessment of a case-control difference (confidence interval of control; -4, 4) Category Confidence interval Assessment using confidence interval Assessment using P value A (7,15) Superior to control Significant B (1,9) Non-inferior to control Significant C (-1,7) Non-inferior to control Non-significant D (1,4) Equivalent to control Significant E (-1,2) Equivalent to control Non-significant F (-9,-1) Inferior to control Significant G (-7,1) Inferior to control Non-significant H (-15,-7) Inferior to control Significant I (-7,9) Inconclusive Non-significant 추출되었으며이중 48개문헌이성능평가와관련이있었다. 이들 48개문헌중 1개는 3세대 HCV 항체검사성능평가에대한계통적문헌고찰논문이었다 [12]. hepatitis C antibodies" 와 diagnostic accuracy" 로는 14개의문헌이추출되었고, 이중 2건이성 능평가와관련이있었다. 이렇게검색추출한 51개의문헌중에서 1세대, 2세대 HCV 항체검사와면역블롯검사등본연구주제와관련이없는 48개의연구문헌을제외한 10개의문헌이 3세대 항체검사의성능평가연구였다. Colin 등의문헌고찰논문을통하여추가적으로 3개의관련문헌을찾을수있어서총 13개문헌을얻을수있었다 (Table 1). 평가된제품들은 Ortho HCV 3.0 (Ortho Diagnostic Systems, NJ, USA), Abbott HCV EIA 3.0 (Abbott Diagnostic, Abbott Park, IL, USA), Abbott AxSYM HCV version 3.0 (Abbott Diagnostic), Abbott IMX HCV version 3.0 (Abbott Diagnostic), Abbott ARCHITECT Anti-HCV (Abbott Diagnostic), Monolisa anti-hcv plus version 2 (Bio-Rad, Marnes-La-Coquette, France), Ortho HCV 3.0 SABe (Ortho Diagnostics, Amersham, UK), Ortho Vitros ECi Anti-HCV (Ortho Diagnostic Systems), Cobas Core anti-hcv EIA (Roche Diagnostics, Basel, Switzerland), Murex anti-hcv (Murex Diagnostics, Dartford, UK) 이었다. 전체 13개의성능평가연구중 5개는모든양성검체에대하여 HCV reverse transcriptase-polymerase chain reaction (RT- PCR) 을참고검사법으로이용하였다. 체외진단키트의성능평가연구들의진단민감도는 % 로대상환자군의특성과검체수에따라차이가있었고, 진단민감도평가를위한 HCV 감염환

5 체외진단키트성능평가를위한웹기반의검체수산정프로그램개발 303 true positive (true positive+false negative) Busch 1082/1091 Vrielink (c) Vrielink (b) Vrielink (a) Prince Huber Ismail Judd (b) Judd (a) Abdel-Hamid Courouce Lavanchy Stuyver (a) 398/ / /398 51/51 107/ / / / / / /127 12/12 true negative (false positive+true negative) Vrielink (c) 1054/1055 Vrielink (b) 1048/1055 Vrielink (a) 1052/1055 Prince 247/250 Huber 947/976 Ismail 312/318 Judd (b) 366/394 Judd (a) 391/394 Zachary (c) 1921/1934 Zachary (b) 1917/1934 Zachary (a) 1927/1934 Abdel-Hamid 1023/1025 Jonas (b) 1973/1984 Jonas (a) 3808/3811 Hennig (b) 4380/4381 Hennig (a) 4374/4381 Courouce 2099/2099 Lavanchy 43/43 Stuyver (a) 33/ Sensitivity estimates (%) A Specificity estimates (%) B Fig. 3. Estimates from the studies of sensitivity and specificity of anti-hcv antibody tests. Points indicate estimates of sensitivity (A) and specificity (B). Horizontal lines are 95% confidence intervals for the estimates. 자수는중앙값이 145명 (12-1,091) 이었다. 진단특이도는 % 였으며대부분의연구에서대조군검체수는중앙값이 1,025명 (33-4,381명 ) 이었다 (Fig. 3). 2. 개발된프로그램을이용한검체수산정검체수산정을위하여필요한파라미터값으로 1) 검사명, 2) 유병률, 3) 검사원리, 4) 검사목적, 5) 검사중요도, 6) 진단민감도, 7) 진단특이도, 8) 유의수준, 9) 검정력, 10) 비교방법, 11) 검체수산정모델을선정하였다. 3), 4), 5) 항은검체수산정에필요한파라미터는아니나기본정보로입력하도록하였고비교방법으로는동등성 (equivalence) 비교가자동으로선택이되도록하였다. 모델 2와모델 3의경우는두체외진단키트의진단민감도가 50% 에서 95% 까지 5% 단위로변화할때필요한검체수를 matrix 형태로표현되도록구현하였다. HCV 유병율 2%, 기존검사법의진단민감도 95%, 새로개발된체외진단키트의진단민감도 97%, 허용오차가 2%, 양측검정, 유의수준 0.05, 검정력 80%, 동등성비교등의파라미터를입력하고검체수를산정하는입력화면구성은 Fig. 1과같고그결과는 Fig. 2A와같다. 모델 1에서는 280명, 모델 2에서는 817명, 모델 3에서는 1,510명의검체가산정되었다. 50% 에서 95% 까지 5% 단위로변화할때필요한검체수는 Fig. 2B와같았다. 고찰본연구에서는 3가지통계모델을프로그램에구현하였다. 모델 1 (one sample without power consideration) 은검정력을고려 하지않는경우이며모델 2 (one sample with power consideration) 는검정력을고려한경우의검체수산정모델이다. 두모델은기존체외진단키트의성능을문헌고찰을통해알아보고새로운체외진단키트의성능을임상적요구에부합되는범위에서설정한후이를검증하는경우에사용되는검체수산정방법이다. 모델 1과모델 2에서는기존체외진단키트와직접비교를시행하는것은아니며임상상이잘정의된검체혹은참고검사법에의해이미검사가이루어진검체를사용하는경우이다. 통계적가설검정에는제1종오류와제2종오류가발생한다. 제 1종오류는두체외진단키트의성능이실제로는동일한데, 유의한차이가있다고판단하는오류이다. 이것의발생확률을라하고일반적으로는 0.05로설정한다. 제2종오류는두체외진단키트의성능이실제적으로는차이가있음에도불구하고차이가없다고판단하는오류이다. 제2종오류의발생확률을라하면검정력은제 2종오류의여집합즉 1- 로결정된다. 따라서검정력은두체외진단키트의성능이실제적으로차이가있을때차이가있다고결론을내릴수있는확률이다. 체외진단키트의성능평가연구에서두체외진단키트성능간통계적으로유의한차이를발견하지못했을경우검정력이낮아발생한문제가아닌지반드시확인하여야한다. 그동안대부분의성능평가연구에서는이러한제2종오류를간과해온경향이있다. 따라서본연구에서는모델 1과모델 2를구분하여검체수를제시하였다. 모델 3 (two sample with power consideration) 은검정력을고려한상태에서기존체외진단키트와새로운체외진단키트를동시에직접비교하는경우의검체수산정방법이다. 통상적으로검정력은 80% 를사용하지만연구자가검사의중요도에따라조정할수있다. 충분하지못한검체수로연구를수행하면검정력이낮아기존의우수한성능을보이는체외진단키트와차이가없다는

6 304 황상현 오흥범 채정민외 4 인 결론을내리게되어, 마치기존의체외진단키트와동등한성능을보이는것으로오해를일으킬수있다. 최근유럽의기준에따르면 [13], HCV 항체검사의진단민감도평가를위해서는약 400개의 HCV 양성환자의검체를검사하도록규정하고있다. 이는본프로그램의모델 1에서 95% 의신뢰수준으로약 2% 의오차내에서 95% 정도로예상되는 HCV 항체검사의진단민감도를구할때필요한검체수에해당한다 ( 필요검체수 =457). 또한 HCV 항체검사의진단특이도평가를위해최소 5,300개이상의검체로평가하도록요구하고있다 [13]. 이는본프로그램의모델 2에서참고검사법의진단특이도 95%, 평가대상검사의진단특이도가 96% 이고, 80% 검정력으로비교하고자하는경우에 5,299개이상의검체가필요한것과유사한결과라고할수있다. 본연구에서기존의 HCV 항체검사성능평가연구를고찰한결과, 진단민감도평가를위한 HCV 감염환자수는중앙값이 145명 (12-1,091), 진단특이도평가를위한대조군의중앙값은 1,025 명 (33-4,381명) 으로유럽의기준에훨씬미치지못함을알수있었다. 이는 Fig. 3에서보듯이신뢰구간의폭이넓어신뢰성이낮음을시사한다. 따라서향후에는성능평가수행전에적절한검정력또는신뢰구간확보를위한검체수산정과정이필요하다고여겨지며본연구에서개발된프로그램이큰도움이될것으로사료된다. 신뢰성있는체외진단키트의성능평가를위해서는검체수산정에앞서적절한연구설계가필수적이다. Rutjes 등 [14] 은대조군을정상인으로만구성하는연구설계에서는의사환자군을대조군으로사용한경우보다체외진단키트성능이 2-3배더과장되어보일수있음을보고하였다. 이러한오류를피하기위해서는체외진단키트의경우에도신약임상시험의경우와유사하게제1상, 제 2상, 제3상및제4 상등의단계별평가가필요하다 [15, 16]. 이는처음부터모든가능한경우를고려한평가를시행하는것보다비용-효율적인측면도있고해당체외진단키트의효과를체계적으로조사할수있는방법이다. 제1상은정상인을대상으로한연구로서정량검사의경우는참고치설정, 정성검사의경우는 cut-off 설정들을시행하는것이다. 제2상에서는환자-대조군연구를시행하는것으로 2상은세부적으로 phase IIa, IIb, IIc로나눌수있다. Phase IIa는환자- 대조군성능평가, phase IIb는질환의중증도에따라환자군을더세분화하고대조군과의차이를비교함으로써 spectrum bias에의한차이를없애는것이며, phase IIc는환자군과유사한임상증상을보이는대상을대조군에포함하는것이다. 제2상까지가체외진단키트의기본성능평가라할수있다. 제2 상연구결과의신뢰를높이기위해 1999년부터 standards for reporting of diagnostic accuracy (STARD) initiative가시작되었다 [17]. 이는신약임상시험에대한연구결과보고발의안인 consolidated standards of reporting trials (CONSORT) 모델에따라체외진단키트성능평가연구보고의질적향상을도모하고자한것이다. 이를위해 STARD 에서는점검표를제시하고있는데이에대한이해와적용이국내 에서도필요할것으로사료된다. 단일인구집단을대상으로무작위검사를시행하거나일정기간동안전향적으로연속검사를시행하는제3상혹은제4 상연구설계의경우에는단일모집단을대상으로성능을평가하는것이므로유병율을고려한검체수산정이필요하다. 이런경우에는매우많은검체가필요하게되는데, 예를들어유방암유병률이 1% 라고했을때 50명의유방암환자가포함되기위해서는약 5 천명의일반인을대상으로연구를시행해야한다. 따라서드문질환의경우는현실적으로적용하기힘든문제점을안고있다. 일반적으로체외진단키트의허가는제2상수준에서이루어지지만 HCV 같은헌혈자선별검사등은시판후제3 상, 제4상단계의평가를고려해야할것이다. 이를위하여본프로그램에서는검사의중요도라는파라미터를도입하였으나현재의프로그램에서는검체수산정에사용하지아니하였다. 향후다양한통계모델을도입하였을경우어떤모델을적용하는것이타당한지를가늠하는지표가될수있을것이다. 새로개발된체외진단키트의허가를위한성능평가에는흔히기존체외진단키트와의동등성여부를알아보는것이일반적이다. 기존체외진단키트와비교하는방법에는동등성비교 (equivalence test) 외에도비열등성비교 (non-inferiority test), 우월성비교 (superiority test) 등이있다. 동등성비교란두체외진단키트의성능이동등하다는통계적귀무가설에대한가설검정을통하여판정하는것이라면후자는신뢰구간과임상의의요구를종합하여판정하는것이다. 적은수의검체를이용하면새로운체외진단키트의성능이기존의체외진단키트와동등하다는잘못된판정을내릴우려가있는반면, 많은수의검체를이용하면새로운체외진단키트와기존체외진단키트성능간에차이가있다고판정되어새로운체외진단키트가우수하지않으면판매허가를얻지못하는문제가발생하게된다. 이런경우새로운체외진단키트가기존키트에비해우수하지않더라도임상적요구에부합하면적절한체외진단키트로판정할수있어야한다. Table 2는신뢰구간을토대로임상적판단을수반하여결정을내리는경우와 P 값을토대로결정을내리는경우를비교하고있다. Table 2에서임상의는신뢰구간 (-4, 4) 이면동등한효과로판정하고자하는것이다. 유사성능의체외진단키트와비교하는경우에는일반적으로동등성 (equivalence) 평가를위한검체수를구한후성능을평가할수있겠지만참고검사법과비교하는경우에는비열등성 (non-inferiority) 비교를위한검체수를이용하여비교평가를시행한후신뢰구간을토대로한판단이필요할것이다. 본연구에서는우월성혹은비열등성비교를위한검체수산정방법에대해서는구현하지않았다. 향후이에대한프로그램보완이필요하다. 검체수산정을위해서는우선기존에시판되고있는체외진단키트들의성능을고찰해야하는데, 그동안사용되어온방법은주요저널의검색과 review 저널의참고문헌검색등이었다. 저널검색은 MEDLINE과 EMBASE를이용하고있는데, 이를이

7 체외진단키트성능평가를위한웹기반의검체수산정프로그램개발 305 용한문헌고찰의문제점은두데이터베이스간일치율이약 35% 정도로낮고 [18], MeSH 용어로 sensitivity, specificity" 로찾는다면 1992년에서 1995년사이의전체성능평가연구의 51% 정도밖에는찾을수없다는것이다 [19]. 따라서체외진단키트의성능평가문헌검색및문헌의주요정보를데이터베이스화하는체계적인연구가향후필요할것이다. 또한인터넷상의많은문헌을토대로한 meta-analysis가중요하게되었다. 이를위해서는체외진단키트의진단민감도와진단특이도를보고할때신뢰구간을함께보고해야한다 [20]. 결론적으로, 본연구를통해저자들은세가지통계모델을이용한검체수산정프로그램을개발할수있었다. 웹기반으로개발하여누구나접근이용이하였기때문에진단검사의학분야에서널리활용될수있을것으로기대된다. 향후다양한통계모델을구현하고다양한실험디자인에서적절한통계모델은무엇인지를제시하는프로그램보완이지속적으로이루어져야할것이다. 요약배경 : 체외진단키트의성능평가연구보고에신뢰성이떨어진다는지적이있어왔다. 올바른성능평가를위해서는적절한검체수산정이우선되어야한다. 그러나검체수산정과정은통계학적전문지식을요구하기때문에종종무시되어온것이사실이다. 본연구를통해웹기반으로검체수산정프로그램을개발하고자하였다. 방법 : 3세대 hepatitis C virus (HCV) 항체의성능평가연구들에대한문헌고찰을통해기존연구의신뢰도를분석하였고아울러검체수산정에필요한파라미터와그값을추출하였다. 검체수산정프로그램은 PHP 웹스크립트언어와 MySQL을이용하였다. 프로그램에사용된통계모델은검정력을고려하지않은단일집단에서의검체수산정 ( 모델 1), 검정력을고려한단일집단에서의검체수산정 ( 모델 2), 검정력을고려한두집단에서의검체수산정 ( 모델3) 등세가지이었다. 결과 : 1989년에서 2005년사이에보고된문헌들중에서 Medical Subject Headings (MeSH) 용어를통해총 13개의항-HCV 성능평가연구보고를수집하였다. 문헌상의진단민감도는 % 로평가에이용된대상환자수는중앙값이 145명 (12-1,091) 이었다. 진단특이도는 % 였으며대상정상인수는중앙값이 1,025명 (33-4,381명) 이었다. HCV 유병률 2%, 기존검사법의진단민감도 95%, 새로개발된체외진단키트의진단민감도 97%, 허용오차가 2%, 양측검정, 유의수준 0.05, 검정력 80%, 동등성비교등의파라미터값에서의적절한검체수는모델 1에서 280명, 모델 2에서 817명, 모델 3에서 1,510 명이었다. 결론 : 본연구를통해부적절한검체수를이용한성능평가는여전한문제임을확인할수있었다. 저자들이개발한웹기반프로그램은향후성능평가연구의신뢰성을높이는데활용될수있을것이다. 참고문헌 1. How to read clinical journals: II. To learn about a diagnostic test. Can Med Assoc J 1981;124: Deeks JJ and Altman DG. Diagnostic tests 4: likelihood ratios. BMJ 2004;329: Sim J and Wright CC. The kappa statistic in reliability studies: use, interpretation, and sample size requirements. Phys Ther 2005;85: Deeks JJ. Systematic reviews in health care: Systematic reviews of evaluations of diagnostic and screening tests. BMJ 2001;323: Reid MC, Lachs MS, Feinstein AR. Use of methodological standards in diagnostic test research. Getting better but still not good. JAMA 1995;274: Lumbreras-Lacarra B, Ramos-Rincon JM, Hernandez-Aguado I. Methodology in diagnostic laboratory test research in clinical chemistry and clinical chemistry and laboratory medicine. Clin Chem 2004; 50: Freiman JA, Chalmers TC, Smith H Jr, Kuebler RR. The importance of beta, the type II error and sample size in the design and interpretation of the randomized control trial. Survey of 71 negative trials. N Engl J Med 1978;299: Moore AD and Joseph L. Sample size considerations for superiority trials in systemic lupus erythematosus (SLE). Lupus 1999;8: Newcombe RG. Two-sided confidence intervals for the single proportion: comparison of seven methods. Stat Med 1998;17: Arkin CF and Wachtel MS. How many patients are necessary to assess test performance? JAMA 1990;263: Wang JT, Wang TH, Sheu JC, Tsai SJ, Hsieh YS, Lin DT, et al. Hepatitis C virus infection in volunteer blood donors in Taiwan. Evaluation by hepatitis C antibody assays and the polymerase chain reaction. Arch Pathol Lab Med 1993;117: Colin C, Lanoir D, Touzet S, Meyaud-Kraemer L, Bailly F, Trepo C; HEPATITIS Group. Sensitivity and specificity of third-generation hepatitis C virus antibody detection assays: an analysis of the literature. J Viral Hepat 2001;8: Dati F, Denoyel G, van Helden J. European performance evaluations of the ADVIA Centaur infectious disease assays: requirements for performance evaluation according to the European directive on in vitro diagnostics. J Clin Virol 2004;30:S Rutjes AW, Reitsma JB, Vandenbroucke JP, Glas AS, Bossuyt PM. Case-control and two-gate designs in diagnostic accuracy studies. Clin Chem 2005;51: Sackett DL and Haynes RB. The architecture of diagnostic research. BMJ 2002;324: Gluud C and Gluud LL. Evidence based diagnostics. BMJ 2005;330:

8 306 황상현 오흥범 채정민외 4 인 Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou PP, Irwig LM, et al. Towards complete and accurate reporting of studies of diagnostic accuracy: The STARD Initiative. Ann Intern Med 2003; 138: Smith BJ, Darzins PJ, Quinn M, Heller RF. Modern methods of searching the medical literature. Med J Aust 1992;157: Deville WL, Bezemer PD, Bouter LM. Publications on diagnostic test evaluation in family medicine journals: an optimal search strategy. J Clin Epidemiol 2000;53: Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou PP, Irwig LM, et al. The STARD statement for reporting studies of diagnostic accuracy: explanation and elaboration. Ann Intern Med 2003;138: Stuyver L, Claeys H, Wyseur A, Van Arnhem W, De Beenhouwer H, Uytendaele S, et al. Hepatitis C virus in a hemodialysis unit: molecular evidence for nosocomial transmission. Kidney Int 1996;49: Lavanchy D, Steinmann J, Moritz A, Frei PC. Evaluation of a new automated third-generation anti-hcv enzyme immunoassay. J Clin Lab Anal 1996;10: Courouce AM, Bouchardeau F, Girault A, Le Marrec N. Significance of NS3 and NS5 antigens in screening for HCV antibody. Lancet 1994; 343: Hennig H, Schlenke P, Kirchner H, Bauer I, Schulte-Kellinghaus B, Bludau H. Evaluation of newly developed microparticle enzyme immunoassays for the detection of HCV antibodies. J Virol Methods 2000;84: Jonas G, Pelzer C, Beckert C, Hausmann M, Kapprell HP. Performance characteristics of the ARCHITECT anti-hcv assay. J Clin Virol 2005;34: Abdel-Hamid M, El-Daly M, El-Kafrawy S, Mikhail N, Strickland GT, Fix AD. Comparison of second- and third-generation enzyme immunoassays for detecting antibodies to hepatitis C virus. J Clin Microbiol 2002;40: Zachary P, Ullmann M, Djeddi S, Wendling MJ, Schvoerer E, Stoll- Keller F, et al. Evaluation of two commercial enzyme immunoassays for diagnosis of hepatitis C in the conditions of a virology laboratory. Pathol Biol 2004;52: Judd A, Parry J, Hickman M, McDonald T, Jordan L, Lewis K, et al. Evaluation of a modified commercial assay in detecting antibody to hepatitis C virus in oral fluids and dried blood spots. J Med Virol 2003;71: Ismail N, Fish GE, Smith MB. Laboratory evaluation of a fully automated chemiluminescence immunoassay for rapid detection of HBsAg, antibodies to HBsAg, and antibodies to hepatitis C virus. J Clin Microbiol 2004;42: Huber KR, Sebesta C, Bauer K. Detection of common hepatitis C virus subtypes with a third-generation enzyme immunoassay. Hepatology 1996;24: Prince AM, Scheffel JW, Moore B. A search for hepatitis C virus polymerase chain reaction-positive but seronegative subjects among blood donors with elevated alanine aminotransferase. Transfusion 1997; 37: Vrielink H, Zaaijer HL, Reesink HW, van der Poel CL, Cuypers HT, Lelie PN. Sensitivity and specificity of three third-generation antihepatitis C virus ELISAs. Vox Sang 1995;69: Busch MP, Watanabe KK, Smith JW, Hermansen SW, Thomson RA. False-negative testing errors in routine viral marker screening of blood donors. For the Retrovirus Epidemiology Donor Study. Transfusion 2000;40:585-9.

대한진단검사의학회지제 26 권제 4 호 2006 Korean J Lab Med 2006;26: 원저 기타진단검사의학 STARD를이용한진단검사법성능평가연구의질평가와메타분석을통한 3세대 HCV 효소면역항체검사의통합민감도와특이도분석 김솔잎 1 오흥범 1 차충환 1

대한진단검사의학회지제 26 권제 4 호 2006 Korean J Lab Med 2006;26:307-15 원저 기타진단검사의학 STARD를이용한진단검사법성능평가연구의질평가와메타분석을통한 3세대 HCV 효소면역항체검사의통합민감도와특이도분석 김솔잎 1 오흥범 1 차충환 1 최성은 1 안홍엽 2 이관제 2 울산대학교의과대학서울아산병원진단검사의학과 1, 동국대학교통계학과