대한임상검사학회지 : 37 권제 2 호, 65-71, 2005 6 시그마와총오차허용범위의개발에대한연구 녹십자의료재단, 고객지원및 QA 부 1, 관리부 2, 화학혈액검사실 3 장상우 1 김남용 1 최호성 2 김영환 3 추경복 3 정혜진 3 박병옥 3 A Study of Six Sigma and Total Error Allowable in Chematology Laboratory Sang-Wu Chang 1, Nam-Yong Kim 1, Ho-Sung Choi 2, Yong-Whan Kim 3, Kyung-Bok Chu 3, Hae-Jin Jung 3, and Byong-Ok Park 3 Technical Information & QA Division, Division of Operation Management 1 and Chematology 3 Department of Green Cross Reference Laboratories, Yongin 449-913, Korea 2 Those specifications of the CLIA analytical tolerance limits are consistent with the performance goals in Six Sigma Quality Management. Six sigma analysis determines performance quality from bias and precision statistics. It also shows if the method meets the criteria for the six sigma performance. Performance standards calculates allowable total error from several different criteria. Six sigma means six standard deviations from the target value or mean value and about 3.4 failures per million opportunities for failure. Sigma Quality Level is an indicator of process centering and process variation total error allowable. Tolerance specification is replaced by a Total Error specification, which is a common form of a quality specification for a laboratory test. The CLIA criteria for acceptable performance in proficiency testing events are given in the form of an allowable total error, TEa. Thus there is a published list of TEa specifications for regulated analytes. In terms of TEa, Six Sigma Quality Management sets a precision goal of TEa/6 and an accuracy goal of 1.5 (TEa/6). This concept is based on the proficiency testing specification of target value +/-3s, TEa from reference intervals, biological variation, and peer group median mean surveys. We have found rules to calculate as a fraction of a reference interval and peer group median mean surveys. We studied to develop total error allowable from peer group survey results and CLIA 88 rules in US on 19 items TP, ALB, T.B, ALP, AST, ALT, CL, LD, K, Na, CRE, BUN, T.C, GLU, GGT, CA, phosphorus, UA, TG tests in chematology were follows. Sigma level versus TEa from peer group median mean CV of each item by group mean were assessed by process performance, fitting within six sigma tolerance limits were TP (6.1δ/9.3%), ALB (6.9δ /11.3%), T.B (3.4δ/25.6%), ALP (6.8δ/31.5%), AST (4.5δ/16.8%), ALT (1.6δ/19.3%), CL (4.6δ/8.4%), LD (11.5δ/20.07%), K (2.5δ/0.39mmol/L), Na (3.6δ/6.87mmol/L), CRE (9.9δ/21.8%), BUN (4.3δ/13.3%), UA (5.9δ/11.5%), T.C (2.2δ/10.7%), GLU (4.8δ/10.2%), GGT (7.5δ/27.3%), CA (5.5δ/0.87mmol/L), IP (8.5δ /13.17%), TG (9.6δ/17.7%). Peer group survey median CV in Korean External Assessment greater than CLIA criteria were CL (8.45%/5%), BUN (13.3%/9%), CRE (21.8%/15%), T.B (25.6%/20%), and Na (6.87mmol/L/4mmol/L). Peer group survey median CV less than it were as TP (9.3%/10%), AST (16.8%/20%), ALT (19.3%/20%), K (0.39mmol/L/0.5mmol/L), UA (11.5%/17%), Ca (0.87mg/dL1mg/L), TG (17.7%/25%). TEa in 17 items were same one in 14 items with 82.35%. We found out the truth on increasing sigma level due to increased total error allowable, and were sure that the goal of setting total error allowable would affect the evaluation of sigma metrics in the process, if sustaining the same process. 1)Key Words : Six sigma, Metrics, Defects Per Million Opportunities(DPMO), Process, Parts Per Million(PPM) 교신저자 : 장상우, ( 우 )449-913 경기도용인시구성읍보정리 314, 녹십자의료재단고객지원및 QA 부 Tel : 031-260-9206, 011-9909-7224 E-mail : johnmadams@hanmail.net 65
I. 서론 δ란검사공정에대한수행도의평가를위한정량적목표로서검사결과를위해서부하범위인검사공정변이를 6δ로두는것이다. 백만단위당몇개의결함으로검사를제공하겠다는것을의미한다. 낮은결함은높은검사의질과적은비용을뜻하며재검사의불필요, 추적검사의불필요, 고객으로부터불만의감소, 고객불만으로부터불필요한노력과시간의절약을의미한다 ( 장등, 2004). 시그마척도의계산은결점수 (DPMO) 와합격품 ( 수율 ) 이나시그마의크기나공정능력 (Ck) 을알면계산할수있다. 시그마정밀성은총오차허용범위 (total error allowable, 이하 TEa) 를단순히상대표준편차로나누어줌으로써계산된다. 그러나검사방법에대한시그마척도의정확한계산은총오차허용범위에서치우침을감하고상대표준편차로나누면된다 (Westgard 등, 2004). 바꾸어말하면총오차허용범위에서 bias를빼주고 s로나누어주면시그마척도가계산된다 (Westgard, 2004). 총오차허용범위가크면검사의질은감소하고변이는증가한다. TEa와시그마수준은서로관련성을가지고있기때문에검사공정의정밀성은작은데 TEa가너무크면시그마수준의척도는증가하게마련이다. 시그마수준은검사공정의경우에검사공정의목표치로부터검사공정의변이의양과관련되며검사의질과관련성을가지고있다. 제조과정에서결함이발견되어재작업을한제품일수록고장이많다는것을발견하고초기에결함이없이조립된제품은고객이사용할때에고장나지않는다는사실을알게되어모토롤라 (Motolora Co.) 에서는숨겨진요인과누적수율 (rolled through yield) 에대한아이디어를창안하게되었다 ( 장등, 2004). 6 시그마와총오차허용범위 (TEa) 의관계는통계적으로규격상한치 (upper specification limit, USL) 와규격하한치 (lower specification limit, LSL) 규격한계와목표치사이의거리가표준편차의 6배나될정도의불량률이아주낮은 100만개중 3.4 기회당결함수를의미하고생산성의검사수율로서합격률은 99.9997% 가된다 ( 장등, 1999). 시그마란검사공정의변이를나타내는하나의평가척도로써통계적인용어로는표준편차이며목표치로부터검사변이의크기를표현하는관리규격상 하한치의크기인총오차허용범위 (TEa) 의크기가표준편차의 6배가 되도록함으로써불량률을줄이는것을말한다 (Westgard, 2003). 주어진총오차허용범위내에서표준편차의크기를줄여서검사의질을향상시킬수있다 ( 문과장, 2004). 본연구는임상화학검사실에서일상적으로사용되는총단백 (total protein, 이하 TP), 알부민 (albumin, 이하 ALB), 총빌리루빈 (total bilirubin, 이하 T.B), 알칼라인포스파타아제 (alkaline phosphatase, 이하 ALP), 아스파테이트아미노트랜스퍼라아제 (asparate aminotranferase, 이하 AST), 알라닌아미노트랜스퍼라아제 (alanine aminotranferase, 이하 ALT), 염소 (chloride, 이하 CL), 크라아틴키나아제 (creatnine kinase, 이하 CK), 유산탈수소효소 (lactic dehydrogenase, 이하 LD), 칼륨 (potassium, 이하 K), 나트륨 (sodium, 이하 Na), 크레아티닌 (creatnine, 이하 CRE), 혈중요소질소 (blood urea nitrogen, 이하 BUN), 총콜레스테롤 (total cholesterol, 이하 T.C), 포도당 (glucose, 이하 GLU), 아밀라아제 (amylase, 이하 AML), 감마글루타밀트랜스퍼라아제 (gamma glutamyltransferase, 이하 GGT), 트리글리세라이드 (triglyceride, 이하 TG), 칼슘 (calcium, 이하 CA), 무기인산 (inorganic phosphorus, 이하 IP) 등의검사에대하여미국의임상병리개선법률 (CLIA88) 과한국의외부정도관리조사 (survey) 를통한총오차허용범위를계산하고우리의실정에맞는관리한계를개발하기위한목적으로연구하였다. II. 재료및방법 1. 연구방법본연구는 ADVIA 1650 System으로 Bayer Diagnostics Corporation에서제조한검사 kit와 Boehringer Mannheim GmbH에서제조한검사 kit를이용하여 1년간의 normal control과 abnormal control에대한관리시료를매일 10-20 회측정하고 1개월간의상대표준편차 (relative standard deviation, 이하 RSD) 와시그마를계산하고매월자료에대한 24개월간의총평균을계산하여 2개시료의총평균을 6 시그마평가척도와비교하였다. 검사항목들은임상화학검사실에서일상적으로사용되는검사로 TP, ALB, T.B, ALP, AST, ALT, CL, CK, LD, K, Na, CRE, BUN, T.C, IP, GLU, AML, GGT, TG, CA 를대상으로하여실험을실시하였다. 66
Table 1. Median RSD of peer group mean from external quality survey Items Month Median 1 2 3 4 5 6 7 8 9 10 RSD TP 2.86 4.25 2.43 2.66 3.13 3.17 2.74 3.64 2.88 3.14 3.1 ALB 3.72 4.31 3.79 4.16 3.79 3.73 3.64 3.73 3.66 4.56 3.76 TB 13.1 7.67 10.5 7.09 11.8 9.37 15.1 7.13 7.44 6.75 8.52 ALP 10.6 10.5 10.8 10 11.4 9.9 10.9 10.8 9.67 9.29 10.5 AST 5.4 4.86 5.59 5.76 7.09 6.77 6.99 4.98 5.6 4.52 5.6 ALT 6.53 6.08 6.33 5.67 8.85 8.11 6.68 5.18 8.99 5.4 6.43 CL 3.12 2.1 3.35 3.83 2.43 2.14 3.56 2.39 2.19 3.26 2.8 LD 6.43 7.54 6.4 6.84 6.73 6.64 7.11 6.46 6.77 6.37 6.69 K 2.92 3.21 5.56 2.95 2.61 2.57 2.76 3.32 2.44 3.39 2.94 Na 1.62 1.74 2.12 1.92 1.52 1.5 1.52 2.04 1.6 2.15 1.74 CRE 13.7 7.9 7.42 7.14 10.5 6.37 14.7 6.09 6.81 6.48 7.28 BUN 5.59 4.42 4.93 3.93 5.39 4.34 7.88 4.46 3.97 3.59 4.44 UA 4.05 3.68 3.97 3.85 4.84 3.43 4.91 3.35 4.08 3.45 3.82 TC 4.37 3.3 3.58 3.66 3.29 3.62 3.29 2.86 3.06 4.02 3.58 GLU 4.25 3.38 3.23 3.69 3.94 3.39 4.84 3.30 3.32 3.23 3.39 CA 4.48 3.5 3.38 4.04 3.54 3.31 4.14 3.63 3.23 3.43 3.52 TG 5.27 9.73 10.3 6.64 5.45 6.03 5.05 9.84 5.38 5.74 5.89 GGT 9.67 9.24 8.42 9.1 9.08 9.14 10.9 8.23 8.3 8.74 9.09 IP 6.15 4.09 4.08 4.29 8.71 5.16 7.92 3.66 4.48 3.64 4.39 Sources : Table 6-2, Mean of each item by peer group maen in each trial(2004), Annual Report on External Quality Assessment in Clinical Chemistry in Korea, Journal of Laboratory Medicine and Quality Assurance, ps10, 2005. 1) 교정기 (calibrator) 교정기는 Bayer Diagnostics Corporation에서제조한 SETpoint를사용하여교정을하였으며하루동안검량보정은매시약의 vial to vial에대한검사변이를감소하기위하여교체시마다교정을하였다. 2) 자동분석기 (autoanalyzer) 자동분석기는 Bayer Corporation의 Health Care Diagnostics Division의 ADVIA 1650 System(Tarrytown, New York, 10591-5097, USA) 을사용하여검사를실행하였다. 3) 재료 (materials) 재료는 Bayer Health Care Diagnostics Division의 TESTpoint assay control, SETpoint chemistry calibrator, BM kit를사용하였으며매일검사공정을확인하기위하여공정설계의설계변수에따른차체통계량의관리허용범위내에들어옴을확인하고실험시료를검사하였다. 4) 총오차허용범위 (TEa) 와시그마척도의평가총오차허용범위가있는경우에분포의목표치와 TEa 사이의거리가시그마의 6배나될정도의불량률을낮추기위하여목표치로부터총오차허용범위를 RSD나 δ로나누고시그마의척도를계산하였다. 시그마척도는 (TEa-치우침) RSD이나 (TEa-bias) s에의하여계산을하고비교하였다. RSD는 2년동안실행한정상치와비정상치관리시료의평균값을사용하였고 bias% 는목표치로부터월시료집단의평균치를차감하여백분율로환산하였으며시그마척도는총오차허용범위에서치우침 % 을차감하고 RSD로나누어환산하였다. 일반적으로 TEa를계산하기위해서 peer group median RSD는 Table 1과같이외부정도관리평가의자료를참고하였고그 3배로하였다. 크리아의총오차허용범위는법률로서요구하는미국의임상병리개선법률에서 2003년 1 월 24일개정한자료를근거로비교하여총오차허용범위를계산하였다. 67
Table 2. TEa and δ level among CLIA, peer group median RSD and own peer group Items Two years grand mean Peer group mean survey RSD Bias% CLIA TEa δ level Median RSD TEa δ level TP 1.4 0.75 10% 6.6 3.1 9.3 6.1 ALB 1.5 0.9 10% 6.1 3.76 11.3 6.9 TB 4.7 9.7 20% 2.2 8.52 25.6 3.4 ALP 2.8 12.6 30% 6.2 10.5 31.5 6.8 AST 3.4 1.5 20% 5.4 5.6 16.8 4.5 ALT 3.3 14 20% 1.8 6.43 19.3 1.6 CL 1.7 0.6 5% 2.6 2.8 8.4 4.6 CK 3.7 11.3 30% 5.1... LD 1.4 4 20% 11.4 6.69 20.07 11.5 K 0.1 0.14m 0.5mmol/L 3.6 0.13(2.94) 0.39(8.82) 2.5 Na 1.3 0.59m 4mmol/L 2.6 2.29(1.74) 6.87(5.22) 3.6 CRE 1.8 4 15% 6.1 7.28 21.8 9.9 BUN 1.8 5.6 9% 1.9 4.44 13.3 4.3 UA 1.4 3.2 17% 9.9 3.82 11.5 5.9 TC 1.3 7.9 10% 1.6 3.58 10.7 2.2 GLU 1.8 1.5 10% 4.7 3.39 10.2 4.8 AML 1.2 5.3 30% 13.7... CA 0.14 0.1 1mg/dl 6.4 0.29(3.52) 0.87(10.56) 5.5 TG 1.7 1.3 25% 13.9 5.89 17.7 9.6 GGT 3.5 1.1. 9.09 27.3 7.5 IP 1.36 1.6. 4.39 13.17 8.5 Legend: Italic letter is unit, Relative standard deviation calculated except chloride, calcium and potassium that expressed SI units for two year, but three items mentioned were calculated by standard deviation. 법률적으로요구하는임상병리개선법률 (Clinical Laboratory Improvement Amendments, CLIA) 의총오차허용범위를시그마로나누어줌으로시그마의수준이증가하면자연히검사변이는감소하게된다. 검사변이가감소한다는것은검사서비스에대한검사의질이향상되었음을의미하며검사수행도가향상되었음을의미한다. 6 시그마척도는총오차허용범위를 6으로나누어주어시그마가감소함으로서검사수행도를향상시키는것에목적이있다. Ⅲ. 결과 1. 총오차허용범위의개발과설정우리나라에서는총오차허용범위 (TEa) 가개발되지않 아서 2003년도개정한크리아총오차허용기준 (CMS, 2003) 을참고하고 2004년도한국의외부질평가에서 peer group mean survey의자료를근거로개발한자료를시그마척도의계산에활용한실험결과는 Table 2와같다 ( 민등, 2005). 총오차허용범위의계산은다음과같다. TEa = peer group median CV 3 Table 1은임상화학검사실에서사용하는 18가지의검사항목중에서 2년간의상대표준편차를평가하고크리아기준과일치하는지를비교하였다. 동료집단상대표준편차는 10개월간의결과중에서짝수인경우에는중앙값의평균치를, 홀수인경우에는그중앙값을선택하였다. Median RSD의값이큰검사항목중에서 ALP로 10.5% 가가장크고 GGT가 9.09% 이고, T.B는 8.52% 이며 CREA은 7.28% 이며 ALT는 6.43% 로나타났다. 가장 RSD가낮은 68
검사항목들은 Na가 1.74%, GLU가 3.39%, CA가 3.52%, T.C가 3.58% 로나타났다. 2년간의 bias가가장큰검사항목은 ALT가 14.0% 로가장크고 ALP가 12.6% 이며 T.B가 9.7% 이고 T.C가 7.9%, BUN이 5.6%, AML가 5.3%, LD가 4.0% 로나타났다. CLIA 기준과 peer group mean의 median RSD survey (pgms) 에대한결과는 TP는 CLIA 10% 와 pgms 9.3% 로, ALB는 10% 와 11.3% 로, T.B는 20% 와 25.6% 로, ALP는 30% 와 31.5% 로, AST는 20% 와 16.8% 로, ALT는 20% 와 19.3% 로, CL는 5% 와 8.4% 로, CK는 30% 와 not available 하였으며, LD는 20% 와 20.07% 로, K는 0.5 mmol/l와 0.39 mmol/l로, Na는 4 mmol/l와 6.87 mmol/ L로, CRE 는 15% 와 21.8% 로, BUN는 9% 와 13.3% 로, T.C는 10% 와 10.7% 로, UA는 17% 와 11.5% 로, GLU는 10% 와 10.2% 로, AML는 30% 와 not available로, GGT는 not available과 27.3% 로, TG는 25% 와 17.7% 로, CA는 1 mg/dl과 0.87 mg/dl로각각나타났다. 2. 크리아와 peer group mean survey의 TEa에대한시그마척도의평가크리아와 peer group survey의 TEa에서치우침을차감하고 RSD로나누어준시그마수준에서가장차이가심한검사항목인 BUN에서크리아에서는 1.9δ이지만동료집단평균에의한시그마수준은 4.3δ로 2.3배의차이가발생되었고 CL은크리아에서 5% 로 2.6δ이지만 peer group survey에서는 8.4% 로 4.6δ수준이었다. CL에서는크리아에서는 5% 로 2.6δ이지만 peer group survey에서는 8.41% 로 4.6δ으로나타났다. 그외의다른검사항목들에서는비슷하게나왔으며 UA는크리아에서 17% 비하여 peer group survey의 TEa에서 11.5% 로 5.9δ이며 BUN에서는크리아의 TEa가 9% 이고시그마수준은 1.9δ이나 peer group mean survey에서는 TEa가 13.3% 로시그마수준은 4.3δ로나타났다. 일반적으로 TP, ALB, ALP, ALT, LD, GLU, CA에서는크리아의총오차허용범위와 peer group mean survey의총오차허용범위가거의비슷하므로시그마수준역시유사하게나타났다. 3. Bias에대한변이백분율의분석 Bias가심한검사항목들은 ALT가 14%, ALP가 12%, TB가 9.7%, TC가 7.9%, BUN이 5.6%, AML가 5.3% 로현저한차이가존재하였고결과적으로정상치관리시료와비정상치관리시료가음의방향으로치우침으로관리시료의역가저하로추정된다. RSD가일정할때에치우침이크면총오차허용범위에서차감을하므로 TEa가좁아져서시그마수준은낮아짐을발견하였다. 결함을감소시키는철학은고객만족과비용절감을개선하는것이다 ( 문과장, 2004). Ⅳ. 고찰 1. 총오차허용범위와시그마수준의관계분석제 1세대 6시그마에서는결함을감소하는검사공정을중요시하나제 2세대 6시그마에서는비용절감을강조하였고제 3세대 6시그마에서는 1.2세대의 6시그마를통합한개념으로사업전략혁신, 조직혁신, 검사공정혁신을통해서가치를혁신하는것이다. 6시그마에서는챔피언과마스터브랙벨트의역할이중요하지만최일선의운영자들까지혁신을공유하려면소수가아니라모든직원들이참여하여공정의변이를감소시키는방법이최선이다. 미국의임상병리개선법률 (CLIA 88) 에서는법률적으로총오차허용범위 (TEa) 를규정하고매 2년마다검사의질을평가하고불량한결과가나오면재도전기회를제공하고그래도실패하면현장지도를통한자문경비와일체의경비를병원이부담하고다시도전하여성공하지못하면의료보험지정을취소함으로병원은치명타를입게된다. 병원마다경쟁의심화로인하여 6 시그마를도입하는병원들이증가하는추세이며병원의수익과환자가치의창조를향상하려는목적으로사용되고있다. 6 시그마란 6 시그마를달성하는것이아니라개선된검사서비스와서비스의효율성을개선하여 6 시그마서비스를즉시산출하고수익성과고객가치를지속적으로개선하는것이다. 불안정한검사공정상태에서검사를종료하고잘못된검사를재검사를한다면재검사에따른비용과서비스의지연으로경제적손실과시간의손실로이익의감소를가져오게하므로처음부터올바르게검사공정을파악하고시작부터올바르게검사를진행해야함을인식해야한다. Insert의 target value와 SD를적용하면 3 시그마수준이지만 6 시그마를적용하면검사공정상에서문제발생시매우민감하게검사공정을파악할수있어신속한원 69
인규명과해결책을강구하므로산전예방에초점을맞추고검사의실수가감소하여이익을증가시켜주고질을혁신해주게된다. 2. 총오차허용범위의설정과시그마수준의결과분석우리나라에서는정부차원에서검사실의질을평가하는총오차허용범위가개발되지않아서미국의법률적요구조건인크리아를충족하는데검사특성상에서차이가있을것으로예상하였으나큰차이는보이지않았다. 그러나검사특성으로인한약간의서로간에높고낮음을발견하였다. 검사공정이매우안정되고변이를줄인다면규정된총오차허용범위는일정하므로시그마수준은증가하게된다. 옛날의 3δ를사용할때에는변이가민감하게작용하지않지만 6 시그마를적용하면공정상의검사변이는획기적으로감소하여목표치에근접하게되어보다더정확한결과를제공할수있게된다. 크리아의총오차허용범위와 peer group mean survey의 TEa가차이가있는검사항목은 CRE는크리아 15%/peer group mean survey 21.8% 로, BUN는 (9%/13.3%) 로, TG는 (25%/17.7%) 이였다. 크리아보다우리나라의 peer group mean survey median이약간낮은검사항목들은 TP는 ( 크리아 10%/pgms 9.3%), AST (20%/16.8%), ALT (20%/ 19.3%), K(0.5mmol/L/0.39mmol/L), UA(17%/ 11.5%), TG (25%/17.7%) 로나타났다. Ⅴ. 결론 임상화학검사실에서 6 시그마의적용에대한 2년간의실험연구결과와총오차허용범위의설정에대한비교결과를요약하면다음과같다. 1. 미국의 CLIA 기준과우리나라의 peer group mean survey(pgms) 의총오차허용범위 (TEa) 가거의일치하는확률은 17개검사항목중에서 14개항목이 82.35% 이었으며, TP, ALB, T.B, ALP, AST, ALT, LD, K, BUN, UA, T.C, GLU, CA, TG에서나타났고우리나라에서외부질평가기준의총오차허용범위 (Total Error Allowable of the External Quality Assessment Criteria) 로활용할가치가충분하다고사료된다. 2. 언급된 2개의 TEa의기준에서현저한차이가존재 하는검사항목은 TG는 CLIA 25%/pgms 17.7%, CRE에서 CLIA 15%/21.8%, BUN은 CLIA 9%/13.3% 로나타났는데검사방법의특성내지는통계량의계산시참여검사실의이상자료의포함으로사료된다. 3. Bias가음의방향으로양시료가동시에이행하는검사항목은 ALT, CK, CRE, BUN, UA, T.C로관리시료의역가저하를의미하며반대로양의방향으로이행한검사항목은 ALP, T.B로다른복합물질의결함이나검량보정시검량시료와시약의역가저하로생각되고관리시료의농도의증 감은환자의결과치에직접적으로영향을주지않는다는것을인식하였다. 4. 검사공정이일정한변이를유지하는경우 TEa의증가는시그마수준을증가시키고 TEa의감소는시그마수준을감소시키는정비례관계를가진다는것을확인하였다. 참고문헌 1. US Centers for Medicare & Medicaid Service (CMS). Medicare, medicaid, and CLIA programs: Laboratory requirements relating to quality systems and certain personnel qualityfications. Final Rule. Fed Regist 16:3640-3714 2003. 2. Westgard JO, Ehrmeyer SS, Darcy TP. CLIA final rules for quality systems. p110, Westgard QC Inc, Madison, 2004. 3. Westgard JO. Nothing but the truth about quality. p132, Westgard QC Inc, Madison, 2004. 4. 문해란, 장상우. 6 시그마정도경영 : 인증중심의정도관리. p17, 펴냄홍, 서울, 2004. 5. 민원기, 고창아, 김경동, 김영기, 김정호, 김진규, 김태진, 박일규, 박준석, 안공섭, 이도훈, 이수연, 전사일, 한태진, 홍기숙. 임상화학검사신빙도조사결과보고 (2004). In 임상병리와정도관리. PS10, 대한임상검사정도관리협회, 서울, 2005. 6. 장상우, 김남용, 최호성, 박용원. 대한임상병리사협회춘계학술대회초록집, p118, 2004. 7. 장상우. 김남용, 최호성, 박용원, 추경복, 윤근영. 6 시그마에대한연구. 대한임상검사과학회지 36:122-3, 2004. 8. 장상우, 김완, 정수경, 이남희, 임상병리경영관리. p594, 하나의학사, 1999. 70