대한간호학회지제 38 권제 1 호, 2008 년 2 월 J Korean Acad Nurs Vol.38 No.1, 45-54, February, 2008 대학병원간호조직균형성과지표의적합성검증 홍윤미 1 황경자 2 김미자 3 박창기 4 1 관동대학교간호학과부교수, 2 관동대학교명지병원간호부장, 3 시카고일리노이대학교간호대학교수, 4 시카고일리노이대학교간호대학선임보건경제학자 Balanced Scorecard for Performance Measurement of a Nursing Organization in a Korean Hospital Hong, Yoonmi 1 Hwang, Kyung Ja 2 Kim, Mi Ja 3 Park, Chang Gi 4 1 Associate Professor, Department of Nursing, Kwandong Universty, Gangneung 2 Director of Nursing Department, Myongji Hospital, Kwandong Universty, Goyang, Korea 3 Professor and Dean Emeritus, College of Nursing, Universty of Illinois at Chicago, Chicago 4 Senior Health Economist, College of Nursing, Universty of Illinois at Chicago, Chicago, USA Purpose: The purpose of this study was to develop a balanced scorecard (BSC) for performance measurement of a Korean hospital nursing organization and to evaluate the validity and reliability of performance measurement indicators. Method: Two hundred fifty-nine nurses in a Korean hospital participated in a survey questionnaire that included 29-item performance evaluation indicators developed by investigators of this study based on the Kaplan and Norton s BSC (1992). Cronbach s alpha was used to test the reliability of the BSC. Exploratory and confirmatory factor analysis with a structure equation model (SEM) was applied to assess the construct validity of the BSC. Result: Cronbach s alpha of 29 items was.948. Factor analysis of the BSC showed 5 principal components (eigen value >1.0) which explained 62.7% of the total variance, and it included a new one, community service. The SEM analysis results showed that 5 components were significant for the hospital BSC tool. Conclusion: High degree of reliability and validity of this BSC suggests that it may be used for performance measurements of a Korean hospital nursing organization. Future studies may consider including a balanced number of nurse managers and staff nurses in the study. Further data analysis on the relationships among factors is recommended. Key words: Nursing, Performance Evaluation, Indicators, Reliability, Validity 서론 1. 연구의필요성및목적병원을둘러싸고있는경영환경은지속적이면서도빠르게변화하고있다. 의료시장개방, 고객욕구의다양화, 기술의급격한발전은현재병원들에게기회이면서도전의요소이다. 따라서경쟁에서우위를점하려면병원들은기존의방식에의해수립되 고이행되던경영전략만으로는부족하다. 최근들어많은기업들이경쟁력을높이기위해혁신적인관리시스템을도입하였거나도입을고려하고있으며병원조직도이에동조하는상태이다. 병원조직이생존하고성장하기위해서는환경변화에적합한조직경영전략을통해조직의성과를향상시킬수있는성과평가시스템의개발이매우중요한과제이다. 그리고개발한성과평가시스템은조직의사명과비전, 전략및사업계획을개인단위까지연계시키며조직이나아갈방향및실행전략이구체적이 주요어 : 간호성과지표, 타당도, 신뢰도 Address reprint requests to : Hong, Yoonmi Department of Nursing, College of Medicine, Kwandong University, 522 Naegok-dong, Gangneung 210-701, Korea Tel: 82-33-649-7619 Fax: 82-33-649-7620 E-mail: ymhong@kwandong.ac.kr 투고일 : 2007년 7월 12일심사완료일 : 2007년 11월 2일 45
46 홍윤미 황경자 김미자외 1 인 고조직의목표달성과정과결과에대한평가가가능해야한다 (Nam, Park, & Rhu, 1999). 이는조직에서사용하는성과평가시스템은종업원의성과와동기에중요한영향을미치며, 조직의과거활동과현재의활동들의결과가조직의현재와미래를결정하기때문이다. 최근에대두되는 Kaplan과 Norton (1992) 의균형성과표 (Balanced Scorecard, BSC) 는이러한기존의성과평가시스템의한계를극복하기위한것이다. 재무성과지표중심의평가에서벗어나미래의경영성과에영향을주는고객만족, 내부업무프로세스, 기업의학습과개선능력등을포함하고있다. 간호조직의경우환자치료에있어중요한역할을담당함에도불구하고눈에보이는수익이없다는이유로소비부서로인식되어왔다. 환자치유의전과정에걸쳐의사의처방수행뿐만아니라여러관련부서와의유기적인협력을통해환자의치료를돕고환자에게필요로되는간호를제공함으로써환자의건강회복에미치는영향과하나의팀으로써일하는업무특성을고려하여볼때, 결과혹은재무지표중심의평가보다는내무업무프로세스를개선함으로써고객을만족시키고자하는학습과개선능력등을올바르게평가할수있는더종합적이고다양한형태의평가가필요하다 (Yoo, 2001). Kaplan과 Norton이개발한 BSC는고객중심의계획이고조직의변화과정에중점을둔과정향상체계이다. 재무적이고비재무적인측정을통합하는데전략의초점이맞추어져있으며조직의신념을통합시키고전략을수립하는체계이다. 또한, BSC는조직의전략을구성원들에게의사소통시키고목표를달성하기위한행위의지침에대한피드백을제공한다 (Chow, Ganulim, Teknikay, Haddad, & Williamson, 1998). 이미기업에서는기업의성과를측정하는데있어서재무자료의한계를받아들이고비재무적인자료까지포함한포괄적이고미래지향적인 BSC를적극적으로도입하고있으며실제로이를통해뚜렷한경영성과를거두고있다 (Ha, 2001). 우리나라의경우 BSC 관련연구는초기단계로써도입사례에관한연구, 도입에따른영향요인에관한연구, 각관점간의인과관계에관한연구가대부분이다 (Park & Bae, 2004). 병원조직에서도 BSC를개발하여이를적용한후그성과를보고한연구들이있는데, 간호학부분에서는주로일간호단위를중심으로균형성과표를개발한연구들을찾아볼수있다 (Kang & Kim, 2005; Kim, Y. S., 2006; Park, 2004; Yoo, 2001). 또한개발된균형성과표의타당도검토는전문가나실무자의내용타당도만을포함하고있으며연구마다그기준도상이하다. 이와관련하여 Sung (1995) 은개발된성과측정도구를실제성과를측정하는도구로사용하기에앞서개발한도구가실제로측 정하고자하는것을측정하는지를확인하는분석과정이요구된다고제시한바있다. 그러므로본연구에서는균형성과표에근거하여이론, 실무경험, 그리고전문가의자문을거쳐병원의비전과목적을달성하고자개발된성과평가지표가병원의간호조직에서측정하고자하는성과를제대로측정하는지를체계적으로분석함으로써간호조직균형성과표사용의적절성을검토하고임상현장에적용할수있는새로운지표를제시하고자하였다. 본연구의구체적목적은다음과같다. 첫째, 개발된균형성과표의신뢰도와타당도를검증하고자하였다. 둘째, 이와같은검증과정을통해도출된수정보완된새로운성과평가도구인간호조직균형성과표를제시하고자하였다. 연구방법 1. 연구설계본연구는 Kaplan과 Norton (1992) 이소개한균형성과표에기초하여개발한병원간호조직의균형성과표의신뢰도와타당도를검증한방법론적연구이다. 2. 연구대상자및자료수집방법간호조직의균형성과표를개발한연구대상병원은수도권에위치한 1개의대학병원으로간호조직의균형성과표의적합성을평가하기위한조사대상은연구대상병원에근무하는간호사전체이다. 연구대상병원에근무하는간호사는모두 297 명으로자료수집은 2006년 6월한달간이루어졌으며연구를위해고안된설문지를사용하였다. 각병동의수간호사가설문지를배포하고회수하였다. 배포된설문지는 297부이며회수된설문지는총 259부로회수율은 87% 이다. 회수된설문지를검토한결과부적절하게기재된설문지는없어모두를연구자료로사용하였다. 3. 연구도구간호조직성과평가지표는 Kaplan과 Norton의 BSC 관점에기초하여개발하였으며, 개발은병원과간호부서의사명과비전을재확인함으로시작하였다. 명시된사명과비전을실현할목표와지표를설정하기위해문헌을고찰하고, 수차례의개발팀회의를가졌으며, 전문가집단에의해지표의내용타당도가
대학병원간호조직균형성과지표의적합성검증 47 검토되었다. 본과정을보다자세히언급하자면병원의비전을확인한후이를근거로간호부비전을도출하고대내외적으로이를알리기위하여간호부비전선포식을실시하였다. 선포식을갖는내적이유는간호부의최종목표가무엇인지를전체간호사에게알리고이를전체간호사가인지하고있도록하는데의의가있다. 그리고연이어 BSC 개발팀을구성하여국내외사례들을확인하고문헌을고찰한결과를토대로수차례회의와전문가집단의자문을받았다. 병원의개발팀은해당병원에근무하는 7명의간호관리자와 2명의간호사로구성되었으며, 간호학교수 3인, 병원의관리와운영이전공인예방의학교수 1인, BSC 개발경험이있는사용실무자 2인으로구성된총 6인의전문가자문을거쳐 Kaplan과 Norton의네가지관점 ( 재무관점 5개지표, 고객관점 3개지표, 내부업무프로세스관점 9개지표, 학습과성장관점 12개지표 ) 에해당하는총 29개의지표를성과평가지표로확정하고, 설문지로사용하였다. 또설문지문항은 20명의간호사 ( 관리자 2인, 일반간호사 18인 ) 에게예비조사를실시하여이해하기어렵거나애매한어휘등을수정하였으며기타의견을수렴하여수정보안하였다. 설문지는매우적합하다 5점, 적합하다 4점, 보통이다 3점, 적합하지않다 2점, 매우적합하지않다 1점의 5점리커트척도로측정하였다. 4. 자료분석방법수집된자료는 SPSS WIN Version 12.0과 AMOS Version 5.0을이용하여분석하였다. 대상자의일반적특성은서술통계를사용하였다. 신뢰도는내적일관성을측정하는 Cronbach s alpha 계수및수정된항목과전체상관관계 (corrected itemtotal correlation) 로확인하였다. 최종확정된성과지표는측정개념에잘부합하는지를알아보기위해탐색적접근방법과확인적접근방법을사용하여측정도구의타당도 (construct validity) 를확인하였다. 탐색적접근방법으로는요인분석을이용하였으며, 요인분석은주성분분석을하였다. 요인회전은해석의편의상배리맥스 (Varimax) 회전을이용하였다. 요인의수는미리지정하지않고, Chi-square 값, 고유값이 1.0 이상, 스크리테스트 (Scree test) 분석, 문항수가최소 3개이상적재된요인등의추출기준을적용하여 (Kim, 1999) 요인을추출하였다. 확인적접근방법으로는지표들이모형의요인으로써통계적으로유의하게설명하고있는지를검증하기위해구조방정식 (Structural Equation Model, SEM) 을이용하였다. 그리고관리자집단과일반간호사집단간의인식의차이를분석하기위해 t 검정을하였다. 1. 대상자의일반적특성 연구결과 대상자의평균연령은 28.8세였으며, 여자가 98.5% 로거의대부분이었다. 미혼이 71.8% 로과반수이상을차지하였다. 학력은전문대졸업이 51.7% 로가장많았고다음이대졸로 41.4% 를차지하였다. 일반간호사가 86.9% 이었고, 근무부서는병동팀 49.0 % 로가장많았으며, 특수부서간호팀 33.2% 등으로구성되어있었다. 현병원근무경력은평균 3.3년이었으며, 현부서근무경력은평균 2.2년, 총근무경력은평균 6년, 팀장근무경력은평균 3.4년, 수간호사근무경력은평균 6.8년, 일반간호사근무경력은평균 5년이었다 (Table 1). 2. 성과평가도구의신뢰도검증 신뢰도를구하기위해 Cronbach s alpha 계수를이용한내적일관성법을가장많이이용하는데신뢰계수추정법중가장많이알려진 Cronbach s alpha 계수는적어도.6은넘어야신뢰도가만족할수준이라고본다. 본연구에서지표의전체신뢰도 Cronbach s 는.948이었으 Table 1. General Characteristics (N=259) Characteristics Classification N (%) Mean±SD Age (yr) 28.81±5.766 Gender Male 4 (0.5) Female 255 (98.5) Marriage Married 73 (28.2) Single 186 (71.8) Education Junior college (3 yr) 134 (51.7) Bachelor 107 (41.4) Master 18 (6.9) Position Nursing director 1 (0.4) Manager 4 (1.5) Head nurse 12 (4.6) Charge nurse 17 (6.6) Staff nurse 225 (86.9) Working team General administration 7 (2.7) team Outpatient care team 39 (15.1) Ward team 127 (49.0) Special care team 86 (33.2) Working months in this hospital 39.18±33.677 Working months in this team 26.95±22.596 Working months in current job 71.72±63.704 Months of team leader (team leader only) 40.25±8.016 Months of head nurse (head nurse only) 81.08±57.174 Months of staff nurse (staff nurse only) 60.55±44.920
48 홍윤미 황경자 김미자외 1 인 며 4개관점별신뢰도는 Cronbach s 가.772-.918로내적일관성이검증되었다. 관리자그룹의전체문항에대한신뢰도는 Cronbach s 가.950, 관점별신뢰도는재무관점 Cronbach s =.705, 고객관점 Cronbach s =.808, 내부업무프로세스관점 Cronbach s =.887, 학습과성장관점 Cronbach s =.942 이며, 관리자를제외한간호사그룹의전체문항에대한신뢰도 Cronbach s =.944이었다. 관점별로는재무관점 Cronbach s =.804, 고객관점 Cronbach s =.766, 내무업무프로세스관점 Cronbach s =.881, 학습과성장관점 Cronbach s =.908 으로모든영역에서신뢰도기준을초과하여신뢰도가매우높은도구로판명되었다. 또한문항분석을통해전체표본에서각문항과전체문항간의상관계수가.30 미만의경우해당문항은각척도영역내에서기여도가낮은것으로평가되므로문항과전체문항간의상관계수가.30 이상인문항만을선정하였다. 동시에해당문항을제외시켰을때의 alpha (Cronbach s alpha if item deleted) 값 의변화를고려하였는데 (Lee, Lim, & Park, 1998; Streiner & Norman, 2003), 본연구에서는모든문항이기준에부합되었다 (Table 2). 3. 관리자집단과일반간호사집단간의인식의차이검증 Cronin과 Becherer (1999) 의연구에서실무자집단에서관리자들과일반간호사들간에인식의차이가있다는보고에따라관리자집단과일반간호사집단의차이분석을 t 검정을통해실시한결과는 t=4.507, p<.001이었다. 그러므로본연구에서도두집단간에인식의차이가존재한다는것이확인되었다. 재무관점 t=4.485 (p<.001), 고객관점 t=2.134 (p=.034), 내부업무프로세스관점 t=3.008 (p=.003), 학습과성장관점 t=4.852 (p<.001) 로각세부관점별로도인식에차이가있었다. Table 2. Reliability Test Results Corrected Cronbach s Cronbach s Perspectives Item item-total alpha if item alpha correlation deleted Financial Treatment prescription omission decrease rate.450.948.810 Educational program revenue.557.947 Manpower utilization ratio.628.946 Equipment management and maintenance.474.947 Optimal stock level.486.947 Customer satisfaction.606.946 Customer Number of complaint and grievance and number of solved case.526.947.772 Number of praise on nurses.546.947 Direct nursing time.668.945 Compliance rate of nursing record standardization.666.946 Bedsore occurrence rate.635.946 Computer program development rate.651.946 Internal Number of happy call.434.948.884 process Job related accidents (medication error, falling down & slipping down, needle stick injury).714.945 Hospital infection rate.674.945 Relevant departments satisfaction with nurse service.577.946 Nurse image score.585.946 Professional program attainment.678.945 Outstanding employee retention rate.746.945 Number of instituted educational program.616.946 Performance evaluation results.644..946 Nurses satisfaction.773.944 Job exit rate.698.945 Learning Number of consultation about staff grievance.712.945.918 and Research activity rate.601.946 growth Number of idea suggested and adoption rate.581.946 Rate of planing and implementation rate of event and participating rate.500.947 Number of volunteer service activity and participating rate.523.947 Rate of planing and implementation rate of other event and participating rate.540.947
대학병원간호조직균형성과지표의적합성검증 49 4. 성과평가도구의타당도검증 1) 탐색적요인분석두집단 t 검정결과관리자와일반간호사, 두집단간에인식의차이가있는것이확인되어두집단을분리하였으며, 관리자집단의표본수가 17명으로적어서 242명의일반간호사집단의타당도만을분석하였다. Table 3. Rotated Component Matrix Component 1 2 3 4 5 C1-1.750.328.113.024.175 C1-2.714.134.218.215.120 C2-2.661.223.383.028.148 C1-3.640.100.395.193.067 D2-2.617.575.070.037.201 C2-1.611.125.492.143.205 A2-1.540.158.086.094.505 D3-1.080.750.150.207.198 D2-3.428.696.170.044.183 D4-1.053.638.210.428 -.016 D1-1.430.596.191.142.105 D2-1.513.533.209.060.354 D1-3.198.530.239.334.085 D1-2.412.493.270.253.236 D1-4.183.451.343.384.123 B1-2.171.132.699.002.259 C3-2.169.219.664.328 -.073 C3-1.237.212.651.083.141 B1-1.229.107.615.077.353 B1-3.225.192.525.091.278 C1-5.098.124.500.338 -.037 C1-4.428.224.434.176.292 D6-1.140.128.176.857.040 D7-1.084.211.184.829.065 D5-1.106.207.047.823.081 A2-2.226.151.052 -.026.779 A2-3.047.271.146.001.718 A1-1.058.022.323.035.697 A1-2.356.046.106.233.633 Extraction method: Principal component analysis. Rotation method: Varimax with kaiser normalization. A rotation converged in 8 iterations. (1) 요인추출및회전문헌고찰, 전문가의내용타당도검사와문항분석을통해개발된균형성과표의적절성여부를검증하기위해요인분석을실시하였다. 요인분석을실시하기전모상관행렬의단위행렬여부를확인하기위해 Bartlett 검정을시행하였다. 29개문항에대한단위행렬검정결과는유의수준 5% 에서단위행렬이아닌구형성을나타냈다는충분한근거를보이므로요인분석을적용하였다 (Kaiser Meyer Olkin, KMO=.918, Bartlett s test of sphericity=4232.309, p<.001). KMO와 Bartlett의구형성검정은요인분석으로설정된모형의적합성을검정하는것으로 KMO 값은 1에가까울수록, Bartlett의유의확률은.05 미만이면모형이적합하다는것을의미한다. 본연구의균형성과표에대한 KMO 값이.918이고 Bartlett의유의확률이 p<.001로나타나요인분석의적합성이검정되었다고본다. 요인분석결과요인추출의기준은고유값 (eigen value) 과총분산중요인이설명해주는정도를사용하거나, 연구자가사전에요인수를정하거나하는데, 고유값을기준으로하는경우 1.0을기준으로한다. 고유값이 1.0 이하가되면 1개변수의분산에해당하는만큼도설명하지못하므로요인으로써의미가없다. 설명분산을기준으로하는경우는총분산중특정요인의설명분산의백분율이 5% 이상일때까지선정하거나요인들에의한설명분산의누적백분율이 60% 정도를설명해주는요인까지를선정한다. 본연구에서는고유값이 1.0 이상의요인 5개를추출할수있었다. 이와더불어고유값의스크리플롯에서 5번째고유값하강이후거의수평적인변화를보이고있었으므로본균형성과표에서설명할요인을 5개로결정하고, 5개요인으로요인수를지정하여배리맥스회전을하였다. 5개요인은균형성과표의총분산에대해서요인 1은 39.6%, 요인 2는 8.8%, 요인 3은 5.6%, 요인 4는 5.0%, 요인 5는 3.7% 를설명하여 5개의요인이총분산의 62.7% 를설명하고있었다. (2) 요인명명요인명명시에는요인부하치가큰것이가장그요인을잘설명한다고볼수있기때문에각요인마다가장크게부하된문항을참고로하였다 (Waltz & Bausell, 1981). 분석전요인이재무관점, 고객관점, 내부업무프로세스관점, 학습과성장관점의 4가지로묶일것을기대하였으나 5가지요인으로나뉘어졌는데이것은학습과성장관점에성격이다른요인이포함되어있기때문이었음을확인할수있었다. 이요인을대민봉사로명명하기로하였다 (Table 4). 요인들을살펴보면, 제1요인에내부업무프로세스의지표들과학습과성장의이직률, 재무관점의인력활용률이요인부하량이큰것으로나타났다. 이항목의요인적재량은.540-.750의범위이었다. 제2요인에는학습과성장의지표들만으로묶이었다. 항목의요인적재량은.451 -.750의범위이었다. 제3요인에는고객관점의지표와내부업무프로세스의일부지표인간호사이미지점수, 관계부서의간호만족도, 해피콜 (happy call: 퇴원환자에대한전화방문 ) 이행건수및이행률, 그리고전산프로그램개발정도가요인부하량이큰것으로나타났다. 항목의요인적재량은.434-.699의범위이었
50 홍윤미 황경자 김미자외 1 인 Table 4. Comparison of Original and Revised BSC Perspectives Original BSC Perspectives Revise BSC based on the analysis Financial Customer Internal process Learning and growth Treatment prescription omission decrease rate (A1-1) Educational program revenue (continuing education, delegated education and patient education-dm, dialysis, heart disease, hypertension) (A1-2) Manpower utilization ratio (A2-1) Equipment management and maintenance (A2-2) Optimal stock level (A2-3) Customer satisfaction (B1-1) Number of complaint and grievance and number of solved case (B1-2) Number of praise on nurses (B1-3) Direct nursing time (C1-1) Compliance rate of nursing record standardization (C1-2) Bedsore occurrence rate (C1-3) Computer program development rate (C1-4) Number of happy call (C1-5) Job related accidents (medication error, falling down & slipping down, needle stick injury) (C2-1) Hospital infection rate (C2-2) Relevant departments satisfaction with nurse service (C3-1) Nurse image score (C3-2) Professional program attainment -degree, professional and specialist program, continuing education and others (humanity, attitude and work), English (D1-1) Outstanding employee retention rate (D1-2) Number of instituted educational program (D1-3) Performance evaluation results (test about medication, nursing and others) (D1-4) Nurses satisfaction (organization and task) (D2-1) Job exit rate (D2-2) Number of consultation about staff grievance (D2-3) Research activity rate (D3-1) Number of idea suggested and adoption rate (D4-1) Rate of planing and implementation rate of event and participating rate (D5-1) Number of volunteer service activity and participating rate (D6-1) Rate of planning and implementation rate of other event and participating rate (D7-1) Financial Customer Internal process Learning and growth Community service Treatment prescription omission decrease rate Educational program revenue (continuing education, delegated education and patient education-dm, dialysis, heart disease, hypertension) Equipment management and maintenance Optimal stock level Customer satisfaction Number of complaint and grievance and number of solved case Number of praise on nurses Nurse image score Relevant departments satisfaction with nurse service Number of happy call Direct nursing time Compliance rate of nursing record standardization Bedsore occurrence rate Computer program development rate Job exit rate Job related accidents (medication error, falling down & slipping down, needle stick injury) Hospital infection rate Manpower utilization ratio Professional program attainment -degree, professional and specialist program, continuing education and others (humanity, attitude and work), English Outstanding employee retention rate Number of instituted educational program Performance evaluation results (test about medication, nursing and others) Nurses satisfaction (organization and task) Number of consultation about staff grievance Research activity rate Number of idea suggested and adoption rate Rate of planing and implementation rate of event and participating rate Number of volunteer service activity and participating rate Rate of planning and implementation rate of other event and participating rate BSC=balanced scorecard. 다. 제4요인으로는학습과성장의 3가지지표가묶이였다. 항목의요인적재량은.823-.857의범위이었다. 마지막으로제5요인으로는재무관점의지표가묶였다. 항목의요인적재량은.633-.779의범위이었다 (Table 3). 요인분석결과관점별지표가예비균형성과표의관점과다르게묶인것은관점과지표의관계에서해석상문제가없는것으로판단되어요인분석결과를그대로수용하였으나내부업무프로세스관점에서전산프로그램개발정도는요인값이제1요인에서.428, 제3요인에서.434로두값에큰차이가없으며, 제3요인보다는이론적으로볼때제1 요인에포함되어야할항목으로판단되어삭제하지않고, 제1요인에편입하도록하였다. 최종확정된영역별지표는 Table 4와같다. (3) 요인의독립성과신뢰성요인은상호독립적이어야만요인으로써의미가있다. 서로상관관계가크다면통합되어야한다. 요인간의독립성을파악하기위해 5개요인간의상관관계를분석한결과모든상관계수 r이 -.14~.03이었다. 일반적으로요인간상관계수는.50 이하를이상적으로보기때문에본연구결과분석된 5개요인은상호독립적이다.
대학병원간호조직균형성과지표의적합성검증 51 Table 5. Model Fitness Test Results Model 2 (p) GFI AGFI RMSR NFI CFI Financial 45.667 (p<.001).915.576.061.854.857 Customer 60.847 (p<.001).916.804.038.859.875 Internal 76.738 (p<.001).924.863.032.922.940 process Learning 152.413 (p<.001).856.741.043.847.863 and growth Community - 1.000 not* <.001 1.000 1.000 service available Criteria of (p>.05) 0.9 0.9 0.05 0.9 0.9 optimal model Ho: the model fits the data perfectly. *not available means the saturated state. 2) 확인적요인분석탐색적요인분석의결과를토대로구조방정식을이용하여확인적요인분석을실시하였다. 일반적으로확인적요인분석시추정된모형의적합성을평가하기위하여주로 Chi-square 값과 p값, 기초적합지수 (GFI), 조정적합지수 (AGFI), 원소간평균차이 (RMSR), 표준적합지수 (NFI) 를사용한다. Chi-square 값은적을수록바람직하나표본의크기와관련이깊으며표본이커질수록값은커진다. Chi-square에대한 p값은.05 이상, GFI, AGFI, NFI, CFI는.9 이상이면적합하며, RMSR은.05 이하이면적합하다는 Hair, Tatham, Anderson과 Black (1998) 의기준을이용하여판단하였다. 본연구에서표준화계수값은유의수준.05에서모두유의하게나타났고, 따라서이도구를구성하고있는각각의항목이도구의구성항목으로써타당하다고사료된다. 또한개발된균형성과표의관점별적합지수값은 Table 5와같다. 그러므로이상의결과로본모델은전체적으로 GFI는좋은데 AGFI 등기타적합도가다소낮은것을알수있다. 즉, 최상의적합도는아니나비교적양호한적합성이있다고보여진다. 그러므로추후공분산연결이나문항재확인, 현모델의경로계수등을파악해본후수정지수등을이용한모형수정을고려함이바람직하다. 논 본연구는병원간호조직의성과관리를위해 Kaplan과 Norton (1992) 의균형성과표의관점을기반으로개발한간호조직균형성과표의적합성을확인하는데주목적을두었다. 요인분석을통해하나의새로운요인인대민봉사가추가되었다. 이는예비균형성과표에서학습과성장관점에포함시켰던지표들이요인분석결과를근거로두관점으로분리되었고, 본연구 의 대상간호조직은결과적으로예비균형성과표와지표의수는동일하나관점의수는하나증가한 5가지관점을갖게된것이다. 이것는 BSC는초기네가지관점으로개발되었으나이를실제적용하는과정에서기업이나병원의상황에따라추가적인관점을가질수있다는 Curtright, Stolp-Smith와 Edell (2000) 의제안에부합된다. 이제까지의연구를살펴보면 BSC를기초로개발된간호성과지표의적합성을체계적으로검토한연구를찾아볼수없었다. 따라서도구의적합성에대한검토없이병원정책을결정하는데사용된다면현실을왜곡되게반영할가능성이있다고사료된다. 그러므로다양한관점에서병원의목표와전략실행의평가를위해개발한균형성과표를대상병원에적용하기전에개발된도구가원하는바를바르게측정하고있는지를체계적으로분석하고대상병원에적용하는데문제점이없는지를확인하여야한다. 이논문은이런과정을합리적으로추구할수있는방법을제시하는데에그의의가있다. 1. 타당도검증총 29 개지표의타당도는병원전체간호사의설문지응답을요인분석에의해검증하였다. 이방법은기존의간호학분야의 BSC 관련연구들 (Kang & Kim, 2005; Kim, Y. S., 2006; Park, 2004; Yoo, 2001) 이 BSC 개발후그적합성의평가를내용타당도로확인하고있는점에서차이가있으며, 대상병원의비전과목표및전략달성에부합되는타당한지표인지에대해강조점을두어조사한연구이다. 또한 BSC의내용타당도를확인하는과정에서선행연구들은관리자와일반간호사집단의인식의차이가있다는 Cronin과 Becherer (1999) 의제안에근거하여각연구자의임의적인판단에따라지표를채택하였다. 그러나본연구에서는이를실제조사결과를바탕으로검정해본결과두집단간에모든관점에서인식의차이가있는것으로검증되어, Cronin과 Becherer (1999) 의보고결과를확인할수있었다. 그러므로병원에서개발팀이나위원회구성시일반적으로관리자로만위원회를구성하기가쉬운데현실적인 BSC를개발하기위해서는지표개발시부터관리자와일반간호사두집단의의견이모두잘반영되도록일반간호사의개발팀구성비율을확대하여개발팀을구성하고지표를개발하여야하며, 관리의부분에서는관리자의의견이중요하기때문에관리자의인식을분석하기에충분한관리자의표본수를확보하여야한다고사료된다. 그러나본연구에서는 1개대학병원의전체간호사를주대
52 홍윤미 황경자 김미자외 1 인 상으로했기때문에관리자의표본수가상대적으로적어관리자의의견을분석하지못한제한점이있다. 타당도검증을내용타당도로확인하는점에있어서간호학관련연구들은내용타당도의기준으로 Content Validity Index (CVI) 를이용하고있었고, 내용타당도를확인하기위한전문가집단의구성과인원도연구마다상이한범위를가지므로연구간차이의폭이컸다. 전문가에의한내용타당도채택의기준에대해서는 CVI를사용하여합의율 80% 를채택의기준으로삼는연구가주를이루었으나 (Kang & Kim, 2005; Kim, Y. S., 2006; Yoo, 2001), Park (2004) 은 75% 를채택의기준으로하였으며, Yoo (2001) 는전문가보다많은실무자를연구대상으로하여합의의어려움을예상해서합의율을 70% 까지조절하기도하였다. BSC를기초로학교급식평가지표를개발한 Kwak, Chang과 Song (2005) 의논문에서는전문가 70%, 실무자 60% 를지표채택의기준으로적용하고있으며, 수사경찰의성과지표를개발한 Lee (2005) 는 5점척도의항목간평균을구해합의율이 70% 인평균 3.5점이상을채택기준으로하였다. 전문가집단풀의구성과인원에대해서는실무자를포함하여전문가집단을구성하기도하였으며 (Kim, Lee, Kang, & Jang, 2005; Park, 2004; Yoo, 2001), 실무자구성비율에서도논문별차이가크고, 실무자내용타당도검사에서도실무자의구성인원에있어서논문별차이가현저하였다. 반면, 타분야의논문들은사용실무자에게도구의타당성을확인하고있었으며, 구성타당도분석을주로사용하였다 (Jang & Lee, 2006; Kim, H. J., 2006; Kim & Lee, 2005; Park & Bae, 2004; Shin & Huh, 2005; Yi & Jung, 2006). 따라서내용타당도의상이한기준율을근거로타당도를분석하는방식에서타당도분석이좀더체계적이고심층적일필요가있다고판단되며도구를만든후사용실무자의의견을수렴하여도구의타당도를체계적으로검사하는일련의분석과정을밟는것이보다정확한도구개발을위해바람직하다고보여진다. 즉, 탐색적및확인적타당도검증은관측된변수들에영향을미치고있는숨어있는공통인자를찾아내어변수들내에존재하는상호독립적인특성을발견하게해주며변수군에묶이지않은변수를제거함으로중요하지않은변수 ( 신뢰도가낮은변수 ) 를선별해낼수있게해주고, 몇개의공통된집단으로묶어주므로자료의복잡성을줄이고정보를요약할수있게하므로내용자체만을다루는내용타당도분석에비해주관적해석의오류를피할수있다. 또한본논문에서사용한 BSC 경우병원의사명과비전이반영된 BSC이므로실무자인간호사의의견이중요하다고판단되며, Niven (2002) 은성과평가지표는성과달성목표대비달성 된수준을평가하고의사소통을하는수단이며직원들이이해하고업무수행의도구로받아들여야만진정한의미를갖기때문에, 이것을경영도구로사용하도록요구하기전에 BSC에대한직원의의견을종합적이고체계적으로청취하는것이바람직하다고하였다. 그러므로본연구에서는지표의적합성의체계적분석을위해탐색적, 확인적타당도분석을실시하였다. 탐색적구성타당도분석을위해주성분분석을이용한요인분석을실시하였는데, BSC 요인분석결과 BSC는 5개요인이적합한것으로나타났으며 5개의요인은 BSC 전체분산의 62.7% 를설명하였다. 분석전예비균형성과표가 4개요인으로묶일것으로기대하였으나 5개의요인으로나뉘어졌다. 이를살펴보면학습과성장의각종행사와봉사활동등이성격이다른또하나의요인으로묶였는데이지표들은간호성과지표에관한기존의연구들에서는찾아볼수없는지표들로최초지표개발시연구대상병원의사명을기초로특별히개발되고채택된지표들이었고, 연구대상병원의설립목적과관련하여개발팀이특별히추가한지표들임을확인할수있었다. 따라서요인분석결과에서보여주듯이학습과성장의다른지표들과성격이다르므로이를분리시켜 대민봉사 라고명명하여새로운관점하나를추가하였다. 본연구에서첫번째로추출된요인은내부업무프로세스관점으로전체분산의 39.6% 를설명한다. 다음요인은학습과성장관점, 다음이고객만족관점, 대민봉사관점, 재무관점의순이다. 그러므로첫번째요인인내부업무프로세스가 BSC에가장중요한요인이라고간주할수있다. 이는기업관리자들의관심이주로재무관점에있는것과대조적이며, 재무관점이가장낮은설명력을갖는것은일반간호사들의재무관점에관한관심이나이해가관리자집단과다르기때문으로사료된다. 요인분석결과재무관점의인력활용률은내부업무프로세스관점으로, 내부업무프로세스의간호사의이미지점수와관계부서의간호서비스만족도, 해피콜이행건수및이행률이고객관점에합류되는것이타당하다고생각된다. 이는위원회회의시에도수차례논의한바를재확인시켜주었다. 본연구에서는고객의정의를외부고객으로규정하고 Kim 등 (2005) 의연구에서처럼내부업무프로세스관점으로구분하였으나요인분석결과에서지적한것처럼내부업무프로세스에포함되는것이타당하다고합의하였다. 이는 Kang과 Kim (2005) 의연구결과와동일한결과이다. 그러므로관점별수정지표구성시내부고객만족은고객관점에포함되는것이적절하다고판단된다. 또한간호사이직률은학습과성장에서내부업무프로세스로편입되는것이적절하다. 내부업무프로세스관
대학병원간호조직균형성과지표의적합성검증 53 점에서는분석전지표이외의다른관점으로부터추가된지표는없었기때문에원래의구분이적절하다고판단된다. 학습과성장관점은대민봉사관점의생성과함께행사관련지표들은연구대상병원의설립목적과정신을반영한지표들로대민봉사관점으로분류되었다. 전산프로그램개발정도는내부업무프로세스와고객만족의두개의요인에비슷한값을가지므로삭제를고려할수도있었으나삭제시정보의손실이발생하며, 전산화정도는내부업무프로세스에서중요한직접적인영향을미치는부분이고통계적수치와함께이론적이며논리적해석도중요하므로이를내부업무프로세스에편입하기로결정하였다. 마지막으로위의탐색적요인분석결과를토대로확인적요인분석을하기위해구조방정식을이용한단일차원요인분석을실시하였다. 확인적요인분석의결과에따라종전의 4개요인으로디자인된것을탐색적요인분석결과에서보여진것처럼 5개요인으로이루어진다는것을다시한번통계적으로확인하였다. 확인적요인분석의모델적합도판단기준에의하면대민봉사와내부업무프로세스는모든기준에부합되나, 재무관점, 고객관점, 학습과성장관점의적합도는최상의적합도는아니나양호한상태의적합도를나타내고있음을확인할수있었다. 3개의지표를적재한대민봉사관점은포화모형으로통계적유의성검증을위한조정적합지수값이제시되지않았다. 이러한분석결과를종합해볼때수정된지표는연구대상병원의간호성과평가지표로사용하기에적절한구성타당도가있는지표로판단되었다. 또한 5개요인을기반으로한도구는통계적으로타당하다고받아들여져이를도구로사용할수있다. 2. 신뢰도검증개발된지표의신뢰도를확인한바에의하면, 결과에서제시한것처럼높은신뢰도를나타냈다. 특히, 전체간호사들을대상으로한신뢰도검증에서내부업무프로세스관점과학습과성장관점의신뢰도가더높았다. 두관점의신뢰도가더높은이유는두개념에대한간호사들의이해가높기때문인것으로추정된다. 상대적으로재무와고객관점의개념에대한신뢰도가낮은이유는이에대한간호사들의이해가부족하거나, 필요성을적게느끼기때문일것이다. Jang과 Lee (2006), Shin과 Huh (2005), Kim과 Lee (2005), 그리고 Park과 Bae (2004) 의연구에서는고객관점의신뢰도가가장높음을알수있었다. 이는많은변화가병원환경에있었음에도불구하고기업에비해여전히고객에대한간호사들의인식이낮음을반영하고있다고볼수있음으로낮은인식에서비롯되는발생가능한문제들의예방과의료 서비스의질적향상을위하여간호사를대상으로재무와고객에대한계속교육의필요성을시사하고있다. 이연구는 1개대학병원을연구대상으로했기때문에관리자의표본수가상대적으로적어관리자의의견을분석하지못한제한점이있다. 관리자와일반간호사집단간인식의차이가있다는근거를본연구에서도확인했기때문에향후에는관리자의의견을구체적으로반영한간호조직성과평가지표의적합성검정이필요할것이다. 결론및제언본연구는 Kaplan과 Norton의균형성과표를근거로 1개대학병원의간호성과평가지표를개발하고이지표의신뢰도와타당도를평가하고자한연구이다. BSC를기초로개발된간호조직균형성과표의적합성확인을위해해당병원간호사전체를대상으로설문조사를하였고, 이결과를이용하여간호조직균형성과표가병원과간호조직의목표와전략실행에부합되게개발되었는지를분석하였다. 최종확정된지표는 29개이며, 모든관점에서관리자집단과일반간호사집단간인식의차이가있음이증명되었다. BSC는재무관점 (4지표), 고객관점 (6지표), 내부업무프로세스관점 (8지표), 학습과성장관점 (8지표), 대민봉사관점 (3 지표 ) 의 5개요인으로범주화하였다. 모형적합도는최적의모형은아니지만적합한모형으로확인되었다. 개발된전체도구는신뢰도가높아결과적으로대상병원에적용하기에적합한간호조직성과평가지표로판단할수있었다. 본연구의결과와논의를토대로다음과같은제언을할수있을것이다. 첫째, 관리자와일반간호사의인식이크게다르므로성과지표개발추진팀이나위원회구성시일반적으로관리자로만위원회를구성하기가쉬운데현실적인 BSC를개발하기위해서는지표개발시부터일반간호사와관리자두집단의의견이모두잘반영되도록일반간호사의위원회구성비율을확대하는것이필요하다. 둘째, 재무와고객관점의개념에대한신뢰도가더낮은이유는이에대한간호사들의이해가부족하거나필요성을적게느끼기때문일것으로판단된다. 따라서간호사를대상으로재무와고객에대한인식을향상시킬수있는계속교육이필요하다. 셋째, BSC는각병원의비전과사명을기초로추출되나, Kim 등 (2005) 의연구에서처럼병원간호조직에보편적으로적용될수있는성과평가도구를만드는것도비용절감과벤치마킹의의의가있으므로 1개병원에국한하지않고동급의병원집단
54 홍윤미 황경자 김미자외 1 인 을모집단으로관리자와일반간호사의풀을형성한후에 BSC 를만들고두집단에대해개발된지표의신뢰도와타당도를평가할필요가있다. 마지막으로관점간인과관계와관점별가중치설정에대한추후연구가필요하다. REFERENCES Chow, C. W., Ganulin, D., Teknika, O., Haddad, K., & Williamson, J. (1998). The balanced scorecard: a potent tool for energizing and focusing healthcare organization management. J Healthc Manag, 43, 263-280. Cronin, S. N., & Becherer, D. (1999). Recognition of staff nurse job performance and achievements: staff and manager perceptions. J Nurs Adm, 29(1), 26-31. Curtright, J. W., Stolp-Smith, S. C., & Edell, E. S. (2000). Strategic performance management: development of a performance measurement system at the Mayo Clinic. J Health Manag, 45(1), 58-68. Ha, C. H. (2001). Balanced performance measurement system for strategic learning. Unpublished master s thesis, Sogang University, Seoul. Hair, J. F., Tatham, R. L., Anderson, R. E., & Black, W. (1998). Multivariate data analysis (5th ed). New Jersey: Prentice Hall Inc. Jang, H. W., & Lee, S. S. (2006). A study on the effects of critical success factors to the management performance. DAEHAN J Business, 19, 2561-2584. Kang, K. H., & Kim, I. S. (2005). Development of performance measure indicators in hospital nursing units. J Korean Acad Nurs, 35, 451-460. Kaplan, R. S., & Norton, D. P., (1992). The balanced scorecard-measures that drive performance. Harv Bus Rev, 70(1), 71-79. Kim, H. J. (2006). A study on indicator development to evaluate hospital information system-based on balanced scorecard method. Unpublished master s thesis, Yonsei University, Seoul. Kim, I. S., Lee, H. J., Kang, K. H., & Jang, S. J. (2005). A survey for performance measurement indicators of nursing organizations in hospitals. J Korean Acad Nurs Admin, 11, 385-399. Kim, J. H. (1999). The reliability and validity test of psychosocial well-being index (PWI). J Korean Acad Nurs, 29, 304-313. Kim, W. P. (2005). Lectures on statistical analysis by SPSS-basic course. Seoul: Research Institute for Society and Statistics. Kim, Y. K., & Lee, S. B. (2005). A study on the performance measurement of PBLIS using BSC. J Korean Society Cadastre, 21, 17-32 Kim, Y. S. (2006). Development of performance measurement indicators for nursing on delivery units. Unpublished master s thesis, Yonsei University, Seoul. Kwak, T., Chang, H., & Song, J. (2005). Development of performance indicators based on balanced scorecard for school food service facilities. Korean J Community Nutrition, 10, 905-919. Lee, Y. U. (2005). Using the balanced scorecard in a department of police investigation. Unpublished master s thesis, Hankuk University of Foreign Studies, Seoul. Lee, Y. Y., Lim, N. Y., & Park, H. A. (1998). Nursing and medical research, and statistics. Seoul: Somoon Publishing Company. Nam, M. S., Park, J. S., & Rhu, R. D. (1999). The system of performance evaluation for the realization of knowledge management, team play and annual salary system. Seoul: Korea Publication Society for the Press Data. Niven, P. R. (2002). Balanced scorecard-step by step: maximizing performance and maintaining results. New York: John Wiley & Sons, Inc. Park, G. S., & Bae, B. H. (2004). A study on the interactions of between team task-characteristics and diversity performance measures, team-based compensation on the team performance. J Bus Res, 19, 115-142. Park, S. H. (2004). Development of criteria of performance evaluation for hematopoietic stem cell transplantation nursing unit. Unpublished master s thesis, Seoul National University, Seoul. Shin, S. S., & Huh, D. W. (2005). A study on the measuring CRM system performance using Balanced Scorecard. Korean J Accounting Research, 10(1), 25-50. Streiner, L. D., & Norman, R. G. (2003). Health measurement scales a practical guide to their development and use (3rd ed.). New York: Oxford University Press Inc. Sung, T. J. (1995). The validity and reliability test. Seoul: Yangsewon. Waltz, C. F., & Bausell, R. B. (1981). Nursing research design statistics and computer analysis. Philadelphia: F. A. Davis company. Yi, S. W., & Jung, Y. D. (2006). A Study on the Non-financial Drivers Influencing the Performance of Small and Medium Firms in Automobile Parts Industry. Paper presented at the meeting of the DAE- HAN Association of Business Administration, Seoul, Korea. Yoo J. I. (2001). Development of a Performance measurement system for the perioperative nursing unit using the balanced scorecard. Unpublished master s thesis, Yonsei University, Seoul.