<31392D342D303320B1E8C1BEB1E220C0FCC1F8C8AF2E687770>

Transcription

1 Asia Pacific Journal of Information Systems Vol. 19, No. 4, December ) A Meta Analysis of Using Structural Equation Model on the Korean MIS Research Jongki Kim*, Jinhwan Jeon** Recently, researches on Management Information Systems (MIS) have laid out theoretical foundation and academic paradigms by introducing diverse theories, themes, and methodologies. Especially, academic paradigms of MIS encourage a user-friendly approach by developing the technologies from the users perspectives, which reflects the existence of strong causal relationships between information systems and user's behavior. As in other areas in social science the use of structural equation modeling (SEM) has rapidly increased in recent years especially in the MIS area. The SEM technique is important because it provides powerful ways to address key IS research problems. It also has a unique ability to simultaneously examine a series of casual relationships while analyzing multiple independent and dependent variables all at the same time. In spite of providing many benefits to the MIS researchers, there are some potential pitfalls with the analytical technique. The research objective of this study is to provide some guidelines for an appropriate use of SEM based on the assessment of current practice of using SEM in the MIS research. This study focuses on several statistical issues related to the use of SEM in the MIS research. Selected articles are assessed in three parts through the meta analysis. The first part is related to the initial specification of theoretical model of interest. The second is about data screening prior to model estimation and testing. And the last part concerns estimation and testing of theoretical models based on empirical data. This study reviewed the use of SEM in 164 empirical research articles published in four major MIS journals in Korea (APJIS, ISR, JIS and JITAM) from 1991 to APJIS, ISR, JIS and JITAM accounted for 73, 17, 58, and 16 of the total number of applications, respectively. The number of published applications has been increased over time. LISREL was the most frequently used SEM software among MIS researchers (97 studies (59.15%)), followed by AMOS (45 studies (27.44%)). In the first part, regarding issues related to the initial specification of theoretical model of interest, all of the studies have used cross-sectional data. The studies that use cross-sectional data may be able to better explain their structural model as a set of relationships. Most of SEM studies, meanwhile, have employed. * Associate Professor, Division of Management, College of Business, Pusan National University ** Post Doc. Institute of Management and Economics, Pusan National University

2 confirmatory-type analysis (146 articles (89%)). For the model specification issue about model formulation, 159 (96.9%) of the studies were the full structural equation model. For only 5 researches, SEM was used for the measurement model with a set of observed variables. The average sample size for all models was , with some models retaining a sample as small as 50 and as large as 500. The second part of the issue is related to data screening prior to model estimation and testing. Data screening is important for researchers particularly in defining how they deal with missing values. Overall, discussion of data screening was reported in 118 (71.95%) of the studies while there was no study discussing evidence of multivariate normality for the models. On the third part, issues related to the estimation and testing of theoretical models on empirical data, assessing model fit is one of most important issues because it provides adequate statistical power for research models. There were multiple fit indices used in the SEM applications. The test was reported in the most of studies (146 (89%)), whereas normed- test was reported less frequently (65 studies (39.64%)). It is important that normed- of 3 or lower is required for adequate model fit. The most popular model fit indices were GFI (109 (66.46%)), AGFI (84 (51.22%)), NFI (44 (47.56%)), RMR (42 (25.61%)), CFI (59 (35.98%)), RMSEA (62 (37.80)), and NNFI (48 (29.27%)). Regarding the test of construct validity, convergent validity has been examined in 109 studies (66.46%) and discriminant validity in 98 (59.76%). 81 studies (49.39%) have reported the average variance extracted (AVE). However, there was little discussion of direct (47 (28.66%)), indirect, and total effect in the SEM models. Based on these findings, we suggest general guidelines for the use of SEM and propose some recommendations on concerning issues of latent variables models, raw data, sample size, data screening, reporting parameter estimated, model fit statistics, multivariate normality, confirmatory factor analysis, reliabilities and the decomposition of effects. Keywords : Management Information Systems, Structural Equation Model, Meta Analysis 국내 MIS 연구에서구조방정식모형활용에관한메타분석 김종기, 전진환 Ⅰ. 서론 경영정보학 (MIS) 분야의정통성은학문의태동기에서부터논란이되어왔으나 [Dearden, 1972; Emery and Sprague, 1972; Banvile and Landry, 1989] 현재의다양한연구주제, 여러분야로부터축적된이론적영역, 연구방법의정교화를통해정보시스템에대한기초지식의확대, 창조성촉 진및성숙된이론적기반과학문적패러다임을구축해왔다 [Benbasat and Weber, 1996; Robey, 1996]. 여기에기존 MIS 분야가지향한의사결정지원과정보시스템과하위시스템과통합등기술적견지의연구핵심에서정보시스템과사용자사이의인과관계와인지적측면을설명하고자노력함은최근 MIS 분야의학문적위상이달라지고있음을방증하고있다 [Swanson and Ramil- 48 Asia Pacific Journal of Information Systems Vol. 19, No. 4

3 ler, 1993; Lee et al., 1997]. 근래의통계적실증분석을활용한다수의연구들이 MIS 논문지에게재되는것은연구문제에대한연구가설및모형의검정절차를거쳐하나의이론으로써확립되기때문에학문의전개단계에서나타나는일반적현상이다 [Baroudi and Orlikowski, 1989; Kang, 1997]. 하지만, 실증연구에서통계적검정력은이를적용한대부분의연구에있어매번주요이슈에해당한다. 이는낮은통계적검정력을가진연구가분석에필요한자료수집과분석에많은노력과시간을투자했음에도불구하고유의미한결론에이르지못하는결과를초래하기때문이다 [Baroudi and Orlikowski. 1989]. 더욱이 MIS 분야의논문은다른축적된학문에비해연구수행절차의허술함과다양하지못한연구모형, 표현의정확도가떨어진다는지적을꾸준히받아왔고, 또한낮은통계적검정력, 부적절한연구설계및방법론의선택, 측정도구의적절치못한타당성에대해지속적으로문제시되어왔다 [Straub, 1989; Kang, 1997; Lee et al., 1997; Gefen et al., 2000; Kim et al., 2001; Kang et al., 2006]. 최근몇년간 MIS를포함한사회과학분야에서실증분석을위해구조방정식모형 (structural equation modeling: SEM) 을활용한연구가증가추세에있다 [Chin, 1998; Chin and Todd, 1999; Gefen et al., 2000]. 이는 SEM이인지행동과학및사회과학에서변수들의관계를설명하기위해잠재변수들간경로분석 (path analysis) 을수행하는통계적방법론으로주성분분석, 요인분석, 판별분석, 다중회귀분석등으로대표되는 1세대통계기법들보다이론과데이터간관계를잘설명하는것으로알려져있기때문이다 [Chin, 1998]. 특히, 독립변수와종속변수의관계를설명하거나잠재변수의설정, 측정변수를통한측정에서오류를설명하는데상당한유연성을가지고있기에향후 MIS 연구에서 SEM 활용은계속될것으로예상된다 [Chin and Todd, 1999; Gefen et al., 2000]. 반면, SEM이제공하는여러강력한이점들에도불구하고연구자들에게절차상다수의제약과가정에대한많은지식들이요구되고, 이러한조건들이잘충족될때분석의최적효과를거두어들일수있기에적용상주의가반드시요구된다. 이를위해이미 MIS 및사회과학분야에서 SEM 적용시수용되어야할여러통계적기준과가이드라인들 [Bagozzi and Yi, 1988; Bollen, 1989; Jöreskog and Sörbom, 1996; Chin, 1998; Hu and Bentler, 1999; Gefen et al., 2000] 이제시되어있으나연구자들이이를간과함에따라연구절차와분석결과에대한신뢰성과타당성에의문이제기되고있다. 더욱이익숙지않은연구자에게위험할수있는여러함정들이 SEM 활용상에존재하므로연구가설및모형검정을위한많은주의가필요하다 [Baumgartner and Homburg, 1996]. MIS 분야가하나의완전히독립된학문과깊이를가지기위해통계적방법을거치지않을수없고, 통계기법의적절성을확인하기위해 SEM 활용상의오류를지적함으로써연구자들에게올바른연구방법론의사용과연구의신뢰성및타당성을확보하는것이중요하다. 이에따라본연구에서는국내 MIS 연구에서 SEM을활용한많은개별연구들을하나로종합하여계량적으로평가할수있는메타연구 (meta analysis) 를수행함으로써기존연구에서 SEM 적용상문제점과향후 SEM을이용한실증연구가올바르게이루어질수있도록개선방안및가이드라인을제공하고자하는것이연구의목적이다. 본연구에서는다음과같이연구내용을구성하였다. 먼저, 제 Ⅱ장에서는구조방정식모형에대한이론적고찰및기존메타분석연구들을다루었으며, 제 Ⅲ장에서는 SEM 연구의절차와 SEM 적용연구의메타분석을위한평가항목의개발에대한내용을서술하였다. 제 Ⅳ장에서는선정된저널을대상으로평가항목에따른메타분석을수행한내용을서술하였다. 마지막으로제 Ⅴ장에서는분석결과에따른결론과향후 SEM 연구 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 49

4 를위한시사점을서술하였다. Ⅱ. 본론 2.1 구조방정식모형 SEM은연구모형에포함된측정변수의측정오차를고려하며, 구성개념에포함된직 간접효과및총효과를파악할수있도록한다. 또한변수들의관계를포괄적으로측정및평가할수있어탐색및확인적요인분석이가능하며, 일련의사회현상에대한설명, 예측및통제에필요한정보를제공한다. SEM은연구모형의이론적개념과개념간복잡한관련성에대해측정과예측이동시에가능하기때문에교육학, 심리학, 사회심리학, 경영학, 경제학등광범위한영역에서비실험자료들을활용한다변량데이터의인과관계를추정하는데주로활용된다 [Lee, 1990; Bagozzi and Fornell, 1982; McDonald and Ho, 2002; Shah et al., 2006]. SEM이널리활용되기이전에인과관계에대한가설적관계는회귀분석을통해설명되었다. 회귀분석은하나의방정식으로독립변수들과종속변수간인과적관계가설정되고, 경로분석을통한통계적검증을이용하여여러변수들간인과관계를논리적으로설명할수있다 [Bohnstedt and Knoke, 1994]. SEM에의한복잡한경로분석방식은이미밝혀진이론적배경및실증분석을통해입증된가설에대해인과관계를나타내는경로모형을설정한후회귀분석을여러번수행하여변수들간인과관계를구체적으로밝히기위한다중회귀분석의확장기법에해당된다. 특히, 다수의변수들로구성된연구모형에서조절효과와매개효과를분석하는데회귀분석은효과적이다 [Baron and Kenny, 1986; MacKinnon, 2000]. 반면, 잠재변수가가진경로가이단계이상이거나이론적으로연구모형이복잡해질경우 SEM 과같이경로의유의성에대해평가가어렵고, 요 인분석과함께가설적관계를동시에포괄적으로측정하기가어렵다는한계를지니고있다 [Bollen, 1989; Gefen et al., 2000]. SEM은적용기법에따라공분산기반 (covariance-based) 과컴포넌트기반 (component-based) SEM으로구분한다 [Gefen et al., 2000]. 먼저, 공분산기반 SEM[Jöreskog and Sörbom, 1996; Gefen et al., 2000] 은공분산행렬을토대로최우도 (maximum likelihood: ML) 법을활용하며, 측정변수들간공분산을추정함으로써연구자가설정한연구모형을설명하는정도를평가한다 [Breckler, 1990]. 그리고컴포넌트기반 SEM은부분최소자승법 (partial least squares: PLS) 을이용한예측오차를최소화시켜연구모형을평가한다 [Chin, 1998]. 이두기법사이에는분명한차이가있는데, 먼저공분산기반 SEM은측정변수 ( 지표 : indicator) 간예측오차가아니라실증적공분산 (empirical covariance) 과이론기반의구축된가설적공분산 (hypothetical covariance) 사이의적합을그목적으로한다. 따라서경로계수 (path coefficient) 들은측정변수들사이의예측력을극대화하는데있지않다. 반면 PLS는공분산을이용하는것이아니라측정오차와잠재변수들간예측오차를최소화시켜경로계수의예측력을극대화하도록추정한다 [Fornell and Cha, 1994]. 이에따라 PLS는측정모형과구조모형을동시에측정할수있는비교적초기단계의이론검증에유용하며 [Fornell and Bookstein, 1982], LISREL, AMOS, EQS와같이공분산기반 SEM에비해표본크기와분산에관한제약이적다 [Chin and Newsted, 1999]. 또한, PLS 추정기법이공분산기반 SEM과유사하지만공분산을추정에활용하지않고, 연구모형에대한추정결과가공분산기반 SEM과완전히다르기때문에 [McDonald, 1996; Petter et al., 2007] 본연구에서는분석상의혼동을막기위해 PLS 를적용한실증연구는제외한공분산기반 SEM 으로한정지어메타분석을실시하였다. 50 Asia Pacific Journal of Information Systems Vol. 19, No. 4

5 SEM을통해연구자는잠재변수 (latent variables) 와측정변수 (measurement variables) 두가지로구성된연구모형을통해변수들간선형관계를추정하게된다. SEM의연구모형은측정변수와직접측정되지않는잠재변수사이에가설화된직접또는비직접적인관계를통해설정된다. 이때직접적관계 (directional relationship) 는하나의변수가다른변수에직접적인영향을미치는것을의미하며, 비직접적인관계 (non-directional relationship) 는상관관계를포함하고있지만직접적인영향을미치지는않는간접적인관계를의미한다. 일반적인 SEM의형태는이두관계를모두포함하며, 연구모형은측정변수들의분산이나공분산의분석을통해잠재변수들의관계를설명한다. SEM은다음의세가지기본적인방정식을통해설명이가능하다 [Bollen, 1989]. (1) (2) (3) (1) 외생변수측정모형방정식 (2) 내생변수측정모형방정식 (3) 구조모형방정식식 (1) 은외생변수 (exogenous latent variables) 가직접적으로측정변수 ( ) 에영향을미치는관계를의미하며, 식 (2) 는내생변수 (endogenous latent variables) 가측정변수 ( ) 에영향을미치는관계를의미한다. 식 (1) 과식 (2) 는요인분석을통해측정변수와측정되지않는잠재변수사이를연결하며, 이를 SEM에서측정모형 (measurement model) 이라부른다. 식 (3) 은외생변수와다른내생변수및잔차를더한선형함수의내생변수를의미하며, 하나의이론에서잠재변수들간가설화된관계를설명한다. 특히, 식 (3) 에서 SEM을통해잠재변수들사이를인과관계를설명하게되 므로구조모형 (structural model) 이라부른다. 2.2 기존연구에서 SEM 적용에관한메타분석 기존연구에서 SEM 적용과관련한통계적인쟁점을다룬메타분석은본연구에서요약해놓은 < 부록 1> 과같이마케팅, 심리학, 언론정보학, 전략경영등다양한분야에서수행되었다. 그러나이들연구이외에는 SEM을활용한개별연구들을메타분석한연구는극히희소한것으로확인되었다. 먼저, Baumgartner and Homburg[1996] 는 1977 년에서 1994년까지 4개의마케팅관련저널로부터 SEM을활용한총 149편의논문을모형개발, 자료점검, 추정및점검의세분야에걸쳐메타분석을실시하였다. 이를통해연구의질적인측면에서 SEM 활용상통계적가설의일치여부, 가이드라인을충실하게따르는정도등통계적쟁점들에대한논의와향후 SEM 적용연구를위한개선점들을논의하였다. MacCallum and Austin [2000] 은 1993년부터 1997년까지 16개의심리학저널들에서 500편의 SEM 적용연구를분석하였다. 이연구를통해 SEM 적용논문들의모형설계, 데이터분석, 해석및표현등과관련한쟁점들에대해분석하고, 활용시주의사항에대해설명하였다. Holbert and Stephenson[2002] 은 1995 년부터 2000년도사이 37개의언론정보학저널을수집하여 59편의 SEM 적용논문에대해연구모형의설계, 추정및평가에대해분석하였고, 이들쟁점들에대한최신경향을논의하였다. Shook et al.[2004] 은 1984년에서 2002까지 9개의전략경영관련저널에서 92편의 SEM 적용논문에대해입력데이터의특성, 신뢰성과타당성, 적합도평가, 반복가능성등을평가함으로써향후올바른 SEM 활용을위한더나은전개방식을제안하였다. Shah and Goldstein[2006] 은 1984년에서 2003 년까지생산운영관리관련 4개의저널에서 93편 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 51

6 의 SEM 적용논문에대해 SEM 분석전쟁점, 데이터분석시쟁점, SEM 분석후쟁점의세부분으로나누어평가하고, 개별쟁점들에대한권고사항을상세히언급하였다. 국내에서도 SEM 적용연구들에대한메타분석이수행되었음을확인할수있었다. 먼저, Park [2005] 은 1995년부터 2004년사이국내관광학연구에게재된 64편의 SEM 적용연구들을분석하였으며, 이를통해분석대상논문들의일반적특성과확인적요인분석 (CFA), 측정모형의평가, 구조모형과수정모형에대한평가, SEM 사용목적, 연구모형의적합도검증절차등을평가하였다. 평가결과에따르면 CFA 및측정모형평가에있어서분석된자료를제시한것은오직 8편 (12.5%) 뿐이었으며, 구조모형에서적합도를평가할수있는기준을제시한논문은 4편 (6.25%) 인것으로나타나평가기준부재의심각성을지적하였다. 이에따라국내관광경영학연구분야에서는 SEM의적용이우선시될것이아니라모형추정에서평가기준정립이우선시되어야함을주장하였다. 또한, Kim et al.[2007] 은 1993년에서 2006년까지국내경영학연구에게재된 97편의 SEM 적용논문의분석을통해 SEM 관련연구의증가에따른방법론적차원에서모형개발, 추정및평가의세가지쟁점들에대해평가하고, 추후 SEM 적용시논의되어야할모형식별, 타당성검증, 추정기법등에대한다수의개선사항들을언급하고있다. Ⅲ. SEM 적용연구의평가항목 3.1 SEM 연구의절차 SEM은확인적요인분석, 다중회귀분석및경로분석이결합된기법으로다수의종속변수와독립변수사이의관계를동시에검정할수있는장점을가지고있다 [Shook et al., 2004]. SEM의목적은연구모형의평가를위해수집된데이터의 상관관계나공분산행렬이연구모형에서설정된인과구조를어느정도잘설명하고있느냐를평가하는데있다 [Breckler, 1990]. SEM을적용한실증연구의대부분은 Bollen and Long[1993] 이제안한모형설정, 식별, 추정, 적합도평가, 모형재설정의다섯단계를따르고있다. 먼저, 모형설정 (model specification) 에서연구주제와관련한잠재변수사이의가설화된관계를도식화함으로써연구모형을구축하는단계이며, 이때측정모형과구조모형두부분으로나누어구성하게된다. 측정모형은얼마나많은측정변수들이잠재변수에사용되며, 잠재변수들사이에관련성을포함하느냐의정도에관심을가지며, 구조모형에서는연구자가관심을가지는이론과연구가설들의인과관계가내생변수와외생변수사이의경로로구체적으로설정되어지느냐에관심을가진다 [Anderson and Gerbing, 1984; Bollen and Long, 1993]. 두번째, 식별 (identification) 단계는연구모형에대한모수추정치가고유값을가짐으로써과소식별, 적정식별또는과대식별되느냐를판단하는단계이다 [MacCallum et al., 1996; Shah et al., 2006]. 대체로모형식별에서는공분산행렬의수가자유모수보다커서양 (positive) 이되는과대식별모형을선호하는데, 이는연구모형을잘적합시키는다수의해가운데최적해를연구자가선택할수있기때문이다 [Kelloway, 1998]. 세번째, 연구모형에대한추정 (estimation) 은연구모형이가지는모수추정을위해검정통계량을확보하는단계로연구모형에대한다변량정규성 (multivariate normality) 을반드시가정하며, ML 또는일반화최소자승 (generalized least square: GLS) 등을통해추정한다 [Browne, 1984; Hoyle and Panter, 1995]. 그러나데이터가다변량정규성을따르지않는다면가중최소자승 (weighted least square : WLS), 점근적자유분포 (asymptotically distribution free: ADF) 등과같은기법들의적용도가능하다. 특히, 이단계에서투입되는 52 Asia Pacific Journal of Information Systems Vol. 19, No. 4

7 원자료가공분산행렬인지상관관계행렬인지에대해결정하게된다 [Cudeck, 1989]. 네번째, 적합도평가 (testing fit) 단계에서는연구모형이실제원자료에어느정도잘부합하는지에대해평가하는단계이다. 적합도검증은연구모형을수용하느냐수용하지않느냐에대한핵심문제이며, 이를위해절대부합지수, 증분부합지수, 간명부합지수등을통한모형평가, 구성개념타당성, 신뢰성등의평가기준들을전반적으로고려하게된다. 다섯번째, 모형재설정 (respecification) 은모형을개선하기위해측정모형의개선이나유의하지않은경로제거등을통해모형의간명성및적합도를향상시키는데있다. 이를위해효과분해 (effect decomposition), 교차타당성 (cross-validation) 을통한연구가설의타당성이검증되어야하고, 이론적배경을기반으로수행되어야한다. 만약, 표본크기작거나충분한이론적배경이없다면올바른재설정으로보기어렵다 [Bollen and Long, 1993; Bae, 2005]. 이와같이 SEM 적용단계는이론적으로다섯과정을거치지만, SEM에적용된통계적쟁점에중점을두어세분화한다면연구모형설정에서부터데이터의점검과통계적추정및검정까지크게세가지영역으로요약된다. 본연구에서는이세영역에대해 < 부록 1> 에제시한바와같이기존 SEM 메타연구 [Park, 2005; Kim et al., 2007; Baumgartner and Homburg, 1996; MacCallum and Austin, 2000; Holbert and Stephenson, 2002; Shook et al., 2004; Shah and Goldstein, 2006] 에서적용한공통의평가항목들을도출하여평가항목으로선택하였다. 본연구를위해선택된평가항목은기존메타분석연구에서일회또는경우에따라빈번히사용된항목들로항목에대한선택은기존연구와의유사성에문제가있을수있다. 그러나본연구는 SEM 적용에있어다른학문영역과의상호참조를위해공통적으로사용하는평가항목을선 택함으로써이의중요성을재차강조하고자하며, 기존연구와의차별성을가지기위해추가적으로타당성과신뢰성부분에다수의평가항목을선별함으로써연구개념설정과관련된엄격성에대해평가하고자하였다. 3.2 연구모형설정 SEM을활용한연구모형설정에서는다음과같은요인들이고려된다. 먼저, 연구자는자신의연구가종단적 (longitudinal) 또는횡단적 (crosssectional) 연구인지에대해연구유형을명확하게밝혀변수간동시성을확인해야한다 [Cliff, 1983; MacCallum and Austin, 2000]. 다음으로연구유형에대한정의가필요하다. 모형유형Ⅰ은 SEM 식 (1) 과식 (2) 를활용한확인적모형으로잠재변수에대한측정모형의타당성을평가하기위해적용되는유형이며, 모형유형 Ⅱ는식 (1), 식 (2), 식 (3) 을모두활용하지만요인부하량과오차분산을고정시킴으로써추정오차를축소하는유형이다. 마지막으로모형유형 Ⅲ은유형 Ⅱ와유사하나측정오차를고려하기때문에 SEM의장점을최대로활용할수있다 [Baumgartner and Homburg, 1996]. 연구의전략적차원에서 Jöreskog and Sörbom [1996] 이언급한확증적연구, 모형개발, 대안모형의세가지연구전략으로나누어접근이가능하다. 확증적연구는사전에이미확인된이론에대해검증을통한연구모형의적합도를평가하며, 모형개발은연구모형이적절히적합할때까지지속적인수정을통해모형의적합도를높이는방법이다. 또한, 대안모형을통한접근법은다양한경쟁모형에대한설계및평가를수행함으로써이론적으로설명력이우수한모형을선택하는방식이다. 측정모형의설정과관련한평가항목은다음과같다. 측정모형은잠재변수와측정변수들사이의관계를설명한모형이기때문에잠재변수의측 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 53

8 정을위해적절하고충분한측정변수가사용되었는지에대한분석이필요하다 [Bagozzi and Baumgartner, 1994]. 만약잠재변수당측정변수의수가만족스럽지못한수준일경우연구개념의신뢰성을확보할수없게되며, 이의검정력은충분치못한설명력을가지게된다 [Baumgartner and Homburg, 1996; Shah et al., 2006]. 이에따라다수의연구자들은하나의잠재변수당측정변수가최소 3개이상의측정변수가적당하다고권고하고있다 [Bollen, 1989; Baumgartner and Homburg, 1996; Rigdon, 1995; Shah et al., 2006]. 다음으로연구모형에서잠재변수모형설정에대해가설로설정된잠재변수간인과관계를모형으로충분히설명하고있는지에대한평가가필요하다 [Holye and Panter, 1995]. 이때추가적으로연구모형의식별을위해연구모형이비재귀모형 (non-recursive model) 으로활용되었는지에대한평가도중요하다. 이는일반적인재귀모형이변수들간의일방적인경로로설정됨으로인해설명이간단한반면, 상호간영향을주고받는비재귀모형의경우잠재변수들사이의상관관계가모형의식별을불가능하게하기때문이다 [Bollen, 1989]. 이때문에연구자는연구모형이비재귀적인관계를가지는이유를충분히설명해야하며, 연구모형추정시추가적인제약과이에대한영향력을구체적으로설명해야한다 [Long, 1983; Shah et al., 2006]. 연구모형의추정을위한표본크기와관련하여다음의요소들이고려되어야한다. 먼저, 표본크기는다수의연구자들이연구모형의안정적추정을위해표본크기가최소한 200개이상이되어야만실무적의의를가진다고주장한다 [Anderson and Gerbing, 1988; Garver and Mentzer, 1999]. Hoogland and Boomsma[1998] 의경우도 100개정도일경우모수추정이불안정하나 200개이상일경우신뢰할만한수준의결과를가져온다고보았다. Jöreskog and Sörbom[1996] 역시측정변수의수 (q) 가 12개미만일경우 200개정도는되 어야하며, 12개이상일경우 1.5q(q+1) 가되어야한다고주장하였다. 또한, MacCallum et al.[1996] 과 Hu and Bentler[1999] 는표본크기가검정력을좌우하기때문에검정력이낮을경우이에대한신뢰성이낮고, 적합도의과다추정이우려됨에따라충분한크기의표본확보를거듭강조하였다. 또한표본크기대비추정모수와관련하여 Bentler and Chou[1987] 는정규분포가정하에서자유모수에대한표본크기가적어도 5배이상되어야하며, 추정될모수의 10배정도가된다면적절한수준이라고설명하였다. Anderson and Gerbing[1988] 역시추정을위한표본은가급적많을수록좋으며, Bollen[1989], Baumgartner and Homburg[1996] 등은추정모수대표본수가최소 3 4배가되어야적당하다고권고하였다. Tanaka [1987] 역시연구모형의안정적검정통계량을확보하기위해추정모수대표본수가 1:4의비율을가질경우가장적절하다고설명하였다. 3.3 자료점검 SEM 적용에서두번째주요통계적평가항목은자료점검에있다. SEM에서수용가능한검정통계량을얻기위해다양한추정방식이나모수추정치를획득하기위한평가가매우중요하다. 대부분다변량연구와똑같이 SEM에서도연구모형의추정과검증에있어원자료가다변량정규성을만족한다는가정이만족되어야한다. 이에따라원자료에결측치가없어야하고, 이상치의영향에대해충분히고려되어야만올바른모수의추정이가능하다. Baumgartner and Homburg[1996] 는이러한여러이유로인해원자료에대한점검이매우중요한데도불구하고, 많은연구에서이단계를매우소홀하게여기고있음을지적하였다. 입력자료와관련하여연구모형의추정을위해공분산행렬또는상관행렬적용에대해고려되어야한다. Cudeck[1989] 은공분산행렬이변수의 54 Asia Pacific Journal of Information Systems Vol. 19, No. 4

9 척도에관한정보를그대로포함하고있지만, 상관행렬의경우그렇지않아유의성검증결과가정확치않을가능성이높고, 잘못된 및적합도통계량및표준오차를추정하게됨을지적하였다. 또한공분산행렬을입력하게되면비표준화추정치뿐만아니라표준화추정치를동시에구하여많은정보를얻을수있으나평균과표준편차가제공되지않은상관행렬을입력하게되면표준화추정치만을얻을수있기때문에결과해석에서제약이발생한다. 3.4 추정및검정 SEM 적용상통계적쟁점에서세번째주요평가항목은연구모형의추정과검정에관련된항목들이다. 기본적으로 SEM 연구모형의추정을위해 ML, ULS, GLS, ADF 등여러기법으로추정이선택가능하다 [Jöreskog and Sörbom, 1996]. 하지만, SEM을활용한대부분의연구모형들이다변량정규성을포함하는 ML의적용을기본가정으로하고있으며 [Bollen, 1989; Chou and Bentler, 1995; Baumgartner and Homburg, 1996; Jöreskog and Sörbom, 1996], 주요통계패키지인 LISREL[Jöreskog and Sörbom, 1996] 과 AMOS [Arbuckle, 1997] 역시 ML을기본값 (default) 으로추정하고있기때문에연구자들이쉽게간과하고있다. 다음으로연구모형을평가하기위한적합도와관련하여가장많이활용하고있는것은 검증이다. 검증은표본크기가커지면아주작은편차에도 모형을통해재생된자료와모집단자료사이의차이가없다 는귀무가설 (Ho) 을기각할확률이높기때문에 에의존한모형의검증은무용지물이된다 [Bentler, 1990]. 이에따라최근에는 를 로나눈표준- (normed ) 를활용할것을권고하고있으며, 엄격한기준으로이의값이 2배일경우연구모형이데이터에매우잘부합한다고판단한다 [Marsh and Hau, 1996]. 최근에는 검증을대체할수있는다수의적합도가활용되고있으며, 절대부합지수로 GFI(goodness of fit index), RMR(root mean square residual)[bagozzi and Yi, 1988], RMSEA(root mean square error of approximation)[browne and Cudeck, 1992] 등이활용된다. 또한, 증분부합지수 (incremental fit index) 로 NNFI(nonnormed fit index)[bentler and Bonnet, 1980], NFI(normed fit index)[bentler and Bonnet, 1980], CFI(comparative fit index)[bentler, 1990] 등을일반적으로사용하고있다. 그리고간명부합지수 (parsimonious fit index) 로 AGFI(adjusted goodness of fit index)[jöreskog and Sörbom, 1984], 표준- [Hayduck, 1987] 등을통해연구모형의적합도를평가하고있다. 개별적합도의평가기준은절대부합지수 (absolute fit index) 에해당하는 GFI가 0.9 이상 [Jöreskog and Sörbom, 1993] 일경우우수한모형으로평가하며, 최대 1값을가질수있다. RMR과 RMSEA는 0에가까울수록우수한모형으로평가하며, 0.05이면우수한적합도, 0.08일경우적당한적합도 (reasonable fit), 0.1이면평범한적합도 (mediocre fit) 로평가한다 [Browne and Cudeck, 1992; Jöreskog and Sörbom, 1993]. 증분부합지수 (incremental fit index) 의 NNFI ( 또는 TLI) 역시 0.9이상일경우우수한모형으로평가한다 [Bentler and Bonnet, 1980]. NFI는 NN FI가 0에서 1을벗어날수있기때문에이를보완하기위해개발된적합도로 0.9이상일경우우수한적합도로설명한다 [Bentler and Bonnet, 1980]. 다음으로 CFI는표본크기의영향을받는 NFI의단점을극복하기위해만들어졌으며, 이또한 0.9 이상일경우좋은적합도를가지는것으로평가한다 [Bentler, 1990]. 간명부합지수 (parsimonious fit index) 에서 AGFI 의권장수용기준은 0.9이상이며 [Jöreskog and Sörbom, 1993], 표준- 는 2배일경우표본 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 55

10 공분산행렬을잘적합시키는것으로평가하지만, 2 3 또는 5배까지범위를확대하여관대한수준에서평가할수있다 [Carmines and McIver, 1981]. 타당성 (validity) 은측정하고자하는구성개념이나속성을어느정도정확하게측정하였는가를의미하는것으로개념이나속성을측정하기위해개발된연구도구가해당속성을어느정도잘반영하고있는가와관련되어있다 [Straub, 1989]. 그중개념타당성 (construct validity) 은연구하고자하는추상적인개념즉, 구성개념을연구도구가실제로적절하게측정하였는지를검정하는방법이다 [Hair et al., 1998]. 집중타당성 (convergent validity) 은하나의구성개념을측정하기위해사용된여러측정항목사이에높은상관관계가있어야한다는것이다 [Garver and Mentzer, 1999]. 즉동일개념을측정하는여러측정변수들이어느정도일치하는가와관련된것으로측정변수에대한추정치가 0.5이상이고, t-값이 2.0이상일경우집중타당성이있는것으로판단한다 [Bagozzi and Yi, 1988]. 판별타당성 (discriminant validity) 은서로다른개념들의측정치사이에는차이가존재해야한다는개념으로구성개념의독립적인고유성을의미하는것이다 [Gefen, 2003]. SEM에서측정모형에대한측정의정확성을평가하는신뢰성 (reliability) 검정은표준화된경로계수및측정오차를이용하여각구성개념의합성개념신뢰도와평균분산추출방식을통해분석된다. 합성개념신뢰도 (composite construct reliability : CCR) 는측정항목의표준적재값을이용하여하나의구성개념을이루는측정항목의내적일관성을계산하며, 측정치가 0.7이상일경우수용가능한수준으로판단한다 [Bagozzi and Yi, 1988; Hair et al., 1998; Segars, 1997]. 평균분산추출 (average variance extracted : AVE) 은구성개념에의해서설명되는분산의크기를의미하며, 추정치가 0.5이상일경우수용가능한수준으로판단한다 [Fornell and Larcker, 1981; Bagozzi and Yi, 1988]. 다음으로인과관계에서잠재변수가다른잠재변수에미치는영향을고려한효과분해 (decomposition of effects) 도평가되어야한다. 총효과 (total effect) 는직접효과와간접효과를더한것이며, 직접효과 (direct effect) 는한변수가다른변수에직접적인영향을미치며, 간접효과 (indirect effect) 는두변수들간의효과가다른변수들에의해매개되는것을의미한다. 잠재변수들사이의간접효과가적절히고려되지않는다면, 두잠재변수들간관계를완전히파악할수없게된다 [Bollen, 1989]. Ⅳ. SEM 적용연구메타분석 4.1 분석대상 본연구를위한분석대상논문지는 2007년 11 월현재학술진흥재단에등록된등재지이며, 논문지가포함한 MIS 관련연구의대표성및집중도, 실증분석관련인과관계연구모형이다수포함되어있어야한다는조건을충족하는논문지를고려하여선택하고자하였다. 이에따라국내 MIS 관련연구들이주로게재되고있는경영정보학연구 (APJIS), ISR(Information Systems Review), 정보시스템연구 (JIS), JITAM(Journal of Information Technology Applications and Management) 의 4개논문지를선별하였다. 분석대상논문지의분석기간은모두해당논문지의창간호부터 2007년 12월까지설정하였으며, 이결과전체 1,450편이분석대상에포함되었다. 이가운데 SEM을적용한연구는총 164편으로 APJIS 73편 (1993년 3월부터 2007년 12월 ), ISR 17편 (1999년 6월부터 2007년 12월 ), JIS 58편 (1992 년 11월부터 2007년 12월 ), JITAM 16편 (1994년 6 월부터 2007년 12월 ) 인것으로나타났다. 이를요약해보면 MIS 분야에서 SEM을적용한연구의기술통계는다음의 < 그림 1> 과같으며, 최근까지지속적인증가추세를보이고있다. 56 Asia Pacific Journal of Information Systems Vol. 19, No. 4

11 < 그림 1> 논문지별 SEM 적용논문편수 분석대상연구들에서연구모형의분석을위해사용된통계패키지를분석한결과, 이를언급한논문이 147편 (89.63%) 으로나타났으며, 그가운데 97편 (59.15%) 이 LISREL을가장많이활용된것으로나타났다. 또한, AMOS를사용한논문은 45편 (27.44%), LISREL과 AMOS를동시에사용한논문이 2편 (1.22%), CALIS, EQS, MPLUS를사용한연구가각각 1편씩 (1.83%) 인것으로나타났다. 반면통계패키지를언급하지않은연구도 17편으로나타났다. < 표 1> SEM 적용통계패키지사용빈도 구분 LISREL AMOS L A 기타미상합계 APJIS ISR JIS JITAM 합계 주 ) L A : LISREL 과 AMOS 병용, 기타 : CALIS, EQS, MPLUS. 4.2 연구모형설정 연구모형의개발차원에서적용된연구유형을분석해본결과대부분의분석대상연구에서횡단적연구를수행하기위해 SEM을활용하고있었다. 이러한결과는 SEM을적용할때장기간의시점변화에따른종단적연구의결과보다횡단적연구가변수들간동시성을평가하기에수월 하고설명력이높기때문에기법상의장점을극대화하고자하는연구자의의도가반영된것으로판단되었다. 적용된연구모형의유형을살펴본결과 159편 (96.95%) 의논문들이측정오차를포함한완전모형을사용하고있었으며, 그외에 5편 (3.04%) 은식 (1) 과식 (2) 를활용한측정모형에대해서만평가하고있었다. 이들측정모형만으로구성된연구들은잠재변수들간상위및하위개념사이의 2차요인 (second order factor) 에대한분석을통해고차적관계를밝히고자한연구로나타났다. < 표 2> 연구모형유형의빈도구분측정모형완전모형합계 APJIS ISR JIS JITAM 합계 연구의전략적차원에서 SEM이어떠한방식으로연구에서적용되었는지에대한접근방법을분석해본결과대부분확증적연구 (146편(89%)) 를수행한것으로나타났다. 이들연구에서는정보기술수용모형 (TAM), 계획된행동이론 (TPB), 합리적행동이론 (TRA) 등이미검증되어있는기존이론과연구모형에새로운개념들을추가하여실증분석을실시하는방식을채택하고있었다. 다음으로연구모형을수정하면서최적의모형을도출하고자한연구모형개발전략을활용한연구는전체의 15편 (9.1%) 인것으로나타났다. 개발전략을지향한연구에서는잠재변수간경로수정, 측정변수및잠재변수의추가등을통해적합도의향상을꾀하고있었다. 또한제안된연구모형에다수의경쟁모형을비교분석함으로써가장최적화된연구모형을선택하는대안모형전략을취한연구는 3편 (1.8%) 으로나타났다. Vol. 19, No. 4 Asia Pacific Journal of Information Systems 57

12 < 표 3> 전략적접근방법의빈도 구분 확증적연구 대안모형연구모형개발 합계 APJIS ISR JIS JITAM 합계 측정모형설정과관련하여잠재변수의측정을위해적절하고충분한수의측정변수를사용하였는지에대해살펴본결과 136편 (82.93%) 에서개별측정변수에대한설명을포함하고있었으며, 평균 31.58개의측정변수와 7.49개의잠재변수를사용하고있었다. 이는잠재변수하나당평균 4.37개의측정변수가사용되어최소 3개이상사용해야한다는권고사항에부합되는것으로볼수있으나다음의 < 표 4> 에나타난바와같이 3개미만의측정변수를통해잠재변수를측정한연구가 25편 (15.24%) 이었으며, 특히 APJIS에게재된 3편 (1.8%) 은측정변수의수에대해언급하지않고있었다. 연구모형에서잠재변수모형설정과관련하여분석한결과전체 158편 (96.34%) 에서연구개념의인과관계에대해구조모형으로잘설명하고있는것으로나타났으며, 잠재변수쌍방간영향관계를형성하는비재귀모형을설정한연구도 1편 (0.64%) 으로확인되었다. 잠재변수모형설정과관련하여설명이전혀없는 6편 (3.66%) 은앞서살펴 본바와같이측정모형만으로평가된연구가 5편이었기때문이며, 나머지 1편은이와관련된연구가설에대해전혀언급하고있지않았다. < 표 4> 잠재변수대비측정변수수 구분 3 개미만 5 개 8 개 9 개이상 미상합계 APJIS ISR JIS JITAM 합계 < 표 5> 잠재변수모형설정에대한설명빈도 구분 잠재모형설정 설명없음 합계 APJIS ISR JIS JITAM 합계 다음으로연구모형의추정을위해사용된표본집단에대해살펴본결과분석대상연구의대부분 (163편(99.39%)) 이표본선정이유, 범위및크기에대해구체적으로설명하고있었다. 개별연구당평균 의표본을대상으로설문한것으로나타나표본크기에대한임계치를넘고있는것으로나타났다. 하지만, 다음의 < 표 6> 에서와같이 200개미만의표본을수집한연구가 62 < 표 6> 표본크기에따른 빈도 구분 100미만 100~ ~ ~ ~ ~ 이상 없음 합계 APJIS ISR JIS JITAM 합계 Asia Pacific Journal of Information Systems Vol. 19, No. 4

13 편 (37.8%) 이었으며, 이가운데 50개미만인연구도 1편 (0.69%) 으로나타났다. 다음으로추정모수당표본비율에대해살펴본결과표본크기대비추정모수가 3미만인연구는 12편 (7.32%) 인것으로나타나대부분연구에서안정적인검정통계량을확보하고있었다. 그러나 APJIS에게재된 1편의연구는표본이 61, 추정모수가 64로추정모수당표본비율이 인것으로나타나가설검정력에대한의문을제기하였다. 4.3 자료점검다음은평가항목가운데데이터점검과관련된내용들을분석한결과이다. 연구자는반드시데이터점검을통해원자료의결측치, 이상치, 정규성을평가함으로써타당성을확보해야한다. < 표 7> 의자료점검빈도에서알수있듯이과반이상인 118편 (71.95%) 의연구에서원자료를점검하였다고표기하고있었다. 하지만, 이들연구들에서원자료에대한결측치, 이상치및정규성에대한언급보다단순설문응답에대한불성실하였거나회수되지않은설문에대해수용하지않았다고만밝히고있어자료점검의엄격성은부족한것으로나타났다. 더욱이나머지 46편 (28.04%) 의경우이같은내용조차언급하고있지않고있었으며, 원자료에요구되는다변량정규성의가정이전무하다는점에서정확한추정을위한조건을충족시키지못하고있었다. < 표 7> 자료점검빈도구분점검미상합계 APJIS ISR JIS JITAM 합계 다음으로연구모형의추정을위해사용된입력 행렬에대해언급한논문은공분산행렬 20편 (12.2%), 상관행렬 10편 (6.1%) 으로총 30편 (18.3%) 으로나 타났다. 특히, 잠재변수들간인과관계를설명하기 위해서가급적공분산행렬을사용하는것이옳 으며, 연구모형이탐색적성격이강할경우유의 성검증에서더보수적이고상향편향추정의가 능성이적은상관행렬을사용하는것이바람직 함 [Hair et al., 1998] 에도분석대상중일부확증 적연구전략으로수행된연구에서도상관행렬을 적용하고있었다. < 표 8> 투입행렬의 제시빈도 구분 공분산행렬상관행렬 미상 합계 APJIS ISR JIS JITAM 합계 추정및검정 SEM 메타분석에서세번째주요평가항목인추 정및검정에서는연구모형의추정법과분석기법 에대한논의가필요하다. 이와관련하여 LISREL 과 AMOS 패키지가기본적으로 ML을적용하고 있기때문에대부분추정기법에대해별다른언 급은없었으나일부연구 (46편(28.05%)) 에서만 ML 을적용하였음을밝히고있었다. < 표 9> 최우도법 (ML) 적용에 대한 제시빈도 구분 ML 적용 미상 합계 APJIS ISR JIS JITAM 합계 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 59

14 다음은연구모형의검정을위해사용된적합도와관련된내용이다. 먼저, 연구모형의검정을위해본문에 를표기한연구는 146편 (89.02%), 자유도 ( ) 를표기한연구는 120편 (73.17%) 인것으로나타났다. 이때 의평균은 이었으며, 의평균은 으로분석되었다. 를 로나눈표준- 를본문에표기한연구는 65(39.64%) 1) 편으로나타났으며, 이때표준- 의평균은 3.07인것으로나타났다. < 표 10> 표준 - 를표기한연구의수 구분 표준- 없음 합계 APJIS ISR JIS JITAM 합계 그러나이들연구에서표준- 의수용기준을언급한연구는 58편 (35.37%) 2) 으로나타났으며, < 표 11> 에서나타나바와같이그중 53편만수용기준에부합여부를밝히고있었다. 이처럼표준- 를적용한연구는적었으나 46편의연구가엄격한권장수용기준인 2미만과관대한 5미만사이에부합되는연구들로나타나이를적용한연구모형들에서표준공분산행렬을적정수준에서잘적합시키고있는것으로평가되었다. 다음으로연구모형을평가하기위해사용된개별적합도의사용빈도는다음과같이나타났다. GFI 157편 (95.73%), AGFI 137편 (83.54%), NFI 122편 (74.39%), RMR 100편 (60.98%), CFI 94편 (57.32%), RMSEA 85편 (51.83%), NNFI(TLI) 70편 (42.68%), SRMR 22편 (13.41%) 의순서로적용하 1) 이중 12 편은표준 - 분석결과만언급하고, 수용기준에대해표기하지않았음. 2) 이중 5 편은표준 - 의수용기준에대한언급만하고, 분석결과를표기하지않았음. 고있는것으로나타났다. 이외에 BBI, AIC 등의적합도는사용빈도가거의없거나적은것으로나타났다. < 표 11> 표준 - 수용기준에대한부합빈도 구분 수용기준 수용기준에따른부합 수용기준초과기타 3) 합계 APJIS ISR JIS JITAM 합계 먼저, GFI의수용기준에대해표기한연구는분석대상연구의과반이상인 109편 (66.46%) 에서나타났으며, 다음의 < 표 12> 에서알수있듯이 100편 (60.98%) 의연구에서 0.9이상을수용기준으로채택하고있었다. < 표 12> GFI 수용기준표기및부합빈도 구분 수용기준 0.8 이상 수용기준에따른부합 0.9 이상 0.95 이상 수용기준미달 1 근접 0.9 이상 기타 0.9 이상 4) 합계 APJIS ISR JIS JITAM 합계 AGFI의경우 84편 (51.22%) 의연구에서수용기준에대해표기하고있었으며, 대부분의연구에서 0.8이상을수용기준으로채택하고있었다. 다 3) 기타란에표기된 0.5 와 0.05 의표준 - 수용기준은해당연구에서실수에의한오기로판단됨. 4) GFI 의수용기준만제시하고분석결과는없음. 60 Asia Pacific Journal of Information Systems Vol. 19, No. 4

15 음의 < 표 13> 에알수있듯이수용기준을제시하고있는대부분의연구들이수용기준에부합하고있는것으로평가되었다. < 표 13> AGFI 수용기준표기및부합빈도 수용기준에따른부합 수용기준미달 구분 기타 수용 합계 기준 이상이상이상근접이상이상 이상 5) APJIS ISR JIS JITAM 합계 분석대상연구들에서 GFI와 AGFI 다음으로가장많이사용된 NFI는기저모형에비해제안모형이어느정도향상되었는지를평가하는지수로 0.9이상일경우수용할만한것으로평가한다. 다음의 < 표 14> 에서알수있듯이 NFI는 78 편이 0.9이상의수용기준에대해밝히고있었으나이가운데 54편만수용기준에부합하고있는것으로나타났다. 반면, 수용기준에대한표기는없었으나 44편의연구가수용기준에부합되는것으로확인되었다. < 표 14> NFI 수용기준표기및부합빈도 수용기준 0.9이상 0.95이상 1근접 합계 기준표기 기준부합 기준미달 다음으로 RMR에대해언급한연구는 66편이었으나제시한수용기준에부합하는연구는 42편으로나타났다. 반면, 수용기준에대한언급이없었던 34편의연구에서일반적으로요구되는수용기준인 0.05에부합하는연구가 16편이더 5) AGFI 의수용기준만제시하고분석결과는없음. 있는것으로확인되었다. < 표 15> RMR 수용기준표기및부합빈도 수용기준기준표기기준부합기준미달 0 근접 미만합계 CFI는 59편 (35.98%) 이수용기준에대해설명하고있었으며, 이가운데 52편이 0.9이상에부합하는것으로나타나 CFI를언급한대부분의연구가연구모형의간명도가높은것으로나타났다. < 표 16> CFI 수용기준표기및부합빈도 수용기준 0.8이상 0.9이상 0.95이상 1근접 합계 기준표기 기준부합 기준미달 RMSEA의경우 62편 (37.80%) 의연구에서수용기준을제시하고있었으며, 엄격한기준인 0.05에서관대한수준인 0.1사이에대체적으로부합하고있는것으로나타났다. < 표 17> RMSEA 수용기준표기및부합빈도 수용기준기준표기기준부합 합계 기준미달 NNFI(TLI) 의수용기준을언급한연구는 48편 (29.27%) 이었으며, 수용기준인 0.9이상에대체로 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 61

16 부합하는것으로나타났다. < 표 18> NNFI 수용기준표기및부합빈도 수용기준 0.8이상 0.9이상 합계 기준표기 기준부합 기준미달 다음은사용된잠재변수의개념타당도를평가하기위해적용된요인분석에대해메타분석을수행한결과이다. 먼저, 1세대기법으로주성분분석을적용하여 Varimax 직교회전을이용한탐색적요인분석 (exploratory factor analysis : EFA) 을수행한연구는 109편 (66.46%) 이었다. 또한, 2 세대기법으로 SEM 적용을위한표준화잔차와수정지수를이용한일차원성 (unidimensionality) 분석을실시한확인적요인분석 (confirmatory factor analysis: CFA) 은 99편 (60.36%) 으로더적게나타났다. 특히, 분석대상가운데이두방식모두를활용하여측정모형을평가한연구가 54편 (32.93%) 이있었으며, CFA 없이 EFA만으로측정모형을평가한연구는 55편 (33.54%) 으로나타났다. 하지만, SEM에서지향하고있는 CFA만을이용해요인분석을실시한연구는 45편 (27.44%) 에불과한것으로나타나나머지연구들의성격이탐색적연구인지또는확증적연구인지에대한의문을가지게하였다. < 표 19> EFA 와 CFA 사용빈도 구분 EFA와 CFA 동시적용 순 EFA 분석 (CFA 제외 ) 순 CFA 분석 (EFA 제외 ) APJIS ISR JIS JITAM 합계 다음으로분석대상연구들이구성개념을어느 정도정확하게측정하고있는지를평가하기위해집중타당성 (109편(66.46%)) 과판별타당성을평가한연구 (98편(59.76%)) 는과반을넘지만다소낮은것으로나타나개념타당성에대한고려가충분히고려되어야할것으로나타났다. 특히, 구성개념에대해어떠한타당성도평가하지않은연구가 54편 (32.93%) 으로나타나측정도구가연구개념이나속성을정확하게반영하고있는지에대해의문을가지게하였다. 하지만, < 그림 2> 에나타난바와같이타당성을평가한연구가 2001년이후지속적으로성장하고있는추세를보이고있어많은연구에서타당성검증에관심을가지고있음을확인할수있었다. < 그림 2> 집중및판별타당성평가빈도연구개념의신뢰도를평가하기위해 Cronbach- 계수를이용하여다항목척도의내적일관성을검증한방법은전체 152편 (92.68%) 으로상당히높은편이었다. 그외 SEM 연구를위해활용되는 AVE의활용은 81편 (49.39%), CCR를통한평가한연구가 61편 (37.80%) 으로나타나측정모형의평가에문제를포함하고있었다. 신뢰성평가역시 2001년이후증가추세를보이고있어향후신뢰성에대한평가에많은개선이이루어질것으로예상된다. 마지막으로잠재변수들간관계를파악하기위해두잠재변수간의직 간접영향력에대한효과를평가한연구는전체 47편 (28.66%) 에불과한것으로나타났다. 효과분해를통해잠재변수간간접효과의분석은두변수사이의관계를완전 62 Asia Pacific Journal of Information Systems Vol. 19, No. 4

17 히파악하는데주요한역할을수행을하지만, 분석된결과로볼때기존연구들은구조모형의평가에서충분한설명력을가지지못하고있다고평가할수있다. < 그림 3> AVE 와 CCR 활용빈도 < 그림 4> 효과분해의활용빈도 Ⅴ. 결론및시사점 5.1 결론 본연구를통해국내 MIS 연구에대한 SEM 적용논문들의통계적쟁점들을살펴본결과다음과같은여러시사점을도출할수있으며, 이를요약하여 < 부록 2> 에첨부하였다. 추후 SEM 적용하고자하는연구자들은아래에언급한사항들에대해충분히고려함으로써분석방법의활용에있어엄격성을더하고개선해야할필요가있다. 먼저, 다양한연구모형의적용을통한연구의발전가능성을확보할필요가있다. 국내 MIS 연구에서 SEM 적용한연구들의대부분이완전구 조모형과확증적연구를지향하고있었다는점에있다. 연구모형에서잠재변수들사이의확증적인인과관계를통한추정은 SEM의장점을살린효과적인분석이지만, 실증주의적 MIS 연구들이지나치게편향되어있다는지적을면치못하는상황에있다. 연구의다양성확보와 MIS 연구의발전을위해이처럼획일적인연구보다시간적측면에서종단적연구, 연구전략적차원에서수정모형의활용및연구모형개발, 연구의인과관계에서비재귀모형등난이도가높은연구들의병행을통해심도깊은연구개념의도출과변수들간의선행관계, 연구이론의개발이필요할것이다. 두번째는 SEM 적용에서분석에활용된입력데이터와관련하여입력행렬을다른연구자들이알수있도록제시해야한다 [Cudeck, 1989]. 분석결과에의하면대부분의연구들에서원자료에대한표기없이투입된원자료행렬유형에대해 30 편 (18.3%) 만설명하고있었다. 연구자가어떠한입력행렬을이용하여측정모형과구조모형을추정하였는지에대해대부분의연구에서명시하지않고있어연구모형의일반화를위해다른연구자들에의해반복가능성을가짐으로써연구의신뢰성과타당성을확보하는데어려움을주고있었다. 또한, 선택사항이기는하나대부분의연구들에서관찰된측정변수들간의관계를미리규정하고접근하는확정적연구임을감안한다면확증적차원에서표준오차를포함한공분산행렬의사용이필수적이어야한다. 만약상관관계행렬을원자료로활용한다면표준오차를반드시포함하여연구에서제시해야한다. 세번째는표본크기에관련된것으로연구의적절한검정통계량을확보하기위해충분한수의표본크기를확보해야할것이다. Hoogland and Boomsma[1998] 등의다수연구자들은 ML 로추정하는연구이론은표본크기가최소 200은되어야한다고제안하고있다. 분석결과에따르면 150미만의연구도 36편 (21.95%) 으로나타나 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 63

18 이부분에대한개선이매우시급한것으로나타났다. 네번째로연구의우수한검정통계량을확보하기위해엄격한자료점검이필요하다. 자료점검에대한불충분성은투입된원자료에요구되는다변량정규성에대한가정을위배하고, 정확한추정을위한검정통계량확보에문제를발생시킬수있다. 이에따라표본에대한다변량정규성을반드시확보되어야하며, 결측치, 이상치에대한점검이뒷받침되어야한다. 다섯번째로적절한잠재변수의검정력확보및적합도평가를위한연구모형설정에주의를기울여야한다. 연구자는측정모형의설정에있어충분한수의측정변수를활용함으로써변수의수와신뢰성, 설명력과의관계를확보해야한다 [Bollen, 1989; Baumgartner and Homburg, 1996; Rigdon, 1995; Shah et al., 2006]. 분석결과에의하면대체로개별잠재변수당최소 3개이상측정변수를활용하고있었지만, 3개미만인연구도 36편 (21.95%) 으로나타나권고사항을충족시키지는못하는것으로나타났다. 또한, 잠재변수모형의설정과관련하여연구가설과모형사이의관계를설명하지않는연구가 6편 (3.66%) 이나있는것으로나타났다. 충분치못한설정은 SEM을통한연구가설및잠재변수들간구조를모호하게하고, 측정의신뢰성에문제를제기하므로연구자는잠재변수간의인과관계를보다명확하게확인시킬필요가있다. 여섯번째는연구자는연구모형의추정기법에대해언급해야한다. 분석결과에의하면 120편 (73.17%) 의연구에서사용된추정기법에대해전혀언급하지않고있었다. 연구자는연구모형의추정을위해어떤기법을활용하여연구모형을분석하였는지에대해논의함으로써다변량정규성을확보해야한다. 물론, LISREL과 AMOS 등의패키지가 ML을기본값으로하기때문에제외된것으로판단하였지만모형의추정을위해반드시선행되어야하는조건임에도불구하고, 이에대한논의부족은검정통계량확보를곤란하게하고있었다. 특히, APJIS에게재된비재귀모형을활용한 1편의연구는추정을위해추가적인기법의제약없이추정이불가능함 [Long, 1983] 에도불구하고 ML만을통해연구가설을검정하였다. 일곱번째는연구모형추정과검정에서적합도의활용과수용기준에대한문제가상당부분개선되어야한다. 대부분의연구에서 검증과표준-, GFI, AGFI의적합도를기본적으로제시하고그외에적합도는연구자에게유리한수용기준을따르는적합도를표기하거나아예사용하지않은것으로나타났다. 연구모형은간명부합, 증분부합등의여러측면에서적합도를평가함으로써연구의질적향상을꾀할필요가있다. 이를위해연구자는개별적합도의특징과판정기준을고려하여동시에여러적합도를활용하여평가해야한다. 또한, 적합도의수용기준과관련하여 GFI, AGFI, RMSEA, RMR 등의대표적인적합도를제외하고대부분의연구에서이외의적합도들은수용기준에약간씩차이가있는것으로나타났다. 더심각한문제는몇몇의적합도의경우수용기준을언급하지않고, 연구모형평가에활용되고있어적합성에대한의문을가지게하였다. 여덟번째, 측정변수의요인분석은 CFA를통해분석되어야한다. SEM을적용하는연구자는사전에설정한연구가설과모형에대해검증하는방식을취하는확정적접근법을취해야한다 [Jöreskog and Sörbom, 1993]. 이를위해연구자는이론에대한지식과근거를바탕으로측정변수와잠재변수의관계를사전에가정하고이들의관계를통계적으로검증하는 CFA를사용해야함에불구하고, 연구결과에서나타났듯이 55 편 (33.54%) 의연구에서 EFA만을통해요인분석을대신하고있는문제가있다. EFA는일반적으로어떠한이론이나모형이존재하지않거나검정된요인분석이없을경우시행되는분석법으 64 Asia Pacific Journal of Information Systems Vol. 19, No. 4

19 로이론적모형을활용하여분석하는 SEM의확인적요인분석과는전혀다르다 [Hayduck et al., 2007]. 즉, EFA와 CFA는측정모형에서변수를검증하는방식에서그접근법과개념적차원이다르므로이에대한개선은반드시필요한부분이다. 아홉번째, 연구의신뢰성에대한개선이역시필요하다. SEM을적용한연구에서는측정도구의내적일관성을확보하기위해 Cronbach-, AVE, CCR의사용을권장 [Bagozzi and Yi, 1988] 하고있으나분석결과에서나타난바와같이 AVE외 CCR의활용도가낮다. 열번째, 효과분해를통해구조모형의설명력을개선할필요가있다. 구조모형에서잠재변수들간효과를분해하는것은잠재변수들사이의관계에대한인과관계뿐만아니라이들사이의직접적인관계와간접적인관계까지평가및설명하는데상당히효과적이다. 그러나대부분의연구에서효과분해를통한총효과를분석하지않음으로써구조모형에대한설명력이빈약한것으로나타나이부분에대한개선도시급하다. 5.2 시사점본연구를통해국내 MIS 연구도 SEM을활용한논문들의빈도가꾸준히증가하고있음을확인할수있었다. 이는지속적으로발전하고있는정보기술과이에대한사용자인지적차원에서인과관계를평가하는데 SEM이그통계적검정능력을인정받고있으며, MIS 연구가하나의학문분야로발전할수있도록여러영역에광범위하게적용가능하기때문이다. SEM은그특성상연구자가이미설정해둔연구가설과연구모형에대해확정적으로분석함에있어높은검정력과설명력을제공할수있음에도불구하고, 연구모형의설정, 자료의점검, 추정및검정의측면에서여러쟁점들을충족시켜야만하는난제들이존재한다. 이러한연구절차 상의어려움은종종연구자들로하여금연구진행과결과를도출하는데장애가되며, 연구에서충족되지못한쟁점들로인해최종연구결과에신뢰성과타당성의의문을제기할수밖에없게된다. 이에따라연구자는 SEM 적용시모형설정, 자료점검, 검정및추정등의통계적쟁점들에대해세심한주의를기울일필요가있으며, 이를통해실무적인이론의도출과검정, 그리고우수한연구결과를확보해야만한다. 본연구에서는 SEM 적용상여러통계적쟁점들에대해세가지주요부분으로나누어평가기준을수립한뒤해당연구들에대해메타분석을실시하였다. 분석결과를바탕으로개별쟁점들에대한기준과적용상의문제점들도출함으로써추후개선사항에대해시사점으로도출하였다. 본연구의한계는다음과같다. 첫번째는연구결과의일반화와관련된것이다. 본연구는 MIS 관련 4개등재학술지만분석대상으로 SEM 적용상이슈를평가하고, 이의결과를결론으로도출하였다. 하지만본문에서도언급한바와같이분석당시에등재학술지가많지않았고, MIS 연구의밀집도와대표성을고려한표본집단의선별이었기에적절한선택이었다고평가하는바이다. 하지만, 추후연구의결과의일반화를위한표본집단의대표성을위해다수의논문지가분석대상에포함되어야할것이다. 두번째, 본연구에서메타분석을위해제시한통계적쟁점들만이중요한것이아니다. < 부록 1> 에서알수있듯이연구모형의우수성을검증하기위해 SEM에서는다양한평가항목들을제시하고있으나기존연구들에서제안하고있는모든평가항목을수용하기에는항목들사이의유사성이높기때문에본연구에서는이가운데대표적으로적용되고있는평가항목을선별하고, 이를분석하기위해노력하였다. 하지만, 해외의 MIS 주요저널들의최근 SEM 활용동향과함께타학문과의비교분석을통해 MIS 분야만을위해차별화된평가항목을찾아내고이를분석및 Vol. 19, No. 4 Asia Pacific Journal of Information Systems 65

20 평가하고자하는논의가함께이루어져야할것이다. 세번째, MIS 연구분야에따라 SEM에서적용되는기법이나적합도의수용기준도달라질수있다. 본연구에서는가급적많은문헌의고찰과타학문의비교분석을통해일반적으로요구되는수용기준을채택하고자노력하였으며, 이를통해이종학문간상호참조가가능하게끔하고자하였다. 이에반해잠재변수의측정을위해사용되는지표가형성 (formative) 지표일경우 Cronbach- 를통해내적일관성을평가하기힘들어진다 [Chin, 1998]. 또한, Segar and Grover[1993] 가지적한것처럼정보기술수용모형 (TAM) 에서우리가이미알고있는사용용이성과유용성에대한전통적인구성개념의타당성입증의범위를넘어선측정의문제가발생할수있다. 이와같이 SEM 을적용하고자하는영역에따라연구의개념적특성과인지적차원이달라질수있으므로이에따른엄격한기준과분석방법이적용되어야할것이다. 마지막으로본연구에서연구의엄격성을위해여러대안들을제시하고있지만, 이들조건을수용하는것은연구의우수성을확보하기위한필요조건이지충분조건은아니다. 분석결과에서도나타나듯이최근 MIS 연구들이시간의흐름에따라집중및판별타당성평가빈도증가, AVE와 CCR의활용빈도증가및효과분해의사용빈도증가등을통해분석방법에엄격성을더하고있음을알수있다. 이외에도다른기준들이연구목적에따라추가적으로적용될수있기때문에 SEM 에따른통계적접근을위한어떠한기준들이궁극적으로필요한지에대해고민해야할것이다. <References> [1] Arbuckle, J.L., AMOS Users Guide Version 3.6, Small Waters Co., [2] Anderson, J.C. and Gerbing, D.W., "Structural Equation Modeling in Practice: A Review and Recommended Two-Step Approach," Psychological Bulletin, Vol. 103, No. 4, 1988, pp [3] Bae, B.R., Structural Equation Modeling- Understanding, Applications, and Programming (2nd Eds.), ChoungRam, [4] Bagozzi, R.P. and Baumgartner, H., "The Evaluation of Structural Equation Models and Hypothesis Testing," Principles of Marketing Research, 1994, pp [5] Bagozzi, R.P. and Fornell, C., "Theoretical Concepts, Measurement, and Meaning," A Second Generation of Multivariate Analysis, Vol. 2, 1982, pp [6] Bagozzi, R.P. and Yi, Y.J., "On the Evaluation of Structural Equation Models," Journal of the Academy of Marketing Science, Vol. 16, No. 1, 1988, pp [7] Banvile, C. and Landry, M., "Can the Field of MIS be Disciplined?," Communication of th ACM, Vol. 32, No. 1, pp [8] Baron, R.M. and Kenny, D.A., "The Moderator-Mediator Variable Distinction in Social Psychological Research: Conceptual, Strategic, and Statistical Considerations," Journal of Personality and Social Psychology, Vol. 51, No. 6, 1986, pp [9] Baroudi, J.J. and Orlikowski, W.J., "The Problems of Statistical Power in MIS Research," MIS Quarterly, Vol. 13, No. 1, 1989, pp [10] Baumgartner, H. and Homburg, C., "Ap- 66 Asia Pacific Journal of Information Systems Vol. 19, No. 4

21 plications of Structural Equation Modeling in Marketing and Consumer Research: A Review," International Journal of Research in Marketing, Vol. 13, No. 2, 1996, pp [11] Benbasat, I. and Weber, R., "Research Commentary: Rethinking Diversity in Information Systems Research," Information Systems Research, Vol. 7, No. 4, 1996, pp [12] Bentler, P.M., "Comparative Fit Indexes in Structural Models," Psychological Bulletin, Vol. 107, No. 2, 1990, pp [13] Bentler, P.M. and Chou, C.P., "Practical Issues in Structural Modeling," Sociological Methods and Research, Vol. 16, No. 1, 1987, pp [14] Bentler, P.M. and Bonnet, D.G., "Significance Tests and Goodness of Fit in the Analysis of Covariance Structure," Psychological Bulletin, Vol. 88, No. 3, 1980, pp [15] Bohrnstedt, G.W. and Knoke, D., Statics of Social Data Analysis, Peacock Publishers, [16] Bollen, K.A., Structural Equations with latent variables, John Wiley and Sons, [17] Bollen, K.A. and Long, J.S., Testing Structural Equation Models, Sage, [18] Browne, M.W., "Asymptotically Distribution Free Methods for the Analysis for Covariance Structures," British Journal of Mathematical and Statistical Psychology, Vol. 37, 1984, pp [19] Browne, M.W. and Cudeck, R., "Alternative Ways of Assessing Model Fit," Sociological Methods and Research, Vol. 21, No. 2, 1992, pp [20] Brekler, S.J., "Applications of Covariance Structure Modeling in Psychology: Cause for Concern?," Psychological Bulletin, Vol. 107, 1990, pp [21] Carmines, E. and McIver, J., Analyzing Models with Unobserved Variables: Analysis of Covariance Structures, Social Management: Current Issues, Sage, [22] Chin, W.W., "Issues and Opinion on Structural Equation Modeling," MIS Quarterly, Vol. 22, No. 1, 1998, pp [23] Chin, W.W., "The Partial Least Squares Approach for Structural Equation Modeling," in Modern Methods for Business Research, G.A. Marcoulides(Eds.), Lawrence Erlbaum Associates, 1998, pp [24] Chin, W.W. and Todd, P.A., "On the Use, Usefulness, and Ease of Use of Structural Equation Modeling in MIS Research: A Note of Caution," MIS Quarterly, Vol. 19, No. 2, 1999, pp [25] Chin, W.W. and Newsted, P.R., "Structural Equation Modeling Analysis with Small Samples Using Partial Least Squares," in Statistical Strategies for Small Sample Research, R.H. Hoyle(Eds.), Sage, 1999, pp [26] Chou, C.P. and Bentler, P.M., Estimates and Tests in Structural Equation Modeling, Structural Equation Modeling: Concepts, Issues, and Applications, Sage, [27] Cliff, N., "Some Cautions Concerning the Application of Causal Modeling Methods," Multivariate Behavioral Research, Vol. 18, 1983, pp [28] Cudeck, R., "Analysis of Correlation Matrics Using Covariance Structure Models," Psychological Bulletin, Vol. 105, No. 2, 1989, Vol. 19, No. 4 Asia Pacific Journal of Information Systems 67

22 pp [29] Dearden, J., "MIS is a Mirage," Harvard Business Review, Vol. 50, No. 1, 1972, pp [30] Emery, J.C. and Sprague, C.R., "MIS: Mirage or Misconception," Harvard Business Review, Vol. 50, No. 3, 1972, pp [31] Fornell, C. and Bookstein, F.L., "Two Structural Equation Models: Lisrel and PLS Applied to Consumer Exit-Voice Theory," Journal of Marketing Research, Vol. 19, No. 4, 1982, pp [33] Fornell, C. and Cha, J.S., "Partial Least Squares," in Advanced Methods of Marketing, R.P. Bagozzi(Eds.), Oxford, Blackwell Publishers, 1994, pp [34] Fornell, C. and Larcker, D.F., "Evaluating Structural Equation Models with Unobservable Variables and Measurement Error," Journal of Marketing Research, Vol. 18, No. 1, 1981, pp [35] Garver, M.S. and Mentzer, J.T., "Logistics Research Methods: Employing Structural Equation Modeling to Test for Construct Validity," Journal of Business Logistics, Vol. 20, No. 1, 1999, pp [36] Gefen, D., "Assessing Unidimensionality through LISREL: An Explanation and Example," Communications of the Association for Information Systems, Vol. 12, 2003, pp [37] Gefen, D., Straub, D.W., and Boudreau, M.C., "Structural Equation Modeling and Regression: Guidelines for Research Practice," Communications of the Association for Information Systems, Vol. 4, No. 7, 2000, pp [38] Hair, J.F., Anderson, R.E., Tatham, R.L., and Black, W.C., Multivariate Data Analysis(5 th Eds.), Prentice Hall, [39] Hayduck, L.A., Structural Equation Modeling with LISREL: Essentials and Advances, Johns Hopkins University Press, [40] Hayduck, L.A., Cummings, G.G., Boadu, K., Pazderka-Robinson, H., and Boulianne, S., "Testing! testing! one, two, three -Testing the theory in structural equation models!," Personality and Individual Differences, Vol. 42, No. 5, 2007, pp [41] Holbert, R.L. and Stephenson, M.T., "Structural Equation Modeling in the Communication Sciences," Human Communication Research, Vol. 28, No. 4, 2002, pp [42] Hoogland, J.J. and Boomsma, A., "Robustness Studies in Covariance Structure Modeling: An Overview and a Meta-Analysis," Sociological Methods and Research, Vol. 26, No. 3, 1998, pp [43] Hoyle, R.H. and Panter, A.T., Writing about Structural Equation Modeling: Concepts, Issues, and Applications, Sage, [44] Hu, L. and Bentler, P.M., "Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria versus New Alternatives," Structural Equation Modeling, Vol. 6, No. 1, 1999, pp [45] Jöreskog, K.G. and Sörbom, D., Structural Equation Modeling with the SIMPLIS Command Language, Scientific Software International, [46] Jöreskog, K.G. and Sörbom, D., LISREL8: Structural Equation Modeling with the SIM- PLIS command language, Scientific Software International, [47] Kang, S.C., "A Critical Evaluation of the 68 Asia Pacific Journal of Information Systems Vol. 19, No. 4

23 Use of Statistical Methods in an MIS Journal," Asia Pacific Journal of International Systems, Vol. 7, No. 2, 1997, pp [48] Kang, S.C., Lee, Z.K., and Choi, J.I., "Application of Empirical Research Methods in Information Systems Research: Gaining Lessons Through Evaluation," Asia Pacific Journal of International Systems, Vol. 16, No. 2, 2006, pp [49] Kelloway, E.K., Using LISREL for Structural Equation Modeling: A Researcher's Guide, Sage, [50] Kim, J.H., Hong, S.H., and Choo, B.D., "Applications of Structural Equation Modeling in Management Studies: A Critical Review," Korean Management Review, Vol. 36, No. 4, 2007, pp [51] Kim, J.K., Lim, H.S., and Lee, D.H., "A Meta-Analysis of Reliability and Validity of Research Instruments in Korean MIS Research," Asia Pacific Journal of International Systems, Vol. 11, No. 4, 2001, pp [52] Lee, S.M., Analysis of Covariance Structural Modeling, Sung Won Sa, [53] MacCallum, R.C. and Austin, J.T., "Applications of Structural Equation Modeling in Psychological Research," Annual Reviews of Psychology, Vol. 51, No.1, 2000, pp [54] MacCallum, R.C., Brwone, M.W., and Sugawara, H.M., "Power Analysis and Determination of Sample Size for Covariance Structural Modeling," Psychological Methods, Vol. 1, 1996, pp [55] MacKinnon, D.P., "Contrasts in Multiple Mediator Models," in Multivariate Applications in Substance Use Research: New Methods for New Questions, J.S. Rose and L. Chassin(Eds.), Erlbaum, 2000, pp [56] Marsh H.W. and Hau, K.T., "Assessing Goodness of Fit: Is Parsimony Always Desirable?" Journal Experimental Education, Vol. 64, 1996, pp [57] McDonald, R.P., Path Analysis with Composite Variables, Multivariate Behavioral Research, Vol. 31, No. 2, 1996, pp [58] McDonald, R.P. and Ho, M.R., "Principles and Practice in Reporting Structural Equation Analyses," Psychological Methods, Vol. 7, No. 1, 2002, pp [59] Lee, B.T., Baura, A., and Whinston, A.B., "Discovery and Representation of Causal Relationship in MIS Research: A Methodological Framework," MIS Quarterly, Vol. 21, No. 1, 1997, pp [60] Long, J.S., Covariance Structure Models: An Introduction to LISREL, Sage, [61] Rigdon, E.E., "A Necessary and Sufficient Identification Rule for Structural Models Estimated in Practice," Multivariate Behavioral Research, Vol. 30, No. 3, 1995, pp [62] Park H.S., "Research Trends on International Journal of Tourism Sciences with SEM," Journal of Tourism Sciences, Vol. 29, No. 1, pp [63] Petter, S., Straub, D.W., and Rai, A., "Specifying Formative Constructs in Information Systems Research," MIS Quarterly, Vol. 31, No. 3, 2007, pp [64] Segars, A.H., "Assessing the Unidimensionality of Measurement: A Paradigm and Illustration Within the Context of Information Systems," Omega, Vol. 25, No. 1, 1997, pp [65] Segars, A.H. and Grover, V., "Re-Examin- Vol. 19, No. 4 Asia Pacific Journal of Information Systems 69

24 ing Perceived Ease of Use and Usefulness: A Confirmatory Factor Analysis," MIS Quarterly, Vol. 17, No. 4, 1993, pp [66] Steenkamp, J.E. and Baumgartner, H., "On the Use of Structural Equation Models for Marketing Modeling," International Journal of Research in Marketing, Vol. 17, No. 2, 2000, pp [67]Shah, R. and Goldstein, S.M., "Use of Structural Equation Modeling in Operations Management Research: Looking Back and Forward," Journal of Operations Management, Vol. 24, No. 2, 2006, pp [68] Shook, C.L., David, J.K., Hult, G.T., and Kacmar, K.M., "An Assessment of the Use of Structural Equation Modeling in Strategic Management Research," Strategic Management Journal, Vol. 25, No. 4, 2004, pp [69] Straub, D.W., "Validating Instruments in MIS Research," MIS Quarterly, Vol. 13, No. 2, 1989, pp [70] Swanson, E.B. and Ramiller, N.C., "Information Systems Research Thematics: Submissions to a New Journal, 1987~1992," Information Systems Research, Vol. 4, No. 4, pp [71] Tanaka, J.S., "How Big is Big Enough? Sample Size and Goodness of Fit in Structural Equation Models with Latent Variables," Child Development, Vol. 58, No. 1, pp Asia Pacific Journal of Information Systems Vol. 19, No. 4

25 < 부록 1> 기존 SEM 메타분석연구에서적용된통계적쟁점및채택된평가기준 구분 평가내용 Baumgartner and Homburg 평가항목 세부항목 [1996] MacCallum and Austin [2000] Holbert and Stephenson [2002] Shook et al.[2004] Shah and Goldstein [2006] Park [2005] Kim et al. [2007] 평가기준 ( 채택 ) 저널수 분석대상 기간 1977~ ~ ~ ~ ~ ~ ~ ~2007 논문수 연구분야마케팅심리학언론정보학전략경영생산관리관관경영학경영학전반경영정보 분석패키지 (LISREL(L), AMOS(A), PLS(P)) L, A L, A L, A L, A L, A L, A L, A 연구유형종단및횡단연구 연구모형유형 type-Ⅰ, Ⅱ, Ⅲ 연구모형전략 확인적전략, 모형개발, 대안모형 측정모형설정 측정모형설정 측정변수수 잠재변수수 모형설정쟁점 잠재모형설정 잠재변수대비측정변수 잠재모형설정 비재귀 (nonrecursive) 모형 베타행렬 방정식내상관오차 모형식별 표본크기 표본크기 추정모수수 추정모수수대비표본크기 표준오차 자료점검쟁점 자료준비 자료점검 ( 원자료, 결측치, 이상치, 정규성평가 ) Vol. 19, No. 4 Asia Pacific Journal of Information Systems 71

26 입력행렬공분산 ( 상관관계 ) 행렬 상관성평가 (measure of association) 모형추정 최우도법 (maximum likelihood: ML), 점근적자유분포 (asymptotically distribution free: ADF) 추정문제 모형의수렴성문제발생비율 모형의부적절한해의도출비율 활용빈도 (, GFI, AGFI, RMR) 전반적인모형평가 추정값 ( /, GFI, AGFI, RMR, MC, RMSEA) 활용빈도 (BBI, TLI, CFI) 추정값 (BBI, TLI, CFI, RFI, IFI) 측정모형평가 추정및검정쟁점 모형수정 잠재모형평가 모형개발을위해논의비율 보고된모형의비교비율 모형간교차타당성평가비율 모형재설정 ( 대안모형 ) 확인적요인분석 (CFA) 구성개념타당성 MTMM 집중타당성 판별타당성 탐색적요인분석 (EFA) Cronbach- 신뢰성 AVE, CCR 효과분해총효과, 직접효과, 간접효과 잔차분석 72 Asia Pacific Journal of Information Systems Vol. 19, No. 4

27 < 부록 2> SEM 연구메타분석을통한쟁점및시사점 쟁점이슈평가기준시사점관련문헌 연구전략 다양한연구전략및연구모형의활용 - 종단및횡단연구, - 확증적연구, 모형개발, 대안모형 MIS 연구의다양성확보를위해여러연구모형의병행및접근필요성제기 확인적차원의연구들로지나치게편중되어있음 연구의시간적측면에서분석한종단적연구및전략적차원에서모형개발및대안모형의활용을통한새로운접근이필요함 Cliff[1983], Jöreskog and Sörbom[1993], Baumgartner and Homburg[1996], MacCallum and Austin[2000] 연구모형설정 측정모형설정 잠재변수하나당 3 개이상지표활용 충분한수의측정변수활용이필요함 Bollen[1989], Bagozzi and Baumgartner [1994], Rigdon[1995], Baumgartner and Homburg[1996], Shah et al.[2006] 잠재모형설정 잠재변수간인과관계를연구모형으로충분히설명하는정도 연구모형에따라비재귀 (non- recursive) 모형을활용함으로써잠재변수사이의인과관계에대해충분한고찰이이루어질수있어야함 Long[1983], Bollen[1989], Holye and Panter[1995], Shah et al.[2006] 추정모수 표본크기대비최소 3 4 배이상 5 배이상 ( 적정 ) 10 배이상 ( 이상적 ) Bentler and Chou[1987], Tanaka[1987], Anderson and Gerbing[1988] 입력행렬 투입행렬의제시여부 ( 공분산행렬, 상관관계행렬 ) 선택사항이나가급적공분산행렬을사용하는것이바람직함 확증적연구에서상관관계행렬을사용할경우표준오차의포함이필요함 Cudeck[1989], Baumgartner and Homburg[1996] 자료점검 표본크기 최소 200 이상 (ML 에의한추정시 ) 검정통계량확보를위해충분한수의표본크기가필요함 Anderson and Gerbing[1988], Garver and Mentzer[1999], Hoogland and Boomsma[1998], Jöreskog and Sörbom[1996] 자료점검 다변량정규성확보와결측치, 이상치의점검및언급여부 검정통계량을확보하기위해엄격한자료점검이필요함 Cudeck[1989] 연구모형추정 ML(default) ULS, GLS, ADF 연구자는연구모형의추정기법에대해반드시언급해야함 Long[1983], Bollen[1989], Chou and Bentler[1995], Baumgartner and Homburg[1996], Jöreskog and Sörbom[1996], Arbuckle[1997] 추정및검정 절대부합지수 GFI(goodness of fit index) 통계적비유의성 (insignificant) 에대한평가필요 다른적합도와동시평가를통해질적향상이필요 수용기준 0.9 이상 (1 에가까울수록선호 ) RMR(root mean square 수용기준에대한약간의차이가발생하고있음. residual) 다른적합도와동시평가를통해질적향상이 RMSEA(root mean square 필요 Fornell and Larcker[1981], Chin and Todd[1995], Hair et al.[1998] Bagozzi and Yi[1988], Segars and Grover[1993] Bagozzi and Yi[1988], Browne and Cudeck[1992], Jöreskog and Sörbom[1993], Vol. 19, No. 4 Asia Pacific Journal of Information Systems 73

28 error of approximation) 수용기준 0.05( 우수함 ) 0.08( 적절함 ) 0.1( 평범함 )(0 에가까울수록선호 ) Hair et al.[1998] 증분부합지수 수용기준에대한약간의차이가발생하고있음. NNFI(nonnormed fit 다른적합도와동시평가를통해질적향상이 index) 필요 NFI(normed fit index) 수용기준 CFI(comparative fit index) 0.9 이상 ( 우수함 ) Bentler and Bonnet[1980], Bentler[1990], Hair et al.[1998] 간명부합지수 AGFI Normed- 수용기준에대한약간의차이가발생하고있음. 다른적합도와동시평가를통해질적향상이필요 수용기준 0.8 이상 ( 적정 ) 0.9 이상 ( 엄격한수준 ) 수용기준에대한약간의차이가발생하고있음. 다른적합도와동시평가를통해질적향상이필요 수용기준 3 배 5 배 ( 관대한수준 ) 2 배 ( 엄격한수준 ) Carmines and McIver[1981], Jöreskog and Sörbom[1993] Bentler[1990], Marsh and Hau[1996] 집중타당성 하나의구성개념을측정하기위해측정항목사이에높은상관관계를평가 구성개념에대한이론적타당성확보를위해검증이필요 수용기준 측정변수추정치 : 0.5 이상 t- 값 : 2 이상 Anderson and Gerbing[1988], Bagozzi and Yi[1988], Hair et al.[1998], Garver and Mentzer[1999] 판별타당성 구성개념사이의독립적인고유성의평가 구성개념에대한이론적타당성확보를위해검증이필요 평가방법 구성개념의상관관계와 AVE 제곱근차이 제약모형과비제약모형의 차이분석 상관계수에의한신뢰구간평가 Fornell and Larcker[1981], Anderson and Gerbing[1988], Hair et al.[1998], Gefen[2003] 내적일관성 AVE(average variance extracted) CCR(composite construct reliability) Cronbach- 구성개념의신뢰성에대한개선필요 AVE 와 CCR 의활용도를높여야함 AVE: 0.5 이상 CCR: 0.7 이상 Cronbach- 0.6 이상 Bagozzi and Yi[1988], Segars[1997], Hair et al.[1998] 요인분석 효과분해 CFA(confirmatory factor analysis) EFA(exploratory factor analysis) 직접효과 간접효과 총효과 측정변수의요인분석은 CFA 를통해분석되어야함 EFA 와 CFA 는측정모형에서변수를검증하는방식에서그접근법과개념적차원이다르므로이에대한선택적활용이필요함 총효과를분석함으로써구조모형에대한개선필요 효과분해를통한잠재변수간관계를파악할수있도록적용이확대되어야함 Jöreskog and Sörbom[1993], Hayduck et al.[2007] Bollen[1989] 74 Asia Pacific Journal of Information Systems Vol. 19, No. 4

29 About the Authors Jongki Kim Jongki Kim is associate professor, Division of Management in College of Business at Pusan National University. He received Ph.D. in MIS from Mississippi State University, Master of Business Administration from Arkansas State University, and Bachelor degree in Business Administration from the Pusan National University. His current research interests focus on information systems security, project management, and technology management. Jinhwan Jeon Jinhwan Jeon is a post doctoral fellow at the Institute of Management and Economics at Pusan National University. He received his Ph. D. in management information systems from Pusan National University. His current research interests include information systems security, knowledge management, electronic healthcare, and the impacts of information technology on organizations and individuals. Vol. 19, No. 4 Asia Pacific Journal of Information Systems 75