방송통신기술이슈 & 전망 2014 년제 62 호 빅데이터분석을위한프로세스마이닝기술동향 Korea Communications Agency 2014.03.03
방송통신기술이슈 & 전망 2014 년제 62 호 개요 프로세스분석기법은빅데이터시대를맞아새로운변혁의시기에있다. 프로세스와매끄럽게동조화되어있는디지털세계의발전으로인해업무수행과관련된각종정보가 BPM, ERP, CRM, SCM 등다양한기업의업무처리시스템에서이벤트로그의형태로기록되고있다. 프로세스마이닝은이처럼기록되어있는이벤트로그를분석하여의미있는정보를찾아내는것을목적으로하는기술로빅데이터시대의기업경영관리에필수적이다. 프로세스로그분석은프로세스에대한통찰, 병목점식별및문제예측, 업무수행규정위반검사및대책권고, 프로세스간소화등매우다양한목적으로활용될수있다. 본고에서는프로세스마이닝과기술연구동향을소개하고, 기존분석사례및프로세스마이닝기술의효용성과발전방안을제시한다. 1. 빅데이터시대, 프로세스분석기법의발전 기업경영에있어서프로세스관리는중요한이슈중의하나인데, 1990년대초반, Hammer와 Davenport는프로세스지향성과혁신의중요성에대해역설하였다. 이러한맥락에서, 많은연구들이 BPR(Business Process Reengineering) 을통해서경영의초점을개별부서의특화된기능수행에대한최적화에서전체비즈니스프로세스를구성하고있는업무들로이동시킴으로서정보기술을통한비즈니스프로세스의급격한혁신을독려하였다. 또, BPR 이외에도프로세스또는조직의성과측정을강조하는기업성과관리 (CPM: Corporate Performance Management), 지속적프로세스혁신 (CPI: Continuous Process Improvement), 비즈니스프로세스혁신 (BPI: Business Process Improvement), 전사적품질경영 (TQM: Total Quality Management), 그리고식스시그마 (Six Sigma) 등의다양한경영기법들이프로세스성과를측정하고개선하는데활용되고있다. 한편, 현재프로세스에관련된경영기법들, 특히프로세스분석기법은빅데이터시대를맞아새로운변혁의시기에있다. 인텔의공동창업자인고든무어는 1965년, 반도체칩에저장되는데이터의양이매년두배씩늘어날것이라고예측하였는데, 무어의예측에비해약간은더딘속도를보였지만, 지난 50년간데이터 2
빅데이터분석을위한프로세스마이닝기술동향 의성장은폭발적이었다. 이러한성장은 디지털세계 의괄목할만한발전을초래하여, 현재모든데이터는전자적으로저장되고교환되고있으며, 디지털세계와실제세계는더욱동조화 (align) 되고있다. 또업무프로세스관점에서도프로세스와매끄럽게동조화되어있는디지털세계의발전을통해업무수행과관련된각종정보가이벤트로그의형태로기록되고있는데예를들어, ATM의현금인출, 의사의 CT/MRI 조작, 운전면허시험응시, 세금신고, 여행자의전자항공권수령등의거의모든작업들이정보시스템에이벤트로그형태로기록되고있다. 이러한프로세스수행관련이벤트로그의분석은, 프로세스에대한통찰, 병목점식별및문제예측, 업무수행규정위반검사및대책권고, 프로세스간소화등에매우다양하게활용될수있다. 2. 프로세스마이닝의적용분야 프로세스마이닝은 BPM, ERP, CRM, SCM 등다양한기업의업무처리시스템에서기록되는빅데이터의이벤트로그를분석하여 의미있는정보를찾아내는것 을목적으로한다. 아래 < 그림 1> 은프로세스마이닝의세부적인연구분야들을나타낸그림이며프로세스성과측정, 프로세스모델도출, 조직모델도출, 시뮬레이션분석등이프로세스마이닝의주된연구분야이다. 3
방송통신기술이슈 & 전망 2014 년제 62 호 프로세스마이닝수행은기법관점에서세가지타입으로구분되는데, 프로세스마이닝의첫번째타입은 도출 (discovery) 이다. 도출기법은사전정보없이이벤트로그에서모델을생성하는기법으로, 프로세스분석에가장많이활용되고있는중요한기법이다. 현재개발된프로세스마이닝기법들은프로세스에대한사전정보없이이벤트로그의일부케이스에서실제수행되고있는프로세스를도출해낼수있다. 프로세스마이닝의두번째타입은 적합성검사 (conformance checking) 이다. 적합성검사는보통기존의프로세스모델과기존모델에서생성된이벤트로그를비교하는것인데, 적합성검사는로그에기록된현실이모델에일치하는지 ( 또는모델이현실에일치하는지 ) 확인하는데이용될수있다. 또, 적합성검사는프로세스모델, 조직모델, 선언적 (declarative) 프로세스모델, 비즈니스규칙 / 정책, 법규등다양한모델에적용될수있다. 프로세스마이닝의세번째타입은 향상 (enhancement) 이다. 기본아이디어는이벤트로그에기록된실제프로세스에관한정보를이용하여기존의프로세스모델을확장하고향상시키는것이다. 예를들어, 이벤트로그의타임스탬프를이용하여기존모델을병목점, 서비스레벨, 업무처리시간, 빈도등을보여주는모델로확장할수있다. 또, 아래 < 그림 2> 는투입과산출관점에서프로세스마이닝의세가지타입을보여준다. 도출기법들은하나의이벤트로그를입력받아하나의모델을생성한다. 도출된모델은보통 Petri net, BPMN, EPC, UML activity diagram 등의프로세스모델이대부분이며, 소셜네트워크와같이다른관점의모델도도출할수있다. 적합도검사기법은이벤트로그와모델을필요로하며, 그결과는모델과로그의공통점과차이점을보여주는진단결과정보이다. 향상기법도이벤트로그와모델을필요로하며, 그결과는개선된모델또는확장된모델이다. 4
빅데이터분석을위한프로세스마이닝기술동향 한편, 프로세스마이닝의효용성은 BPM 1) 라이프사이클로도설명가능한데, 아래 < 표 1> 은 BPM 라이프사이클의단계별수행내용을정리해놓은표이며, < 그림 3> 은 BPM 라이프사이클을보여준다. BPM 라이프사이클은비즈니스프로세스와관련정보시스템이가지는라이프사이클을 7단계로나누어서표현하고있다. 프로세스마이닝은위 < 그림 3> 의대부분의모든단계에서유용하게사용되며, 5
방송통신기술이슈 & 전망 2014 년제 62 호 특히 진단 단계에서는프로세스마이닝기법이매우유용하게활용된다. 프로세스모델의도출과적합성검사등을통해서실제수행되고있는프로세스의문제점을찾아낼수있으며, 향상을통해서새로운프로세스재설계방향을제시할수도있다. 뿐만아니라, 수행 단계에서도프로세스마이닝기법들이프로세스운영지원을위해활용될수있다. 즉, 과거데이터를기반으로학습된모델을바탕으로예측과추천을통해수행중인케이스에영향을줄수있는것이다. 또한, 프로세스마이닝을활용한유사한형태의의사결정이프로세스를수정하거나프로세스를 ( 재 ) 구성 하는과정에도활용될수있다. 위 < 그림 4> 는프로세스마이닝활동과결과물에초점을맞춰프로세스마이닝프로젝트를수행하는단계들을설명하고있다. 프로세스마이닝프로젝트의준비단계인 0단계에서는계획작성과계획에대한타당성기술이이루어진다. 프로젝트를시작하고 1단계에서는시스템, 도메인전문가, 경영진으로부터이벤트데이터와모델, 목적, 의문사항등을도출한다. 이단계에서는가용데이터 ( 분석을하려 6
빅데이터분석을위한프로세스마이닝기술동향 면어떤자료가사용될수있을까?), 분석하는데이터의도메인 ( 어떤것이중요한질문인가?), < 그림 4> 의 1단계중간산출물 ( 과거데이터, 핸드메이드모델, 목적, 의문점등 ) 에관한이해가요구된다. 2단계에는자동화된프로세스도출기법을활용하여프로세스모델을도출하고, 모델을이벤트로그에연결한다. 도출된프로세스모델은 1단계에서도출한의문사항에대한답을제시할수있고, 이를바탕으로기존프로세스를재설계하거나수정할수있다. 또한모델을활용하여이벤트로그를필터링하고수정할수있다. 예를들어모델을활용하여로그내에서빈도수가낮은작업이나아웃라이어에해당하는케이스를제거할수있으며, 누락된이벤트를로그에직접추가할수도있다. 또, 필터링과정에서로그에있는이벤트는프로세스모델의개체에연결되어야한다. 프로세스가비교적구조적이면프로세스모델이 3단계를거치게되며, 2단계에서생성된이벤트로그와모델의관계를바탕으로데이터, 시간, 리소스관점으로분석이확장된다. 4단계에서는, 3단계에서형성된모델들을운영지원의목적으로사용할수있다. 과거이벤트데이터에서추출된지식은수행중인케이스의정보와결합되고, 이는수행중인프로세스에대한개입, 예측, 추천에사용된다. 3단계와 4단계는프로세스가충분히안정적이고체계적일때도달할수있다. 3. 프로세스마이닝의기술적요소 본장에서는프로세스마이닝의기술적인요소에대해서기술하기로한다. 프로세스마이닝의가장핵심적인기술은이벤트로그에서프로세스모델을도출하는기술이라할수있으며, 이를통해기업내에아직가시화되지않은프로세스를찾는데유용하게쓰일수있다. 예를들어, 예전에는기업의프로세스가명확히규정되지않고정보시스템에내재되어있는경우가많았고, 따라서기업이비즈니스프로세스개선을위한컨설팅을받을경우가시화된프로세스가없기때문에기존의업무시스템을분석하고, 프로세스를분석하는데많은시간이소비되었다. 컨설턴트들과기업의업무담당자들이모여서, 기존업무진행과정및프로세스에대해회의를하고, 이를통해기존의프로세스모델인 AS-IS 모델을만들게되며, 이런과정에는많은인적자원과시간, 비용이소모된다. 그러나정보시스템을사용하여업무를수행하고있을경우, 보통누가언제어떤종류의일을했는 7
방송통신기술이슈 & 전망 2014 년제 62 호 지에대한기록이정보시스템내의데이터베이스에이벤트로그형태로존재하며, 이러한이벤트로그를추출하여프로세스마이닝알고리즘을적용하면실제기업에서작업이어떻게수행되고있는지를나타내는프로세스모델을빠르고정확하게추출할수있다. 병원의진료프로세스와같이프로세스가정형화되지않은경우에도프로세스마이닝기법을통하여프로세스를가시화할수있다. 예를들어아래 < 그림 5> 의표와같이어떤수행자가어떤프로세스의어떤작업을수행했는지에대한이벤트로그데이터에프로세스구조를생성해내는알고리즘을적용하면프로세스모델을자동으로도출할수있다. 또한시간에대한정보를바탕으로각업무의수행시간을계산할수있고, 업무수행자의관계및분기점에서의분기규칙등도도출할수있다. 8
빅데이터분석을위한프로세스마이닝기술동향 이러한프로세스모델도출을위해서다양한마이닝알고리즘이개발이되고있는데, 대표적인것으로가장처음개발된알파 (alpha) 마이닝, 노이즈처리에강점을가지고있는휴리스틱 (heuristic) 마이닝, 복잡한프로세스모델을간단하게볼수있는퍼지 (fuzzy) 마이닝등이주로알려져있다 [2]-[4]. 아래 < 그림 6> 은프로세스마이닝에서프로세스구조를찾아내는예를나타내고있는데, < 그림 6>(a) 는프로세스로그를간략화하여표현한것이고, < 그림 6>(b) 는로그를바탕으로도출된프로세스모델을표현한것이다. < 그림 6>(a) 에서각행은하나의케이스를나타내는것인데, 병원프로세스의경우각환자가하나의케이스가되며, 두번째열에서 A, B, C, D, E, F는작업의이름이고, Jone, Sue 등은서비스를제공한사람이다. 예를들어, 첫번째케이스의경우 A, B, C, D의순서로작업이진행이되었고, A작업의경우 John이서비스를제공하였으며, 두번째케이스의경우는 A, C, B, D의순서로작업이진행되었음을알수있다. 아래 < 그림 6>(a) 의경우에알파마이닝기법을적용하면, < 그림 6>(b) 와같은프로세스모델이나오게되며, 그림의모델은 Petri-Net으로표현이되었다. 모든케이스가작업 A로시작이되기때문에, A가가장앞에나오고, D로끝나기때문에 D가마지막에나오게된다. 또중간에는 B, C, E작업이올수있는데, B와 C의경우순서가중요하지않기때문에병렬로나타나게되고, B, C가나오지않으면, E 가수행이되는상황이모델링되어있다. 위의예에서는간단한사례로보여주었지만실제데이터분석에서는다양한작업에서방대한양의로그가발생되기때문에정확한모델의도출이어렵다. 따라서프로세스는다양한패턴을가지는데, http://www.workflowpatterns.com 에따르면프로세스구조관점의패턴만 43개의패턴을가지고있다. 이벤트로그를분석해서 43개의패턴을도출하는것은쉽지않은문제이고, 제조, 의료, 공공서비스, 항만 / 물류등도메인에따라프로세스의특성이다르기때문에적용이되는알고 9
방송통신기술이슈 & 전망 2014 년제 62 호 리즘도차이가있어야한다. 또도출된프로세스모델은매우복잡한형태를보이는경우가많다. 예를들어아래 < 그림 7> 은암스테르담병원에서부인과의특정질병에대한프로세스를도출한화면인데, 260여개의작업에대해서분석한프로세스는너무복잡하여이해가힘들기때문에, 간략화하여주요흐름만보일필요가있고, 이런목적을위해서앞서언급한퍼지마이닝이활용될수있으며, 비슷한흐름의분포를보이는케이스를묶어서분석하는트레이스클러스터링 (Trace Clustering) 기법이활용될수있다 [5]. 분석의관점을달리하여프로세스를분석할수도있는데조직관점에대한분석으로는이벤트로그에서업무수행자 / 리소스사이의관계를도출하는소셜네트워크마이닝 [6], 업무관점에서부서관계나팀관계를도출하는조직 (organizational) 마이닝 [7], 업무수행자 / 리소스가어떻게작업에할당되는지에대한패턴을도출하는스탭어사인먼트 (staff assignment) 마이닝등이활용될수있다. 또한업무성과관점에서는프로세스관점에서업무의수행시간, 병목점등을도출하는페트리넷기반퍼포먼스분석 (performance analysis with petri-net), 업무의수행패턴을도출하는시퀀스패턴 (sequence pattern) 분석, 이벤트로그의전반적인모습및패턴파악에유용한도티드 (dotted) 차트분석등이사용된다. 10
빅데이터분석을위한프로세스마이닝기술동향 기존의모델또는도출된모델과이벤트로그를비교하는모델의정합성검사에서는모델에이벤트로그를대조하여모델이이벤트의각케이스를얼마나설명할수있는지보는로그리플레이 (log replay) 기법을활용하여정합도 (fitness) 를측정하는방법이가장일반적으로쓰이고있으며, 모델이이벤트로그의케이스외에불필요한부분을포함하고있는지를보는적합도 (appropriateness) 를측정하는방법도있다. 또한최근에는로그얼라인먼트 (log alignment) 방법에대한연구가활발하게되고있다 [8]. 한편, 이러한프로세스마이닝기술들은빅데이터시대를맞이하여빅데이터기반의기술로진화하고있다. 즉, 프로세스마이닝기법들이대용량데이터처리를위해서진화하고있는데, 예를들어분산기술을활용하여대용량이벤트로그를나누어분석하고결과를통합하는연구, Hadoop, Memory DB 등을활용하여분석의속도를높이는연구등이진행되고있다. 또한프로세스마이닝은주로정형화된이벤트로그를분석하는데, 정형화된데이터를업무수행관점에서발생하는대용량의비정형데이터와결합하는연구등을통해이벤트로그로남지않는업무정보에대한분석이나업무지연에대한원인분석등에대한연구가필요하다. 4. 프로세스마이닝분석사례 이러한프로세스마이닝은최근학계와산업계의큰관심을받고있는데, IEEE에서도 Task Force on Process Mining이구성되어, IBM, HP, Infosys, Fujitsu 등의기업과 Gartner, Deloitte 등의컨설팅기업, 전세계약 20여개학교가참여하고있으며, 많은연구결과가발표되고있다. 프로세스마이닝은다수의기업에서도많이활용되고있는데예를들어, 네덜란드시청을포함한공기업등의업무프로세스분석, 암스테르담종합병원의환자치료프로세스분석등의실무에활용되고있으며, 또세계최대의반도체생산장비업체인 ASML은생산장비에내재된임베디드시스템의내부프로세스분석에프로세스마이닝기술을활용하였다. 필립스의경우는소프트웨어개발팀에서메디컬장비용소프트웨어를테스트하기위해프로세스마이닝기법을활용하고있는데, 약 200여명의엔지니어들이이기법을활용해서개발제품의품질향상을도모하고있다 [8-15]. 국내의경우도삼성전자, 삼성전기, 대우조선해양등제조기업의제조프로세스 11
방송통신기술이슈 & 전망 2014 년제 62 호 분석, 분당서울대학교병원, 보라매병원등의진료프로세스분석, 부산항의항만물류프로세스분석, 전시회관람객동선분석등의다양한분야에서프로세스마이닝이적용되고있다. 국내사례중에서는삼성전기와분당서울대학교병원의사례가 IEEE Task Force on Process Mining에우수적용사례로소개되고있다. 먼저, 삼성전기에서는생산을위해사용되는 MES 2) 에서나오는데이터를분석하여생산프로세스관련된다양한분석을수행하였는데, 데이터를바탕으로실제생산프로세스모델을도출하여병목점에대한분석을실시하였고, 특히공정에사용되는장비의운용상태에대한분석을통해, 장비활용의효율성에대한분석이가능하였다. 또한프로세스패턴을도출하여, 수율이높은패턴과낮은패턴을파악하고, 공정진행과정에서수율의문제가언제발생하는지에대한분석도가능하였다. 분당서울대학교병원의경우외래진료프로세스분석에프로세스마이닝분석기법을적용하였는데, 우선데이터분석을통해서도출된진료프로세스모델과병원의표준진료지침과비교하여약 90% 정도의정합도가있다는것을확인하 2) 12
빅데이터분석을위한프로세스마이닝기술동향 였고 (< 그림 8>), 이를통해병원의진료프로세스관리가비교적잘되고있다는것을확인하였다. 또, 환자의종류에따라서다양한진료패턴이나타나는것을파악하고이결과를환자안내시스템의개선에활용하였고, 로그분석을바탕으로시뮬레이션모델을작성하여, 환자가늘었을경우진료시간에어떤변화가있는지분석하여병원에서사용되고있는키오스크의적정대수산정을산출하였다. 5. 결론 빅데이터시대를맞이하여데이터분석의중요성에대한인식이날로높아지고있다. 또한데이터를기반으로한프로세스의과학적인분석에대한수요도높아지고있다. 이런수요를바탕으로프로세스마이닝연구의중요성도증가하고있고, 이미많은기업에서프로세스마이닝기법을적용하여업무프로세스를개선하고있다. 프로세스마이닝을적용하는데있어서는산업별로프로세스의종류와특성이다르고, 이에따라적용되는기법이나방법이다르기때문에이에대한많은연구와경험들이필요하다. 또한대용량데이터처리에대한문제나, 프로세스분석결과를바탕으로자동프로세스개선, 프로세스마이닝기반시뮬레이션등에대한연구도많이필요한시점이다. 13
방송통신기술이슈 & 전망 2014 년제 62 호 [1] van der Aalst, W.M.P., et al. Process Mining Manifesto, In F. Daniel, K. Barkaoui, and S. Dustdar (eds.), BPM Workshops (1), LNBIP vol. 99, pp. 169 194, Springer, 2011 [2] van der Aalst, W.M.P, Weijters, A.J.M.M., and Maruster., L. "Workflow Mining: Discovering Process Modles from Event logs". IEEE Transcations on Knowledge and Data Engineering, vol. 16, no. 9, pp. 1128-1142, 2003. [3] Weijters, A.J.M.M., van der Aalst, M.w.p. "Rediscovering Workflow Models from Event Based Data sing Little Thumb". Intergrated Computer-Aided Engineering, vol. 10, no. 2, pp.151-162, 2003. [4] Giinther, C.W., van der Aalst, W.M.P. "Fuzzy Mining-Adaptive Process Simplification Based on Multi-Perspective Metrics", BPM 2007. LNCS, vol. 4714, pp. 328-323, Springer, Heidelberg, 2007. [5] Song, M., Gunther, C., van der Aalst, W.M.P. "Trace Clustering in Process Mining", BPM Workshop, vol. 17, pp. 109-120, Springer Berlin Heidelberg, 2009. [6] van der Aalst, W.M.P. Reijers, H.A. and Song, M. "Discovering Social Networks from Event Logs", Computer Supported Cooperative Work (CSCW), Vol.14, No.6, pp.549-593, December 2005. [7] Song, M. van der Aalst, W.M.P. "Towards Comprehensive Support for Organizational Mining", Decision Support Systems, Vol.46, No. 1, pp. 300-317, Dec. 2008. [8] Jagadeesh Chandra Bose, R.P., and van der Aalst, W.M.P., "Process Diagnostics Using Trace Alignment: Opportunities, Issues, and Challenges," Information Systems, vol. 37, no. 2, pp. 117-141, 2012 [9] van der Aalst, W.M.P., Reijers, H.A., Weijters, A.J.M.M., van Dongen, B.F., Alves de Medeiros, A.K., Song, M., Verbeek, H.M.W., Business Process Mining: An Industrial Application, Information Systems, vol. 32, no.5, pp. 713~732, 2007 [10] Rozinat, A., Jong, I. S. M. d., Günther, C. W., & van der Aalst, W. M. P, "Process mining applied to the test process of wafer scanners in ASML," In IEEE Transactions on Systems, Man, and Cybernetics, Part C (RSMC), vol. 39, pp. 474 479, 2009 [11] Mans, R.S., Schonenberg, M.H., Song, M., van der Aalst, W.M.P., and Bakker, P.J.M., Application of Process Mining in Healthcare A Case Study in a Dutch Hospital, BIOSTEC. CCIS, vol. 25, pp. 425-438, 2008 [12] Goedertier, S., Weerdt, J. D., Martens, D., Vanthienen, J., & Baesens, B., "Process discovery in event logs: An application in the telecom industry," Applied Soft Computing, vol. 11, no. 2, pp. 1697 1710, 2011 [13] Conforti, R., de Leoni, M., La Rosa, M., and van der Aalst, W. M. P., "Supporting Risk-Informed Decisions during Business Process Execution," In Proceedings of 25th 14
빅데이터분석을위한프로세스마이닝기술동향 International Conference on Advanced Information Systems Engineering (CAiSE 2013), Valencia, Spain, 17-21 June, 2013 [14] Jo, H., Cho, Y., Noh, S., Ryu, K., and Song, M., "A Study of a Production Service Framework based on the Manufacturing Execution System," 17th International Conference on Industrial Engineering Theory, Applications and Practice, Pusan National University, Busan, Korea, October 6-9, 2013 [15] Kim, E., Kim, S., Cho, M., Song, M., Yoo, S., "Simulation of Optimal Number of Outpatient Payment KIOSK Estimation Using Process Mining," Proceedings of the 2013 Korean Society of Medical Informatics Spring Conference, Asan Hospital, South Korea, June 13-14, 2013 15
방송통신기술시장 정책콘텐츠 발행호 2014 년제 62 호 발간물명 빅데이터분석을위한프로세스마이닝기술동향