정보보호학회지제 26 권제 3 호, 2016. 6 온라인게임보안을위한머신러닝시스템연동방안 이은조 * 요약온라인게임에는해킹이나악성코드와같은다른분야에서도널리알려진위협뿐만아니라계정도용이나자동사냥프로그램사용과같은온라인게임에서만볼수있는위협들이존재한다. 온라인게임은게임유저의다양한활동을데이터로기록하기때문에이런풍부한데이터를활용한머신러닝기반의탐지기법을적용하기적합한분야이다. 그럼에도불구하고다른보안분야에비해상대적으로연구가많이되지않고있으며대부분의연구가탐지모델링단계에집중되어있다. 본논문에서는머신러닝에기반한온라인게임보안시스템을효과적으로구축하기위한연동구조와실전적용시고려해야할점에대해소개한다. Ⅰ. 서론온라인게임에는해킹이나악성코드, 랜섬웨어와같은일반적으로알려진위협뿐만아니라게임내가상세계를통해벌어지는다양한불법행위등이존재한다. 여기에는다른게임유저의계정을탈취하거나신용카드도용을통해게임아이템을구매하는등의기존온라인서비스에서도볼수있는범죄행위도있지만게임약관상에서불법으로규정하고있는자동사냥프로그램이용이나가상아이템거래를이용한돈세탁과사기같은온라인게임상에서만볼수있는유형도있다. 이런종류의위협이나범죄행위는기존에연구되던보안대책과는접근방법이나적용방안에있어서다소차이가있으며게임생태계및사업특성에대한충분한이해가기반되지않고서는적절하게실전에적용할수없다. 과거온라인게임보안은주로게임클라이언트나네트워크에서의탐지및대응에초점이맞춰져있었다. 그런데최근몇년사이에빅데이터인프라및머신러닝에대한관심이커지면서서버단에서수집되는각종데이터를이용한탐지기법이많이연구되고있다. 온라인게임은그특성상게임유저의세세한활동이모두기록되기때문에다른온라인서비스에비해다양한데이터를수집할수있다. 따라서이런대량의데이터를 머신러닝에적용하여위협을탐지하고대응하기에적합한분야이다. 그러나데이터기반의보안과머신러닝두분야모두실전에적용된사례가많지않고경험이풍부한전문가가부족하기때문에어떻게구축하고적용해야할지어려워하는것이현재업계의상황이다. 한편대부분의머신러닝관련연구들은탐지성능을높이기위한학습모델링을어떻게할것인지에대한방법론에집중하고있다. 반면실전에탐지모델을적용할때학습모델링을통해만든탐지모델을서비스에어떻게연동할지에대한방법론이나인프라구조에대해서는공유되는정보가많이부족하다. 본논문에서는온라인게임에서주로발생하는보안문제가어떤것이있는지먼저살펴본후이를해결하기위해서버단에서수집하는데이터를머신러닝에적용하여위협을탐지하는방법및시스템구조를소개하겠다. 아울러머신러닝기반의온라인게임보안시스템을실전에적용할때고려해야할사항들에대해서도간략히살펴보도록하겠다. Ⅱ. 온라인게임위협의종류와특징온라인게임에서다루는주요보안이슈는계정도용및결제사기와자동사냥프로그램탐지가있다. 최근에문제가되고있는대부분의보안위협들이그러하듯 * 엔씨소프트 (gimmesilver@ncsoft.com)
30 온라인게임보안을위한머신러닝시스템연동방안 온라인게임분야의위협행위역시금전적인이득을취하려는목적때문에발생한다. 이런금전적인이득은대부분 ' 아이템현물거래 (Real Money Trading, 이하 RMT)' 를통해이뤄진다. RMT는게임세계의가상재화나물건, 게임캐릭터를현실세계의실물화폐로교환하는행위를말한다. 최초의 RMT는 1999년 ' 울티마온라인 ' 이라는게임의한유저가자신의계정을이베이에경매로올린것으로알려져있다 [1]. 이후이런 RMT 수요가점점늘면서 2001년에 ' 아이템베이 ' 라는게임전문거래중개사이트가세계에서최초로우리나라에생겼으며이후유사한사이트들이전세계에널리퍼져있다. 온라인게임이대중화되고게임세계에서의높은지위와능력을갖는것을갈망하는사람들이많아지면서이 RMT 규모역시크게성장하였다. 상당수의 RMT가음성적으로진행되기때문에정확한규모를추정하기는어렵지만우리나라의경우연간최소약 1조 5천억원의거래가발생하는것으로추정하고있다 [2]. RMT는온라인게임이인기를끌기시작한 2000년대초반부터지속적으로규모가성장했다. 특히, 2010 년 1월에는 RMT를합법적인행위라고인정한대법원판례가나오면서이에대한규제가어려워졌으며이로인해앞서언급한계정도용, 사기결제, 자동사냥프로그램사용과같은온라인게임에서의범죄행위가크게증가하였다 [3]. 그러나 2012년에게임산업진흥에관한법률시행령이개정되면서 RMT를업으로하는행위를처벌대상으로규정하였으며이에따라최근대규모 RMT 전문조직이단속되기도했다 [4]. 이제앞서언급한온라인게임상의범죄유형들이어떻게 RMT와연결되고이로인해어떤피해가발생할수있는지좀더자세히언급하면다음과같다. RMT를통해제 3자에게처분하는경우가가장많다. 이런경우피해계정당사자가차후도용사실을안후신고를하게되면조사과정을거쳐피해복구가가능하다. 그러나 RMT를통해해당아이템을구매한제 3자는자신이구매한아이템이도용아이템이라는사실을모르고구매하는경우가대부분이기때문에의도치않은손해가발생하게된다. 도용피해자와구매유저모두손해를보지않도록피해아이템을새로게임내에생성하는방법도가능하지만이런식의대응이빈번해지면게임세계내의재화가비정상적인방법으로증가하게되기때문에게임경제에인플레이션을유발할수있다. 따라서계정도용은피해를복구하는데집중하기보다는사전에도용행위를탐지하여방지하거나혹은도용이후 RMT를통해게임재화가처분되기전에빠르게탐지하여조치하는것이중요하다. 2.2. 결제사기결제사기는다른사람의카드나계정을도용하여게임회사에서판매하는유료아이템을구매한후이아이템을 RMT 시장을통해처분하는행위이다. 이경우역시피해당사자가사후신고를할경우해당비용은환불처리가될수있지만이로인한손실은게임회사가지게된다. 심지어최근에는은행계좌해킹이나피싱을통해다른사람의계좌에있는현금을가상계좌로이체한후이가상계좌를통해게임아이템을구매하고다시이아이템을 RMT 를통해현금화함으로써돈세탁을하는신종사기범죄도등장하였다 ( 그림 1 참조 ). RMT는그특성상게임세계의가상재화와현실세계의재화간의접점역할을할수있는반면기존금 2.1. 계정도용 계정도용이란다른사람의계정정보를다양한해킹기법을이용해탈취한후허락을받지않은상태에서게임에대신접속하는행위를말한다. 대개다른온라인서비스의경우이렇게도용한계정을이용해개인정보를빼돌리거나해당계정의지인에게접근하여돈을가로채는피싱등의행위를많이하는데온라인게임에서는해당계정의게임캐릭터가보유한가상재화를 [ 그림 1] 금융계좌피싱과 RMT 를연계한금융사기
정보보호학회지 (2016. 6) 31 융거래와정보를공유하는채널이아직없기때문에수사기관에서자금추적이쉽지않아효과적인돈세탁수단이될수있다. 따라서이와같은금융권의해킹이나피싱과연계한온라인게임금융범죄는앞으로계속증가할것이라예상되고있다. 2.3. 자동사냥프로그램사용자동사냥프로그램은사람을대신해서게임을플레이하는프로그램을말한다. 보통유저의번거로운조작을줄이기위한보조도구로많이사용한다. 그런데 RMT 시장의규모가커지면서, 자동사냥프로그램을대규모로운영하여이를통해모은가상재화를현금화하는전문적인사업체가등장하게되었다. 이를 ' 작업장 (Gold Farming Group, GFG)' 이라고부른다. 일반사용자가편의성을얻기위해자동사냥프로그램을사용하는것과달리이런작업장은수백개이상의게임캐릭터를이용하여대규모로활동하기때문에게임내리소스를독점함으로써일반사용자에게심리적인박탈감과게임에대한흥미를떨어뜨리게만듦으로써고객이탈을야기한다. 또한게임내경제시스템이나컨텐츠밸런스를무너뜨릴수있기때문에대부분의게임회사에서는약관상으로자동사냥프로그램사용을불법으로규정하여제재하고있다. Ⅲ. 온라인게임보안관련기존연구사례비록다른보안분야에비해그규모는작지만앞장에서소개한온라인게임관련보안위협을탐지하기위한방안을제안하는연구들은 2000년대부터꾸준히진행되었다. 먼저 Yan과 Randell[5] 은온라인게임분야에서발생하는다양한범죄행위에대해체계적인분류작업을진행했다. 이중가장많은연구가이뤄지는분야는자동사냥프로그램탐지분야이다. Ahmad 등 [6] 은 에버퀘스트2 라는게임을대상으로다양한분류알고리즘과특질데이터를이용하여자동사냥프로그램을탐지하는방법을제안하였다. 이후좀더전문화된탐지방법들이연구되었는데유저들의다양한활동량에대한통계를이용한연구로는 Thawonmas 등 [7] 이있다. 또한동일한행동이나패턴을반복하는특성을이용한연구도있었는데 Kesteren 등 [8] 은이동경로상의 반복패턴을이용하는기법을연구했으며 Lee 등 [9] 은유저의전반적인행동을자기유사도라는정량화기법을이용하여탐지하는기법을제안하였다. 한편온라인게임은여러유저간의상호작용및협업활동이중요한역할을하기때문에이런협업활동에서나타나는특성에초점을맞춘연구도있었다. Kang 등 [10] 이제안한파티활동에기반한탐지기법과김하랑등 [11] 이연구한길드활동을이용한탐지기법이이에해당한다. 마지막으로작업장의 RMT 거래네트워크를분석한연구도있는데 Woo 등 [12] 과 Kwon 등 [13] 은캐릭터들간의거래행위에대해네트워크분석을수행했으며이를통해작업장커뮤니티를탐지하고이들의특징을분석하였다. 한편강성욱등 [14] 은네트워크분석을통해 RMT 구매자를탐지하는접근방식을제안하기도했다. 마지막으로 Keegan 등 [15] 은작업장의거래네트워크를현실세계의마약거래네트워크와비교하여유사점을분석한흥미로운연구를진행하기로했다. 반면계정도용이나결제사기에대한연구는상대적으로많이진행되지못했다. Chen 등 [16] 은유저의활동정보중활동시간및휴식시간의분포에기반한탐지기법을제안하였으며, Woo 등 [17] 은유저의활동정보뿐만아니라접속 IP와같은접속관련정보까지포함한다양한특질을이용한머신러닝기법을제안하였다. 김하나등 [18] 은게임활동에대한시퀀스분석을통해계정도용을탐지하는기법을제안하였는데이렇게탐지한정보를토대로피해계정으로부터아이템이이동하는패턴에대한분석을진행하기도했다. 이렇듯온라인게임보안분야는다양한데이터를이용한탐지기법들이연구되었지만이런연구결과가실전에활용된사례는상대적으로드물다. 여러가지현실적인이유가있겠지만그중에서한가지이유는머신러닝탐지모델을실전서비스에적용하기위한구현및연동방법에대한자료가상대적으로부족하기때문이다. 따라서다음장에서는이런다양한머신러닝탐지기법을서비스에연동하기위한시스템구조및방법에대해서소개하겠다. Ⅳ. 머신러닝인프라구축방안이번장에서는머신러닝을이용하여온라인게임위협을탐지하기위한시스템구축방안에대해소개하겠
32 온라인게임보안을위한머신러닝시스템연동방안 다. 머신러닝을이용한위협탐지는탐지패턴을찾는분석및학습모델링단계와생성한탐지모델을적용하여실제위협을탐지하는서비스단계로나뉜다. 분석및학습모델링단계에서는보안전문가혹은데이터분석가가기존에축적된데이터와보안위협사례를분석하여보안위협탐지를위한패턴을찾거나기계학습을위한정답집합을구축한다. 이후이런패턴을효과적으로탐지하기위한모델을만들기위해기계학습알고리즘을이용해모델을학습한다. 서비스단계에서는위에서생성한학습모델을서비스서버에적용해실제이벤트발생시이것이정상데이터인지아니면사기나도용과같은보안위협인지를판단하고적절한대응을한다. 대개의경우분석및모델링단계와서비스단계는개별분야의전문가에의해업무가진행되며개발및작업환경역시상이한경우가많다. 예를들어엔씨소프트의경우분석단계에서는 Hive와 R같은데이터분석용도구를사용해통계전문가나보안담당자가작업을수행하며, 서비스단계는게임서버나기타인프라서버개발자가 C++ 를이용해서개발한다. 따라서이런이질적인환경에서는머신러닝을이용해탐지모델을만들더라도적절한연동방안을마련하지못한다면실전에적용되기까지많은시간과비용이필요하다. 방법을사용할수있다. 예를들어파이썬의 SciKit 라이브러리를분석환경에서사용했다면학습모델을적용하는시스템에서도탐지모듈을파이썬으로구축하는방식이다. 그러나이렇게분석및학습단계와서비스단계에의존성을두게되면향후유지보수에제약이생길수있다. 결국탐지모델을서비스에적용할때는둘사이에구현레벨에서의의존성을분리할수있는 DSL을사용해야한다. 이때 DSL은첫째, 다양한머신러닝알고리즘의모델을명세할수있어야하고, 둘째, 이명세한모델을범용적으로탐지에활용할수있는구현체가있어야하며, 셋째, 명세결과를디코딩하거나인코딩하는데드는비용이적어야한다. 위요구사항을만족하는대표적인언어가 'Predictive Model Markup Language( 이하 PMML)' 이다 [21]. PMML은 'Data Mining Group( 이하 DMG)' 에서만든통계및머신러닝모델명세용표준이다. XML을기반으로하며여러알고리즘의모델명세에필요한파라미터정보를표시할수있도록규격화했는데 1998년에최초로규격이공개되어계속확장및발전하였으며 2016년 5월현재 4.2.1 버전까지공개되어있다. 자바, 파이썬, R 등다양한언어및머신러닝라이브러리에서 PMML을지원하고있으며널리알려진학습알고리즘의대부분을명세할수있기때문에적용 4.1. 학습모델과서비스연동 분석및학습단계에서만든탐지모델을서비스에적용하기위해선해당규칙을직접구현하거나혹은 ' 도메인특화언어 (Domain Specific Language, 이하 DSL)' 를이용하는방법이가능하다. 서비스에서직접구현하는방법은매번탐지모델을수정할때마다시스템수정이필요하기때문에구현및유지보수비용이크다는단점이있다. 또한 ' 의사결정나무 (Decision Tree)' 처럼사람이이해하기쉬운방식으로만들수있는모델이아니라면탐지모델을구현하는것은매우복잡하기때문에, 이방식을이용할때는사용가능한머신러닝알고리즘에제약이생길수있다. 이런제약을피하려면학습단계에서사용하는분석환경과동일한시스템환경을서비스에서도이용하는 [ 그림 2] Iris 데이터를의사결정나무알고리즘으로분류한모델에대한 PMML 샘플
정보보호학회지 (2016. 6) 33 단계에서의제약이적고이미실전에서검증된 de facto 표준이다 ( 그림 2 참조 ). 4.2. 머신러닝서버구축및서비스연동 앞절에서소개한 PMML을이용하면분석및학습단계에서만든탐지모델을 PMML 형태의데이터로변환하여탐지시스템에전달할수있다. 그러면탐지시스템에서는전달받은 PMML 데이터를디코딩하여탐지모델을사용하게된다. 그런데 2장에서언급했듯이온라인게임서비스에는다양한위협들이존재하며각위협을탐지하기위한서비스는대개독립적인시스템으로구축되어있다. 가령, 계정도용이나자동사냥프로그램탐지및제재는게임서버와연동되어야하지만결제사기탐지는결제시스템과연동되어야한다. 따라서만약 PMML 디코딩및탐지모듈이각시스템마다별도로구현된다면유사한기능들이중복구현되기때문에비효율적이다. 이런중복구현에따른부담과운영및유지보수비용을줄이려면 PMML 데이터를디코딩하고탐지모델을실행하는기능은별도의서버로구축하고서비스서버는이서버와 API를통해연동하는것이바람직하다. 예를들어분석담당자는분석및학습단계에서생성한모델을머신러닝서버에배포하고, 서비스서버에서는이벤트발생시이이벤트가계정도용이나결제사기같은보안위협인지여부를탐지하기위해머신러닝서버에질의하여그결과에따라적절한조치를취하는것이다. 이를도식화하면 [ 그림 3] 과같다. 위에서설명한머신러닝서버를구현한사례중대 [ 그림 3] 머신러닝서버를이용한학습모델과서비스서버연동구조 표적인것이 Openscoring이다 [22]. Openscoring은머신러닝서비스를제공하는 REST API 기반의오픈소스웹애플리케이션이다. 모델명세를위해 PMML을사용하고있으며모델의배포와예측서비스를 HTTP 기반의 REST API 형태로제공한다. 따라서이를이용하면분석및학습단계와서비스단계사이의의존성을없앨수있으며 REST API를통해서비스를중단하지않고도탐지모델변경및개선이가능하다. Ⅴ. 머신러닝적용시고려사항온라인게임보안에서머신러닝을실전에적용할때는아래와같은사항에대해고려해야한다. 5.1. 정답집합구축머신러닝을온라인게임보안분야에적용하기위해선먼저탐지하고자하는위협에대한학습및평가를위해정답집합이준비되어야한다. 비록정답집합없이학습을수행하는비지도학습알고리즘이있지만현재까지비지도학습알고리즘은지도학습알고리즘에비해성능이나효율성측면에서미숙한부분이많다. 다음절에서언급하겠지만보안탐지분야는높은정확도를보장하지못하면실전에적용하기어려운영역이기때문에비지도학습알고리즘을사용하는것은아직시기상조이다. 그러나지도학습알고리즘을적용함에있어서도한가지문제가있는데바로지도학습에사용할정답집합을어떻게만들것인가하는것이다. 머신러닝알고리즘은주어진정답집합을기반으로탐지모델을만들기때문에만약정답집합이실제서비스에서접하게되는여러가지보안위협을충분히반영하지못하면분석및모델링단계에서아무리높은성능을보이더라도실전에서는좋은성능을보장할수없다. 보통정답집합을구축할때기존에수집된피해자나일반사용자의신고혹은다른수단을통해탐지된데이터를이용하는경우가많다. 이런식으로하면비록적은비용으로손쉽게정답집합을구축할수는있지만기존탐지내역에편향된탐지모델이만들어지기때문에실전에서높은성능을기대하기힘들다. 따라서미탐 (false negative) 데이터를고려한정답
34 온라인게임보안을위한머신러닝시스템연동방안 집합구축방안을고려해야한다. 참고로엔씨소프트에서는자동사냥프로그램탐지를위한정답집합구축을위해정기적으로사용자에대한랜덤샘플링후운영자모니터링을통해정답집합을구축하고있으며, 이때운영자의주관에의한편향이나구축과정에서의실수를방지하기위한체계를갖추고있다 [9]. 5.2. 오탐에대한대응 아무리우수한알고리즘과풍부한정답집합을이용해학습한다고해도오탐이전혀없는탐지모델을만드는것은현실적으로불가능하다. 따라서머신러닝을온라인게임보안에적용할때는오탐이발생할경우어떻게처리할지를미리서비스상에서고려하거나운영정책을만들어야한다. 5.3. 탐지모델유지보수 다른머신러닝응용분야에비해보안분야는탐지모델에대한유지보수비용이매우크다. 왜냐하면공격자는자신들의공격이탐지당하지않도록적극적으로우회기법을시도하기때문에이로인해과거패턴에기반한탐지모델이쉽게무력화될수있기때문이다. 온라인게임분야역시마찬가지이다. 계정도용이나자동사냥프로그램에대해서제재를효과적으로할수록공격자는기존행위와다른방식으로공격시도를하면서탐지규칙을파악하고우회하려는노력을적극적으로한다. [ 그림 4] 는엔씨소프트에서서비스하는아이온이라는 MMORPG에서캐릭터간의네트워크분석기법을이용하여작업장을탐지하기위해사용한패턴이어떻게우회되었는지를보여주는그림이다. 이때우리가사용한기법은클라이언트탐지기법을통해탐지한자동사냥캐릭터들과빈번하게거래를주고받는캐릭터들의커뮤니티를찾아이들을제재하는방식이었다 [19]. 첫번째그림이당시작업장커뮤니티의모습이다. 그림에서보다시피탐지된자동사냥캐릭터 ( 빨간색노드 ) 가다른캐릭터들과대규모커뮤니티를형성하고있다. 두번째그림은이탐지모델이시스템에적용된후몇개월이지난시점에서의거래네트워크구조이다. 제재전과비교해볼때캐릭터들간의거래밀도가매우낮아 [ 그림 4] 네트워크분석기법을이용한자동사냥캐릭터제재전 / 후거래네트워크비교 ( 위 : 제재전, 아래 : 제재진행몇개월후 ) 거의커뮤니티를형성하지않고있다. 이것은작업장이여러차례의제재로인해탐지패턴을파악하고이를우회하기위해내부캐릭터간의거래를중지했기때문이다. 이렇게온라인게인보안에서는좋은탐지모델을구축하더라도시간이지남에따라공격자의패턴이빠르게바뀌기때문에그변화를계속모니터링하고그에대응할수있게모델유지보수를계속해야한다. 그리고이런유지보수비용을줄이기위해서는적절한자동화프로세스를마련하는것이중요하다. 예를들어 Lee 등 [9] 은모델의유지보수자동화를위해모델성능에대한모니터링과학습자동화를위한프로세스를제안하고실전에적용하였다. Ⅵ. 결론 온라인게임업계에서는보안시스템에서머신러닝을적용하려는시도와관심이최근크게증가하고있으며학계에서도꾸준히다양한탐지기법들이연구되고
정보보호학회지 (2016. 6) 35 있다. 그러나상대적으로이를실전에적용한사례는많지않다. 그이유에대해다양한원인분석이가능하겠지만그중하나를꼽자면, 이렇게실험환경에서성공적으로구축한머신러닝모델을실제서비스에어떻게적용해야할지에대한방법론이나시스템및적용사례에대한정보는거의공개되어있지않기때문이다. 본논문에서는분석단계에서구축한머신러닝모델을라이브서비스에적용하기위한방법으로머신러닝모델을 DSL로명세하고이명세한데이터를 API 기반의머신러닝서버에배포하여서비스서버와연동하는구조를소개하였다. 그리고이방법은 PMML이라는모델명세용규격과 Openscoring이라는오픈소스웹서비스를이용하면적은비용으로구축할수있다. 이구조는 Airbnb와같은실전서비스에서실제사용하고있는이미검증된방법이라는점에서충분히업계에서적용가능한방법이다 [20]. 한편온라인게임은산업규모와사람들에게미치는영향이갈수록커지고있으며이에따라온라인게임서비스의취약점을이용한범죄역시갈수록다양해지고있다. 그러나현실에미치는영향에비해온라인게임보안에대한연구는상대적으로미약한수준이다. 이것은아마도온라인게임업계의폐쇄성에서기인한현상이라생각한다. 따라서이런문제를타계하기위해서는온라인게임업계에서좀더열린자세로학계와정보를교류하고협업하는기회를적극적으로가져야할것이다. 아울러학계에서연구된방법들이실제적용되어효과를발휘한사례가많이늘어나업계에서협업에대한필요성을직접적으로느낄수있게만드는것도중요하다. 이를위해선제한된실험환경을통해테스트가진행되는머신러닝기법에대한연구뿐만아니라실전적용을위한시스템구조나구현방안에대한부분에도좀더많은연구가진행되어학계의연구결과가업계에의미있는영향을줄수있기를바란다. 참고문헌 [1] Electronic Arts Ultima Online, The Best-Selling Internet-Only Game in History, Redefines the Meaning of Online Trading, http://web.archive.org/web/20051124071021/http ://retailsupport.ea.com/corporate/pressreleases/uo _ebay.html. [2] 김연주, 1조 5천억지하시장을당당히세상밖에세우다, 아이템베이 김치현회장, http://lecture. cfe.org/info/bbsdetail.php?cid=13113&idx=4294 3, 2016. [3] 정우철, 대법원의무죄판결, 현금거래합법화인가?, http://www.thisisgame.com/webzine/news/ nboard/4/?n=14360, 2010. [4] 대법원판례뒤집혔다... 중개사이트게임리셀러 적신호, http://lineage.playforum.net/bbs/vie w/1013?idx=38364, 2016. [5] Jeff Jianxin Yan and Brian Randell, An Investigation of Cheating in Online Games, IEEE Security and Privacy, vol. 7, no. 3, pp. 37-44, 2009. [6] Muhammad Aurangzeb Ahmad, Brian Keegan, Jaideep Srivastava, Dmitri Williams, and Noshir Contractor, Mining for Gold Farmers: Automatic Detection of Deviant Players in MMOGS, in Computational Science and Engineering International Conference, vol. 4, pp. 340-345, Aug, 2009. [7] Ruck Thawonmas, Yoshitaka Kashifuji, and Kuan-Ta Chen, Detection of MMORPG Bots based on Behavior Analysis, in Advances in Computer Entertainment Technology Conference, pp. 91-94, Dec. 2008. [8] Marlieke van Kesteren, Jurriaan Langevoort, and Franc Grootjen, A step in the right direction: Botdetection in MMORPGs using movement analysis, Proceedings of the 21 st Belgian-Dutch Conference on Artificial Intelligence, 2009. [9] Eunjo Lee, Jiyoung Woo, Hyoungshick Kim, Aziz Mohaisen, Huy Kang Kim, You are a game bot!: uncovering game bots in MMORPGs via self-similarity in the wild, NDSS, Feb, 2016. [10] Ah Reum Kang, Jiyoung Woo, Juyong Park, and Huy Kang Kim, Online game bot detection based on party-play log analysis, Computers & Mathematics with Applications, vol. 65, no. 9,
36 온라인게임보안을위한머신러닝시스템연동방안 pp. 1384-1395, 2013. [11] 김하랑, 김휘강, 온라인게임봇길드탐지방안연구, 정보보호학회논문지제25권제5호, pp. 1115-1122, 2015. [12] Kyungmoon Woo, Hyukmin Kwon, Hyun-chul Kim, Chong-kwon Kim, Huy Kang Kim, What can free money tell us on the virtual black market?, ACM SIGCOMM Computer Communication Review, vol. 41, no. 4, pp. 392-393, 2011 [13] Hyukmin Kwon, Kyungmoon Woo, Hyun-chul Kim, Chong-kwon Kim, Huy Kang Kim, Surgical strike: A novel approach to minimize collateral damage to game BOT detection, Proceedings of Annual Workshop on Network and Systems Support for Games, IEEE Press, 2013 [14] 강성욱, 이진, 이재혁, 김휘강, MMORPG에서 GFG 쇠퇴를위한현금거래구매자탐지방안에관한연구, 정보보호학회논문지, 제25권, 제4호, pp. 849-861, 2015. [15] Brian Keegan, Muhammad Aurangzeb Ahmad, Jaideep Srivastava, Dmitri Williams, and Noshir Contractor, Dark Gold: Statistical Properties of Clandestine Networks in Massively Multiplayer Online Games, in Social Computing (SocialCom), IEEE Second International Conference, pp. 201-208, Aug, 2010. [16] Kuan-Ta Chen and Li-Wen Hong, User identification based on game-play activity patterns, Proceedings of the 6 th ACM SIGCOMM workshop on Network and system support for games, ACM, pp. 7-12, 2007. [17] Jiyoung Woo, Hwa Jae Choi, and Huy Kang Kim, An automatic and proactive identity theft detection model in MMORPGs, Appl. Math, vol.6, no.1, pp. 291-302, 2012. [18] 김하나, 곽병일, 김휘강, MMORPG 게임내계정도용탐지모델에관한연구, 정보보호학회논문지제25권, 제3호, pp. 627-637, 2015. [19] Eunjo Lee, Jina Lee, and Janghwan Kim, Detecting the bank character in MMORPGs by analysis of a clustered network, The 3 rd International Conference on Internet, 2011. [20] Naseem Hakim and Aaron Keys, Architecting a Machine Learning System for Risk, http://nerd s.airbnb.com/architecting-machine-learning-syste m-risk/, 2014. [21] http://dmg.org/pmml/v4-2-1/generalstructure.ht ml [22] http://openscoring.io/ < 저자소개 > 이은조 (Lee, Eun Jo) 정회원 2002년 2월 : 숭실대학교검퓨터학부학사 2007년 2월 : 숭실대학교정보통신대학원석사 2015년 2월 ~ 현재 : 고려대학교정보보호대학원박사과정 2007년 5월 ~ 현재 : 엔씨소프트데이터인텔리전스팀팀장 < 관심분야 > 온라인게임보안, 데이터마이닝