정보보호학회지제 27 권제 4 호, 2017. 8 캐릭터이름을이용한 MMORPG 봇탐지기법 강성욱 *, 이은조 ** 요약온라인게임에서불법프로그램을이용한게임봇을대규모로운영하는전문사설업체를속칭 작업장 (Gold Farming Group, GFG) 이라고부른다. 기존에작업장에서운영하는게임봇은 24시간쉬지않고반복적인파밍을통해수익을극대화하는전략을취했으나최근온라인게임의계정가입이쉬워지고무료플레이가보편화되면서개개의게임봇계정이수행하는플레이시간이나취득재화수준을낮추는대신수만개의계정을번갈아가며운영하는방식으로변하고있다. 이로인해플레이활동패턴에기반한기존의탐지모델들이점차무력화되고있으며진입초기에게임봇을빠르게탐지하고제재하는방안이점차중요해지고있다. 우리는게임봇을조기에탐지하기위한방안으로계정및캐릭터의이름이갖는특성을활용한게임봇탐지기법을제안한다. 제안한기법의유효성을검증하기위해북미에서서비스중인엔씨소프트의 MMORPG인 블레이드앤소울 의약 20만개계정정보를이용해탐지성능을측정하였다. 실험에의하면캐릭터이름에대해간단한나이브베이즈분류기를적용하는것만으로도 AUC 기준으로약 0.901의성능을기록하였다. Ⅰ. 서론온라인게임의인기와상업적성공의이면에는계정도용, 사기, 사설서버등의어두운면도공존하고있다. 이중에서소위 오토 혹은 게임봇 이라고부르는불법프로그램을이용한게임플레이는가장심각한보안위협중하나이다. 특히이런 게임봇 을대규모로운영하는전문적인사설업체들이존재한다. 이들은속칭 작업장 이라고부르는데과도한상업행위로인해게임유저의플레이를방해할뿐만아니라게임회사에상업적인피해를유발한다. 게임회사에서는이런 작업장 을단속하기위해다양한방법을활용하고있다. 가장직접적으로는불법프로그램을탐지하는모듈을게임클라이언트프로그램에탑재하거나서버와클라이언트가주고받는통신패킷의위변조를감시하는방법이있다. 여기서더나아가게임로그를이용한게임봇탐지기법도많이활용되고있는데특히최근에기계학습기법이널리확산되고발전하면서게임봇의플레이패턴을학습하여탐지하는분류모델이많이연구되고있으며실전에적용하는경우도점차확대되고있다. 게임로그의정밀도가점차향상되고기계학습기법 이발전하면서게임봇행위를탐지하는분류모델의정확도는점차향상되고있다. 그럼에도불구하고게임봇을이용하는행위가쉽게근절되지못하고있다. 그이유는먼저게임봇을가장많이사용하는작업장들이탐지를우회하기위해게임회사못지않게적극적이고다양한방법을동원하고있기때문이다. 또한게임봇제재는오탐으로인한비용이매우큰문제가있다. 즉, 게임회사에서일반유저를게임봇으로오인하고잘못제재할경우발생되는서비스운영비용및법적분쟁으로인한비용은게임봇탐지및제재를보수적으로수행하게만드는주요요인이다. 한편, 최근개인정보보호와서비스진입장벽을낮추기위한노력으로인해회원가입이점차쉬워지면서동일한사람이다수의계정을쉽게생성할수있게되었다. 또한최근의게임트랜드는게임패키지를구매하거나월정액을통해서비스하는대신무료로게임을플레이할수있게하는대신더많은서비스나편의기능을활용하기위해선유료아이템을구매하도록사업정책이바뀌고있다. 이런사업모델을 부분유료화 (free-to-play) 모델이라고부른다. 대부분의모바일게임은이런사업모델을갖고있으며기존에월정액서비스를제공하던 PC MMORPG 역시점차부분유료 * 엔씨소프트 (swkang@ncsoft.com) ** 엔씨소프트 (gimmesilver@ncsoft.com)
정보보호학회지 (2017. 8) 7 화모델로전환하고있다 [1]. 이런변화는작업장에도영향을주고있다. 기존에월정액서비스를이용하던작업장들은하나의계정에서최대한이익을얻기위해 24시간동안거의쉬지않고게임봇들을운영하며게임재화를최대한많이획득하는데집중하였다. 따라서게임봇탐지를위해지속적이고반복적인플레이패턴을학습하여탐지하는기법이많이연구되었다 [2-4]. 그러나온라인게임의사업모델이부분유료화로바뀌고회원가입이쉬워지면서게임봇계정을생성하고운영하는데드는비용이매우낮아지게되었다. 이로인해작업장에서는개개의게임봇계정의플레이시간및재화획득수준을낮추는대신수만개의계정을번갈아가며운영하는방식으로변하고있다. 보안상의이유로구체적인수치를밝힐수는없지만이런작업장들은기존에비해게임봇계정하나당하루에획득하는추정수익이 1/10 이하로줄어든대신한번에운영하는게임봇규모는몇배이상늘어난것으로추정하고있다. 이런변화는작업장을단속하는게임회사에다음과같은문제를던진다. 첫째, 플레이패턴을이용한기계학습모델을효과적으로만들기어렵다. 분류모델을만들기위해선충분한양의데이터를통해패턴을학습해야하는데게임봇계정당생성되는플레이데이터가적기때문에그특징을충분히학습하기어렵다. 둘째, 짧은플레이에서패턴을찾아분류모델을적용하더라도해당모델을통해게임봇을탐지한시점에는작업장에서이미해당계정을더이상활용하지않고다른계정을이용하는경우가많이발생하면서한발늦은대응을하게된다. 셋째, 일반유저입장에서는기존에비해더많은수의게임봇을접하게됨으로써게임회사에대한부정적인이미지가심화된다. 이런문제를해결하기위해선게임봇에대한탐지및제재가최대한빠른시점에이루어질수있도록탐지기법과제재정책의변화가필요하다. 본논문에서는이를위한방안으로캐릭터와계정이름을이용한탐지기법을시도해본간단한사례를소개한다. 일반적으로게임사용자들은자신이플레이하는캐릭터에대한감성적인몰입도가높기때문에자신의개 성을드러내는이름을짓는경우가많다. 따라서많은게임회사에서는게임출시에앞서사전에캐릭터이름을선점할수있는이벤트를제공하기도한다 [5]. 반면, 작업장의경우게임봇에대한감성적인몰입도가매우낮으며대규모계정을생성해야하는한계로인해캐릭터이름이나계정이름을무작위문자열로생성하거나혹은관리편의성을위해동일한문자열뒤에일련의번호를붙이는형태로생성하는경우가대부분이다. 따라서대다수의게임유저들은캐릭터이름만보고도게임봇여부를쉽게짐작하기도한다. 따라서기계학습을통해일반유저와게임봇계정이갖는캐릭터이름패턴을정확히학습한다면게임을플레이하기전에이름만으로도게임봇을탐지하여게임진입전에효과적으로제재할수있을것이다. 우리는이를위해마르코프체인모델과나이브베이즈분류기를이용한탐지기법을시도해보았다. 기법의유용성을검증하기위해현재북미에서서비스중인엔씨소프트의무협 MMORPG인 블레이드앤소울 의약 20만개계정과캐릭터이름데이터를이용했다. 우리실험에의하면캐릭터및계정이름만으로도비교적높은정확도로게임봇을판별할수있는것으로나타났다. 본논문은다음과같이구성되어있다. 우선 2장에서는게임봇탐지및우리가사용한기계학습기법과관련된기존연구사례를소개한다. 3장에서는우리가사용한이름기반게임봇탐지기법의세부적인알고리즘에대해소개한다. 4장에서는 3장에서소개한기법을이용해실제게임계정및캐릭터이름으로게임봇을분류한실험결과를정리했으며마지막 5장에서는우리가제안한기법이갖고있는한계점및후속연구방향에대해소개한다. Ⅱ. 관련연구기계학습을이용한게임봇탐지에대한연구는 2000년대중반부터본격적으로시작했다. Thawonmas 등 [6] 은게임봇이일반유저에비해같은행동을반복하는경향이높은특징을이용하여게임봇을탐지하는기법을연구한초기논문이다. 이후게임봇의반복성을이용한연구는다양하게이뤄졌는데 Mitterhofer 등 [7], Chen 등 [2], Kesteren 등 [3] 은게임
8 캐릭터이름을이용한 MMORPG 봇탐지기법 봇의이동경로의반복성을이용한탐지기법을제안한사례이며 Lee 등 [4] 은행동패턴의반복성을자기유사도라는관점에서연구한사례이다. 위연구들은기존에 PC MMORPG 게임봇탐지에적합한기법인반면, 앞서언급했듯이작업장의게임봇활용정책의변화로인해그효과가점차감소하고있다. 특히최근모바일게임의경우자동플레이기능을기본적으로탑재하고있기때문에일반유저와의차별성이사라지는문제도있다. Ahmad 등 [8] 은 EverQuest II 라는게임에서게임봇을탐지하기위해다양한분류모델알고리즘의성능을테스트하였다. 특히이논문에서는게임봇의유형을 gatherer, banker, dealer, marketer 로구분하고각각의특징을분석하였다. 이런게임봇의유형을분류하고각각의특징에맞게탐지하려는연구로는 Kang 등 [9] 과 Chung 등 [10] 이있다. [9] 는파티활동에특화된게임봇유형에대한탐지기법을제안하고있으며 [10] 은군집화알고리즘을이용해게임캐릭터들의유형을먼저나눈후각유형별분류모델을별도로만듦으로써다양한게임봇유형을탐지하는기법을제안하고있다. 이런연구들은플레이유형에따른정교한탐지가가능하다는점에서참고할만한연구사례들이다. 그러나유형별분류모델을적용하기위해선충분한양의플레이기록이필요하기때문에게임봇이게임을시작하고어느정도성장하기전에는탐지및학습이어렵다는한계가있다. 작업장은효율성을높이기위해여러개의게임봇이분업화를통해협업하는특징도있다. 이런특성을갖는게임봇을탐지하기위해네트워크분석기법을적용한연구들이있다. Keegan 등 [11], Kwon 등 [12], Woo 등 [13] 이이렇게네트워크분석을이용한작업장탐지기법을연구한대표적인사례들이다. 네트워크분석을이용한게임봇탐지기법은다수의계정을동시에운용하는작업장을탐지하기에적합한방법이다. 특히이렇게집단단위로특징을추적하고탐지할경우이후새로생성되어게임에진입하는게임봇의경우에도기존에탐지한집단과의관계를추적함으로써초기에탐지가가능하다. 그러나이기법은기존 PC MMORPG처럼유저간의사회관계가활발하고관련컨텐츠가풍부한게임에서는효과적인반면최근모바일게임과같이캐릭터사이에상호작용하는컨텐츠가비교적적은 경우에는효과가떨어지는한계점도존재한다. 게임봇과일반유저의게임플레이에대한동기가다른것에주목하여연구한사례들도있다. 이재혁등 [14] 은심리학에서인간의욕구에대해정리한 ERG 이론을게임봇탐지에활용한사례이다. 게임봇은일반유저와달리재화획득을통한수익창출목적으로플레이하기때문에이로인한모티베이션의차이를분류모델의특질로사용한방법이다. Kang 등 [15] 은유저간의채팅메시지분석을통해게임봇을탐지하는기법을제안하였다. 이것역시일반유저와게임봇이갖고있는채팅의목적이다른것에초점을맞춘연구사례이다. 위연구들은모두게임봇과일반유저의게임플레이동기가다름으로인한차이를분류모델의특질로이용한다는점에서우리연구와유사점이있다. 마지막으로본연구에서게임봇을분류할때사용한알고리즘인나이브베이즈분류기는스팸메일을분류할때오래전부터사용되던알고리즘이다. 이와관련해서는 McCallum 등 [16], Chen 등 [17], Kim 등 [18] 이좋은참고사례이다. Ⅲ. 탐지알고리즘 3.1. 마르코프체인모델 마르코프체인은어떤상태가이전상태에의해서만결정된다고가정하고만든상태전이확률을이용해서정의한확률모델을말한다. 비록현실을많이단순화한모델이지만비교적적은비용으로어떤초기상태로부터시작된상태시퀀스의확률을계산할수있다. 만약알파벳 a부터 h까지 8개의상태가존재할때 a 라는상태에서 b 라는상태로전이하는확률을 라고하면이것은 a라는상태에서다른상태로넘어가는모든사건중 b라는상태로넘어가는사건의비율로구할수있다. 이를수식으로표현하면다음과같다. 위식에서 는이전상태가 a인모든사건의횟수를의미하며 는이전상태가 a 이고이후상태가 b 인사건의횟수를의미한다.
정보보호학회지 (2017. 8) 9 또한초기상태의경우이전상태가존재하지않기때문에이경우에는전체시퀀스데이터에대해서초기상태별비율을이용한다. 이를수식으로표현하면다음과같다. 위식에서 는전체시퀀스데이터의개수를의미하며 는각시퀀스의초기상태가 a 인데이터의개수를의미한다. 우리는주어진학습데이터를이용해서어떤문자다음에오는문자의횟수를집계함으로써상태전이확률매트릭스를만들수있다. 예를들어위에서예시로든상태전이확률매트릭스가그림 1과같다고하자. 이상태전이확률매트릭스를이용하여 bahgffhaa 라는단어가등장할확률은아래와같이계산할수있다. 참고로아래예시에서는알파벳 b 의초기확률이 1/3 이라고가정했다. 위에서설명한마르코프체인모델을이용해서게임봇을탐지하는절차는다음과같다. 1) 기존에확보한일반유저와게임봇의이름목록을이용해서각각에대해문자상태전이확률매트릭스를생성한다. 2) 탐지대상이되는유저 A의계정명과캐릭터이름에대해앞서생성한상태전이확률을이용해발생확률을계산한다. 이때각상태전이확률을그대로이용해서곱셈연산을할경우시스템에서는언더플로우현상이발생할수있으므로로그를취한후덧셈연산 [ 그림 1] 마르코프체인상태전이확률매트릭스 을수행한다. 여기서는게임봇상태전이확률매트릭스를이용한확률을 라고하고일반유저상태 전이확률매트릭스를이용한확률을 라고한다. 3) 위에서구한두값의차즉, - 를구한다. 이값이클수록게임봇일확률이높음을의미한다. 3.2. 나이브베이즈분류기 나이브베이즈분류기는각각의특성이서로독립이라는가정하에베이즈정리를이용하여입력데이터가속할카테고리의확률을계산하여어떤카테고리로분류할지결정하는알고리즘이다. 어떤입력데이터 D에대해서해당데이터가 C 클래스로분류될확률 P(C D) 는베이즈정리를이용하면아래와같은식으로구할수있다. 나이브베이즈분류기는이러한베이즈정리를이용해분류하고자하는대상의각카테고리에속할확률을측정한후그확률이가장큰쪽으로분류하는방법이다. 이를식으로표현하면아래와같다. 그런데만약학습데이터에없는새로운단어가등장할경우위계산에사용되는확률 P(d c) 는무조건 0이되는문제가있다. 따라서이런문제를제거하기위해 P(d c) 를계산할때빈도에 +1을해주는 Laplace smoothing 기법을이용한다. 나이브베이즈분류기를이용한게임봇탐지절차는아래와같다. 1) 각캐릭터나계정이름을 n-gram을이용해분리한다. 본논문에서는 n을 2부터 4까지바꿔가며성능을측정한후가장성능이잘나오는 n=4를최종모델로적용하였다. 2) 각 n-gram에대해서빈도수를구하여확률을계산한다. 이때위에서언급한 Laplace smoothing을적용한다.
10 캐릭터이름을이용한 MMORPG 봇탐지기법 3) 확률을계산할때문자열이길어질수록확률이과도하게 0에가까워지는문제를방지하기위해확률을계산할때는로그를취한후덧셈연산을수행한다. 4) 게임봇과일반유저의학습데이터를이용해각각구한 와 의차이값을구한다. 이차이가클수록게임봇일확률이높음을의미한다. Ⅳ. 실험및평가 4.1. 데이터셋우리가실험에사용한데이터는북미에서현재서비스중인 블레이드앤소울 이라는온라인게임의계정명과캐릭터명목록이다. 2016년 4월부터 5월사이에게임에접속한유저들을대상으로했으며이기간에게임봇으로탐지되어제재된계정과그렇지않은계정각각 101,149개씩을추출하여실험에사용하였다. 이데이터에서다시게임봇과정상유저를각각 91,149개씩추출하여학습데이터로구성하였고나머지각각 10,000개씩의데이터를테스트에사용했다. 참고로하나의계정은여러개의캐릭터를보유할수있는데우리는이중에서가장레벨이높은메인캐릭터정보만사용했다 ( 표 1 참조 ). 캐릭터이름에는알파벳과공백문자가허용되며계정명에는알파벳과숫자및몇가지특수기호가허용된다. 우리는상태의종류를단순화하기위해특수기호는모두공백문자로치환하여사용했다. 따라서캐릭터명은총 27개 ( 알파벳 26개 + 공백문자 1개 ), 계정명은총 37개 ( 알파벳 26개 + 숫자 10개 + 공백문자 1개 ) 의문자상태가존재한다. 정의한다. 이상태는 4.1. 에서언급했듯이캐릭터명은 27개, 계정명은 37개의상태로이뤄진다. 상태전이확률매트릭스는게임봇과일반유저각각생성하게되며따라서총 4개의매트릭스 ( 게임봇캐릭터명, 게임봇계정명, 일반유저캐릭터명, 일반유저계정명 ) 가생성된다. 그림 2는이렇게생성한상태전이확률매트릭스를이용해서게임봇과일반유저의캐릭터명, 계정명의확률을구한후게임봇확률에서일반유저확률을뺀차이값에대한분포를비교한결과이다. 그림에서 0 이라고되어있는것이일반유저이며 1 이라고되어있는것이게임봇이다. 차이값이클수록게임봇일확률이높다는것을의미하는데그림을보면게임봇이일반유저에비해상대적으로오른쪽에분포가쏠리는것을확인할수있다. 그림 3은이차이값을이용하여성능을측정한 Receiver Operating Characteristics(ROC) 그래프이며표 2는이 ROC 그래프를통해구한 AUC를비교한자료이다. 캐릭터명에비해계정명을이용한분류모델이좀더높은성능을보여준다. 그이유는계정명이캐릭터명에비해좀더많은상태값을갖고있기때문에정교한구분이가능했던것이라고추정한다. [ 표 1] 실험데이터정리표 Game bot Human Training set 91,149 91,149 Test set 10,000 10,000 Total 101,149 101,149 [ 그림 2] 게임봇과일반유저확률분포비교 4.2. 마르코프체인모델 마르코프체인모델생성을위해먼저계정명과캐릭터명각각에대해전이확률테이블에들어갈상태를 [ 그림 3] 마르코프체인모델의 ROC 그래프
정보보호학회지 (2017. 8) 11 [ 표 2] 마르코프체인모델의 AUC 캐릭터명 계정명 AUC 0.859667 0.881299 4.3. 나이브베이즈분류기 나이브베이즈분류기에서는문자열을먼저 n-gram 으로전처리하여이용한다. 우리는 n 을 2 부터 4 까지바 꿔가며성능을측정하였다 ( 그림 4 와표 3 참조 ). 각각 의 ROC 그래프는그림 4 와같다. 이자료에의하면 n=4 일때가장높은성능을보이며이때의 AUC 는캐 릭터명과계정명모두약 0.901 이나오는데이는마르 코프체인모델에비해조금더우수한결과이다. [ 표 4] 게임봇과일반유저의이름비교 계정명 게임봇 일반유저 vcjtjpf 721862 rock peace txolcv 739517 mistyfoster and nbo sr084062842 simon- stein hakbvqn 0257428 metalheart kbzbcyef 79428 alex. toss demxxy 173951 ziocalazans eqsfncj 914631 benjamin. k26479610 u040 andrea. 1994 ihldiwpy7 84062 julian. suvfrrjxcu 4062 lukinhas. 캐릭터명 fxskfx ojbto hokagekakashi xskcs ogbtog kawaii yuuki zrmd vqidv yoshinatsu xskfxskcx shiraki tlgxskcspkc miki hoshii kfxskfxpkcp yuki shiro tog xskcxpkc yoki aki kfxskfxpkc tsukuna xpkfxojbtoj suzuya ryun kfxr jbwojb sakura aki [ 그림 4] 나이브베이즈분류기 ROC 그래프 [ 표 3] 나이브베이즈분류기의 AUC 캐릭터명 계정명 AUC (n=2) 0.850555 0.866640 AUC (n=3) 0.894248 0.892940 AUC (n=4) 0.901658 0.901294 4.4. 실험결과정리 표 4는위분류모델을이용해분류한게임봇과일 반유저의캐릭터명과계정명샘플이다. 일반유저는대 부분사람이름이나사전에나오는단어의조합으로구 성된반면게임봇은의미를알수없는임의문자의조 합으로이뤄져있는것을확인할수있다. 한가지재미 있는점은캐릭터명의경우일본이름이많다는점이다. 사용한게임데이터가북미서비스임에도불구하고이 런특성을보이는이유는아마 블레이드앤소울 의게임특성이나작화스타일때문일것이라추정한다. 참고로개인정보보호를위해각각의문자열에서일부를마스킹처리하였다. 한편, 실험에서가장높은성능을보인것은캐릭터이름에대해서나이브베이즈분류기를적용한것이며이때의 AUC는약 0.901이다. 기존에동일게임을대상으로게임플레이로그를이용하여만들었던정교한탐지모델 [4] 의 AUC가약 0.940 이었던것과비교해보면낮지않은수치이다. 특히이번실험의목적은컨셉검증이었기때문에정교한튜닝을하지않았음에도불구하고실전에사용하고있는모델과성능차이가많지않다는점은인상적인결과라생각한다. 따라서캐릭터나계정의이름을이용하여게임봇을탐지하는기법이충분히실제서비스에적용가능한방법임을입증하는사례라고생각한다.
12 캐릭터이름을이용한 MMORPG 봇탐지기법 Ⅴ. 결론온라인게임에서불법프로그램을이용한게임봇은사용자와게임회사에게직간접적으로피해를주기때문에건전한서비스운영을위해해결해야할중요한보안문제중하나이다. 특히대규모게임봇을전문적으로운영하는작업장은게임서비스의존폐에영향을주는중대한보안위협이기때문에게임회사에서는다양한기법을이용해작업장을제재하고있다. 기존에작업장은게임봇계정하나당최대한오랜시간반복적인파밍을통해재화를취득하는방식을사용하였으나, 최근게임트랜드변화로인해계정생성이쉬워지고관리비가거의들지않게되면서짧은시간동안소규모재화를빠르게취득하되이런계정들을기존보다훨씬대규모로운영하는방식으로변화하였다. 이로인해기존에게임플레이패턴을탐지하는기계학습모델이무력화되고있다. 따라서이런작업장의운영정책에대응하기위해선게임진입전혹은초기에빠르게게임봇을탐지하여제재하는방법이필요하다. 본논문에서는마르코프체인과나이브베이즈분류기를이용해서계정명및캐릭터명만으로게임봇을탐지하는기법을제안하였다. 제안한방법의유효성을검증하기위해북미에서현재서비스중인엔씨소프트의 MMORPG인 블레이드앤소울 의약 20만개계정정보를이용했다. 빠른컨셉검증이목적이었기때문에특별한튜닝을하지않았음에도불구하고기존탐지모델에비해뒤지지않는정확도로게임봇을분류할수있었다. 이방법은계정및캐릭터가생성된직후에바로활용이가능하며데이터처리에대한비용이매우적기때문에게임서비스초기에작업장에대한빠른대응목적으로사용하기적절할것으로생각한다. 또한게임컨텐츠및장르특성에대한의존도가거의없기때문에다양한게임에활용가능한장점도있다. 반면캐릭터나계정이름만으로게임봇으로단정하는것은제재근거가미약하며탐지우회가비교적쉽다는단점도있다. 따라서이런단점을보완하기위한좀더정교한분석및제재정책을고안하는것이필요할것이다. 더나아가이기법을제재에직접적으로적용하기보다는다른분류모델과함께사용함으로써단점을보완하고기존기법의성능을개선할수도있을것이다. 향후에는이기법을다양한게임에테스트해보는한편다른분류모델과의조합을통해단점을보완하고성능을개선하기위한방안을연구할예정이다. 참고문헌 [1] 남혁우, 블레이드앤소울, 이용권폐지부분유료화전환, http://www.zdnet.co.kr/news/news_vie w.asp?artice_id=20161119223945, Nov. 2016. [2] K.-T Chen, A. Liao, H.-K. K. Pao, and H.-H. Chu, Game Bot Detection Based on Avatar Trajectory, in Entertainment Computing ICEC 2008, vol. 5309, pp. 94-105, 2009. [3] M. van Kesteren, J. Langevoort, and F. Grootjen, A Step in the Right Detecting: Bot Detection in MMORPG using Movement Analysis, in The 21 st Benelux Conference on Artificial Intelligence, 2009. [4] Lee, E., Woo, J., Kim, A., Mohaisen, A., and Kim, H., K., You are a game bot!: uncovering game bots in MMORPGs via self-similarity in the wild, in NDSS 2016, Feb. 2016. [5] 김범수, 리니지M, 캐릭터사전생성 8일만에마감...5월 26일서버 20개추가, http://biz.chosun. com/site/data/html_dir/2017/05/25/20170525015 07.html, May 2017 [6] R. Thawonmas, Y. Kashifuji, and K.-T. Chen, Detection of MMORPG Bots based on Behavior Analysis, in Advances in Computer Entertainment Technology Conference, pp. 91-94, Dec. 2008. [7] S. Mitterhofer, C. Kruegel, E. Kirda, and C. Platzer, Server-side Bot Detection in Massively Multiplayer Online Games, Security and Privacy, IEEE, vol. 7, no. 3, pp. 29-36, May 2009 [8] M. A. Ahmad, B. Keegan, J. Strivastava, D. Williams, and N. Contractor, Mining for Gold Farmers: Automatic Detection of Deviant Players in MMOGS, in Computational Science and Engineering International Conference, vol. 4. pp. 340-345, Aug. 2009.
정보보호학회지 (2017. 8) 13 [9] A. R. Kang, J. Woo, J. Park, and H. K. Kim, Online game bot detection based on party-play log analysis, Computers & Mathematics with Applications, vol. 65, no. 9, pp. 1384-1395, 2013. [10] Y. Chung, C. yong. Park, N. ri, Kim, H. Cho, T. Yoon, H. Lee, and J. -H. Lee, Game Bot Detection Approach Based on Behavior Analysis and Consideration of Various Play Style, in Journal of ETRI, vol. 35, no. 6, pp. 1058-1067, Dec. 2013. [11] B. Keegan, M. A. Ahmad, J. Srivastava, D. Williams, and N. Contractor, Dark Gold: Statistical Properties of Clandestine Networks in Massively Multiplayer Online Games, in Social Computing(SocialCom), IEEE Second International Conference, pp. 201-208, Aug. 2010. [12] H. Kwon, A. Mohaisen, J. Woo, Y. Kim, and H. K. Kim, Crime Scene Reconstruction: Online Gold Farming Network Analysis, IEEE Transactions on Information Forensics and Security, vol. 12, no. 3, pp. 544-556, Nov. 2016. [13] J. Woo, A. Kang, and H. K. Kim, The Contagion of Malicious Behaviors in Online Game, Computer Communication Review, vol. 43, pp. 543-544, 2013. [14] 이재혁, 강성욱, 김휘강, 모티베이션이론을이용한온라인게임내부정행위탐지, 한국게임학회논문지, vol. 15, no. 4, pp. 69-78, Aug. 2015. [15] A. R. Kang, H. K. Kim, and J. Woo, Chatting Pattern Based Game Bot Detection: Do They Talk Like Us, in KSII Transactions on Internet and Information Systems, vol. 6, no. 11, pp. 2866-2879, Nov. 2012. [16] A. McCallum,and K. Nigam, A Comparison of Event Models for Naive Bayes Text Classification, in AAAI-98 workshop on Learning for Text Categorization, vol. 752, pp. 41-48, Jul. 1998. [17] J. Chen, H. Huang, S. Tian, and Y. Qu, Feature Selection for Text Classification with Naive Bayes, Expert Systems with Applications, vol. 36, no. 3, pp. 5432-5435, Apr. 2009. [18] S.-B. Kim, K. S. Hand, H. C. Rim, and S. H. Myaeng, Some Effective Techniques for Naive Bayes Text Classification, IEEE Transactions on Knowledge and Data Engineering, vol. 18, no. 11, pp. 1457-1466, Sep. 2006. < 저자소개 > 강성욱 (Kang, Sung Wook) 정회원 2014 년 2 월 : 금오공과대학교소프트웨어공학부학사 2016 년 2 월 : 고려대학교정보보호대학원석사 2015 년 12 월 ~ 현재 : 엔씨소프트데이터분석모델링팀관심분야 : 데이터마이닝 이은조 (Lee, Eun Jo) 정회원 2002년 2월 : 숭실대학교검퓨터학부학사 2007년 2월 : 숭실대학교정보통신대학원석사 2015년 2월 ~ 현재 : 고려대학교정보보호대학원박사과정 2007년 5월 ~ 현재 : 엔씨소프트데이터분석모델링팀팀장관심분야 : 온라인게임보안, 데이터마이닝