Machine Learning 기반게임봇탐지 거래네트워크와유저행동패턴을활용한게임작업장탐지 NCSOFT I&I 실분석모델링팀서상덕
목차 I. 실소개
1. 실소개 I&I (Intelligence & Insight) 실은? 회사에존재하는다양한데이터에대한분석을통해인사이트를찾고기계학습및통계모델링을이 용해고도화된지표및시스템을개발하는조직
2. 작업장이란? 작업장이란? 다수의캐릭터를효율적으로운영하여아이템과재화를현금화하는전문적인집단
3. 작업장의특징 일반유저와작업장의차이? 일반유저 작업장캐릭터
3. 작업장의특징 작업장의두가지특징을탐지에활용 1. 재화를한곳으로취합 거래네트워크를활용하여재화를취합하는커뮤티니추출 발표논문 Crime Scene Reconstruction: Online Gold Farming Network Analysis - IEEE 2. 작업장캐릭터의유사한행동패턴 행동정보를요약하여캐릭터의행동패턴추출 참고논문 NGUARD: A Game Bot Detection Framework for NetEase MMORPGs - KDD 3. 작업장집단내행동유사성확인
4. 전체작업구성도 거래데이터네트워크구성 캐릭터별행동로그시퀀스 커뮤니티단위네트워크분할 (Fast greedy community) 행동로그벡터화 (Word2Vec) 시간별주요행동추출 (TF-IDF) 커뮤니티유형분류 (K-means) 행동정보요약 (Sequence Autoencoder) 작업장의심집단추정 행동정보시각화 ( 차원축소 ) 집단내행동유사성판단 (Gini Coefficient) 시각화및집단내행동유사성을통한작업장탐지
5. 거래네트워크를활용한작업장추정 거래데이터네트워크구성 각캐릭터마다 1 주일간수행한거래정보를집계후네트워크구성 자주사용되는아이템및재화에대한모든거래정보활용 전달캐릭터받은캐릭터게임재화 A X 1000 A X 2000 3 5 A X 2500 E X 4000 2 1 3 F Y 2300 3 2 H Y 2500 I J 4800 4 1 5 K I 1300 10 3 X K 2000 2 Y J 1000
5. 거래네트워크를활용한작업장추정 커뮤니티단위네트워크분할 Graph Clustering 알고리즘을활용하여분할 분리된커뮤니티가최대한밀집하게연결되도록그룹화 3 5 캐릭터간거래횟수를가중치로활용 2 1 3 3 2 4 1 5 10 3 2
5. 거래네트워크를활용한작업장추정 커뮤니티유형분류 분리된커뮤니티의구조와관련된특징추출 연결된노드의수 그래프의너비 그래프의노드개수등 추출된특징을활용하여네트워크유형분류 K-means 클러스터링
5. 거래네트워크를활용한작업장추정 작업장유형추정 재화를한곳으로모으는유형을작업장으로추정
5. 거래네트워크를활용한작업장추정 재화를한곳으로모은다는이유만으로작업장이라볼수없다! 거래정보에캐릭터의행동정보를추가로확인하여오탐을방지
4. 전체작업구성도 거래데이터네트워크구성 캐릭터별행동로그시퀀스 커뮤니티단위네트워크분할 (Fast greedy community) 행동로그벡터화 (Word2Vec) 시간별주요행동추출 (TF-IDF) 커뮤니티유형분류 (K-means) 행동정보요약 (Sequence Autoencoder) 작업장의심집단추정 행동정보시각화 ( 차원축소 ) 집단내행동유사성판단 (Gini Coefficient) 시각화및집단내행동유사성을통한작업장탐지
6. 행동정보요약 Word2Vec 을활용한행동로그벡터화 (1) CBOW(Continuous Bag of Words) 기법을사용하여행동로그를 Vector 로변환 일요일은내가짜파게티? 요리사! 참깨빵위에순쇠고기? 패티두장
6. 행동정보요약 Word2Vec 을활용한행동로그벡터화 (1) CBOW(Continuous Bag of Words) 기법을사용하여행동로그를 Vector 로변환 I like playing football with my friends I like playing football with my friends 입력 [ 0 1 0 0 0 0 0 ] [ 0 0 1 0 0 0 0 ] 임베딩 벡터 출력 [ 1 0 0 0 0 0 0 ]
6. 행동정보요약 Word2Vec 을활용한행동로그벡터화 (2) 캐릭터의행동정보는일반적인문장과다르게시퀀스사이에시간차가존재 I like playing football with my friends 1 초 3 초 0 초 2 초 0 초 10 초 접속텔레포트사냥경험치획득물약사용물약사용접속종료
6. 행동정보요약 Word2Vec 을활용한행동로그벡터화 (1) 행동로그간의시간차가중치부여 One-hot-encoding에서 1을 α t 로대체하여시간가중치반영 α: 하이퍼파라미터 (0 < α < 1) t : 맥락로그와예측로그사이의시간간격 1 초 3 초 0 초 2 초 0 초 10 초 접속텔레포트사냥경험치획득물약사용물약사용접속종료 입력 [ 0 0.8 1 0 0 0 0 0 ] [ 0 0 0.8 4 0 0 0 0 ] 임베딩 벡터 출력 [ 1 0 0 0 0 0 0 ]
6. 행동정보요약 Word2Vec 학습결과시각화 행동성향이유사한로그끼리잘군집되어있는것을확인
6. 행동정보요약 TF-IDF 를활용한시간별주요행동추출 (1) MMORPG 특성상사냥관련로그는대부분의캐릭터에존재 특징적인행동이학습에반영되지않을수있음 캐릭터 1 몬스터죽임아이템획득경험치획득 물약사용우편발송재화감소거래재화감소 캐릭터 2 파티초대몬스터죽임아이템획득경험치획득 물약사용몬스터죽임간이경매파티탈퇴 캐릭터 3 몬스터죽임아이템획득경험치획득 물약사용스킬사용스킬사용 PC 죽임캐릭터사망
6. 행동정보요약 TF-IDF 를활용한시간별주요행동추출 (2) 단어의빈도 (TF) 와역문서빈도 (IDF) 를활용하여특정단어의중요도를구하는방법 idf d, t = log( n df t ) 1 시간단위로캐릭터의행동수를집계하여 TF-IDF 값이높은행동을주요행동으로사용 캐릭터 1 캐릭터 2 행동 행동수 행동 행동수 몬스터죽임 10 몬스터죽임 8 아이템획득 4 아이템획득 6 경험치획득 10 경험치획득 8 거래 2 파티초대 1 물약사용 5 물약사용 8 재화감소 2 간이경매 4 우편발송 3 파티탈퇴 2 캐릭터 3 행동 행동수 몬스터죽임 13 아이템획득 4 경험치획득 13 PC 죽임 3 물약사용 50 스킬사용 10 캐릭터사망 1 n = 3 df t = 3 idf(d,t) = log( 3 ) = 0 3 df t = 1 idf(d,t) = log( 3 ) = 0.48 1
6. 행동정보요약 TF-IDF 를활용한시간별주요행동추출 (3) 1 시간단위로캐릭터의모든행동을추출한뒤, TF-IDF 값이높은행동으로시퀀스를재구성 캐릭터 1 몬스터죽임아이템획득경험치획득 물약사용우편발송재화감소거래재화감소 캐릭터 2 파티초대몬스터죽임아이템획득경험치획득 물약사용몬스터죽임간이경매파티탈퇴 캐릭터 3 몬스터죽임아이템획득경험치획득 물약사용스킬사용스킬사용 PC 죽임캐릭터사망 캐릭터 1 우편발송재화감소거래 캐릭터 2 파티초대간이경매파티탈퇴 캐릭터 3 스킬사용 PC 죽임캐릭터사망
6. 행동정보요약 Sequence Autoencoder 를활용하여행동정보요약 입력데이터와출력데이터를행동시퀀스데이터로동일하게사용하여학습을진행 행동로그를 Word2Vec으로학습한행동벡터로변환하여학습에반영 인코더에서생성된행동요약벡터 (Context Vector) 를캐릭터의행동요약정보로활용 Encoder Decoder Encoder RNN Encoder RNN Encoder RNN 요약벡터 Decoder RNN Decoder RNN Decoder RNN 거래 (Vector) 재화감소 (Vector) 우편발송 (Vector) 거래 (Vector) 재화감소 (Vector) 우편발송 (Vector)
6. 행동정보요약 Sequence Autoencoder 를활용하여행동정보요약 입력데이터와출력데이터를행동시퀀스데이터로동일하게사용하여학습을진행 행동로그를 Word2Vec으로학습한행동벡터로변환하여학습에반영 인코더에서생성된행동요약벡터 (Context Vector) 를캐릭터의행동요약정보로활용 Encoder Encoder RNN Encoder RNN Encoder RNN 행동요약벡터정보 거래 (Vector) 재화감소 (Vector) 우편발송 (Vector)
4. 전체작업구성도 거래데이터네트워크구성 캐릭터별행동로그시퀀스 커뮤니티단위네트워크분할 (Fast greedy community) 행동로그벡터화 (Word2Vec) 시간별주요행동추출 (TF-IDF) 커뮤니티유형분류 (K-means) 행동정보요약 (Sequence Autoencoder) 작업장의심집단추정 행동정보시각화 ( 차원축소 ) 집단내행동유사성판단 (Gini Coefficient) 시각화및집단내행동유사성을통한작업장탐지
7. 네트워크시각화및집단내동질성정량화 작업장으로추정된네트워크에행동정보를활용한시각화 행동정보를 3 차원으로차원축소하여 RGB 값으로활용 일반유저의네트워크와는다르게중심노드에재화를전달하는주변노드색상이대부분유사한것을확인 일반유저거래네트워크 작업장거래네트워크
7. 네트워크시각화및집단내동질성정량화 지니계수를활용한집단내동질성정량화 지니계수 : 소득또는자산에대한불평등정도를나타내는계수 집단내동일한행동이얼마나불균형하게분포되어있는지측정 G = 1 (n + 1 2 σ n i=1 n (n+1 i)yi n y i ) (y i y i+1 ) n: 집단내행동유형수 y i : 같은행동을한캐릭터수. σ i=1
8. 성능평가 정리 1. 재화를한곳으로취합 거래네트워크구성후네트워크유형분류 거래네트워크분리 (Fast Greedy Communinty) 네트워크유형분류 (K-means) 2. 작업장캐릭터의유사한행동패턴추출 행동의미학습 행동로그벡터화 (Word2Vec CBOW) 행동정보요약 캐릭터주요행동추출 (TF-IDF) 행동정보요약 (Sequence Autoencoder) 3. 작업장집단내행동유사성확인 작업장으로추정된커뮤니티의행동유사성정량화 작업장내행동유사성추출 ( 지니계수 )
8. 성능평가 작업장검출에대한신뢰도평가 사용모델 : RandomForest 분류모델 학습데이터 : 124,837개 테스트데이터 : 26,346개 특성 거래네트워크유형 행동정보지니계수 행동요약벡터등
8. 성능평가 작업장검출에대한신뢰도평가 라벨데이터 데이터를수동으로확인하여작업장 (B1), 작업장의심 (B2), 일반 (N) 으로분류 B1 : 실제로작업장으로판단한유저 B2 : 작업장이라의심이되는유저 N : B1과 B2에포함되지않는유저 Predicted B1 B2 N Total B1 1,352 21 0 1,373 TRUE B2 94 12,090 3,016 15,200 N 0 1,123 8,650 9,773 Total 1,446 13,234 11,666 26,346
END OF DOCUMENT