비윤리적 N 댓글분류를위한구문기반 CNN 과의미기반 LTM 의앙상블기법 부석준, 서수인, 김진영, 조성배 * 연세대학교컴퓨터과학과 sjbuhan@yonsei.ac.kr
순서 문제정의 사회적문제 : N의비윤리적댓글 기계학습을사용한비윤리적댓글분류 구문론적, 의미론적비윤리적댓글분류 관련연구 : 기존텍스트특징추출방법 방법 비윤리 N댓글분류기아키텍쳐와앙상블방법 M1: 전이학습을사용한 Character-level CNN 분류기 M2: 워드임베딩과 CNN-LTM 하이브리드분류기 실험결과 데이터셋및실험환경 정량적분석 : 분류기별분류정확도와전이학습효과 정성적분석 : t-ne 차원축소기법을사용한분류기분석 결론및요약 구문론적, 의미론적분류기의상호보완적관계 1
사회적문제 : N 의비윤리적댓글 문제정의 개인간의소통을위한 ocial Network ervice(n) 의약점 Cyberbullying: 사이버공간상에서타인을공격하는언어적폭력행위 N 의익명성으로인한사이버폭력증가 (Reynolds, 2011) 청소년중 43% 가사이버폭력피해경험 (Ybarra, 2010) 지난 10 년간의비윤리적언어폭력추세 (Google trend, 2017) 100 80 60 40 20 0 earch interest N 비윤리적댓글로인한사회적피해상황 2012년영국의 13세소녀에린갤러거사건 N에유포된본인의사진에달린수많은비윤리적댓글로인해자살 에린갤러거의언니또한같은이유로자살 비윤리적댓글로인한경제적손실연간 3조 6,000억추산 : 한국GDP 0.3% (IDG Tech Report, 2014) 2
기계학습을사용한비윤리적댓글분류 문제정의 최근 Natural Language Processing(NLP) 영역에서텍스트분류연구활발 단어로부터통계적의미를추출하는워드임베딩 (Mikolov, 2013) 언어를문자의시퀀스로구성된저수준신호로가정 (LeCun, 2015) 비윤리적댓글분류의어려움과기존기계학습방법의문제점 문제의어려움 의미론적 (emantic-level): 복잡한은유, 중의적인표현, 신조어 구문론적 (yntactic-level): 의도치않은오타, 의도적인문자교체 기존 NLP 연구의의미론 / 구문론적카테고리도입 기존기계학습방법을사용한비윤리댓글분류의문제점 텍스트로부터한가지특징만을추출 예시 : 단어의출현빈도, tf-idf 측정치, 단어간의 Cosine 유사성 3
구문론적 / 의미론적비윤리댓글분류 문제정의 문제정의 댓글의 Neutral/Unethical 2-classification 문제 문자또는단어의시퀀스와비윤리성 (0~1) 을맵핑하는함수작성 제안하는방법 ( 구문론적 / 의미론적비윤리댓글분류기의앙상블 ) 의의의 기존텍스트특징추출방법을개선한새로운특징추출방법제안 구문론적비윤리댓글분류를위한전이학습기법제안 인공지능학습시비윤리적댓글필터링 제안하는방법요약 구문론적 (yntactics), 의미론적 (emantics) 비윤리댓글분류기앙상블 문장의저수준특징으로부터구문론적비윤리성을모델링 문장의고수준특징으로부터의미론적비윤리성모델링 같은데이터셋을사용한방법중 tate-of-the-art 성능획득 (88.66%, 기존방법 82-84% 수준 ) 4
기존텍스트특징추출방법 관련연구 기존텍스트특징추출방법요약 Authors Method Description Turney, 2002 PMI-IR Compare the semantic orientation using predefined keywords Pang, 2002 BOW, VM Extracts features using predefined dictionary Mullen & Collier, 2004 PMI-IR, VM Combination of PMI-IR and machine learning algorithm Yun-tao, 2005 tf-idf Improved tf-idf approach using characteristic words Forman, 2008 tf-idf Improved tf-idf approach using BN Zhang, 2015 CNN Treat text as a kind of raw signal at character level 기존텍스트특징추출방법과의차이 yntactics: 인코딩한문자의시퀀스로부터추출한저수준시계열특징 emantics: 임베딩한단어의시퀀스로부터추출한고수준시계열특징 추출한구문론적 / 의미론적특징을모두사용하여비윤리댓글모델링 5
비윤리 N 댓글분류기아키텍쳐와앙상블방법 (1) 방법 아키텍쳐요약 NLP 도메인을양분하는카테고리 : yntactics/emantics (Collobert, 2008) yntactics: 구문론적비윤리댓글분류모델 (M1) 정수로인코딩한각문자의시퀀스이미지화 Convolutional Neural Network(CNN): 잡음-강건성 전이학습 (Knowledge-transfer) 방법을사용하여잡음-강건성개선 emantics: 의미론적비윤리댓글분류모델 (M2) 워드벡터로임베딩한각단어의시퀀스이미지화 Long hort-term Memory(LTM): 시계열데이터모델링 상호보완적관계를보이는 yntactics/emantics 기반앙상블방법 각모델은 0(Neutral) 에서 1(Unethical) 사이의값 y 출력 로그-스케일로변환시킨각모델의출력의산술평균으로비윤리성정의 s = 1 M y m + 1) mlog( 6
비윤리 N 댓글분류기아키텍쳐와앙상블방법 (2) 방법 Commentary Pseudo-badwords dataset Classification M1: Character-level CNN Generate random noise Insert Google-bad-words Feature extraction yntactic feature extraction Crop and padding characters Word2vector model emantic feature extraction Crop and padding words Word2vector model Transfer learning M2: Word-level CNN-LTM i t o i t t o i t t c o i t t c t o i t t c t o i t t c t t f f t o i t t c t f t o i t t c t f t o t c t f t c t f t f t f t t Ensemble Calculate log-scale score s M1, s M2 Averaging score upervised learning 7
M1: 전이학습을사용한 Character-level CNN (1) 방법 문장 : 문자의시퀀스로이루어진저수준신호 0~70사이의 71가지정수를사용한문자인코딩 abcdefghijklmnopqrstuvwxyz012345 6789-,;.!?: /\ _@#$%ˆ&* +-=<>()[]{} N 개의인코딩한 N 댓글이미지화 : (N, 225, 71) 벡터표현 구문론적비윤리댓글모델링방법의타당성 : 오타, 신조어대처 오타, 문자교체 : 문자의시퀀스로구성한이미지의잡음 컨볼루션, 풀링연산을사용한이미지및벡터의잡음강건성개선검증 (LeCun, 2015) 8
M1: 전이학습을사용한 Character-level CNN (2) 방법 컨볼루션연산 l 번째컨볼루션층출력되는벡터 c l ij, m m크기가중치벡터 w, 이전층출력값 y l 1 m 1 m 1 Input pixel y l 1 y l l = c ij = w ab y i+a j+b a=0 b=0 입력된이미지에대해필터연산을통해이미지를왜곡 l 1 Convolution filter w ab Output pixel y l 풀링층 l 번째풀링층출력되는벡터 p l ij, N N 입력중 k k 영역대상, 풀링거리 τ y l l = p ij = max c l 1 γ R ij τ 입력벡터중 k k 영역에대한대표값추출 해상도감소효과 Average pooling Max pooling 이미지의중요한부분을부각시키는컨볼루션연산과해상도를감소시켜유의미한특징을선택하는풀링연산 : 잡음 ( 오타및신조어 ) 강건성확보 9
M1: 전이학습을사용한 Character-level CNN (3) 방법 전이학습 : 기존모델이학습한특징을전이하여새로운모델에서재사용 사과를인식하는모델으로배인식 전자악기를배우는것이피아노연주를배우는데도움 핵심아이디어 : 기존모델이학습한도메인에서의특징을재사용가능 (Yosinski and Bengio, 2014) 전이학습을사용한잡음 - 강건성개선 배경 : 빈번한오타 / 대체문자대처를위해먼저문자의시퀀스중에서비속어를탐지하는기능필요 Pseudo-badwards 데이터셋작성 구글에서필터링대상으로정의한 400 개의 Google-bad-words 랜덤한위치에랜덤한비속어를삽입한 200M 개의임의의문자열 각데이터는 225 개의랜덤한문자의시퀀스로구성 비속어가삽입된경우비윤리적댓글으로라벨링 Neutral/Unethical 클래스수량동일 M1 모델의학습이전에 Pseudo-badwords 데이터셋학습 10
M2: 워드임베딩과 CNN-LTM 하이브리드분류기 (1) 방법 문장 : 단어의시퀀스로이루어진고수준신호 각단어의통계적의미추출 : 입력된단어를사용하여주변단어를예측하도록하는인공신경망사용 주변단어수 c = 5, 사전크기 V = 2000, 임베딩벡터크기 h = 30 C h = 1 C W ( x i ) i=1 Deep Neural Embedding Input layer W V Hidden layer h t Output layer W V N N 개의임베딩한 N 댓글이미지화 : (N, 225, 30) 11
방법 M2: 워드임베딩과 CNN-LTM 하이브리드분류기 (2) Long hort-term Memory(LTM) 시계열데이터모델링에적합한기억특성을가지는딥러닝모델 핵심아이디어 : 게이트를사용하여학습한이전정보 ( 상태 ) 의저장 / 삭제 / 출력을학습 (Graves, 2013) 셀상태 : 각 LTM 셀을관통하는핵심변수 CNN-LTM 하이브리드딥러닝모델 워드임베딩 : 단어로부터통계적의미추출, 단어를의미공간으로사상 CNN: 컨볼루션-풀링층을사용하여이미지벡터 (N, 225,30) 특징추출 LTM: 추출한특징 ( 단어벡터 ) 의시퀀스학습 의미론적비윤리댓글모델링방법의타당성 : 은유, 중의적표현, 신조어대처 은유, 중의적표현, 신조어 : 워드임베딩방법을사용하여통계적의미추출 (Mikolov, 2013) 컨볼루션, 풀링연산을사용한이미지벡터의특징추출 (Hinton, 2012) 심층 LTM 을사용하여시계열특징모델링 (Graves, 2013) 12
데이터셋및실험환경 실험결과 데이터셋 Kaggle 2013 년 Cyberbullying 댓글분류경연대회데이터셋 Cyberbullying ={ 구문론적비윤리 ( 비속어 ), 의미론적비윤리 ( 모욕감을주는문장 )} 8,700 개의데이터인스턴스가 0(Neutral) 또는 1(Cyberbullying) 라벨링 기존최고분류성능 : tf-idf 특징추출 +Boosting 방법, 86%(P. Goyal, 2013) Insult Date Comment 1 20120618 hut the fuck up. you and the rest of your family... 1 20120320 You need some serious psycho;logical help 0 20120527 What horrible trades are you talking about? 0 20120610 fucking weird game man 실험환경 Linux, Cuda, Tensorflow, Keras 딥러닝툴킷 GTX1080 x4 13
분류기별분류정확도와전이학습효과 (1) 실험결과 전이학습을위한 M1 모델의 Pseudo-badwords 학습반복회수별정확도 비윤리적단어의종류를고려하지않고존재여부를체크하는문제 문제의단순성에따라반복회수 5에서과적합문제발생 Early-stopping: 82.77% 분류정확도획득 1.4 1.2 1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 Train loss Test loss Train accuracy Test accuracy 14
분류기별분류정확도와전이학습효과 (2) 실험결과 M1 모델의비윤리적댓글학습반복회수별분류정확도 초기단계에서신경망에저장된기존지식의파괴와재구축으로인한불안정발생 (Bengio, 2014) 전이학습적용이전 80% 분류정확도, 적용이후 85.97% 분류정확도 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 Train loss Test loss Train accuracy Test accuracy 15
분류기별분류정확도와전이학습효과 (2) 실험결과 M2 모델의비윤리적댓글학습반복회수별분류정확도 M1 모델에비해상대적으로낮은성능 원인 : 8,700개적은수량의데이터로부터구성한통계적의미 Early-stopping: 반복회수 10에서 80.94% 성능획득 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 Train loss Test loss Train accuracy Test accuracy 0 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 16
구문론적, 의미론적분류기의상호보완적관계 실험결과 M1(yntactics), M2(emantics) 모델별강점 M1 advantages M2 advantages Misclassified Class Commentary M1 score M2 score 1 You are just wonderful and stupid 0.9795 0.2203 0 1 1 Would probably be cheaper just to legally change you name Why did your parents wish you were adopted If it were your mom sister and wife it would be only one person 0.0032 0.6326 0.4415 0.8978 0.1833 0.6870 1 You're a real bore ya know it 0.1428 0.3398 1 We will bury you in november parasites 0.0092 0.0363 각모델의 Log-scale 스코어의산술평균시 88.66% 분류정확도획득 오분류데이터 : 인간기준에서도윤리적판단어려운잡음데이터 17
t-ne 차원축소방법을사용한분류기분석 실험결과 t-ne 차원축소알고리즘을사용한댓글의의미공간사상 앙상블모델의출력층직전의활성화함수값사용 구문론적비윤리적댓글 ( 비속어중심 ) 중심부분군집화 의미론적비윤리적댓글 ( 의미중심 ) 우측부분군집화 18
요약, 결론, 향후연구 요약및결론 요약 비윤리적 N 댓글구분 : yntactics/emantics yntactics: CNN 모델을사용하여문자의시퀀스로구성된저수준신호모델링 전이학습을사용하여 M1모델의잡음-강건성개선 emantics: CNN-LTM모델을사용하여단어의시퀀스인고수준신호모델링 워드임베딩을사용하여단어의의미공간사상, 벡터화 두모델을앙상블하여최고성능 (88.66%) 획득 결론및향후연구 상호보완적관계에있는두모델의앙상블기법연구 전이학습적용시발생하는일시적학습곡선불안정을해석하기위한시각화기반신경망의분석방법연구 19