Documents Taxonomy - LASSO regression을 중심으로

Size: px

Start display at page:

Download "Documents Taxonomy - LASSO regression을 중심으로"

여원 예
5 years ago
Views:

1 Documents Taxonomy LASSO regression 을중심으로 유충현 Updated: 2017/12/17

2 Overview 1. 들어가기 2. 데이터전처리 3. 모델생성 4. 모델성능비교 1

3 들어가기

4 서론 Taxonomy는 사전적으로 "사물이나 생명체 등을 분류하기 위해서 사용되는 분류체계"로 해석되며, 분류체계는 트리형의 위계적 (Hirerachy) 구조로 표현한다. Documents Taxonomy는 문서(텍스트)들을 분류체계 기준으로 분류하는 것으로, 대표적인 것에 콜센터의 상담 내용을 상담 분류 체계로 분류하는 것이 있다. 엄밀하게 구분하면 Taxonomy와 Classification은 다른 개념이지만, 여기서는 Classification Model로 Documents Taxonomy의 가능성을 진단해 본다. 3

5 문제 제기 STT(Speech to Text) 기술로 생성한 상담내역 Documents를 Patterns과 Rules 기반이 아닌 Machine Learning 기법으로 분류할 수는 없을까? Patterns과 Rules 기반의 분류의 한계점 # 성능의 편차: 작업자의 숙련도에 의한 분류 성능의 편차가 심함. # 노동 집약적 기술: Patterns을 찾아내는 업무는 지루하고, 끊임없는 탐색과 단순 반복 업무임. # 복잡도 증가의 회피: Patterns과 Rules이 복잡도가 증가하면 Rule의 상호 충돌을 회피하기 위한 비용 증가를 동반함. 4

6 학습목표 다음을네가지섹션의이해를목표로학습을수행한다. 데이터구조의이해 : Vectorization DTM(Document Term Matrix) 데이터처리의이해 : TF-IDF n-gram Feature hashing 모델의이해 : LASSO regression 패키지의이해 : text2vec glmnet 5

7 학습 방법 사람들의 대화를 들어보면 개인별로 즐겨 사용하는 언어적 특징이 있는 것처럼, 대통령의 연설문에도 개인적 특징이 담겨있지 않을까? 연설문만으로 어떤 대통령이 연설했는가를 분류 # 데이터: 대통령 연설문 전문 # 분류 방법: 연설문 내용으로 어느 대통령 이름 분류 김대중, 노무현, 이명박 # 성능의 비교: 몇 가지 방법에 대해서 분류의 성능 비교 6

데이터 준비하기 # 대통령기록연구실 홈페이지 http: //www.pa.go.

8 데이터 준비하기 # 대통령기록연구실 홈페이지 http: // 수집한 데이터를 speech.rda 파일로 제공 그림: 연설기록 제공 화면 7

9 데이터전처리

10 데이터로딩 load("./data/speech.rda") dim(speech) [1] names(speech) [1] "id" "president" "category" "type" "title" "date" [7] "doc" 9

11 데이터구조 table(speech$president) 김대중노무현이명박 table(speech$category) 과학기술-정보 교육 국방 국정전반 기타 문화-체육-관광 산업-경제 외교-통상 정치-사회 환경

12 데이터구조 table(speech$type) 국회연설 기념사 기타 기타 ( 연설 ) 라디오연설 만찬사 성명-담화문 신년사 취임사 치사 환영사 speech$title[1:2] [1] "2005 한일우정의해개막식축사 " [2] "2007 한중교류의해를맞아중국국가주석에게보내는축하메시지 " 11

13 데이터 Split Train:Test = 7:3 로데이터 Split library(data.table) setdt(speech) setkey(speech, id) ids <- speech$id n <- NROW(speech) * 0.7 set.seed(1234l) train_ids <- sample(ids, n) test_ids <- setdiff(ids, train_ids) train <- speech[j(train_ids)] test <- speech[j(test_ids)] 12

14 Vectorization : Document Term Matrix 생성 Document Term Matrix 생성개념 13

15 Vectorization : Document Term Matrix 생성 Document Term Matrix 생성예시 14

16 Vectorization tokenize 반복기정의 library(text2vec) token_fun <- tokenizers::tokenize_words it_train <- itoken_parallel(train$doc, + tokenizer = token_fun, + ids = train$id, + progressbar = FALSE) it_test <- itoken_parallel(test$doc, + tokenizer = token_fun, + ids = test$id, + progressbar = FALSE) 15

17 Vectorization Vocabulary 생성 library(doparallel) nc <- parallel::detectcores() registerdoparallel(nc) vocab <- create_vocabulary(it_train) tail(vocab, n = 3) %% + knitr::kable(., row.names = FALSE, format.args = list(big.mark = ",")) term term_count doc_count 수 8,868 1,390 것입니다 9,604 1,448 있습니다 12,409 1,533 16

18 Vectorization Document Term Matrix 생성 : Frequency 기반 vectorizer <- vocab_vectorizer(vocab) dtm_train <- create_dtm(it_train, vectorizer) dim(dtm_train) [1] dtm_test <- create_dtm(it_test, vectorizer) dim(dtm_test) [1]

19 N-Grams 기반 DTM 생성 N-Grams 기반 DTM 생성예시 18

20 N-Grams 기반 DTM 생성 Vocabulary 생성 vocab_bigram <- create_vocabulary(it_train, ngram = c(1l, 2L)) dim(vocab_bigram) [1] head(vocab_bigram, n = 3) %% + knitr::kable(., row.names = FALSE, format.args = list(big.mark = ",")) term term_count doc_count 새로운 _ 원천기술을 1 1 민주주의재단 _national 1 1 다차원적으로

21 N-Grams 기반 DTM 생성 Document Term Matrix 생성 prune_vocabulary() : vocabulary 가지치기 ( 처리속도개선 ) vocab_bigram <- vocab_bigram %% + prune_vocabulary(term_count_min = 10, doc_proportion_max = 0.5) vectorizer_bigram <- vocab_vectorizer(vocab_bigram) dtm_train_bigram <- create_dtm(it_train, vectorizer_bigram) dim(dtm_train_bigram) [1] dtm_test_bigram <- create_dtm(it_test, vectorizer_bigram) dim(dtm_test_bigram) [1]

22 Feature hashing 기반 DTM 생성 Document Term Matrix 생성 vectorizer_hash <- hash_vectorizer(hash_size = 2 ^ 14, ngram = c(1l, 2L)) dtm_train_hash <- create_dtm(it_train, vectorizer_hash) dim(dtm_train_hash) [1] dtm_test_hash <- create_dtm(it_test, vectorizer_hash) dim(dtm_test_hash) [1]

23 TF-IDF 기반 DTM 생성 Document Term Matrix 생성 * TF-IDF : Term Frequency - Inverse Document Frequency "전체 문서들에서 출현빈도는 낮지만, 특정 문서에서 출현빈도가 높은 Term은 특정 문서들을 구별해주는 유용한 Term이다." tfidf <- TfIdf$new() dtm_train_tfidf <- fit_transform(dtm_train, tfidf) dim(dtm_train_tfidf) [1] dtm_test_tfidf <- create_dtm(it_test, vectorizer) %% + transform(tfidf) dim(dtm_test_tfidf) [1]

24 모델생성

25 LASSO LASSO(Least Absolute Shrinkage Selector Operator) 정규화 선형회귀모형 (Regularized Regression) # 관측치의 수 < 독립변수의 수 overfiting 회귀계수가 과도하게 증가하는 경향. # 정규화 선형회귀모형: 추가 제약조건으로 계수의 크기를 제한하는 방법 cost 함수를 최소화하는 조건으로 회귀계수 도출 # 정규화 선형회귀모형 종류: Ridge regression LASSO regression Elastic Net regression 24

26 LASSO cost 함수 정규화선형회귀모형의 cost 함수와특징 Ridge regression cost e 2 i + λ w 2 i 회귀계수를줄여주는효과 robust LASSO refression cost e 2 i + λ w i 회귀계수를줄여주는효과 robust 유의미하지않는변수의회귀계수 0 변수선택효과 Elastic Net regression cost e 2 i + λ 1 wi + λ 2 w 2 i Ridge 와 LASSO 의 hybrid 25

27 LASSO regression : Frequency 모델생성 library(glmnet) NFOLDS <- 10 classifier <- cv.glmnet(x = dtm_train, y = train[['president']], + family = 'multinomial', + # L1 penalty + alpha = 1, + # interested in the area under ROC curve + type.measure = "auc", + # n-fold cross-validation + nfolds = NFOLDS, + # high value is less accurate, but has faster training + thresh = 1e-3, + # again lower number of iterations for faster training + maxit = 1e3, + parallel = TRUE) 26

28 LASSO regression : Frequency 모델평가 LASSO regression - Frequency 모델평가 library(caret) pred_voca <- predict(classifier, dtm_test, type = 'response')[,, 1] president_voca <- apply(pred_voca, 1, + function(x) colnames(pred_voca)[which(max(x) == x)]) cm_voca <- confusionmatrix(test$president, president_voca) 27

29 LASSO regression : Frequency 모델평가 cm_voca$table Reference Prediction 김대중노무현이명박 김대중 노무현 이명박 cm_voca$overall Accuracy Kappa AccuracyLower AccuracyUpper AccuracyNull e e e e e-01 AccuracyPValue McnemarPValue e e-04 28

30 LASSO regression : Frequency 모델평가 cm_voca$byclass Sensitivity Specificity Pos Pred Value Neg Pred Value Class: 김대중 Class: 노무현 Class: 이명박 Precision Recall F1 Prevalence Detection Rate Class: 김대중 Class: 노무현 Class: 이명박 Detection Prevalence Balanced Accuracy Class: 김대중 Class: 노무현 Class: 이명박

31 LASSO regression : N-Grams classifier <- cv.glmnet(x = dtm_train_bigram, y = train[['president']], + family = 'multinomial', + alpha = 1, + type.measure = "auc", + nfolds = NFOLDS, + thresh = 1e-3, + maxit = 1e3) 30

32 LASSO regression : N-Grams 모델평가 LASSO regression : N-Grams 모델평가 pred_bigram <- predict(classifier, dtm_test_bigram, + type = 'response')[,, 1] president_bigram <- apply(pred_bigram, 1, + function(x) + colnames(pred_bigram)[which(max(x) == x)]) cm_bigram <- confusionmatrix(test$president, president_bigram) 31

33 LASSO regression : N-Grams 모델평가 cm_bigram$table Reference Prediction 김대중노무현이명박 김대중 노무현 이명박 cm_bigram$overall Accuracy Kappa AccuracyLower AccuracyUpper AccuracyNull e e e e e-01 AccuracyPValue McnemarPValue e e-02 32

34 LASSO regression : N-Grams 모델평가 cm_bigram$byclass Sensitivity Specificity Pos Pred Value Neg Pred Value Class: 김대중 Class: 노무현 Class: 이명박 Precision Recall F1 Prevalence Detection Rate Class: 김대중 Class: 노무현 Class: 이명박 Detection Prevalence Balanced Accuracy Class: 김대중 Class: 노무현 Class: 이명박

35 LASSO regression : Feature hashing classifier <- cv.glmnet(x = dtm_train_hash, y = train[['president']], + family = 'multinomial', + alpha = 1, + type.measure = "auc", + nfolds = NFOLDS, + thresh = 1e-3, + maxit = 1e3, + parallel = TRUE) 34

36 LASSO regression : Feature hashing 모델평가 LASSO regression : Feature hashing 모델평가 pred_hash <- predict(classifier, + dtm_test_hash, type = 'response')[,, 1] president_hash <- apply(pred_hash, 1, + function(x) + colnames(pred_hash)[which(max(x) == x)]) cm_hash <- confusionmatrix(test$president, president_hash) 35

37 LASSO regression : Feature hashing 모델평가 cm_hash$table Reference Prediction 김대중노무현이명박 김대중 노무현 이명박 cm_hash$overall Accuracy Kappa AccuracyLower AccuracyUpper AccuracyNull e e e e e-01 AccuracyPValue McnemarPValue e e-02 36

38 LASSO regression : Feature hashing 모델평가 cm_hash$byclass Sensitivity Specificity Pos Pred Value Neg Pred Value Class: 김대중 Class: 노무현 Class: 이명박 Precision Recall F1 Prevalence Detection Rate Class: 김대중 Class: 노무현 Class: 이명박 Detection Prevalence Balanced Accuracy Class: 김대중 Class: 노무현 Class: 이명박

39 LASSO regression : TF-IDF classifier <- cv.glmnet(x = dtm_train_tfidf, y = train[['president']], + family = 'multinomial', + alpha = 1, + type.measure = "auc", + nfolds = NFOLDS, + thresh = 1e-3, + maxit = 1e3, + parallel = TRUE) 38

40 LASSO regression : TF-IDF 모델평가 LASSO regression : Feature hashing 모델평가 pred_tfidf <- predict(classifier, + dtm_test_tfidf, type = 'response')[,, 1] president_tfidf <- apply(pred_tfidf, 1, + function(x) + colnames(pred_tfidf)[which(max(x) == x)]) cm_tfidf <- confusionmatrix(test$president, president_tfidf) 39

41 LASSO regression : TF-IDF 모델평가 cm_tfidf$table Reference Prediction 김대중노무현이명박 김대중 노무현 이명박 cm_tfidf$overall Accuracy Kappa AccuracyLower AccuracyUpper AccuracyNull e e e e e-01 AccuracyPValue McnemarPValue e e-01 40

42 LASSO regression : TF-IDF 모델평가 cm_tfidf$byclass Sensitivity Specificity Pos Pred Value Neg Pred Value Class: 김대중 Class: 노무현 Class: 이명박 Precision Recall F1 Prevalence Detection Rate Class: 김대중 Class: 노무현 Class: 이명박 Detection Prevalence Balanced Accuracy Class: 김대중 Class: 노무현 Class: 이명박

43 모델성능비교

44 모델성능비교 result <- rbind(cm_voca$overall, cm_bigram$overall, + cm_hash$overall, cm_tfidf$overall) data.frame(method=c("frequency", "Bigram", "Hash", "TF-ID"), + round(result, 4)) %% + dplyr::select(method, Accuracy, AccuracyLower, AccuracyUpper) %% + dplyr::arrange(desc(accuracy)) %% + knitr::kable() method Accuracy AccuracyLower AccuracyUpper TF-ID Bigram Frequency Hash

45 어떻게 튜닝할 것인가? 예전에는 성능 튜닝을 모델 튜닝의 협의적인 방법만 생각했었다! Text Analytics는 모델과의 싸움이 아니야 Text Analytics에서 예측의 성능을 높히기 위해서는 Natural Language Processing과 Documents를 Vectorization하는 방법을 고민해야 함. 데이터 전처리의 노고는 결과를 배신하지 않는다. 44

46 Document Taxonomy를 위한 제언 # tokenizer 형태소 단위의 tokenizer가 words 단위의 tokenizer보다 성능이 낮았다 형태소 단위의 분석만 고집하지 말자. # trade off DTM은 많은 컬럼을 포함한 대용량 데이터로 연산 속도의 저하 유발 성능 감소를 감내하고, 차원을 축소해 보자. 형태소 단위, pruned matrix, Feature hashing # hybrid 접근 N-Gram DTM을 TF-IDF로 변환하면 어떨까? Accuracy = 로 TF-IDF보다 높게 나옴 # 전처리 본 예제에서 Text 전처리를 수행하지 않았음 45

47 hybrid 접근코드 tfidf <- TfIdf$new() dtm_train_tfidf2 <- fit_transform(dtm_train_bigram, tfidf) dtm_test_tfidf2 <- fit_transform(dtm_test_bigram, tfidf) classifier <- cv.glmnet(x = dtm_train_tfidf2, y = train[['president']], + family = 'multinomial', alpha = 1, + type.measure = "auc", nfolds = NFOLDS, + thresh = 1e-3, maxit = 1e3, parallel = TRUE) pred_tfidf2 <- predict(classifier, dtm_test_tfidf2, + type = 'response')[,, 1] president_tfidf2 <- apply(pred_tfidf2, 1, + function(x) + colnames(pred_tfidf2)[which(max(x) == x)]) cm_tfidf2 <- confusionmatrix(test$president, president_tfidf2) 46

48 References Vectorization Dmitriy Selivanov, 2017 Lasso and Elastic-Net Regularized Generalized Linear Models vignettes/glmnet_beta.pdf Trevor Hastie and Junyang Qian,

49 THE END

Data Mining 1 regularized model을 이용한 이미지 분류 1 Introduction 이미지 데이터는 매트릭스 형태이다. 이미지 분류를 하기 위해서 이미지 형식을 매트릭스 에서 벡터로 변환하는 작업이 필요하다. 그러면 하나의 이미지는 p차원인 벡터형

Data Mining 1 regularized model을 이용한 이미지 분류 1 Introduction 이미지 데이터는 매트릭스 형태이다. 이미지 분류를 하기 위해서 이미지 형식을 매트릭스 에서 벡터로 변환하는 작업이 필요하다. 그러면 하나의 이미지는 p차원인 벡터형 1 regularized model을 이용한 이미지 분류 1 Introduction 이미지 데이터는 매트릭스 형태이다. 이미지 분류를 하기 위해서 이미지 형식을 매트릭스 에서 벡터로 변환하는 작업이 필요하다. 그러면 하나의 이미지는 p차원인 벡터형식이다. 만약 n개의 이미지 데이터가 있다면 행은 n개이고 열은 p차원인 매트릭스 형식이 필요 하다. 여기서 사용할