슬라이드 1

Size: px

Start display at page:

Download "슬라이드 1"

지철 엄
5 years ago
Views:

1 빅데이터분석을위한데이터마이닝방법론 SAS Enterprise Miner 활용사례를중심으로 9 주차 예측모형에대한평가 Assessment of Predictive Model 최종후, 강현철

2 차례 6. 모형평가의기본개념 6.2 모델비교 (Model Comparison) 노드 6.3 임계치 (Cutoff) 노드 6.4 의사결정 (Decisions) 노드 6.5 기타모형화노드들 6.6 연습문제 - 2 -

3 6.. 목표변수가구간형인경우 (Supervised Prediction) Obs. Sex Age Region y y ^ F 8 A M 25 D F 67 D F 43 B F 28 A M 53 C F 42 A 20 2 Regression Analysis : y ^ = a + b x + b x + L b p x p - 3 -

4 목표변수가구간형인경우 제품구매력평균 n 506 연령 Regression Tree <= 40 평균 23.2 n 430 > 40 평균 n 76 A, B, C 지역 D, E ^ = Mean of each node y 평균 9.25 n 20 평균 28.6 n

5 목표변수가구간형인경우 y i ^ y i e i - ASE n SSE = = n i = e 2 i / n n SSE - MSE = = n - p - adj R = - MSE/ [ TSS/( n )] ( 2 0 adj R ) AIC = n log + p + e i = 2 e /( n - i p ) ( SSE/n ) 2 ( ) - 5 -

6 6..2 목표변수가범주형인경우 (Supervised Classification) Obs. Sex Age Region y P ( y = ) F M F F F M F A D D B A C A Logistic P(y=) ^ exp( a + b x + b 2 x + 2 L + b p x p ) = Regression + exp( a + b x + b x + L + b x ) p p

7 목표변수가범주형인경우 신용상태나쁨 % 좋음 % 계 323 (00.00) Classification Tree 월소득 200 만원이하 n % 나쁨 좋음 계 65 (5.08) 연령 200 만원이상 n % 나쁨 좋음 계 58 (48.92) 연령 ^ y = = / n P( ) n i i 35 세미만 35 세초과 25 세미만 25 세초과 n % 나쁨 좋음 계 58 (48.92) n % 나쁨 좋음 계 7 (2.7) n % 나쁨 좋음 계 49 (5.7) n % 나쁨 0.92 좋음 계 09 (33.75) - 7 -

8 목표변수가범주형 ( 구간형 ) 인경우 X X 2 H H 2 y Neural Network Multi-Layer Perceptron X p 활성함수 결합함수 H = L + H + Y + f ( b w X w 2 X 2 w p X p = 2 f 2 ( b + 2 w 2 X + w 22 X + 2 L w p 2 X p = g ( b + 0 w 0 H w 20 H 2 ) ) ) 절편 (bias) 연결강도 - 8 -

9 차례 6. 모형평가의기본개념 6.2 모델비교 (Model Comparison) 노드 6.3 임계치 (Cutoff) 노드 6.4 의사결정 (Decisions) 노드 6.5 기타모형화노드들 6.6 연습문제 - 9 -

10 6.2. 분석사례 - : 구간형목표변수 - 0 -

11 모델비교 (Model Comparison) 노드 - 결과 - -

12 모델비교 (Model Comparison) 노드 - 결과 : 출력 - 2 -

13 회귀 (Regression) 노드 - 속성패널과출력결과 회귀노드의속성패널 - 3 -

14 6.2.2 분석사례 - 2: 이항형목표변수 y P ( y = ) y ^ ( ) y ^ ( ) 0 Discriminant 판별 Classification 분류 Modeling Cut-off value (Threshold)

15 임계치에따른분류정확도 y ^ ( ) y ^ ( ) 0 Predicted Predicted 오류율 (Error rate) = (false negative + false positive)/(grand total) = (+0)/0 = 0% 정확도 (Accuracy) = (true negative + true positive)/(grand total) = (5+4)/0 = 90% 민감도 (Sensitivity) = (true positive)/( total actual positive) = 4/5 = 80% 특이도 (Specificity) = (true negative)/( total actual negative) = 5/5 = 00% (0+2)/0 = 20% (3+5)/0 = 80% 5/5 = 00% 3/5 = 60%

16 No-Data Rule Actual Class Predicted Class Accuracy = 06/50 = 7% 오류율, 정확도, 민감도, 특이도등은임계치에따라달라지므로, 임계치에의존하지 않는모형평가도구가필요하다

17 향상도테이블 (Lift Table) Example n = 2000, = 38 Baseline = 38/2000 = 9 % Decile Y= %Captured %Response Lift 74 74/38= /200= /9= /38=28.8 0/200= /9= /38= /200= /9= /38= 3.6 4/200= /9= /38= 2.8 /200= /9= /38= 2.6 0/200= /9= /38=.8 7/200= /9= /38= 2.6 0/200= /9= /38= 0.7 3/200=.5.5/9= /38=.0 4/200= /9=

18 %Response 향상도그래프 (Lift Chart)

19 누적향상도테이블 (Cumulative Lift Table) Decile Y= %Captured %Response Lift 74 74/38= / 200= /9= /38= / 400= /9= /38= / 600= /9= /38= / 800= /9= /38= /000= /9= /38= /200= /9= /38= /400= /9= /38= /600= /9= /38= /800= /9= /38=00 38/2000= /9=

20 누적향상도그래프 (Cumulative Lift Chart) If 30% of the cases are selected, then 53.6% will respond, cumulative lift = 282% MRR Selected Cases (%)

21 바람직한향상도그래프 Preferable Lift Chart

22 분석사례 - 2 를위한다이어그램 모델비교노드의속성패널

23 모델비교 (Model Comparison) 노드 - 결과

24 예 최적향상도 ( 최고의성능을가지는모형 )

25 데이터옵션대화상자

26 최적향상도그래프

27 향상도테이블

28 정오분류표 (Confusion Matrix, Classification Table)

29 예 민감도와특이도

30 Sensitivity ROC(Receiver Operation Characteristic) 그래프 Specificity

31 ROC(Receiver Operation Characteristic) 그래프 - 3 -

32 ROC 곡선과향상도그래프의관계 ROC Lift Cumulative Lift 매우좋음 좋음 나쁨

33 모델비교 (Model Comparison) 노드 - 결과

34 예 모형평가결과의요약

35 차례 6. 모형평가의기본개념 6.2 모델비교 (Model Comparison) 노드 6.3 임계치 (Cutoff) 노드 6.4 의사결정 (Decisions) 노드 6.5 기타모형화노드들 6.6 연습문제

36 예 절단값에따른정확도, 민감도, 특이도

37 임계치 (Cutoff) 노드 - 결과

38 임계치 (Cutoff) 노드 - 결과 : 모델짂단테이블 임계치노드의속성패널

39 컷오프 ( 임계치 ) 설정방법 User Input: 사용자입력임계값 (Cutoff User Input) 필드에사용자가임계치를설정한다. Maximum KS Statistic: 분석용데이터의사전확률 (prior probability) 을임계치로설정한다. Minimum Misclassification Cost Training Prior: 사전확률을반영한예측오류 FPX(-prior)+FNXprior 가최소가되는임계치를설정한다. Maximum True Pos Rate: 민감도 (True Positive Rate) 가최대가되는임계치를설정한다. Maximum Event Precision From Training Prior: 이벤트정밀도가최대가되는임계치를설정한다. Event Precision Equal Recall: 이벤트정밀도와민감도가최대가되는임계치를설정한다. Maximum Cumulative Profit: 누적이득이최대가되는임계치를설정한다

40 임계치설정에따른결과

41 차례 6. 모형평가의기본개념 6.2 모델비교 (Model Comparison) 노드 6.3 임계치 (Cutoff) 노드 6.4 의사결정 (Decisions) 노드 6.5 기타모형화노드들 6.6 연습문제 - 4 -

42 분석사례 - 3 을위한다이어그램 의사결정노드의속성패널

43 6.4. 사전확률 (Prior Probability) 설정 π, π 2 : 사전확률 (Prior Probability) ρ, ρ 2 : 표본에서의목표변수의비율 사후확률 (posterior probability) 의불편 (unbiased) 추정치 :

44 그래프탐색 (Graph Explore) 노드 - 결과

45 6.4.2 이득행렬 (Profit Matrix) 의이용

46 기대이득의계산

47 모델비교 (Model Comparison) 노드 - 결과

48 차례 6. 모형평가의기본개념 6.2 모델비교 (Model Comparison) 노드 6.3 임계치 (Cutoff) 노드 6.4 의사결정 (Decisions) 노드 6.5 기타모형화노드들 6.6 연습문제

49 기타모형화노드들 앙상블 (Ensemble) 노드 자동신경망 (AutoNeural) 노드 Dmine 회귀분석 (Dmine Regression) 노드 DM 신경망 (DMNeural) 노드 그래디언트부스팅 (Gradient Boosting) 노드 LAR(Least Angle Regression)s 노드 MBR(Memory-Based Reasoning) 노드 부분최소제곱법 (Partial Least Squares) 노드 규칙추론 (Rule Induction) 노드 SVM(Support Vector Machine) 노드

50 여러가지모형화노드들 앙상블노드의속성패널

51 모델비교 (Model Comparison) 노드 - 결과 - 5 -

52 차례 6. 모형평가의기본개념 6.2 모델비교 (Model Comparison) 노드 6.3 임계치 (Cutoff) 노드 6.4 의사결정 (Decisions) 노드 6.5 기타모형화노드들 6.6 연습문제

53 Bagging 방법을위한다이어그램 그룹시작노드의속성패널

슬라이드 1

슬라이드 1 빅데이터분석을위한데이터마이닝방법론 SAS Enterprise Miner 활용사례를중심으로 7 주차 회귀분석 Regression Analysis 최종후, 강현철 차례 4.1 선형회귀분석 (Linear Regression Analysis) 4.2 로지스틱회귀분석 (Logistic Regression Analysis) 4.3 회귀분석의특징과제약 4.4 분석사례 -