기계학습 충북대학교소프트웨어학과이건명 충북대인공지능 1
기계학습 Part I 충북대학교소프트웨어학과이건명 충북대인공지능 2
1. 기계학습 기계학습 ( 機械學習, machine learning) 경험을통해서나중에유사하거나같은일 (task) 를더효율적으로처리할수있도록시스템의구조나파라미터를바꾸는것 (To improve the performance of a system with experience or example data at some task, to adjust the structure and/or parameters of system. Tom Mitchell, 1997) 알고있는것으로부터모르던것을추론하기위한알고리즘을설계하는것 (To design algorithms for inferring unknowns from knowns) 경험 일 효율 ( 성능 ) 필기문자이미지, 글자 문자판독 ( 인식 ) 정확도 사진, 얼굴영역 사진에서얼굴영역식별 정확도 이메일, 스팸여부 스팸이메일판단 정확도 풍경사진 유사한풍경사진식별 유사도 바둑대국 바둑두는방법 승률 기계학습 PlayTennis 문제 어떤사람이테니스를치는날의기상상황을조사한데이터 학습데이터 (training data) 테니스를치는날은? 흐리고적당한온도에습도는높고바람이센날 테니스를칠까? 충북대인공지능 3
기계학습 PlayTennis 문제 cont. Sunny Outlook Overcast Rain Humidity Yes Wind High Mild Weak Strong No Yes Yes No Outlook 조망 Temperature 기온 Humidity 습도 Wind 바람 PlayTennis 테니스여부 Sunny Hot Mild Weak? Rain Hot High Weak? 필기문자인식 기계학습 직접만든규칙이나휴리스틱 (heuristics) 복잡 불충분한성능 기계학습방법 자동으로분류규칙이나프로그램생성 괄목할만한성능 Image : MNIST data 충북대인공지능 4
기계학습 연역적학습 (deductive learning) 연역적추론 (deductive inference) 을통한학습 귀납적학습 (inductive learning) 사례들 (examples) 을일반화 (generalization) 하여패턴 (pattern) 또는모델 (model) 을추출하는것 일반적인기계학습의대상 학습데이터를잘설명할수있는패턴을찾는것 오컴의면도날 (Occam s razor) 가능하면학습결과를간단한형태로표현하는것이좋다 (1,2) -> 3 (4,8) -> 12 (10,13) -> 24 (23,52) -> 75 (43,101) ->144 (14,31) -> 45 (123,15) -> 138 학습알고리즘 (97,16) 113 기계학습 오컴의면도날 (Occam s razor) 원리에따른선택 충북대인공지능 5
2. 기계학습의종류와문제 (supervised learning) 입력 ( 문제 )- 출력 ( 답 ) 의데이터들로부터새로운입력에대한출력을결정할수있는패턴추출 비 (unsupervised learning, 자율학습 ) 출력에대한정보가없는데이터로부터필요한패턴추출 반 (semisupervised learning) 일부학습데이터만출력값이주어진상태에서일반화한패턴추출 강화학습 (reinforcement learning) 출력에대한정확한정보를제공하지는않지만, 평가정보 (reward) 는주어지는문제에대해각상태에서의행동 (action) 을결정 2.1 충북대인공지능 6
분류 (classification) 데이터들을정해진몇개의부류 (class) 로대응시키는문제 결정경계 (decision boundary) 분류문제의학습 학습데이터를잘분류할수있는함수를찾는것 함수의형태는수학적함수일수도있고, 규칙일수도있음 분류기 (classifier) 학습된함수를이용하여데이터를분류하는프로그램 분류기학습알고리즘 결정트리 (decision tree) 알고리즘 K-근접이웃 (K-nearest neighbor, KNN) 알고리즘 다층퍼셉트론신경망 딥러닝 (deep learning) 알고리즘 서포트벡터머신 (Support Vector Machine, SVM) 에이다부스트 (AdaBoost) 임의숲 (random forest) 확률그래프모델 (probabilistic graphical model) 충북대인공지능 7
이상적인분류기 학습에사용되지않은데이터에대해서분류를잘하는것 일반화 (generalization) 능력이좋은것 데이터의구분 학습데이터 (training data) 분류기 (classifier) 를학습하는데사용하는데이터집합 학습데이터가많을수록유리 테스트데이터 (test data) 학습된모델의성능을평가하는데사용하는데이터집합 학습에사용되지않은데이터이어야함 검증데이터 (validation data) 학습과정에서학습을중단할시점을결정하기위해사용하는데이터집합 과적합 (overfitting) 과부적합 (underfitting) 과적합 학습데이터에대해서지나치게잘학습된상태 데이터는오류나잡음을포함할개연성이크기때문에, 학습데이터에대해매우높은성능을보이더라도학습되지않은데이터에대해좋지않은성능을보일수있음 부적합 학습데이터를충분히학습하지않은상태 부적합 (underfitting) 적합 (good fitting) 과적합 (overfitting) 충북대인공지능 8
과적합회피방법 학습데이터에대한성능 학습을진행할수록오류개선경향 지나치게학습이진행되면과적합발생 학습과정에서별도의검증데이터 (validation data) 에대한성능평가 검증데이터에대한오류가감소하다가증가하는시점에학습중단 오류율 검증데이터 학습데이터 학습중지시점 학습시간 분류기의성능평가 정확도 (accuracy) 얼마나정확하게분류하는가 정확도 = ( 옳게분류한데이터개수 )/( 전체데이터개수 ) 테스트데이터에대한정확도를분류기의정확도로사용 정확도가높은분류기를학습하기위해서는많은학습데이터를사용하는것이유리 학습데이터와테스트데이터는겹치게않도록해야함 충북대인공지능 9
데이터부족한경우성능평가 별도로테스트데이터를확보하면비효율적 가능하면많은데이터를학습에사용하면서, 성능평가하는방법필요 K- 겹교차검증 (k-fold cross-validation) 사용 전체데이터를 k 등분 각등분을한번씩테스트데이터로사용하여, 성능평가를하고평균값선택 불균형데이터 (imbalanced data) 문제 특정부류에속하는학습데이터의개수가다른부류에비하여지나치게많은경우 정확도에의한성능평가는무의미할수있음 예. A 부류의데이터가전체의 99% 인경우, 분류기의출력을항상 A 부류로하더라도정확도는 99% 가됨. 대응방안 가중치를고려한정확도척도사용 많은학습데이터를갖는부류에서재표본추출 (re-sampling) 적은학습데이터를갖는부류에대해서인공적인데이터생성 충북대인공지능 10
회귀분석 (regression analysis) 학습데이터에부합되는출력값이실수인함수를찾는문제 회귀분석 (regression analysis) cont. 성능 오차 : 예측값과실제값의차이 테스트데이터들에대한 ( 예측값 실제값 ) 2 의평균또는평균의제곱근 모델의종류 ( 함수의종류 ) 에영향을받음 충북대인공지능 11
회귀분석의과적합 (overfitting) 과부적합 (underfitting) 과적합 지나치게복잡한모델 ( 함수 ) 사용 부적합 지나치게단순한모델 ( 함수 ) 사용 부적합 (underfitting) 적합 (good fitting) 과적합 (overfitting) 회귀분석의과적합 (overfitting) 대응방법 모델의복잡도 (model complexity) 를성능평가에반영 목적함수 = 오차의합 + ( 가중치 )*( 모델복잡도 ) 벌점 (penalty) 항 부적합 (underfitting) 적합 (good fitting) 과적합 (overfitting) 충북대인공지능 12
2.2 비 (unsupervised learning) 비 (unsupervised learning) 결과정보가없는데이터들에대해서특정패턴을찾는것 데이터에잠재한구조 (structure), 계층구조 (hierarchy) 를찾아내는것 숨겨진사용자집단 (hidden user group) 을찾는것 문서들을주제에따라구조화하는것 로그 (log) 정보를사용하여사용패턴 (usage pattern) 을찾아내는것 비의대상 군집화 (clustering) 밀도추정 (density estimation) 차원축소 (dimensionality reduction) http://www.youtube.com/watch?v=rhallmljuk 비 군집화 (clustering) 유사성에따라데이터를분할하는것 영상분할 (segmentation) image : Pedro Felzenswalb 충북대인공지능 13
비 군집화 cont. 일반군집화 (hard clustering) 데이터는하나의군집에만소속 예. k-means 알고리즘 퍼지군집화 (fuzzy clustering) 데이터가여러군집에부분적으로소속 소속정도의합은 1 이됨 예. 퍼지 k-means 알고리즘 용도 데이터에내재된구조 (underlying structure) 추정 데이터의전반적구조통찰 가설설정, 이상치 (anomaly, outlier) 감지 데이터압축 : 동일군집의데이터를같은값으로표현 데이터전처리 (preprocessing) 작업 성능 군집내의분산과군집간의거리 비 밀도추정 (density estimation) 부류 (class) 별데이터를만들어냈을것으로추정되는확률분포을찾는것 5 4 3 2 1 0-1 -2-2 -1 0 1 2 3 4 5 용도 각부류별로주어진데이터를발생시키는확률계산 가장확률이높은부류로분류 충북대인공지능 14
비 밀도추정 cont. 모수적 (parametric) 밀도추정 분포가특정수학적함수의형태를가지고있다고가정 주어진데이터를가장잘반영하도록함수의파라미터결정 전형적인형태 : 가우시안 (Gaussian) 함수또는여러개의가우시안함수의혼합 (Mixture of Gaussian) 비모수적 (nonparametric) 밀도추정 분포에대한특정함수를가정하지않고, 주어진데이터를사용하여밀도함수의형태표현 전형적인형태 : 히스토그램 (histogram) http://i.stack.imgur.com/pe0xu.gif 비 차원축소 (dimension reduction) 고차원의데이터를정보의손실을최소화하면서저차원으로변환하는것 목적 2, 3 차원으로변환해시각화하면직관적데이터분석가능 차원의저주 (curse of dimensionality) 문제완화 충북대인공지능 15
비 차원축소 cont. 차원의저주 (curse of dimensionality) 차원이커질수록거리분포가일정해지는경향 2 차원 4 차원 20 차원 50 차원 원이증가함에따라부분공간의개수가기하급수적으로증가 비 차원축소 cont. 주성분분석 (Principle Component Analysis, PCA) 분산이큰소수의축들을기준으로데이터를사상 (projection) 하여저차원으로변환 데이터의공분산행렬 (covariance matrix) 에대한고유값 (eigenvalue) 가큰소수의고유벡터 (eigenvector) 를사상축으로선택 충북대인공지능 16
비 이상치 (outlier) 탐지 이상치 다른데이터와크게달라서다른메커니즘에의해생성된것이아닌지의심스러운데이터 관심대상 잡음 (noise) 관측오류, 시스템에서발생하는무작위적인오차 관심이없는제거할대상 신규성탐지 (novelty detection) 와관련 비 이상치 (outlier) 탐지 cont. 점이상치 (point outlier) 다른데이터와비교하여차이가큰데이터 상황적이상치 (contextual outlier) 상황에맞지않는데이터예 ) 여름철에 25 도인데이터는정산, 겨울철에 25 도는이상치 집단적이상치 (collective outlier) 여러데이터를모아서보면비정상으로보이는데이터들의집단 충북대인공지능 17
비 이상치 (outlier) 탐지 cont. 부정사용감지시스템 (fraud detection system, FDS) 이상한거래승인요청시에카드소유자에게자동으로경고메시지전송 침입탐지시스템 (intrusion detection system, IDS) 네트워크트래픽을관찰하여이상접근식별 시스템의고장진단 임상에서질환진단및모니터링 공공보건에서유행병의탐지 스포츠통계학에서특이사건감지 관측오류의감지 2.3 강화학습 강화학습 (reinforcement learning) 학습알고리즘이환경 (environment) 와상호작용을통해보상 (reward) 이최대가되도록주어진상태 (state) 에서취할수있는적합한행동 (action) 을찾는것 시행착오 (trial and error) 적인방법으로적합한행동을탐색함 보상은어떤행동을해야하는지알려주는것이아니라행동에대한결과의평가치 ( 실수값 ) 로주어짐 보상은행동에대해바로나올수도있고, 한참지나서나올수도있음...... 충북대인공지능 18
강화학습 강화학습 cont. 정책 (policy) 의학습 각상태 (state) 에서의선택할행동 (action) 결정 예. 자전거탈때각상태에서의제어행동 바둑을둘때각상태에서의착수위치 패달가속한손주행두손주행두손주행 상태 행동 상태 행동 상태 행동 상태 행동 상태 정책 (policy) Image source : RÉMI MUNOS RAPPORT ANNUEL INRIA 2008 강화학습 강화학습 -cont. 적용분야 게임전략 제어전략 금융시장의매매전략 물류 (logistics) 문제 로보틱스 (robotics) 통신문제 충북대인공지능 19
2.4 반 반 (semi-supervised learning) 입력에대한결과값이없는미분류데이터 (unlabeled data) 를에사용하는방법 분류된데이터 (labeled data) 는높은획득비용, 미분류데이터는낮은획득비용 분류경계가인접한미분류데이터들이동일한집단에소속하도록학습 같은군집에속하는것은가능한동일한부류에소속하도록학습 반 반의가정 평활성 (smoothness, 平滑性 ) 가정 가까이있는점들은서로같은부류에속할가능성이높음 군집 (cluster) 가정 같은군집에속하는데이터는동일한부류에속할가능성이높음 매니폴드 (manifold) 가정 원래차원보다낮은차원의매니폴드에데이터에분포할가능성이높음 Image: ludovicarnold.altervista.org/ 충북대인공지능 20
충북대인공지능 21