감마누적분포에의한 HMM 상태지속모델 757 감마누적분포에의한 HMM 상태지속모델 (Gamma CDF-based HMM Sae Duraon Modelng) 신봉기 (Bong-Kee Sn) 요약본논문에서는준마르코프모델의제어복잡성과비정상 HMM 의상태지속분포모델의취약성을해결하는새로운구조의비정상 (nonsaonary) 모델을제안한다. 준마르코프모델과달리완전한 차마르코프모델이다. 그러나천이확률이시간에따라변하기때문에사실상고차모델과같은효과가있다. 마르코프사슬은어떤상태에서시간이지남에따라그상태에서체류하려는경향은줄고다른상태로바꾸려는경향이증가하게된다. 이러한변화특성을감마누적분포로표현하여보다직관적인동작특성을갖도록하였다. 모델의평가알고리즘과훈련알고리즘을제시하였으며온라인숫자필기에데이터에대해세가지의비교분석결과를제시하였다. 제안모델은준마르코프모델과마찬가지로시간적으로도정확한확률특성을표현하는데장점이있다. 따라서유사한두패턴을구별하는구분능력을향상시키거나특히음성합성, 패턴생성등에효과적으로활용할수있다. 키워드 : 은닉마르코프모델, 상태지속분포, 준마르코프모델, 감마분포, 패턴생성 Absrac Ths paper presens a new nonsaonary HMM ha resolves some of he complexes of sem-markov models and he lack of emporal coherency n he prevous nonsaonary HMM. Unlke he sem-markov model, s fully frs-order Markovan. Bu he emporal evoluon of he ranson dsrbuon renders effecvely a hgh-order model. In he proposed model, once a Markov chan eners a sae, ends o say n he sae for a whle bu gradually he endency of exng he sae grows. Ths endency s descrbed by a gamma CDF(cumulave dsrbuon funcon) and he resulng model behavor s hghly nuve. Usng he evaluaon and ranng algorhms as provded here, a se of handwrng dg models were raned and analyzed n hree ways ncludng classfcaon wh comparable performance o ha of sem-markov models, and random samplng wh he leas dsoron and hghes qualy. The proposed model s beleved o have grea advanages n accurae and dealed dscrmnaon of ambguous paerns, and paern generaon and synhess applcaons. Keywords: HMM, sae duraon sem-markov, gamma dsrbuon, paern generaon. 서론 은닉마르코프모델 (HMM) 은다양한시계열신호를 이논문은부경대학교자율창의학술연구비 (203년:C-D-203-0470) 에의하여연구되었음 이논문은 203 한국컴퓨터종합학술대회에서 감마누적분포에의한 HMM 상태지속모델 의제목으로발표된논문을확장한것임 정회원 : 부경대학교 IT융합응용공학과교수 bkshn@pknu.ac.kr 논문접수 : 203년 7월 8일심사완료 : 203년 9월 30일 CopyrghC203 한국정보과학회 ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 소프트웨어및응용제40권제2호 (203.2) 모델링하는데널리활용된다 []. HMM의추론및계산알고리즘이개발된지오랜세월이지났지만아직도은닉변수 (laen varable) 모델의대표격이고다양한실제문제에서확장성이입증된가장성공적인모델의하나로인식되고있다. 하지만 HMM을개선하거나확장하려는연구는아직도진행중이다 [2]. HMM의약점은두가지의기본가정, 즉일차마르코프가정과관찰심볼의조건부독립가정에서기인한다 []. 둘모두모델링및계산을극히간단하게만들어아주효율적인모델로만들어주었다. 하지만그가정이현실과맞지않으며, 입력신호의변이를효과적으로표현하지만정확도가크게떨어진다. 바로이런점들을해결하여모델링의정확도를높이려는연구가다수발표되었고, 아직도관련논문이가끔씩발표된다 [2]. 특히최근에는베이스비모수적방법에의한 HMM 모형화에서도같
758 정보과학회논문지 : 소프트웨어및응용제 40 권제 2 호 (203.2) 은연구가반복되고있다. 이런점은모두 HMM의유용성과문제의중요성을대변해준다고할수있다 [3]. HMM의일차마르코프가정에의한문제점은단순 차상관관계가이니라시간적으로긴상관관계를표현하는문제로포괄할수있다. 이와관련한최초의시도는기하적상태지속분포대신지속분포를별도로표현한 Ferguson의가변지속모델이다 [4]. 차마르코프가정을깨어버린이모델을최근에는 준-마르코프 (Sem- Markov) 모델, 또는 HSMM(Hdden Sem-Markov Model) 이라고부르는경향이있다 [2]. 한편 995년에제안된비정상 (NonSaonary) HMM에서는상태천이확률을지속시간의함수 으로표현하여간접적으로상태지속분포모델링효과도갖도록하였다 [5]. 그리고최근컴퓨터의성능의발전으로베이스비모수적방법에의한무한 (nfne) HMM, 상태지속의편향특성을표현하기위한 Scky HMM[6], 계층적디리슐레과정 (HDP, Herarchcal Drchle Process) 에기반한 HDP-HMM 등이등장하면드디어 HDP-HSMM 도출현하였다 [7]. 본논문에서는상태지속분포모델의매끄럽지못한약점을해결하는새로운모델을제안한다. 준마르코프모델이아니라완전마르코프모델이며상태지속시간에따라지속특성이변하는비정상모델이다. 지속특성은감마분포의누적분포함수를활용하여상태지속특성을표현한다. 각상태에서일정지속시간이지나면상태를떠나려는확률이증가하여자연스럽게특정지속분포를표현하게된다. 제안모델은기존의준마르코프모델보다훨씬자연스럽고, 지속분포를특별히별도로다루어야하는복잡한계산구조가없기때문에평가알고리즘이간단하다. 또한상태지속분포를지속특성과새로운상태로의천이특성으로분해하여표현하기때문에기존의 NSHMM (Nonsaonary HMM) 보다도훨씬간단하다 [5]. 그리고최근모델평가속도가느리고실용적대형문제로확장할수있는능력이아직검증되지않은베이스비모수적방법의 HSMM과비교해서도실용적측면에서장점이있다 [6,7]. 물론비모수적방법도고유의장점이있기때문에향후본모델을 HDP-HSMM에적용할방법을모색할수있다 [8]. 본논문의구성은다음과같다. 2절에는제안모델과기술적으로직접적으로관련성이있는기존의대표적연구를간단히언급한다. 3절에는제안모델을설명하고 4절에는관련평가알고리즘과학습알고리즘을제시한다. 5절에는실험결과와응용사례를제시하고, 이어본논문의결론을맺는다. 2. 준마르코프모델표준정상 (saonary) 마르코프모델은시간과상관없이일정한상태천이확률을갖는다. 표준 HMM의상태지속특성의문제점을보완하기위해 980년 Ferguson은상태지속모델을제안하였다 [4]. 각상태별시간지속특성을명시적으로표현하기위해새로운분포함수 를도입하였다. 는한상태를유지하는시간을나타내는변수이다. 기하분포에서는구조적으로 일확률이가장크지만상태지속분포모델에서는상태별로특징적인분포모양을하고적절한평균과최빈값을갖는다. 마르코프사슬이 시각에어떤상태에들어가면그상태를떠날때까지상태천이동작이없으며 HMM의경우관찰부호출력만한다. 즉마르코프상태천이가간헐적으로발생한다. 이런이유로상태지속모델을준마르코프모델이라고부르기도한다. 준마르코프모델은상태천이를상태별로구분하고별도의분포함수를쓰기때문에제어가복잡해지는단점이있다. 상태지속모델이후간헐적으로유사한모델이다수제안되었다 [2,9]. 995년에는상태천이확률을지속시간의함수 로대치하는비정상마르코프모델이제안되었다 [5]. a ( Pr( X X X L X X ). 이모델은표준마르코프모델에상태지속특성을추가한것으로서상태지속분포를간접적으로표현한다. 이마르코프모델은비정상이지만충실한 차마르코프모델이다. 그러나시간의함수를비모수적히스토그램으로표현하며계산상의이유로상태지속시간을제한한다 []. 3. 새로운비정상모델기존의비정상모델은상태천이분포를동적으로표현하였지만준마르코프모델의효과를내는것외에는특별한장점을찾기는어렵다 [5]. 그래서본연구에서는상태지속분포와천이확률모델을보다효과적으로표현하는방법을제안한다. 제안모델도기존의비정상모델과유사하게상태천이확률이지속시간의함수이므로 새로운 비정상모델 (Non-Saonary HMM) 또는간단히 NSHMM이라고부르기로한다. 새로운 NSHMM 은표준 HMM의각상태에감마분포의누적분포함수 (CDF) 를추가한모델이다. 감마분포의누적분포는다음과같이정의한다. g( ; k, θ ) θ 0 k Γ( k) u e k u θ du,, k, θ > 0 ()
감마누적분포에의한 HMM 상태지속모델 759 이것은마르코프체인의임의상태에서 시간지낸지금현재상태를벗어나다른상태로변화하려는확률을나타낸다. k 와 은각각형태 (shape) 모수, 척도 (scale) 모수이다. 한편현시점에서현상태를더유지할확률은 이다. g( ; k, θ ) Pr( X X X X L X X (2) 이확률분포는일종의베르누이모델이며상태지속시간 의함수이다. 식 () 과 (2) 가정의하는상태천이의확률적특성은시간적인길이의변화를자연스럽게표현하는장점이있다. 그림 은식 () 과 (2) 의함수가수평축시간 ( ) 에따라변하는모습을보여준다. 대략 2~3 단위시까지는상태를더유지할확률이매우높고 ( 하강실곡선 ), 5~6 단위시가되면상태를떠날확률이크게증가한다 ( 상승실곡선 ). 이두확률을 p ( ; k, θ ) ( g( ; k, θ )) g( ; k, θ ) (3) 와같이결합하면자연스럽게비대칭으로일그러진종모양의상태지속분포를표현하게된다. 그림 비정상상태천이모델 Fg. Nonsaonary sae ranson model 한편 NSHMM의나머지모수는표준 HMM을그대로따른다. 요약하면새로운 NSHMM은다음과같이네종류의모수의집합으로표기한다. λ ( π, A, G, B) 여기서 S {, 2,..., N} 을상태공간, V {,2,..,L} 을관찰공간이라고할때 A B { π : Pr( X ), S } π π { a : a Pr( X X ),, S, } { b ( v) : b ( v) Pr( Y v X ), S, v V } ) 은각각확률분포행렬이며적절한확률조건을만족한다. 한편 G 는비정상상태천이및지속특성을표현하는감마분포함수의모수이다. {( k, θ ) : k > 0, > 0, S } G θ 4. 비정상 HMM 알고리즘 4. 전진및후진알고리즘비정상 HMM(NSHMM) 의계산및훈련알고리즘은표준 HMM과마찬가지로동적계획법과 EM(Expecaon-Maxmzaon) 알고리즘으로이루어진다 []. 우선 NSHMM의평가문제를먼저설명하기로한다. 일반적으로 HMM의평가는주어진입력 Y y y 2 y T 에대한모델의우도 p(y, A, B) 를계산하면된다. 그런데은닉마르코프사슬변수의모든가능한경우를모두열거하여합산을한다면계산량이지수함수처럼늘어나게된다. 따라서동적계획법에따라순환반복하는방식으로절차를바꾸어계산의중복성을제거하고효율을극대화한다. 이를위하여전반의부분데이터 Y, y y 2 y 에대한전진 (forward) 확률을계산한다. 새로운 NSHMM에서는 시각까지의부분열을출력하면서최종적으로상태 에도달할전진확률은다음과같은점화식으로쓸수있다. α (, α (, )( g(, k, θ ) b ( y ), S, 2, K,, 2 (4) 여기서 는상태지속시간을나타낸다. 이확률은그림 2 에서최근 -회수평방향으로천이한심볼-상태결합우도를나타낸다. 인경우에는이전의다른상태에서 로천이한경우이므로다음과같이계산한다. α (,) d> 0 α (, d) g( d, k, θ ) a b ( y ), S, 2 (5) 이것은그림 2에서오른쪽끝의상태간천이 ( 비스듬한화살표 ) 를하여결국 에도착할결합우도를나타낸다. 한편경계조건으로 일때에는다음과같이계산한다. α,) b ( y ), S (6) ( π 그림 2 전진확률의계산구조분석 Fg. 2 Forward probably compuaon srucure
760 정보과학회논문지 : 소프트웨어및응용제 40 권제 2 호 (203.2) 비슷하게후진 (backward) 확률도다음과같이정의한다. β (, β (, β (, (7) 위식에서오른쪽의두항은각각 β (, ( g(, k, θ )) b ( y ) β (, ) (8) β (,) (, g(, k, θ ) ab ( y ) β 과같다. 식 (8) 과 (9) 는각각현상태 를유지하는자신으로의천이를더계속하는경우의확률과다른상태로떠나갈확률이다. 한편경계조건으로최종시각의후진확률은누적감마확률값과같다. 모델디코딩알고리즘으로널리사용되는비터비 (Verb) 알고리즘은전진알고리즘의식 (5) 의합산연산자를 arg max 연산자로바꾸고나중에역추적단계에서최적경로를추출할수있도록각단계에해당경로정보만별도로관리해주면된다. 4.2 학습알고리즘 HMM은은닉변수를갖는대표적인모델이다. 따라서반복적인 EM 알고리즘을사용하여모델을학습한다. 이를위해서잠재변수들의사후확률을추정하여야하는데앞절에서계산한전진 (forward) 및후진 (backward) 확률을활용한다. 보다구체적으로, 전진확률과후진확률을이용하면 Baum-Welch 알고리즘에서필요로하는사후확률을추정할수있다 []. 즉, 데이터 Y 를관찰하고 시각현재까지 시간동안상태 에머물러있을사후확률은 (, α (, β (,, S,,...,. (0) P ξ (,, α (, g(, k, θ ) ab ( y ) β (,), P, S,,,. K, () 위식에서 P 는관찰표본 Y y y T 에대한모델의우도를나타낸다. 참고로위두변수사이의관계는 (9) (, ξ (,, (2) 와같고표준 HMM에서사용하는사후확률과다음과같은관계가있다. ( ) (, (3) ξ (, ) ξ (,, (4) 위식들 (0), () 을토대로 EM(Expecaon-Maxmzaon) 기반의학습알고리즘을정리하면다음과같다. E-스텝 : 식 (0), () 를계산한다. M-스텝 I : 다음과같이최우모수를추정한다. (,) π, N (5) P T T aˆ bˆ ( v) ξ (,,, (, (, δ ( y v), (,, N, (6) N, v V (7) 여기까지는표준 HMM의추정량과별로다를것이없다. 그러나새로도입된감마분포의모수는확정해가알려져있지않기때문에수치적근사치를구하는방법을사용한다. 본연구에서는뉴튼근사법을채택하였다. 그리고다중표본으로훈련할때각표본에대한모델우도를가중치로하여우도-가중표본으로학습하는수정된목적함수를사용하였다. 위 M-단계 I의상태천이나출력분포의추정과달리상태지속특성을간접적으로표현하는감마분포의두모수는단순하지않다. 하지만둘중척도모수는다음과같이최우추정량으로간단히얻을수있다. (, ˆ θ, N (6) k (, 한편감마분포함수의로그꼴은 x l ( k ) ln x Nk lnθ N lnγ( k) θ 이것을미분하고 0 으로두면 (7) ln k ψ ( k) ln x ln x (8) N N 여기서 는다이감마 (dgamma) 함수이다 [0]. 아쉽게도위방정식에는확정해가없다. 따라서수치적근사해를구한다. 반복적최적화방법의대표격인뉴튼근사법을적용하기로한다 []. 이때 k 의초기값이관건인데다음과같은근사초기값을쓴다 [2]. k 2 3 s ( s 3) 24s (9) 2s ( 0) 여기서 s 는식 (8) 의우변을나타낸다. 이후의뉴튼- 랩슨알고리즘은다음과같이반복갱신해나간다. M-스텝 II : ln k ψ ( k) s k k (20) k ψ ( k) 실제응용에서는 ~2회의반복으로도거의수렴하는경향을보였다. 전체학습알고리즘은 E-스텝과두개의 M-스텝을수렴할때까지번갈아반복한다.
감마누적분포에의한 HMM 상태지속모델 76 5. 실험결과제안모델은상태천이모수가 O(N(N)) 개로표준 HMM과비슷하다. 따라서출력분포만문제가되지않는다면과적응 (overfng) 가능성이낮으며따라서학습하기가어렵지않다. 본실험에서는전자태블릿으로수집한온라인숫자필기샘플 27개를사용하였다. MATLAB 으로구현한소프트웨어로단계별로훈련, 인식, 그리고임의표집한결과를분석한다. 5. 모델설계와학습열개의숫자모델은모두상태수를통일하여학습하였다. 관찰데이터의길이에비례하여조정하는휴리스틱을적용할수도있지만상태수변화에따른성능변화, 미세한임의적조작에의한성능변화를객관적으로분석하는데어려움이따르기때문에상태수를하나로통일하였다. 상태수는숫자패턴의특성과특징값코딩방식과길이의변화를고려하여 4~7개로변화를주었다. 모델의구조는널리사용되는좌우전진구조와완전연결이가능한어고딕 (ergodc) 모델의두가지로설계하였다 []. 어고딕모델은훈련결과입력에대해천이상태의순서는변하지만대체적으로선형구조에수렴하는모습이었다. 하지만모든연결에여전히작은확률이남아있어서여전히어고딕이며따라서필기패턴의엄밀한시간적순서를제대로파악하지못하는경향을보였다. 따라서다음절의분류와생성문제에모두기대이하의성능을보였다. 참고로숫자 2 모델의훈련결과상태지속분포를살펴보자. 그림 3(a) 는상태가 N 5개인 NSHMM에비터비 (Verb) 알고리즘을적용하여 5개의조각으로분할된필기의예이다. 각상태는차례로각지역의특징을표현하는지역모델이라할수있다. 여기서 HMM의역할은각지역간의최적경계를결정해주는것이다. NSHMM의상태중두번째상태의상태지속특성을분석해보자. 그림 3(b) 는평균적으로길이가약 6.67 인감마분포의 CDF( 서로교차하는점선 ) 와파생된상태지속분포 ( 실선 ) 를보여준다. 감마분포의분산은약.65이며, 왜도 (skewness) 는 0.39로분포곡선의오른쪽이약간길고두터움을나타낸다. 이는일반적인직관과현실에부합하는값들이다. 나머지 4개의상태도파생분포의정점의위치만다를뿐대체로같은분포를한다. 5.2 패턴분류상태지속분포모형화의일차적목표는시계열신호를시간적특성을정확하게기술하는데있다. 하지만 HMM이처음에각광을받았던변이모델링능력을평가하기위해분류성능을시험하여본다. WACOM Graphre 태블릿으로한사람의필기샘플을총 27개를모아서 0 개의숫자모델을 30회반복훈련하였다. 비교대상으로표준 HMM과상태지속모델인 HSMM도훈련하였다. 학습데이터를정말잘학습하였는지살펴보기위하여훈련에사용한데이터를분류하는실험을하였다. 이때사전확률은균일분포로하였다. 결과는표 과같다. 좌우전진구조의모델인경우상태지속모델 (HSMM) 과비슷하지만나은성능을보여준다. 완전연결의어고딕모델의경우도마찬가지이다. 5.3 패턴생성일반적으로상태지속 HMM은음성합성등지역적패턴의길이를보다정확하게모델링하는데사용된다. 표 훈련데이터분류오류율 (%). 균일한사전분포 Table Classfcaon error on ranng samples (%). Wh a unform pror Topology NSHMM HSMM HMM Lef-rgh.24.85 4.32 Ergodc 4.7 5.56.57 (a) (b) 그림 3 (a) 필기표본, (b) 감마분포 ( 점선 ) 에의한상태지속모델링 ( 실선 ) Fg. 3(a) Handwrng sample, (b) Gamma dsrbuon (broken lnes) and s derved sae duraon (sold lne)
762 정보과학회논문지 : 소프트웨어및응용제 40 권제 2 호 (203.2) 본연구의세번째실험에서는훈련된모델로부터임의표본을생성하여그모양으로모델링의정확성을간접적으로분석해본다. 패턴생성시사용한모델은좌우전진구조의모델을사용하였으며특별한제약조건이없고단순히최적의패턴을추출하도록하였다. 따라서학습데이터의평균적길이와유사한모델이만들어진다. 만약어고딕모델이라면별도의시작상태와종료상태가없는한종료시점을알수없기때문에원하는길이를지정하여야할것이다. 어고딕모델의경우생성된패턴의지역적특성에순서가없기때문에패턴의모양이알아볼수없을정도로일그러져나온다. 따라서어고딕모델은사용하지않기로하였다. 제안 NSHMM과두가지의비교모델에서필기를생성한결과는그림 4와같다. HMM은출력심볼은모두방향코드이므로생성한결과를그림으로변환하는데유리하다. 생성심볼열을 (x, y) 들의좌표열로변환하여그린것이다. 그림 4(a) 는모델의상태수가 N 5 일때, 그림 4(b) 는상태수가 6일때이다. 각그림에서상단은제안모델에서생성된결과이다. 숫자를알아볼정도로균형잡힌모양을보여준다. N 5일때숫자 8 은완전히뭉개져있는데이는상태수가부족하다는것을의미한다. 그림 4(b) 처럼상태를늘린결과온전한숫자 8 의모습이성공적으로만들어졌다. 그림 4의두번째행의그림은기존의상태지속 HMM으로생성한것이다. 대체로숫자를만들려고한것은알수있으나각각을따로떼어놓고보면절반이상이알아보기힘들다. 마지막행은표준 HMM으로생성한것이다. 표본대부분알아볼수없을정도로일그러진모습이다. 마지막으로생성패턴을최종출력하기전에다항식회귀함수로평활화하였다. 본사례에서는숫자 2 모델을집중적으로분석하였다. 숫자를필기를할때수평, 수직방향으로 ~2회의진동또는교차가있다. 따라서평활 화다항식은숫자패턴의복잡도를고려하여 5차식으로고정하였다. 그림 5에따르면이경우에도제안모델 NSHMM은균형잡힌모양을만들지만표준 HMM은특정부분이강조되어전체적으로모양의균형이흐트러져있다. 국소적상태지속또는길이에관한제약이없기때문이다. 상태지속모델또한왜곡이심한경향을보여준다. 6. 결론본논문은기존의상태지속모델의효율성은유지하되복잡한계산구조는피하고보다직관적이며효과적으로마르코프사슬의동적인특성을모델링하는 새로운 비정상 (nonsaonary) HMM을제안하였다. 제안 NSHMM은천이확률이상태지속시간의함수로일반화되었지만구조적으로표준 HMM과유사하다. 구조적으로순수 차마르코프사슬과같이모델링하지만천이확률의변화로상태지속특성을간접적으로표현하였다. 따라서 차모델이지만그효과로볼때긴시간의상관관계를모델링한고차의마르코프모델이라고할수있다. 실험결과상태천이및지속정보를기존의 HSMM 보다엄밀하게제어하는특성으로인하여패턴의다양성을수용하는유연성이부족하여분류또는인식문제에는뛰어난장점을확인할수없었다. 그러나숫자가아니라클래스의수가매우큰분류문제에서유사하거나모호한패턴들이많아본질적으로구분이어려운문제라면두패턴만두고비교하는쌍구별 (parwse dscrmnaon) 이나별도의후속처리가없어도인식성능을개선하는효과가있을것이라예상된다. 마지막실험에서훈련된모델로부터임의생성한표본은대부분전체적으로균형이잡혀있고모양의왜곡이거의없는우수한결과를확인할수있었다. 이점으로미루어볼때음성인식에응용할경우에도 HSMM 에비해뛰어난성능을보일것으로예상된다. (a) (b) 그림 4 위에서부터차례로 NSHMM, HSMM, 표준 HMM으로생성한숫자패턴. 각모델의상태수는 (a) N5, (b) N6 Fg. 4 Each lne, op o boom, corresponds o random samples from NSHMMs, HSMMs and HMMs. (a) N5, (b) N6
감마누적분포에의한 HMM 상태지속모델 763 (a) (b) (c) (d) 그림 5 상태수를달리하여숫자를생성결과 : (a) N 4, (b) N 5, (c) N 6, (d) N 7, 각각열별로 NSHMM, HSMM, HMM으로생성한결과이다. Fg. 5 Smoohed random samples wh varyng number of saes: (a) N 4, (b) N 5, (c) N 6, (d) N 7, where each column lef o rgh corresponds o NSHMM, HSMM and HMM. References [] L. Rabner, "A Tuoral on Hdden Markov Models and Seleced Applcaons n Speech Recognon," Proc. of he IEEE, vol.77, pp.257-285, 989. [2] S.-Z. Yu, "Hdden Sem-Markov Models," Arfcal Inellgence, vol.74, no.2, pp.25-243, 2009. [3] E. Fox, Bayesan Nonparamerc Learnng of Complex Dynamcal Phenomena, PhD hess, MIT, 2009. [4] J.D. Ferguson, "Varable duraon models for speech," Proc. of he Symposum on he Appl. of HMM o Tex and Speech, pp.43-79, Prnceon, NJ, 980. [5] B. Sn and J. H. Km, "Nonsaonary Hdden Markov Model," Sgnal Processng, vol.46, 995. [6] E.B. Fox, E. Sudderh, M. Jordan, A. Wllsky, "Bayesan Nonparamerc Learnng of Markov Swchng Processes," IEEE Sgnal Processng Magazne, pp.43-54, Nov. 200. [7] M.J. Johnson and A.S. Wllsky, "Bayesan Nonparamerc Hdden Sem-Markov Models," J. of Machne Learnng Research, 4, pp.673-70, 203. [8] B.-K. Sn, "Sochasc Tme Duraon Model wh Gamma-Drchle Dsrbuon for Global and Local Duraon of HMM," Proc. of he KIISE Korea Compuer Congress 2008, vol.35, no.(c), pp.57-52, 2008. (n Korean) [9] S.E. Levnson, "Connuously varable duraon hdden Markov models for auomac speech recognon," Compuer Speech and Language, vol., no., 986. [0] M. Abramowz and I. Segun, eds., "6.3 ps (Dgamma) Funcon," Handbook of Mahemacal Funcons wh Formulas, Graphs, and Mahemacal Tables, pp.258-259, 972. [] S.-C.Cho and R. Wee, "Maxmum Lkelhood Esmaon of he Parameers of he Gamma Dsrbuon and Ther Bas," Technomercs, (4), pp.683-690, 969. [2] T. Mnka, "Esmang a Gamma dsrbuon," unpublshed paper, 2002. 신봉기 985년서울대학교공과대학자원공학과학사졸업. 987년한국과학기술원전산학과석사졸업. 995년한국과학기술원전산학과박사졸업. 987년~999년한국통신 SW연구소선임연구원. 999년~ 현재부경대학교 IT융합응용공학과교수관심분야는패턴인식, 기계학습, 컴퓨터시각