(Hyunoo Shim) 1 / 24
(Discrete-time Markov Chain) * 그림 이산시간이다연쇄 (chain) 이다왜 Markov? (See below) ➀ 이산시간연쇄 (Discrete-time chain): : Y Y 의상태공간 = {0, 1, 2,..., n} Y n Y 의 n 시점상태 {Y n = j} Y 가 n 시점에상태 j 에있는사건 (Hyunoo Shim) 2 / 24
(Discrete-time Markov Chain) ➁ 이산시간마르코프연쇄 (Discrete-time Markov chain): : 다음을만족하는 Y Pr(Y n+1 = j Y 0 = i j,, Y n 1 = i n1, Y n = i) = Pr(Y n+1 = j Y n = i) 마르코프성질 (Markov property) ➂ 이산시간마르코프과정 (Discrete-time Markov process) Markov process 마르코프성질을갖는확률과정 Memoryless 확률과정 (Hyunoo Shim) 3 / 24
(Discrete-time Markov Chain) Process : 한상태 다른상태 1) State: 상태, state vector 2) = Transition ( 전이 ) + 정량화 : Probability ( 확률 ) Pr(Y n+1 = j Y n = i) = p ij n : ( 일단계, One-step) 전이확률 상태 i( 시점 n) 에서상태 j( 시점 n + 1) 로전이되는확률 * 그림 : Markov chain diagram (Hyunoo Shim) 4 / 24
(Discrete-time Markov Chain) (state vector): π n ➀ 상태확률의정의 π in : n 시점에서 m 개의가능한상태중, 상태 i 에있을확률 ➁ 상태벡터의정의 π n = (π 0n π 1n... π (m 1)n ) : 모든 π in 을성분으로갖는상태벡터 예 π n = (0 1 0): 두번째상태 ( 상태 1) 에속해있음 π n = (0.2 0.3 0.5): 상태 0, 상태 1, 상태 2의확률이 각각 20%, 30%, 50% 임 (Hyunoo Shim) 5 / 24
(Discrete-time Markov Chain) ➂ Note 일반적인 Calculus 에서는열벡터 (column vector) 를쓰지만, 여기서는행벡터 (row vector) 를사용한다 아래첨자의첫번째, 두번재자리가각각의미가있다 π (m 1)n π mn n 아래첨자의첫번째, 두번째자리의위치를혼동하면안된다 π n (π n0 π n1 π n(m 1) ) ➃ 성질 m 1 π in = 1 i=0 (Hyunoo Shim) 6 / 24
(Discrete-time Markov Chain) (p ij n ) p ij n = Pr(Y n+1 = j Y n = i) ➀ 구분 1) p ij n : 시간비동질 (time non-homogeneous) 전이확률 시점 n 에의존 ( 전이확률이연령에따라다른경우가많으므로시간비동질이현실적이다 ) 2) p ij : 시간동질 (time homogeneous) 전이확률 시점 n 에의존하지않음. 고정됨. ➁ 전이확률행렬 (Transition Probability Matrix) p 00 n p 01 n p 0m n p P n = 10 n p 11 n p 1m n p m0 n p m1 n p mm n 시간동질의경우 P n 대신 P, p ij n 대신 p ij (n 생략 ) (Hyunoo Shim) 7 / 24
(Discrete-time Markov Chain) 전이확률행렬은다음조건 ( 성질 ) 을만족시켜야한다 1) 확률의정의 : 0 p ij n 1 2) 확률의합 : m j=0 pij n = 1 예전이확률행렬 Note: p vs q ➂ 해석 1) p ii : 상태 i 에남는확률 p ii = 0: 상태 i 는잔존불가능 0 < p ii < 1: 상태 i 는잔존가능 p ii = 1: 상태 i 는무조건잔존 흡수상태 (Absorbing state) 2) p ij (j i): 상태 i 에서상태 j 로전이되는확률 (Hyunoo Shim) 8 / 24
예제 10.1.2.1 다음전이확률행렬을해석하시오. 0.7 0.2 0.1 P = 0.3 0.6 0.1 0 0 1 (Hyunoo Shim) 9 / 24
예제 10.1.2.2 n 번째날에작동중인기계가그다음날에작동중일확률이 α, n 번째날에수리중인기계가다음날작동중일확률이 1 β 이다. 전이확률행렬을구하시오. (Hyunoo Shim) 10 / 24
(Discrete-time Markov Chain) ➃ 다단계전이확률행렬 (Multi-step Transition Probability Matrix) m 단계전이확률행렬 : mp n = ( mp ij n ) mp ij n = Pr(Y n+m = j Y n = i) 1 단계전이확률 : 1P n = P n, 1p ij n = p ij n (1 생략 ) 예 ) 2 단계전이확률 : 2P n = ( 2p ij n ) 2p ij n = Pr(Y n+2 = j Y n = i) (Hyunoo Shim) 11 / 24
(Discrete-time Markov Chain) 1) 다단계전이확률행렬의계산시간비동질의경우 시간동질의경우 mp n = P n P n+1 P n+m 1 mp n = P m 2) WHY? 예시 (Hyunoo Shim) 12 / 24
예제 10.1.2.4 전이확률행렬 P 가다음과같을때, P 2 을구하고 2 p 02 n 와 2 p 10 구하시오. 0.7 0.2 0.1 P = 0.5 0.3 0.2 0 0 1 n 을 (Hyunoo Shim) 13 / 24
(Discrete-time Markov Chain) (CKE) 이방정식은상기의전이확률행렬계산을수월하게하는계산이다 n+mp 0 = np 0mP n m+np ij 0 = k S np ik 0 mp kj n, m, n 0, i, j S (S 는상태공간 ) 선형대수에서행렬곱과그때의행렬성분계산의일반화된형태 * 그림 (Hyunoo Shim) 14 / 24
(Discrete-time Markov Chain) * Note i, j 는고정 k 는상태공간 ( 또는상태공간내부분집합 ) 내모든경우 m, n 은모든경우에대하여성립예 9p ij 0 = k 3p ik 0 6p kj 3 = 4p ik 0 5p kj 4 k = 시작시점 : 0 대신 x, 경과기간 n, m 대신각각 s, t t+sp x = sp xtp x+s s: 중간 notation t: 최종사용 notation (Hyunoo Shim) 15 / 24
(Discrete-time Markov Chain) * 적용예시질병모형 ( 건강 - 질병 - 사망 ) 일때, p 00 x p 01 x p 02 p 00 x+1 p 01 x+1 p 02 x+1 p 10 x+1 p 11 x+1 p 12 x+1 x P x = p 10 x p 11 x p 12 x, P x+1 = 0 0 1 0 0 1 를구하시오. 2p 00 x 2p 01 x 2p 02 x 2p 10 x 2p 11 x 2p 12 x 2P x = 0 0 1 (Hyunoo Shim) 16 / 24
예제 10.1.2.6 전이확률행렬 P 가다음과같을때, 1+1 p 02 n 를구하시오. 0.7 0.2 0.1 P = 0.5 0.3 0.2 0 0 1 (Hyunoo Shim) 17 / 24
(Discrete-time Markov Chain) Everything is ready n시점상태 [ 전이확률 What s next? (n + 1) 시점상태어떻게? n 시점상태와전이확률을이용 ➀ (n + 1) 시점상태 : π n+1 예 ) 상태가 3 개인경우 : π n+1 = π n P n π n+1 = (π 0n π 1n π 2n ) p 00 n p 01 p 10 n p 11 n p 02 n n p 12 n p 20 n p 21 n p 22 n (Hyunoo Shim) 18 / 24
(Discrete-time Markov Chain) 주의 : 행렬곱계산시 : 벡터 ( 왼쪽 ) 전이확률 ( 오른쪽 ) 예 인경우, π n+1? 0.5 0.5 π n = (1 0), P n = ( 0 1 ) (Hyunoo Shim) 19 / 24
(Discrete-time Markov Chain) ➁ (n + 2) 시점상태 : π n+2 예위의경우, π n+2? ( 방법 2 가지 ) π n+2 = π n+1 P n+1 = π n P n P n+1 ➂ (n + r) 시점상태 : π n+r π n+r = π n P n P n+1 P n+r 1 (Hyunoo Shim) 20 / 24
예제 10.1.2.8 (Hyunoo Shim) 21 / 24
(Discrete-time Markov Chain) 보험상품설계시급부지급조건 ➀ 유지 : 상태 i i ➁ 전이 : 상태 i j(j i) 예시를통해이해한다 예제 10.1.4.1 (Hyunoo Shim) 22 / 24
(Discrete-time Markov Chain) 예제 10.1.4.2 (Hyunoo Shim) 23 / 24
(Discrete-time Markov Chain) 예제 10.1.4.3 (Hyunoo Shim) 24 / 24