원본 출처 : https://dailydevnote.wordpress.com/2015/08/28/markov-chain/
(예제 출처 : 위키피디아 - Examples of Markov chains)
확률론에서, 마르코프 연쇄(Markov chain)는 메모리를 갖지 않는 이산 시간 확률 과정이다.
마르코프 연쇄는 시간에 따른 계의 상태의 변화를 나타낸다. 매 시간마다 계는 상태를 바꾸거나 같은 상태를 유지한다. 상태의 변화를 전이라 한다. 마르코프 성질은 과거와 현재 상태가 주어졌을 때의 미래 상태의 조건부 확률 분포가 과거 상태와는 독립적으로 현재 상태에 의해서만 결정된다는 것을 뜻한다.
[ 예제 : 날씨 모델 ]
위 그래프와 같은 날씨 상태 전이도(State Transition Diagram)는 아래와 같은 전이행렬(Transition Matrix)로 나타낼 수 있다.
오늘이 Sunny일 때, 내일 날씨의 확률을 구해보면, 오늘 날씨 Sunny 100%, Rainy 0%
오늘의 날씨 상태에 전이행렬을 곱하면 내일 날씨의 확률을 구할 수 있다.
내일 날씨 확률 Sunny 90%, Rainy 10%, 이는 날씨 상태 전이도에서 확인할 수 있다.
모레의 날씨 확률
n일 후의 날씨 확률
이 과정을 계속 진행하다 보면 날씨 확률이 변화하지 않는 상태가 되는데 이를 안정 상태(steady state)라고 한다.
결론적으로 오랜 기간이 지난 후 날씨의 확률은 Sunny 83.3%, Rainy 16.7% 가 된다.
[ 흡수상태(absorbing state) 분석 ]
안정상태 확률이 1인 상태, 즉, 시스템이 궁극적으로 머무르게 되는 상태
시스템 상태가 r개의 흡수상태와 s개의 비흡수상태로 이루어져 있는 경우
비흡수상태로의 전이확률은 0이며, s개의 비흡수상태에서 r개의 흡수상태로 전이할 확률은 (I－Q)-1R의 행렬을 이루게 된다. (I－Q)-1는 I－Q의 역행렬로서, 각 행의 합, 즉, (I－Q)-1ㆍ1은 s개의 비흡수상태에서 r개의 흡수상태로 들어가기 전까지 각 상태에서 머무르게 되는 평균 소요 시간을 의미한다.
