時間t1, t2, …における量X1, X2, …がマルコフ過程に従うとする．Xn-1が値iをとるという条件下で，Xnが値jをとる確率\[{p_{ij}} = p\left( {{X_n} = j|{X_{n - 1}} = i} \right)\]が遷移確率．ただし\(p\left( {A|B} \right)\)は条件Bの下でAが起こる確率．