马尔科夫链常返性的判断

马尔科夫链常返性判据

$f_{ij}(n)$ $t=0$ $i$ $t=n$ $j$ $t<n$ $i$ $i$ 是否常返即问

\sum_{n = 1}^{\infty} f_{i i} (n) = 1

是否成立。

$p_{ij}(n)$ $t=0$ $i$ $t=n$ $j$ 处的概率（不用首次）。则有关系：

p_{i j} (n) = \sum_{m = 0}^{n - 1} p_{i j} (m) f_{j j} (n - m)

$f_{jj}(0)=0$ $i=j$ ，可得：

\begin{matrix} (#) & p_{i i} (n) = \sum_{m = 0}^{n} p_{i i} (m) f_{i i} (n - m), n \geq 1 \end{matrix}

$n\ge 1$ 成立。这其实是一个卷积。

利用：

\sum_{n = 0}^{\infty} s^{n} \sum_{m = 0}^{n} b_{m} c_{n - m} = (\sum_{n = 0}^{\infty} b_{n} s^{n}) (\sum_{n = 0}^{\infty} c_{n} s^{n})

$(\#)$ $\times s^n$ $n=1$ 开始求和。

\begin{matrix} L H S = \sum_{n = 1}^{\infty} p_{i i} (n) s^{n} = \sum_{n = 0}^{\infty} p_{i i} (n) s^{n} - 1 \\ R H S = \sum_{n = 1}^{\infty} s^{n} \sum_{m = 0}^{\infty} p_{i i} (m) f_{i i} (n - m) \\ = \sum_{n = 0}^{\infty} s^{n} \sum_{m = 0}^{\infty} p_{i i} (m) f_{i i} (n - m) \\ = (\sum_{n = 0}^{\infty} p_{i i} (n) s^{n}) (\sum_{n = 0}^{\infty} f_{i i} (n) s^{n}) \\ \Rightarrow \sum_{n = 0}^{\infty} p_{i i} (n) s^{n} = \frac{1}{1 - \sum_{n = 0}^{\infty} f_{i i} (n) s^{n}} \end{matrix}

$s\rarr 1$ ，则得

\sum_{n = 0}^{\infty} p_{i i} (n) = \frac{1}{1 - \sum_{n = 0}^{\infty} f_{i i} (n)}

$\sum_{n=0}^\infty p_{ii}(n)$ 发散。此为常返性的判据。

利用它可以判别随机游走的常返性。