2 马尔科夫链

MCMC(二)马尔科夫链 - 刘建平Pinard - 博客园

2.1 基于马尔科夫链采样

1. 输入我们任意选定的马尔科夫链状态转移矩阵 $P$，设定状态转移次数阈值 $n_1$，需要的样本个数 $n_2$

2. 从任意简单概率分布采样得到初始状态值 $x_0$

3. for $t = 0$ to $n_1 + n_2 - 1$:

   a) 从条件分布 $P(x_*|x_t)$ 中采样得到样本 $x_*$

样本集 $(x_{n_1},x_{n_1+1},\ldots,x_{n_1+n_2-1})$ 即为我们需要的平稳分布对应的样本集。

2.2 马尔科夫链采样方法的理解

假设股票市场具有3个状态：1、2、3，其对应的状态转移矩阵为

$$P = \begin{pmatrix} P(1,1)& P(1,2)& P(1,3)\\ P(2,1)&P(2,2)& P(2,3)\\ P(3,1)&P(3,2)&P(3,3) \end{pmatrix},$$

其中 $P(i,j)$ 表示从状态 i 转移到状态 j 的概率。

那么

• 从$P(x_*|x_t)$中采样得到样本$x_*$：假设 $x_t = 1$，则我们会会基于矩阵 $P$ 的第一行来采样下一个股市状态。这时矩阵的第一行，我们称之为条件概率分布。
• 如何确定 $x^*$ 呢：第一行为 $[P(1,1)\; P(1,2)\; P(1,3)]$，则我们可以通过采样 $u\sim U[0,1]$ 来决定 $x^*$（因为矩阵 $P$ 的每一行之和为1）
  • $x^* = 1$：$u \leq P(1,1)$
  • $x^* = 2$：$P(1,1) \leq u \leq P(1,1)+P(1,2)$
  • $x^* = 3$：else

公式勘误：

• ??? $\pi_{\infty}(j) = \sum_{i=0}^{n}\pi_0(i)P_{ij}$，其中 $\pi\in\mathbb{R}^{1\times n}, P\in\mathbb{R}^{n\times n}$.