4 Gibbs 采样

4.1 多维空间下的细致平稳条件

对于二维空间，我们很容易验证

$$\pi(E)P(E\rightarrow F) = \pi(F)P(F\rightarrow E),\quad \forall E,F\in\mathbb{R}^2$$

其中 $\pi(E) = \pi(x^{E}_1, x^{E}_2)$ 是一个二维联合分布。

4.2 Gibbs 采样过程

1. 输入平稳分布$\pi(x_1, x_2)$，设定状态转移次数阈值$n_1$，需要的样本个数$n_2$

2. 随机化初始状态值$(x_1^{(0)}, x_2^{(0)})$

3. for $t = 0$ to $n_1 + n_2 - 1$:

   a) 从条件分布 $P(x_1|x_2^{(t)})$中采样得到样本$x_1^{t+1}$

   b) 从条件分布 $P(x_2|x_1^{(t+1)})$中采样得到样本$x_2^{t+1}$

样本集$\{ (x_1^{(n_1)},x_2^{(n_1)}), (x_1^{(n_1+1)},x_2^{(n_1+1)}),\cdots, (x_1^{(n_1+n_2-1)},x_2^{(n_1+n_2-1)}) \}$即为我们需要的平稳分布对应的样本集。

这里我们就不需要考虑 MH 采样的做法了，而是直接参考原版马尔科夫链的采样方法。因为我们的细致平稳条件已经满足了。

4.3 FAQ

83-84楼

Q：刘老师你好，非常感谢您的博客。你这个讲解很细很清楚。但是我还有一点不太懂的就是 Gibbs Sampling 里对条件概率分布采样，是如何实现的 ？在2维的例子里，你用了2维的高斯分布，所以可以算出条件概率分布。但是有些时候，已知 联合分布 也未必算的出条件概率分布吧。如果我们得不出条件概率分布，那么这个时候该怎么采样呢？

A：如果不能得到特征之间转移的条件概率分布，是没有办法使用Gibbs采样的，此时你只能考虑M-H采样了。采样的过程就是马尔科夫链的转移过程，这个你可以看系列的第二篇。即已知你当前的状态，以及在当前状态下向不同状态转移的概率，采样得到新的下一个状态。这个采样过程持续下去即可。