14、Metropolis - Hastings算法与Gibbs采样器深度解析

Metropolis - Hastings算法与Gibbs采样器深度解析

1. Metropolis - Hastings算法的接受率问题

在Metropolis - Hastings算法中，接受率是一个关键指标。接受率过低时，算法可能会错过目标函数中重要但孤立的模式。不过，从计算时间的角度来看，低接受率除了意味着需要更多的模拟次数外，并不是一个严重的问题，因为它明确表明需要进行更多的模拟。可以使用有效样本量作为收敛指标来判断是否需要增加模拟次数。

例如，在图中所示的三个随机游走Metropolis - Hastings算法中，接受率分别为0.9832、0.7952和0.1512。从直方图拟合情况来看，中等接受率的算法表现较好，而最低接受率的算法仍然比最高接受率的算法表现更佳。

为了避免接受率“过高”或“过低”，Roberts等人（1997）建议，对于高维模型，使用接受率接近1/4的工具分布；对于一维或二维模型，使用接受率等于1/2的工具分布。但这一规则并非普遍适用，它主要是针对高斯环境设计的。

1.1 示例分析

在某些情况下，算法可能无法达到建议的接受率。例如，在某个Metropolis - Hastings算法中，接受概率始终等于1，但由于提议分布包含当前值，链中会有相同的值连续出现，从而存在一个隐式的接受（或更新）率，该率为0.1805，远低于0.25的目标，并且该算法难以通过简单修改（如考虑当前模型周围更多的替代移动）来达到这个目标接受率。

1.2 练习题

以下是一些相关的练习题：
- 练习6.7 ：
- a. 以Be(2.7,