4.4 拉普拉斯近似
在4.5节，我们会讨论logistic回归的贝叶斯观点。正如我们将看到的那样，这⽐3.3节和3.5节
讨论的线性回归模型的贝叶斯观点更加复杂。特别地，我们不能够精确地关于参数向量x求积
分，因为后验概率分布不再是⾼斯分布。因此，有必要介绍某种形式的近似。稍后在本书中，
我们会介绍⼀系列基于分析估计和数值采样的技术。
这⾥我们介绍⼀个简单的但是⼴泛使⽤的框架，被称为拉普拉斯近似。它的⽬标是找到定义
在⼀组连续变量上的概率密度的⾼斯近似。⾸先考虑单⼀连续变量z的情形，假设分布p(z)的定
义为
p(z) =
1
Z
f(z) (4.125)
其中Z =
∫
f(z) dz是归⼀化系数。我们假定Z的值是未知的。在拉普拉斯⽅法中，⽬标是寻找
⼀个⾼斯近似q(z)，它的中⼼位于p(z)的众数的位置。第⼀步是寻找p(z)的众数，即寻找⼀个
点z0使得p′(z0) = 0，或者等价地
df(z)
dz
∣∣∣∣∣
z=z0
= 0 (4.126)
⾼斯分布有⼀个性质，即它的对数是变量的⼆次函数。于是我们考虑ln f(z)以众数z0为中⼼
的泰勒展开，即
ln f(z) ≃ ln f(z0)−
1
2
A(z − z0)2 (4.127)
其中
A = −
d2
dz2
ln f(z)
∣∣∣∣∣
z=z0
(4.128)
注意，泰勒展开式中的⼀阶项没有出现，因为z0是概率分布的局部最⼤值。两侧同时取指数，
我们有
f(z) ≃ f(z0) exp
{
−
A
2
(z − z0)2
}
(4.129)
这样，使⽤归⼀化的⾼斯分布的标准形式，我们就可以得到归⼀化的概率分布q(z)，即
q(z) =
(
A
2π
) 1
2
exp
{
−
A
2
(z − z0)2
}
(4.130)
图4.14给出了拉普拉斯近似的说明。注意，⾼斯近似只在精度A > 0时有良好的定义，换句话
说，驻点z0⼀定是⼀个局部最⼤值，使得f(z)在驻点z0处的⼆阶导数为负。
我们可以将拉普拉斯⽅法推⼴，去近似定义在M维空间z上的概率分布p(z) = f(z)
Z
。在驻
点z0处，梯度∇f(z)将会消失。在驻点处展开，我们有
ln f(z) ≃ ln f(z0)−
1
2
(z − z0)TA(z − z0) (4.131)
其中M ×M的Hessian矩阵A的定义为
A = −∇∇ ln f(z)|z=z0 (4.132)
其中∇为梯度算⼦。两边同时取指数，我们有
f(z) ≃ f(z0) exp
{
−
1
2
(z − z0)TA(z − z0)
}
(4.133)
分布q(z)正⽐于f(z)，归⼀化系数可以通过观察归⼀化的多元⾼斯分布的标准形式（2.43）得
到。因此
q(z) =
|A|
1
2
(2π)
M
2
exp
{
−
1
2
(z − z0)TA(z − z0)
}
= N (z | z0,A−1) (4.134)
154
