近端梯度下降法 (proximal gradient descent)

本文参考了知乎的文章 机器学习 | 近端梯度下降法 (proximal gradient descent)， 写的非常棒，但感觉有些微的赘余， 因此以这篇博客，希望更精简地介绍 近端梯度下降法 这种略显陌生的 算法。

对于传统的可微的目标函数， 直接使用梯度下降法即可。 而对于不可微的情况下， 就是 近端梯度法 表现的时机了。 简而言之， 目标函数必可写成如下的形式：

$$f(x)=g(x)+h(x)$$
其中 $g(x)$ 可微， 而 $h(x)$ 不可微 。 这时候， 近端梯度法的迭代公式为：

$${\mathbf{x}}^k={\mathrm{prox}}_{th(\cdot )}\left({\mathbf{x}}^{k-1}-t\nabla g\left({\mathbf{x}}^{k-1}\right)\right)\text{\hspace{1em}(1)}$$
其中， ${\mathrm{prox}}_{th(\cdot )}$ 为 近端投影算子， 由下式给出：
$${\mathrm{prox}}_{th(\cdot )}(\mathbf{x})=\arg \underset{\mathbf{z}}{\min }\frac{1}{2t}\Vert \mathbf{x}-\mathbf{z}{\Vert }_2^2+h(x)\text{\hspace{1em}(2)}$$
两式中， $t$ 均代表步长。

好了，这就是近端梯度法的算法步骤了， 似乎非常简洁明了： 先根据$g(x)$做一个梯度下降， 再根据$h(x)$做一个近端投影。 那么问题来了， 为什么可以这样做， 意义又是什么？直接看下面的公式：

$$\begin{array}{rl}{\mathbf{x}}^k& ={\mathrm{prox}}_{th(\cdot )}\left({\mathbf{x}}^{k-1}-t\nabla g\left({\mathbf{x}}^{k-1}\right)\right)\\ & =\arg \underset{\mathbf{z}}{\min }h(\mathbf{z})+\frac{1}{2t}{\Vert \mathbf{z}-\left({\mathbf{x}}^{k-1}-t\nabla g\left({\mathbf{x}}^{k-1}\right)\right)\Vert }_2^2\\ & =\arg \underset{\mathbf{z}}{\min }h(\mathbf{z})+\frac{t}{2}{\Vert \nabla g\left({\mathbf{x}}^{k-1}\right)\Vert }_2^2+\nabla g{\left({\mathbf{x}}^{k-1}\right)}^{\top }\left(\mathbf{z}-{\mathbf{x}}^{k-1}\right)+\frac{1}{2t}{\Vert \mathbf{z}-{\mathbf{x}}^{k-1}\Vert }_2^2\\ & =\arg \underset{\mathbf{z}}{\min }h(\mathbf{z})+g\left({\mathbf{x}}^{k-1}\right)+\nabla g{\left({\mathbf{x}}^{k-1}\right)}^{\top }\left(\mathbf{z}-{\mathbf{x}}^{k-1}\right)+\frac{1}{2t}{\Vert \mathbf{z}-{\mathbf{x}}^{k-1}\Vert }_2^2\\ & \approx \arg \underset{\mathbf{z}}{\min }h(\mathbf{z})+g(\mathbf{z})\end{array}$$

第三个等式来自于把 $\frac{1}{2t}{\Vert \mathbf{z}-\left({\mathbf{x}}^{k-1}-t\nabla g\left({\mathbf{x}}^{k-1}\right)\right)\Vert }_2^2$ 一项拆开， 而第四个等式 则是去掉了与 $z$ 无关的项 $\frac{t}{2}{\Vert \nabla g\left({\mathbf{x}}^{k-1}\right)\Vert }_2^2$， 增加了 $g\left({\mathbf{x}}^{k-1}\right)$ 一项， 第五步的不等式则是来自于泰勒展开的 二阶展开。 最后综合看结论就是：

$${\mathbf{x}}^k\approx \arg \underset{\mathbf{z}}{\min }f(z)$$

因此， 近端梯度法实质上就是求取了目标函数的最小值。 而随着迭代的进行， 越逼近最优解， 泰勒展开也越精确。