Proximal Algorithms--Fixed points

2.3 Fixed points

近端操作：

当前仅当：

即一个点经过近端操作后是其本身，那么点x∗最小化函数f，我们称x∗是proxf的一个固定点（a fixed point）.
Fiex point algorithms.固定点算法
因为函数f的最小化点是proxf的固定点，因此我们可以找到函数近端操作的固定点来最小化函数f。如果proxf是收缩操作（if proxf were a contraction ），也就是说，Lipschitz continuous 中的常数小与1，那么重复的应用proxf可以找到一个的固定点（在这里是唯一的）。实际上，proxf没有必要是一个收缩操作（除非函数f是强凸的），其拥有一个不同的属性：firm nonexpansiveness(严格非增大），对于固定点的迭代该条件是足够的：

对于所有的x,y∈Rn.
Firmly nonexpansiveness operators是nonexpansiveness operators（其Lipschitz continuous常数为1）的一个特例。一般的非增大操作的迭代不一定收敛到一个固定的点，如I或者旋转。然而，实际上，如果N是非增大的，那么操作T=(1−α)I+αN和N拥有同样的固定点，并且随着T的简单的迭代将收敛到T的一个固定点（N也是这个）,其中α∈(0,1)，也就是说，序列：

将收敛到N的一个固定点。换句话说，一个非增大操作的阻尼迭代将收敛到其的一个固定点。
α−averaged perators:
操作符形式为：

其中N是非增大（非扩展）的，α∈(0,1)
averaged，contraction，firm nonexpansions,三个operators的关系:
1. contraction和firm nonexpansions是averaged operator的子集。
2. 这三个都是 nonexpansive operator的子集。

Averaged operator:
averaged操作很有用，因为它们满足一些属性，这些属性适合设计固定点方法，并且因为平均操作是contraction和firm nonexpansion的一个common father。例如：averaged操作满足组合操作的闭合性，而firm nonexpansions不满足组合操作的闭合性。也就是说firm nonexpansions的组合操作不一定是firm nonexpansion,但是总是averaged。上面提到，一个averaged 操作的迭代将收敛到一个固定点（如何存在的话，其是Krasnoselskii-Mann理论的一个结论）。那么假定T是一个avergaed操作，并且存在一个固定点，定义任意初始点x0的迭代：

那么随着k→∞,||T(xk)−xk||→0,并且xk收敛到T的一个固定点。
那么我们可以得到最简单近端算法：

其称为proximal minimization或者proximal point algorithm.

2.4 Proximal average

令f1,...,fm是一些适当的闭凸函数。那么我们有:

其中函数g称为f1,...,fm的proximal average.话句话说，一组函数近端操作的平均是某个函数本身的近端操作。该操作很基础，通常出现在并行近端算法中。

Moreau decomposition-莫罗分解

莫罗分解描述了近端操作和对偶之间的关系。
下面的关系总是成立的：

其中f∗(y)=supx(yTx−f(x)),是函数f的convex conjugate（凸共轭）.公式(2.4)称为莫罗分解。
莫罗分解可以看做是通过一个子空间导出的正交分解的推广。如果L是一个子空间，那么它的正交补（orthogonal complement）是：

并且，对于任意的v,我们有：

推导：
将公式(1.1)带入到公式(2.4)：


令函数f(x)为示性函数，并且假设x与y正交，则上面的公式变为：


类似地，当函数f是闭凸锥K上的示性函数时，我们有：

其中:

是polar cone，其是dual cone的negative（相反部分），其中dual cone如下：

莫罗分解给出了一个简单的根据f∗的近端操作来获得函数f的近端操作的方式。例如，f=||⋅||是一个普通的范数，那么f∗=IB，其中:

是对偶函数||⋅||∗的单位球，定义如下：

通过莫罗分解，其变为：

换句话说，如果我们知道如何投影到B，那么可以很容易的计算proxf.