雷米兹交换算法（Remez Exchange Algorithm）的数学理论

雷米兹交换算法（Remez Exchange Algorithm）的数学理论

引言

雷米兹交换算法（Remez Exchange Algorithm）是数值逼近理论中的核心算法，其理论基础建立在19世纪切比雪夫（Chebyshev）的开创性工作之上。

第一章 切比雪夫逼近的理论基础

1.1 切比雪夫多项式的定义与性质

第一类切比雪夫多项式 $T_n(x)$ 在区间 $[-1,1]$ 上通过如下方式定义：

$$T_n(x)=\cos (n\arccos x),x\in [-1,1]$$

这一定义可以通过参数化得到更直观的理解。令 $x=\cos \theta$，则有：

$$T_n(\cos \theta )=\cos (n\theta )$$

通过三角恒等式，我们可以推导出递推关系。从 $\cos ((n+1)\theta )+\cos ((n-1)\theta )=2\cos \theta \cos (n\theta )$ 出发，得到：

$$T_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x)$$

其中初始条件为 $T_0(x)=1$，$T_1(x)=x$。

1.2 切比雪夫多项式的极值性质

定理 1.1（切比雪夫多项式的极小偏差性质） 在所有首项系数为1的 $n$ 次多项式中，$2^{1-n}{T}_n(x)$ 在 $[-1,1]$ 上具有最小的一致范数。

证明： 设 $p_n(x)=x^n+a_{n-1}{x}^{n-1}+\cdots +a_0$ 是任意首项系数为1的 $n$ 次多项式。考虑 $T_n(x)=2^{n-1}{x}^n+\text{低次项}$，因此 $2^{1-n}{T}_n(x)$ 是首项系数为1的多项式。

切比雪夫多项式在 $[-1,1]$ 上恰好有 $n+1$ 个极值点：
$$x_k=\cos \left(\frac{k\pi }{n}\right),k=0,1,\dots ,n$$

在这些点上，$T_n(x_k)=(-1{)}^k$，因此：
$$\underset{x\in [-1,1]}{\max }|2^{1-n}{T}_n(x)|=2^{1-n}$$

假设存在另一个首项系数为1的多项式 $q_n(x)$ 使得：
$$\underset{x\in [-1,1]}{\max }|q_n(x)|<2^{1-n}$$

考虑差函数 $r(x)=2^{1-n}{T}_n(x)-q_n(x)$。由于两个多项式的首项系数都是1，所以 $r(x)$ 是次数不超过 $n-1$ 的多项式。

在极值点 $x_k$ 处，我们有：
$$r(x_k)=2^{1-n}{T}_n(x_k)-q_n(x_k)=2^{1-n}(-1{)}^k-q_n(x_k)$$

由于 $|q_n(x_k)|<2^{1-n}$，所以 $r(x_k)$ 的符号由 $(-1{)}^k$ 决定，即 $r(x)$ 在这 $n+1$ 个点上交替变号。根据中间值定理，$r(x)$ 在相邻极值点之间至少有一个零点，因此至少有 $n$ 个零点。

但 $r(x)$ 是次数不超过 $n-1$ 的多项式，最多只能有 $n-1$ 个零点（除非 $r\equiv 0$）。这一矛盾证明了定理。

1.3 正交性与切比雪夫级数展开

切比雪夫多项式在权函数 $w(x)=(1-x^2{)}^{-1/2}$ 下满足正交性：

$${\int }_{-1}^1{T}_m(x)T_n(x)\frac{dx}{\sqrt{1-x^2}}=\{\begin{array}{ll}0& \text{若 }m\ne n\\ \pi & \text{若 }m=n=0\\ \pi /2& \text{若 }m=n\ne 0\end{array}$$

证明： 使用变量替换 $x=\cos \theta$，$dx=-\sin \theta d\theta$：

$${\int }_{-1}^1{T}_m(x)T_n(x)\frac{dx}{\sqrt{1-x^2}}={\int }_{\pi }^0\cos (m\theta )\cos (n\theta )\frac{-\sin \theta d\theta }{\sin \theta }={\int }_0^{\pi }\cos (m\theta )\cos (n\theta )d\theta$$

利用三角恒等式 $\cos (m\theta )\cos (n\theta )=\frac{1}{2}[\cos ((m+n)\theta )+\cos ((m-n)\theta )]$，积分可以直接计算得出结果。

第二章 最佳一致逼近的存在性与唯一性

2.1 问题的数学表述

设 $C[a,b]$ 表示区间 $[a,b]$ 上所有连续函数构成的空间，赋予一致范数：
$$\Vert f{\Vert }_{\infty }=\underset{x\in [a,b]}{\max }|f(x)|$$

设 ${\Pi }_n$ 表示次数不超过 $n$ 的所有实多项式构成的子空间。对于给定的 $f\in C[a,b]$，最佳逼近问题是寻找 $p_n^{\ast }\in {\Pi }_n$ 使得：
$$\Vert f-p_n^{\ast }{\Vert }_{\infty }=\underset{p\in {\Pi }_n}{\inf }\Vert f-p{\Vert }_{\infty }=:E_n(f)$$

2.2 存在性定理

定理 2.1 对于任意 $f\in C[a,b]$，最佳逼近多项式 $p_n^{\ast }$ 存在。

证明： 定义集合：
S={p∈Πn:∥f−p∥∞≤∥f∥∞+1}S = \{p \in \Pi_n : \|f - p\|_\infty \leq \|f\|_\infty + 1\}S={p∈Πn​:∥f−p∥∞​≤∥f∥∞​+1}

显然 $S$ 非空（取 $p=0$ 即可）。对于 $p\in S$，考虑多项式的标准基表示：
$$p(x)=\sum _{k=0}^n{c}_k{x}^k$$

由于 $\Vert f-p{\Vert }_{\infty }\le \Vert f{\Vert }_{\infty }+1$，对所有 $x\in [a,b]$ 有：
$$|p(x)|\le |f(x)|+\Vert f-p{\Vert }_{\infty }\le 2\Vert f{\Vert }_{\infty }+1$$

这表明系数 {ck}\{c_k\}{ck​} 是有界的。实际上，通过在 $n+1$ 个不同点上的插值条件，可以得到：
$$|c_k|\le M_k(2\Vert f{\Vert }_{\infty }+1)$$

其中 $M_k$ 是仅依赖于 $n$ 和区间 $[a,b]$ 的常数。

因此，$S$ 可以视为 ${\mathbb{R}}^{n+1}$ 中的有界闭集。定义函数 $\Phi :{\Pi }_n\to \mathbb{R}$ 为：
$$\Phi (p)=\Vert f-p{\Vert }_{\infty }$$

我们需要证明 $\Phi$ 在 $S$ 上达到其下确界。

步骤1： 证明 $\Phi$ 是连续的。对于 $p_1,p_2\in {\Pi }_n$，有：
$$|\Phi (p_1)-\Phi (p_2)|=|\Vert f-p_1{\Vert }_{\infty }-\Vert f-p_2{\Vert }_{\infty }|\le \Vert p_1-p_2{\Vert }_{\infty }$$

由于多项式空间 ${\Pi }_n$ 上所有范数等价，存在常数 $C>0$ 使得：
$$\Vert p{\Vert }_{\infty }\le C\sum _{k=0}^n|c_k|$$

因此 $\Phi$ 关于系数是连续的。

步骤2： 由 Weierstrass 定理，连续函数在紧集上达到其最小值。取极小化序列 {pm}⊂S\{p_m\} \subset S{pm​}⊂S 使得：
$$\underset{m\to \infty }{\lim }\Vert f-p_m{\Vert }_{\infty }=\underset{p\in {\Pi }_n}{\inf }\Vert f-p{\Vert }_{\infty }$$

由于 {pm}\{p_m\}{pm​} 的系数有界，存在收敛子序列 {pmk}\{p_{m_k}\}{pmk​​} 收敛到某个 $p^{\ast }\in {\Pi }_n$。由 $\Phi$ 的连续性：
$$\Vert f-p^{\ast }{\Vert }_{\infty }=\underset{k\to \infty }{\lim }\Vert f-p_{m_k}{\Vert }_{\infty }=\underset{p\in {\Pi }_n}{\inf }\Vert f-p{\Vert }_{\infty }$$

因此 $p^{\ast }$ 是最佳逼近。

2.3 唯一性定理

定理 2.2 最佳逼近多项式 $p_n^{\ast }$ 是唯一的。

证明： 假设存在两个不同的最佳逼近 $p_1,p_2\in {\Pi }_n$，即：
$$\Vert f-p_1{\Vert }_{\infty }=\Vert f-p_2{\Vert }_{\infty }=E_n(f)$$

考虑它们的平均值 $p_{avg}=\frac{p_1+p_2}{2}$。显然 $p_{avg}\in {\Pi }_n$。

对于任意 $x\in [a,b]$：
$$|f(x)-p_{avg}(x)|=\left|f(x)-\frac{p_1(x)+p_2(x)}{2}\right|=\left|\frac{(f(x)-p_1(x))+(f(x)-p_2(x))}{2}\right|$$

由三角不等式：
$$|f(x)-p_{avg}(x)|\le \frac{|f(x)-p_1(x)|+|f(x)-p_2(x)|}{2}\le \frac{E_n(f)+E_n(f)}{2}=E_n(f)$$

因此 $\Vert f-p_{avg}{\Vert }_{\infty }\le E_n(f)$，这表明 $p_{avg}$ 也是最佳逼近。

现在考虑集合：
A1={x∈[a,b]:∣f(x)−p1(x)∣=En(f)}A_1 = \{x \in [a,b] : |f(x) - p_1(x)| = E_n(f)\}A1​={x∈[a,b]:∣f(x)−p1​(x)∣=En​(f)}
A2={x∈[a,b]:∣f(x)−p2(x)∣=En(f)}A_2 = \{x \in [a,b] : |f(x) - p_2(x)| = E_n(f)\}A2​={x∈[a,b]:∣f(x)−p2​(x)∣=En​(f)}

由于 $p_1$ 和 $p_2$ 都是最佳逼近，$A_1$ 和 $A_2$ 都非空。如果 $p_1\ne p_2$，则存在 $x_0\in [a,b]$ 使得 $p_1(x_0)\ne p_2(x_0)$。

情况1： 如果 $x_0\in A_1\cap A_2$，则 $f(x_0)-p_1(x_0)=\pm E_n(f)$ 且 $f(x_0)-p_2(x_0)=\pm E_n(f)$。由于 $p_1(x_0)\ne p_2(x_0)$，这两个等式不能同时成立，矛盾。

情况2： 如果存在 $x_1\in A_1\setminus A_2$，则 $|f(x_1)-p_1(x_1)|=E_n(f)$ 但 $|f(x_1)-p_2(x_1)|<E_n(f)$。此时：
$$|f(x_1)-p_{avg}(x_1)|<\frac{E_n(f)+E_n(f)}{2}=E_n(f)$$

这与 $p_{avg}$ 是最佳逼近矛盾。

通过详细分析所有情况，可以证明必须有 $p_1=p_2$。

第三章 等振荡定理的完整证明

3.1 定理的精确表述

定理 3.1（Chebyshev-Remez 等振荡定理） 设 $f\in C[a,b]$，$p^{\ast }\in {\Pi }_n$。则 $p^{\ast }$ 是 $f$ 的最佳一致逼近当且仅当存在至少 $n+2$ 个点 $a\le x_0<x_1<\cdots <x_{n+1}\le b$ 使得：

$$f(x_i)-p^{\ast }(x_i)=(-1{)}^i\sigma E_n(f),i=0,1,\dots ,n+1$$

其中 $\sigma =\pm 1$，$E_n(f)=\Vert f-p^{\ast }{\Vert }_{\infty }$。

3.2 必要性的证明

假设 $p^{\ast }$ 是最佳逼近。定义误差函数：
$$e(x)=f(x)-p^{\ast }(x)$$

设 M={x∈[a,b]:∣e(x)∣=En(f)}M = \{x \in [a,b] : |e(x)| = E_n(f)\}M={x∈[a,b]:∣e(x)∣=En​(f)} 是误差达到最大值的点集。

引理 3.1 如果 $p^{\ast }$ 是最佳逼近，则对于任意 $q\in {\Pi }_n$，存在 $x_0\in M$ 使得：
$$e(x_0)\cdot q(x_0)\ge 0$$

引理证明： 反证法。假设对所有 $x\in M$ 都有 $e(x)\cdot q(x)<0$。考虑扰动：
$$p_{\epsilon }(x)=p^{\ast }(x)+\epsilon q(x)$$

对于 $x\in M$：
$$|f(x)-p_{\epsilon }(x)|=|e(x)-\epsilon q(x)|$$

由于 $e(x)\cdot q(x)<0$，当 $\epsilon >0$ 足够小时：
$$|e(x)-\epsilon q(x)|<|e(x)|=E_n(f)$$

由 $M$ 的紧性和 $q$ 的连续性，存在 $\delta >0$ 使得对所有 $x\in M$：
$$|e(x)-\epsilon q(x)|\le E_n(f)-\delta$$

对于 $x\notin M$，$|e(x)|<E_n(f)$。由连续性，当 $\epsilon$ 足够小时：
$$|e(x)-\epsilon q(x)|<E_n(f)$$

这表明 $\Vert f-p_{\epsilon }{\Vert }_{\infty }<E_n(f)$，与 $p^{\ast }$ 的最优性矛盾。

主要证明的继续：

定义线性泛函 $L:{\Pi }_n\to \mathbb{R}$：
$$L(q)=\sum _{x\in M^{+}}q(x)-\sum _{x\in M^{-}}q(x)$$

其中 M+={x∈M:e(x)=En(f)}M^+ = \{x \in M : e(x) = E_n(f)\}M+={x∈M:e(x)=En​(f)}，M−={x∈M:e(x)=−En(f)}M^- = \{x \in M : e(x) = -E_n(f)\}M−={x∈M:e(x)=−En​(f)}。

由引理 3.1，对所有 $q\in {\Pi }_n$ 有 $L(q)\ge 0$。如果对某个 $q_0\in {\Pi }_n$ 有 $L(q_0)>0$，则 $L(-q_0)<0$，矛盾。因此 $L\equiv 0$。

这意味着 ${\Pi }_n$ 的零空间包含整个 ${\Pi }_n$，而 ${\Pi }_n$ 是 $(n+1)$ 维的。由 Riesz 表示定理，$L$ 可以表示为至多 $n+1$ 个点测度的线性组合。但我们已经证明 $L$ 需要在 $M^{+}$ 和 $M^{-}$ 上都有支撑，且符号相反。

通过更精细的分析（使用 Haar 条件），可以证明必须存在至少 $n+2$ 个交替符号的点。完整的证明需要考虑各种退化情况，这里略去技术细节。

3.3 充分性的证明

假设存在 $n+2$ 个点 {xi}i=0n+1\{x_i\}_{i=0}^{n+1}{xi​}i=0n+1​ 满足等振荡条件。我们需要证明 $p^{\ast }$ 是最佳逼近。

假设存在 $q\in {\Pi }_n$ 使得 $\Vert f-q{\Vert }_{\infty }<E_n(f)=\Vert f-p^{\ast }{\Vert }_{\infty }$。

考虑差函数 $r(x)=p^{\ast }(x)-q(x)\in {\Pi }_n$。在等振荡点上：
$$r(x_i)=p^{\ast }(x_i)-q(x_i)=[f(x_i)-q(x_i)]-[f(x_i)-p^{\ast }(x_i)]$$

由等振荡条件：
$$f(x_i)-p^{\ast }(x_i)=(-1{)}^i\sigma E_n(f)$$

由于 $|f(x_i)-q(x_i)|\le \Vert f-q{\Vert }_{\infty }<E_n(f)$，我们有：
$$\text{sign}(r(x_i))=\text{sign}([f(x_i)-q(x_i)]-(-1{)}^i\sigma E_n(f))=-(-1{)}^i\sigma$$

这表明 $r(x)$ 在 $n+2$ 个点上严格交替变号，因此在相邻点之间至少有 $n+1$ 个零点。但 $r(x)\in {\Pi }_n$ 最多只能有 $n$ 个零点（除非 $r\equiv 0$）。

如果 $r\equiv 0$，则 $p^{\ast }=q$，与 $\Vert f-q{\Vert }_{\infty }<\Vert f-p^{\ast }{\Vert }_{\infty }$ 矛盾。

因此不存在这样的 $q$，证明 $p^{\ast }$ 确实是最佳逼近。

第四章 雷米兹算法的理论分析

4.1 算法的数学描述

雷米兹算法通过迭代更新参考点集来逼近最优解。设第 $k$ 次迭代的参考点集为 X(k)={x0(k),…,xn+1(k)}X^{(k)} = \{x_0^{(k)}, \ldots, x_{n+1}^{(k)}\}X(k)={x0(k)​,…,xn+1(k)​}。

步骤1： 求解线性系统以获得试验多项式 $p^{(k)}$ 和误差水平 $h^{(k)}$：

$$\left[\begin{array}{ccccc}1& x_0^{(k)}& \cdots & (x_0^{(k)}{)}^n& -1\\ 1& x_1^{(k)}& \cdots & (x_1^{(k)}{)}^n& +1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ 1& x_{n+1}^{(k)}& \cdots & (x_{n+1}^{(k)}{)}^n& (-1{)}^{n+1}\end{array}\right]\left[\begin{array}{c}{a}_0^{(k)}\\ a_1^{(k)}\\ ⋮\\ a_n^{(k)}\\ h^{(k)}\end{array}\right]=\left[\begin{array}{c}f(x_0^{(k)})\\ f(x_1^{(k)})\\ ⋮\\ f(x_{n+1}^{(k)})\end{array}\right]$$

步骤2： 计算误差函数 $e^{(k)}(x)=f(x)-p^{(k)}(x)$ 并找到所有局部极值点。

步骤3： 选择使 $|e^{(k)}(x)|$ 最大的 $n+2$ 个点作为新的参考集 $X^{(k+1)}$。

4.2 de La Vallée Poussin 定理

定理 4.1 设 X={x0,…,xn+1}X = \{x_0, \ldots, x_{n+1}\}X={x0​,…,xn+1​} 是区间 $[a,b]$ 上的 $n+2$ 个不同点，$p$ 是在这些点上等振荡插值于 $f$ 的多项式，误差水平为 $h$。则：

$$E_n(f)\ge |h|$$

证明： 假设存在 $q\in {\Pi }_n$ 使得 $\Vert f-q{\Vert }_{\infty }<|h|$。在参考点上：
$$f(x_i)-p(x_i)=(-1{)}^{i}h$$

考虑 $r(x)=p(x)-q(x)$。类似于等振荡定理的证明，$r(x)$ 在参考点上交替变号，因此有至少 $n+1$ 个零点。但 $r\in {\Pi }_n$，矛盾。

4.3 收敛性分析

定理 4.2 雷米兹算法生成的误差水平序列 {∣h(k)∣}\{|h^{(k)}|\}{∣h(k)∣} 单调递增且收敛到 $E_n(f)$。

证明： 设 $p^{(k)}$ 是第 $k$ 次迭代得到的多项式，$h^{(k)}$ 是对应的误差水平。由算法构造：

1. $|h^{(k)}|\le \Vert f-p^{(k)}{\Vert }_{\infty }$（因为 $h^{(k)}$ 是在参考点上的误差）
2. $\Vert f-p^{(k)}{\Vert }_{\infty }\ge |h^{(k+1)}|$（因为新参考点选自误差最大的点）

结合 de La Vallée Poussin 定理：
$$E_n(f)\ge |h^{(k+1)}|\ge |h^{(k)}|$$

因此序列 {∣h(k)∣}\{|h^{(k)}|\}{∣h(k)∣} 单调递增且有上界 $E_n(f)$，故收敛。

要证明极限确实是 $E_n(f)$，假设 ${\lim }_{k\to \infty }|h^{(k)}|=L<E_n(f)$。由于多项式空间 ${\Pi }_n$ 在任何范数下都是有限维完备的，存在子序列 {p(kj)}\{p^{(k_j)}\}{p(kj​)} 收敛到某个 $p_{\infty }\in {\Pi }_n$。

通过取极限和连续性论证，可以证明 $p_{\infty }$ 满足等振荡条件且 $\Vert f-p_{\infty }{\Vert }_{\infty }=L$。但这与 $E_n(f)>L$ 矛盾。

4.4 线性收敛速度

定理 4.3 在适当的非退化条件下，雷米兹算法具有线性收敛速度：
$$E_n(f)-|h^{(k)}|\le C{\rho }^k$$
其中 $0<\rho <1$，$C>0$ 是常数。

证明需要用到强唯一性定理和算子理论，这里仅给出核心思想。定义算子 $T:{\Pi }_n\to {\Pi }_n$，将多项式 $p$ 映射到下一次迭代的多项式。可以证明在最佳逼近 $p^{\ast }$ 的邻域内，$T$ 是压缩映射。

第五章 泛函分析视角

5.1 最佳逼近算子的性质

定义最佳逼近算子 $P_n:C[a,b]\to {\Pi }_n$：
$$P_{n}f=p_n^{\ast }$$

其中 $p_n^{\ast }$ 是 $f$ 的最佳一致逼近。

定理 5.1 最佳逼近算子具有以下性质：

1. 投影性： $P_n\circ P_n=P_n$
2. 保范性： $\Vert P_n\Vert =1$（当 ${\Pi }_n$ 包含常函数时）
3. 单调性： 若 $f\le g$，则不一定有 $P_{n}f\le P_{n}g$（非线性性的体现）

5.2 Lebesgue 常数与稳定性

对于插值算子，Lebesgue 常数定义为：
$${\Lambda }_n=\underset{f\in C[a,b],\Vert f{\Vert }_{\infty }=1}{\max }\Vert L_{n}f{\Vert }_{\infty }$$

其中 $L_{n}f$ 是在 Chebyshev 节点上的插值多项式。

定理 5.2 对于 Chebyshev 节点插值：
$${\Lambda }_n=\frac{2}{\pi }\log n+\frac{2}{\pi }\left(\gamma +\log \frac{8}{\pi }\right)+o(1)$$

其中 $\gamma$ 是 Euler 常数。

这一渐近公式表明，尽管 ${\Lambda }_n\to \infty$，但增长速度是对数级的，这保证了相对良好的稳定性。

5.3 Jackson 定理与逼近速度

定理 5.3（Jackson 定理） 设 $f\in C[a,b]$ 且 $f$ 有连续的 $r$ 阶导数，则：
$$E_n(f)\le \frac{C_r}{n^r}\omega (f^{(r)},\frac{b-a}{n})$$

其中 $\omega$ 是连续模，$C_r$ 是仅依赖于 $r$ 的常数。

对于解析函数，逼近速度是指数级的：

定理 5.4 若 $f$ 在包含 $[a,b]$ 的椭圆域 ${\mathcal{E}}_{\rho }$ 内解析，则：
$$E_n(f)\le \frac{M}{{\rho }^n}$$

其中 $M$ 是 $f$ 在 ${\mathcal{E}}_{\rho }$ 上的最大值。