【泛学内容】拉格朗日乘子法求解带约束的优化问题

拉格朗日乘子法

用于求解约束条件下的极值问题，是SVM的理论基础。

一、简单例子引入

求解以下优化问题：
$$\begin{array}{rl}& minf(x_1,x_2)=x_1^2+x_2^2\\ & st.x_1+x_2=2\end{array}$$
使用函数$g(x_1,x_2)=x_1+x_2-2$来描述约束条件，则$g(x_1,x_2)=0$。

引入拉格朗日乘子$\lambda$，构造一个新函数$h(x_1,x_2)=f(x_1,x_2)+\lambda g(x_1,x_2)$。很显然$h(x_1,x_2)=f(x_1,x_2)$，因此要求$f(x_1,x_2)$的最小值，即求$h(x_1,x_2)$的最小值，则令梯度为0，表达式如下：
$$\begin{gathered} \frac{\partial h(x_1,x_2)}{\partial x_1}=\frac{\partial f(x_1,x_2)}{\partial x_1}+\lambda \frac{\partial g(x_1,x_2)}{\partial x_1}=2x_1+\lambda =0 \\ \frac{\partial h(x_1,x_2)}{\partial x_2}=\frac{\partial f(x_1,x_2)}{\partial x_2}+\lambda \frac{\partial g(x_1,x_2)}{\partial x_2}=2x_2+\lambda =0 \\ \text{\hspace{1em}(1)} \end{gathered}$$
则有以下等式组:
$$\begin{gathered} 2x_1+\lambda =0 \\ 2x_2+\lambda =0 \\ {x}_1+x_2-2=0\text{\hspace{1em}(2)} \end{gathered}$$
求解得到结果为$\lambda =-2，x_1=x_2=1$，则表示$f(x_1,x_2)$在$x_1=x_2=1$时取得最小值，值为2。

二、几何简介

对于约束函数$g(x_1,x_2)=0$，即可以看作一条直线，最终$x_1,x_2$的取值要满足在这条直线上。对于$f(x_1,x_2$