机器学习笔记——支持向量机（V）支持向量回归

最新推荐文章于 2025-06-02 18:39:57 发布

原创最新推荐文章于 2025-06-02 18:39:57 发布 · 2.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

机器学习同时被 2 个专栏收录

46 篇文章

订阅专栏

机器学习

39 篇文章

订阅专栏

本文深入探讨了支持向量回归(SVR)的基本原理及其数学模型。介绍了传统回归方法与SVR的区别，通过引入松弛变量和拉格朗日乘子法详细解析了SVR的优化过程，并给出了SVR对偶问题的形式化表达。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

回归问题

对于给定的样本 $D=\left\{(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),\dots,(\mathbf{x}_m,y_m)\right\}，y_i\in\mathbb{R}$
我们希望习得一个回归模型，形如 $f(\mathbf{x})=\mathbf{w}^T\mathbf{x}+b$ 使得 $f(\mathbf{x})$ 和 $y$ 尽可能地接近， $\mathbf{w}$ 和 $b$ 是待确定地模型参数。

传统的回归处理方式

对于样本 $(\mathbf{x},y)$ ，传统的回归模型通常直接基于模型输出 $f(\mathbf{x})$ 与真实输出 $y$ 之间的差别来计算损失，当且仅当 $f(\mathbf{x})$ 与 $y$ 完全相同时，损失才为零。

SVR处理方式

支持向量回归(Support Vector Regression)，假设我们能容忍 $f(\mathbf{x})$ 与 $y$ 之间最多有 $\epsilon$ 的偏差。
当且仅当模型输出 $f(\mathbf{x})$ 与真实输出 $y$ 的差别绝对值大于 $\epsilon$ 时才计算损失。
于是这就相当于是以 $f(x)$ 为中心，构建一个宽度为 $2\epsilon$ 的间隔带。若训练样本落入此间隔带内则被认为是预测正确的。
于是SVR问题可以形式化为：

min w, b 1 2 | | w | | 2 + C \sum i = 1 m ℓ ϵ (f (x i) - y i) (A)

$\min_{\mathbf{w},b}\dfrac{1}{2}||\mathbf{w}||^2+C\sum_{i=1}^{m}\ell_{\epsilon}\left(f\left(\mathbf{x}_i\right)-y_i\right)\tag{A}$
其中

C $C$ 为正则化常数，

ℓϵ $\ell_{\epsilon}$ 是

ϵ- $\epsilon\text{-}$ 不敏感损失(

ϵ- $\epsilon\text{-}$ insensitive loss)

ℓ ϵ = {0, | z | - ϵ, i f | z | \leq ϵ; otherwise

$\ell_{\epsilon}=\left\{\begin{aligned} 0,&&\mathbb{if}\ |z|\leq\epsilon;\\ |z|-\epsilon,&&\text{otherwise} \end{aligned}\right.$

松弛变量

间隔带两侧的松弛程度可有所不同。于是松弛变量 $\varepsilon_i$ 和 $\hat{\varepsilon}_i$ 重写 $A$

min w, b 1 2 | | w | | 2 + C \sum i = 1 m (ε i + ε^i) s . t . f (x i) - y i \leq ϵ + ε i, y i - f (x i) \leq ϵ + ε^i, ε i \geq 0, ε^i \geq 0, i = 1, 2, \dots, m .

$\min_{\mathbf{w},b}\dfrac{1}{2}||\mathbf{w}||^2+C\sum_{i=1}^{m}(\varepsilon_i+\hat{\varepsilon}_i)\\ \begin{aligned} s.t.\ &f(\mathbf{x}_i)-y_i\le\epsilon+\varepsilon_i,\\ &y_i-f(\mathbf{x}_i)\le\epsilon+\hat{\varepsilon}_i,\\ &\varepsilon_i\ge0,\hat{\varepsilon}_i\ge0,i=1,2,\dots,m.\\ \end{aligned}$

拉格朗日乘子法

L (w, b, α, α^, ε, ε^, μ, μ^) = 1 2 | | w | | 2 + C \sum i = 1 m (ε i + ε^i) - \sum i = 1 m μ i ε i - \sum i = 1 m μ^i ε^i + \sum i = 1 m α i (f (x i) - y i - ϵ - ε i) + \sum i = 1 m α^i (y i - f (x i) - ϵ - ε^i)

$\begin{aligned} &L(\mathbf{w},b,\boldsymbol{\alpha},\hat{\boldsymbol{\alpha}},\boldsymbol{\varepsilon},\hat{\boldsymbol{\varepsilon}},\boldsymbol{\mu},\hat{\boldsymbol{\mu}})\\ &=\dfrac{1}{2}||\mathbf{w}||^2+C\sum_{i=1}^{m}(\varepsilon_i+\hat{\varepsilon}_i)-\sum_{i=1}^{m}\mu_i\varepsilon_i-\sum_{i=1}^{m}\hat\mu_i\hat\varepsilon_i\\ &+\sum_{i=1}^{m}\alpha_i\left(f(\mathbf{x}_i)-y_i-\epsilon-\varepsilon_i\right)+\sum_{i=1}^{m}\hat\alpha_i\left(y_i-f(\mathbf{x}_i)-\epsilon-\hat\varepsilon_i\right) \end{aligned}$
令

L(w,b,α,α^,ε,ε^,μ,μ^) $L(\mathbf{w},b,\boldsymbol{\alpha},\hat{\boldsymbol{\alpha}},\boldsymbol{\varepsilon},\hat{\boldsymbol{\varepsilon}},\boldsymbol{\mu},\hat{\boldsymbol{\mu}})$ 对

w,b,εi和ε^i $\mathbf{w},b,\varepsilon_i和\hat\varepsilon_i$

w 0 C C = \sum i = 1 m (α^i - α i) x i = \sum i = 1 m (α^i - α i) = α i + μ i = α^i + μ^i

$\begin{aligned} \mathbf{w}&=\sum_{i=1}^{m}(\hat\alpha_i-\alpha_i)\mathbf{x}_i\\ 0&=\sum_{i=1}^{m}(\hat\alpha_i-\alpha_i)\\ C&=\alpha_i+\mu_i\\ C&=\hat\alpha_i+\hat\mu_i\\ \end{aligned}$

SVR对偶问题

max α, α^s . t .] \sum i = 1 m y i (α^i - α i) - ϵ i (α^i - α i) - 1 2 \sum i = 1 m \sum j = 1 m (α^i - α i) (α^j - α j) x T i x j \sum j = 1 m (α^i - α i) = 0, 0 \leq α i, α^i \leq C .

$\begin{aligned} \max_{\boldsymbol{\alpha},\boldsymbol{\hat\alpha}}\ &\sum_{i=1}^{m}y_i(\hat\alpha_i-\alpha_i)-\epsilon_i(\hat\alpha_i-\alpha_i)\\ &-\dfrac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}(\hat\alpha_i-\alpha_i)(\hat\alpha_j-\alpha_j)\mathbf{x}_i^T\mathbf{x}_j\\ s.t.]\ &\sum_{j=1}^{m}(\hat\alpha_i-\alpha_i)=0,\\ &0\le\alpha_i,\hat\alpha_i\le C. \end{aligned}$