SVM总结

SVM总结

在学习机器学习的常用算法中，在SVM上花费了大量的时间，今天写个知识点总结吧！
SVM包括：线性可分向量机、线性支持向量机和非线性支持向量机。

• 线性可分向量机：顾名思义，构建它的条件是训练数据线性可分，学习策略是最大间隔法。可以表示为凸二次优化规划问题，其原始最优化问题为 $min_{w,b} \frac{1}{2} ||w|| ^{2}$ s.t. $y_{i}(w.x_i+b)-1 \geqslant 0$;分离的超平面是$w^*.x+b^*=0$;分类决策函数是 $f(x)=sign(w^*.x+b^*=0)$。线性可分向量机的最优解存在且唯一，位于间隔边界上的实例点为支持向量
• 线性支持向量机：由于现实中可分的训练数据很少，因此在线性可分向量机的基础上增加了一个松弛变量$\varepsilon$,其对应的凸二次规化问题变成了 $min_{w,b} \frac{1}{2} ||w|| ^{2} +C\sum_{i=1}\varepsilon_{i}$ s.t. $y_{i}(w.x_i+b)\geqslant 1-\varepsilon_{i}, \varepsilon_{i}\geqslant 0$. 线性支持向量机的解$w^*$唯一，但$b^*$不唯一。
• 非线性支持向量机：对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个高维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机。由于在线性支持向量机的学习的对偶问题中，目标函数和分类决策函数都只涉及内积，所以不需要显示地指定非线性变换，而是用核函数来替换当中的内积。核函数K（x,z）意味着存在一个从输入空间$\chi$到特征空间H的映射$\Phi(x)$,对任意x,z $\in\chi$,有 K（x,z）=$\Phi(x).\Phi(z)$.即用核函数K（x,z）代替内积，得到的就是非线性支持向量机$
• *求解SVM中的凸二次规划问题可以使用SMO算法，该算法主要包括两个部分：求解两个变量的二次规划的解析方法和选择变量的启发式方法。即将原始求解问题分解成两个变量的子问题，当解完两个变量的最优化问题后，检查原始问题是否得以满足，若满足则求得最优解，结束。否则再次选择两个优化变量，直至求得最优解