【数模百科】支持向量机SVM如何处理非线性数据——非线性SVM（python代码实现）

本篇文章摘录自 非线性SVM - 数模百科，里面有非常详细的对SVM模型以及各种延伸模型的讲解，涵盖了所有的知识点以及重点，包括代码讲解。

如果你对支持向量机SVM模型还不清楚，建议先阅读这篇文章 【数模百科】支持向量机中的线性SVM讲解以及实现办法-CSDN博客

你在玩一个分类游戏，游戏里，你面前有一大堆彩色的小球。这些小球有红的、蓝的、绿的，各种颜色都有。你的任务就是要把同一个颜色的小球聚在一起。有时候游戏很简单，比如说红球都在左边，蓝球都在右边，你可以拿根直直的棍子一挥，就能轻松把它们分开。

但有时候游戏会变得复杂，小球们像过家家一样，全都挤在一起，红蓝绿黄挨个儿搅和在一块儿，这时候你要做的就不是简单地用直棍子一分了之了。你得找到一条能把同色小球串联起来的路径，而这条路又不能擦到其他颜色的小球。这条路可能是弯弯曲曲的，就像山路十八弯，得蜿蜒曲折着穿过一片小球的海洋。

想象一下，如果这根棍子能根据需要弯曲成任意形状，它就能像个魔术师一样，变出最合适的形状，准确无误地把小球们分开。它就像有了魔法，总能找到一个完美的姿势，贴着同色小球的边缘走，同时又尽量远离其他颜色的小球。

这个游戏里的棍子，其实就像是我们数学里的一个数学模型——非线性支持向量机。它就有这样的魔法能力，在一大堆复杂混乱的数据中，找到一个最好的方法，把不同的数据分得清清楚楚、明明白白。就是说，无论情况有多复杂，它都能巧妙地解决问题，让不同类别的数据各归各位。

定义与详解

定义

非线性支持向量机，是从原始的线性支持向量机演化而来的，与线性支持向量机的主要区别在于它可以处理非线性可分的数据集。这是通过使用一种所谓的“核技巧（Kernel trick）”来实现的。

原始的线性支持向量机试图在样本的特征空间中寻找一个线性超平面，可以最大化地分隔两个类别的样本。然而，在实际情况中，我们经常会遇到一些问题，其中两个类别的样本无法通过一个线性超平面来完全分隔。

为了解决这个问题，非线性支持向量机的方法是将样本从原始的特征空间映射到一个更高维的空间，希望在这个新的高维空间中，样本可以被一个线性超平面分隔。为了避免在高维空间中进行复杂的计算，人们引入了核函数来隐式地执行这种映射操作，这就是所谓的“核技巧”。

常用的核函数包括以下：

• 齐次多项式核： 齐次多项式核的形式为：，这是一个简单的多项式映射，将特征映射到 d 次多项式空间。

• 非齐次多项式核： 非齐次多项式核函数形式为：。与齐次多项式核不同，非齐次多项式核在计算内积时添加了常数项1。

• 高斯径向基函数核（Radial basis function，RBF）： RBF核函数形式为：。这是一