支持向量机以及python实现

目录

一、支持向量机概述

1.1SVM概念

1.2 SVM优缺点

1.3 数学理论分析

1.3.1 间隔方程

1.3.2 软间隔

1.3.3 核函数

1.4 应用

二、代码实现

2.1分析代码

2.2 完整代码

2.3 运行结果：

2.4 实验结论

一、支持向量机概述

       支持向量机（SVM）是一种监督学习算法，主要用于二分类问题。它通过寻找最优的决策边界，即最大间隔超平面，来对数据进行分类。

1.1SVM概念

• 二分类模型：支持向量机是一个二分类模型，旨在找到一个决策边界，从而将数据集分成两个不同的类别。
• 最大间隔超平面：SVM的核心在于寻找一个能够最大化两个类别之间间隔的超平面，这个超平面即为最大间隔超平面。

        具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。

1.2 SVM优缺点

• 优点方面：
  1. 解决非线性问题：SVM通过使用核技巧，能够有效地处理非线性问题。核技巧可以将数据映射到更高维度的空间中，使得原本线性不可分的数据变得可分。
  2. 最大化决策边界：SVM的核心在于寻找一个能够最大化两个类别之间间隔的超平面，这个超平面即为最大间隔超平面。
  3. 支持向量的作用：SVM的训练结果中的支持向量在分类决策中起决定作用，这有助于模型的简化和计算效率的提升。
  4. 小样本学习：SVM适合小样本学习，它的性能不依赖于样本的维数，而是依赖于支持向量的数量，这避免了维数灾难问题。
• 缺点方面：
  1. 对大规模数据集训练时间长：SVM在训练过程中需要进行大量的矩阵运算，特别是核矩阵的计算，这在大规模数据集上会导致训练时间过长。
  2. 对噪声数据敏感：SVM试图拟合所有数据点，包括噪声点，这可能导致模型过拟合，泛化能力下降。
  3. 参数调整和核函数选择：SVM的性能很大程度上依赖于核函数的选择和相关参数的调整，这需要用户有一定的专业知识和经验。
  4. 主要适用于二分类问题：虽然SVM可以通过一些方法扩展到多类分类问题，但其在二分类问题上的表现更为自然和有效。

    为了克服这些缺点，可以采取以下措施：

1. 对于大规模数据集，可以使用近似算法或在线学习算法来减少训练时间。
2. 通过引入软间隔和正则化项，可以增强SVM对噪声数据的鲁棒性。
3. 使用交叉验证等技术来选择最优的核函数和参数。
4. 对于多类分类问题，可以采用一对一或一对多等策略来构建多个二分类器。

1.3 数学理论分析

1.3.1 间隔方程

在样本空间中，划分超平面可通过如下线性方程来描述：

其中=(；；...；）是法向量，决定了超平面的方向，b位移项，样本空间中任意点到超平面的距离为