【R模型】R语言支持向量机模型（Support Vector Machines）

最新推荐文章于 2025-01-18 01:00:00 发布
最新推荐文章于 2025-01-18 01:00:00 发布
阅读量4k 收藏 71
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 【R模型】 文章标签： 支持向量机 r语言 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42830713/article/details/129152267
  • 💂 个人信息：酷在前行
  • 👍 版权: 博文由【酷在前行】原创、需要转载请联系博主
  • 👀 如果博文对您有帮助，欢迎点赞、关注、收藏 + 订阅专栏
  • 🔖 本文收录于【R模型】，该专栏主要介绍R语言各类型机器学习，如线性回归模型、广义线性模型、混合线性模型、随机森林模型、支持向量机模型、决策树模型等。请大家多多关注点赞和支持，共同进步~ 欢迎大家订阅！

📋 文章目录


   今天和大家分享一个与随机森林有点相似的模型 - - 支持向量机(Support Vector Machine，SVM) ，是一种有监督的回归和分类的机器学习模型，包括线性可分和非线性可分，但通常更用于分类。基本思想就是在样本空间中找到一个划分的超平面，将不同类别的样本分隔开。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。（ 有关凸优化问题的理解）

🐣 一、什么是支持向量机

   支持向量机(SVM)，是一种有监督的回归和分类的机器学习模型。SVM的出色和优雅，通常被认为是最好的分类器。其主要包括线性可分和非线性可分，线性可分时，可用硬间隔和软间隔最大化学习SVM；线性不可分时，通过核函数和软间隔最大化学习SVM。当SVM训练完成后，大部分样本都不需要保留，最终模型只与支持向量有关（通常用于解决小样本问题）。通常，二分类的支持向量机中使用的方法是基于找到分离的超平面。我们可以借助以下图形便于理解：

在这里插入图片描述
这就是线性可分，在二维空间上，两类点被一条直线完全分开叫做线性可分。这段理解是我copy的，应该能够帮助大家更好地理解：

   A1和 A2是 n 维欧氏空间中的两个点集。如果存在 n 维向量 w 和实数 b，使得所有属于A1的点 xi 都有 wxi +b >0 ，而对于所有属于A2的点xj则有 wxj + b <0 ，则我们称A1和A2线性可分。从图来看，二维扩展到多维空间中时，将A1和A2完全正确地划分开的wx+b=0就成了一个超平面。为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为 最大间隔超平面 。具有以下特征：

  • 两类样本分别分割在该超平面的两侧；
  • 两侧距离超平面最近的样本点到超平面的距离被最大化了。

这时候我们就要找支持向量机了，再借助一张图理解：
在这里插入图片描述
样本中距离超平面最近的一些点，这些点叫做支持向量。

而现实中更多的情况是线性不可分的，正如这样：也就是多维的。
在这里插入图片描述
通常的解决方法就是：将二维线性不可分样本映射到高维空间中，让样本点在高维空间线性可分，例如：

在这里插入图片描述
对于在有限维度向量空间中线性不可分的样本，我们将其映射到更高维度的向量空间里，再通过间隔最大化的方式，学习得到支持向量机，就是非线性 SVM。如果想了解更多有关SVM原理，可以访问该链接，用数学函数和公式更好地理解原理这里就不展开了，SVM原理。

🐤 二、SVM的R过程

我们先对数据进行简单的处理，整理出一个二分类模型。

data("iris")
# 150行 5列的样本
dim(iris)

# 取两类物种的花萼长宽，便于后续的二分类SVM模型学习和展示
iris_sub <- subset(iris,select=c("Sepal.Length","Sepal.Width","Species"),Species%in%c("setosa","virginica"))
dim(iris_sub)

# 画图这两个指标的图,以length为x轴，width为y轴
attach(iris_sub)
par(mfrow=c(1,1)) # 调整下画布
plot(Sepal.Length, Sepal.Width, col=ifelse(Species=="setosa", "red", "blue"), pch=16)

在这里插入图片描述
在这里插入图片描述
在优化过程中，引入一个参数： 支持向量机的惩罚因子

   支持向量机能够通过最大化边界得到一个优化的超平面以完成对训练数据的分离，不过有时算法也允许被错误分类样本的存在，惩罚因子能实现SVM对分类误差及分离边界的控制，如果控制因子比较小，分离间隔会比较大（软间隔）将产生比较多的被错分样本；相反当加大惩罚因子时，会缩小分类间隔，从而减小错分样本。

我们先展示当惩罚因子较小的情况：

# 将惩罚因子设置为1，用iris_sub数据集训练SVM：
library(e1071)
model<-svm(Species~.,data = iris_sub,kernel="linear",cost=1,scale = F)
points(iris_sub[model$index,c(1,2)],col="black",cex=1.5)
summary(model)
# 还可以看到当惩罚因子为1时，共找到了12个支持向量，第一类和第二类均包含6个支持向量。最后两行说明了两个类别以及每个类别的level。

# 添加分割线
w <- t(model$coefs)%*%model$SV
b <- -model$rho
abline(a = -b/w[1,2],b = -w[1,1]/w[1,2], col="grey", lty=5)

在这里插入图片描述
在这里插入图片描述
可以从图中看到，当惩罚因子为1时，我们是能够找到12个支持向量，第一类和第二类均有6个。

进一步，我们提高惩罚因子，看看具体变化：

# 将惩罚因子设置为500，重新训练一个SVM分类器
plot(Sepal.Length,Sepal.Width,col=ifelse(Species=="setosa", "red", "blue"), pch=16)
model1 <- svm(Species~.,data = iris_sub, kernel="linear",cost=5000, scale = F)
points(iris_sub[model1$index, c(1,2)],col="black",cex=2)
w = t(model1$coefs)%*%model1$SV
b = -model1$rho
abline(a = -b/w[1,2],b = -w[1,1]/w[1,2],col="grey",lty=5)

# SVM模型可视化
plot(model1, iris_sub, Sepal.Length~Sepal.Width,slice=list(Sepal.Width=3,Sepal.Length=4))
summary(model1)
# 当惩罚因子增加到500时，只找到了3个支持向量，第一类包含2个支持向量，第二类包含1个支持向量。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
通过提高惩罚因子，我们发现支持向量是有所减少的。当提高到500时，只找到了3个支持向量。其中第一类为2个，第二类为1个。

可能很多人会好奇支持向量机到底用来做什么，总结一下特点：

  • 支持向量是SVM的训练结果，在SVM分类决策中起决定作用的是支持向量；
  • SVM的目标是对特征空间划分得到最优超平面，SVM方法核心是最大化分类边界；
  • SVM的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”；
  • 少数支持向量决定了最终结果，这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单，而且具有较好的“鲁棒性”。这种鲁棒性主要体现在： ①增、删非支持向量样本对模型没有影响;②支持向量样本集具有一定的鲁棒性;③有些成功的应用中，SVM方法对核的选取不敏感；
  • SVM在小样本训练集上能够得到比其它算法好很多的结果。SVM优化目标是结构化风险最小，而不是经验风险最小，避免了过拟合问题，通过margin的概念，得到对数据分布的结构化描述，减低了对数据规模和数据分布的要求，有优秀的泛化能力。

🦅 三、SVM的优缺点

主要优点：

  1. SVM是一种有坚实理论基础的新颖的适合小样本学习方法。它基本上不涉及概率测度及大数定律等，也简化了通常的分类和回归等问题；
  2. 计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”；
  3. 少数支持向量决定了最终结果，对异常值不敏感, 这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单，而且具有较好的“鲁棒性”；
  4. SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值；
  5. 有优秀的泛化能力。（机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。）

存在缺点：

  1. 对大规模训练样本难以实施；
  2. 解决多分类问题困难；
  3. 对参数和核函数选择敏感（支持向量机性能的优劣主要取决于核函数的选取，所以对于一个实际问题而言，如何根据实际的数据模型选择合适的核函数从而构造SVM算法。）

参考链接：
https://blog.csdn.net/promisejia/article/details/81241201
https://zhuanlan.zhihu.com/p/77750026
https://blog.csdn.net/qq_35290785/article/details/89675916
https://blog.51cto.com/abool/2044989

R语言使用caret包构建线性核的支持向量机SVM（Support Vector Machines with Linear Kernel ）构建回归模型、通过method参数指定算法名称
data+scenario+science+insight
04-14 1024
R语言使用caret包构建线性核的支持向量机SVM（Support Vector Machines with Linear Kernel）构建回归模型、通过method参数指定算法名称、通过trainControl函数控制训练过程
R语言数据分析：支持向量机（SVM）模型
CyberLynxO的博客
08-24 890
SVM模型通过将数据映射到高维空间中，构建一个最优的超平面，将不同类别的数据点分开。你可以根据具体的数据情况选择适当的核函数并调整模型的参数，以获得最佳的分类效果。假设我们有一个二分类的数据集，其中包含两个特征变量（x1和x2）和一个目标变量（y），我们的目标是根据这两个特征变量来预测目标变量的类别。通过使用e1071包，我们可以轻松地构建和训练SVM模型，以解决各种分类和回归问题。接下来，我们可以使用svm函数来构建SVM模型。在上述代码中，我们创建了两个新的测试数据点，并使用训练好的模型进行预测。
支持向量机在R语言中的应用
03-19
SVM除了可以用于分类问题，也可以用于回归问题，这里有svm在r语言中的应用
R: 支持向量机（Support Vector Machine，简称SVM）
weixin_46587777的博客
04-10 4278
在数据科学和机器学习领域中，支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，常用于分类和回归分析。它的优点之一是可以适用于复杂的数据集，并且在高维空间中表现良好。在本文中，我们将使用R语言和一些R自带的数据集来介绍如何使用支持向量机进行建模和模型评价。我们选择一个相对复杂的数据集，以便更好地展示支持向量机的应用。为了使模型更准确，我们可以使用交叉验证来选择最佳的参数组合。让我们继续使用经典的鸢尾花（iris）数据集来演示支持向量机（SVM）的结果可视化。
R语言实现支持向量机（SVM）
water200101的博客
06-02 1万+
R语言简单实现支持向量机
predict函数 R_R语言如何实现支持向量机？
weixin_39628186的博客
11-20 809
支持向量机是帮助我们解决小样本、非线性及高维数据的重要手段。1 在R语言中，实现支持向量机的是e1071软件包中的svm函数。首先，安装并加载软件包。2读取数据集。gyyz_data=read.csv("gyyz.csv",head=T)#读取数据集gyyz_data$is_rise=as.factor(gyyz_data$is_rise)#将目标变量转换成分类数据head(gyyz...
R语言手把手教你进行支持向量机分析
dege857的博客
05-14 2496
数据变量很多，我解释几个我等下要用的，HBP：是否发生高血压，结局指标，AGE：年龄，是我们的协变量，BMI肥胖指数，FEV1肺活量指标，WEIGHT体重，“SBP”,“DBP”：收缩压和舒张压。公众号回复：体检数据，可以获得数据。上图给出了一些模型的基本参数，默认情况下，gamma为预测变量个数的倒数，cost为1。进行分析前还需对数据进行预处理，如果你是多分类的，并且数据差异大，可以使用分层抽样，尽量是数据匹配一下，方法详见我既往文章《R语言两种方法实现随机分层抽样》，我这里是二分类，我就不弄了。
SVM - 支持向量机 - Support Vector Machines
07-05
统计学习理论是支持向量机（SVM）的基础之一，它主要关注如何从有限的训练样本中推断出一个最佳的模型。在统计学习理论中，我们通常将学习问题分为监督学习、无监督学习和半监督学习等几类。其中，支持向量机属于...
支持向量机(Support Vector Machines)（需要优化）
qq_45742413的博客
01-25 1368
这是支持向量机的一个有趣性质。事实上，如果你有一个正样本𝑦 = 1，则其实我们仅仅要求𝜃𝑇𝑥大于等于 0，就能将该样本恰当分出，这是因为如果𝜃𝑇𝑥>0 大的话，我们的模型代价函数值为 0，类似地，如果你有一个负样本，则仅需要𝜃𝑇𝑥<=0 就会将负例正确分离，但是，支持向量机的要求更高，不仅要能正确分开输入的样本，即不仅仅要求𝜃𝑇𝑥>0，我们需要的是比 0 值大很多，比如大于等于 1，我也想这个比 0 小很多，比如我希望它小于等于-1，这就相当于在支持向量机中嵌入了一个额外的安全因子，或者说安全的间距因子。
机器学习之支持向量机（Support Vector Machines）模型-附件资源
03-05
机器学习之支持向量机（Support Vector Machines）模型-附件资源
用R语言实现支持向量机
Programming Talk
02-16 1324
支持向量机（Support Vector Machine, SVM）是一种二分类模型，它通过构造一个最优超平面对数据进行分类。超平面就是在高维空间中将不同类别的数据分离开的一个分界面，最优超平面则是离两个类别最近的数据点的距离最大的那个超平面。该数据集包括150个样本和4个特征（花萼长度、花萼宽度、花瓣长度和花瓣宽度），并且每个样本都有一个标签，表示其属于哪一类鸢尾花。SVM是一个非常有用的分类算法，广泛用于机器学习和数据科学领域。以下是一个使用R语言中支持向量机进行分类的示例。以外的所有变量作为特征。
R语言统计分析——分类5——支持向量机
最新发布
maizeman126的博客
01-18 854
上述代码，首先对不同的gamma和cost参数拟合了一个带RBF的SVM的模型。SVM旨在多为空间中找到一个能够将全部样本单元分成两类的最优（超）平面，这一平面应使两类中距离最近的点的间距（margin）尽量大，在间距边界上的点被称为支持向量（support vector，它们决定间距），分割的超平面位于间距的中间。SVM的数据解释化比较复杂，这里不讨论。SVM可用应用于变量数远多于样本单元数的问题，而这类问题在生物医药行业很常见，因为在DNA微序列的基因表示中，变量通常比可用样本量的个数高1~2个量级。
R语言实践之支持向量机
ydchesterxu的博客
10-16 1167
分别介绍R语言的e1071的基本用法和在matlab中使用libsvm中基本用法
R语言与机器学习学习笔记（分类算法）（4）支持向量机
热门推荐
beta
11-29 2万+
算法四：支持向量机        说到支持向量机，必须要提到july大神的《支持向量机通俗导论》，个人感觉再怎么写也不可能写得比他更好的了。这也正如青莲居士见到崔颢的黄鹤楼后也只能叹“此处有景道不得”。不过我还是打算写写SVM的基本想法与libSVM中R的接口。 一、SVM的想法        回到我们最开始讨论的ＫＮＮ算法，它占用的内存十分的大，而且需要的运算量也非常大。那么我们有没有可能
r语言 支持向量机实现_支持向量机解密：R中的实现
weixin_26726011的博客
09-30 3028
r语言 支持向量机实现Support Vector Machine, popularly abbreviated as SVM is a supervised learning algorithm used for both regression and classification but more commonly used for classification. SVMs have been...
R语言中使用支持向量机
cleverbegin的专栏
11-30 3979
R语言中使用支持向量机 Including the SVM package The SVM package is in a package called "e1071." Firt you need to set the path to include the directory where the e1071 package is. For example, if e1071 is in
R语言实现手写数字分类——支持向量机
weixin_50547796的博客
07-25 122
综上所述，我们使用R语言和支持向量机算法实现了手写数字的分类器，通过合适的数据预处理和选择适当的内核函数参数，在MNIST数据集上训练的支持向量机分类器可以取得较高的准确率，这个示例展示了如何利用支持向量机算法进行图像分类任务，同时也展示了R语言在机器学习领域的强大功能。首先需要准备数据集，在这个示例中将使用经典的手写数字数据集MNIST，该数据集包含了大量的手写数字图像，每个图像都对应一个标签表示它所代表的数字，我们将使用R中的。训练完成后，我们可以使用测试数据集来评估分类器的性能，我们将使用。
R语言 支持向量机
zxy_clover的博客
03-26 4447
支持向量机可以想象成一个平面，改平面定义了个数据点之间的界限，而这些数据点代表它们的特征绘制多维空间中的样本。支持向量机的目标是创建一个称为超平面的平面边界，它使得任何一个的数据划分都是相当均匀的。支持向量机几乎可以适用于所有的学习任务，包括分类（svm）、数值预测、回归（svr）。 R实现及参数说明 1）kernlab包  函数ksvm()通过。Call接口，使用bsvm和libsvm库中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酷在前行

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值