一文看懂集成学习 Ensemble methods（Bagging, Boosting）

dbf666

已于 2022-03-03 16:39:27 修改

阅读量408

点赞数

CC 4.0 BY-SA版权

文章标签：机器学习集成学习人工智能

于 2022-03-03 16:37:20 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_34604224/article/details/123257605

本文深入探讨了集成学习中的Bagging和Boosting方法。Bagging通过随机采样创建训练集，构建基模型并进行投票或平均操作得出结果，随机森林是其扩展。Boosting则通过调整样本权重，连续训练弱分类器，如AdaBoost，以降低偏差。两者的区别在于样本选择、权重分配、预测函数构建和并行计算。集成学习通过结合多种算法，如随机森林和提升树，提升了分类效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

集成学习

(截图来自《西瓜书》)
在这里插入图片描述

Bagging

在这里插入图片描述

从原始样本集中随机采样。每轮从原始样本集中有放回的选取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（bootstrap的过程，由于是有放回抽样，所以k个训练集之间相互独立）
每次使用一份训练集训练一个模型，k 个训练集共得到 k 个基模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）
利用这k个基模型对测试集进行预测，将k个预测结果进行聚合。(aggregating的过程)
- 分类问题：将上步得到的k个模型采用投票的方式得到分类结果
- 回归问题：计算上述模型的均值作为最后的结果。（

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。