Day22_【机器学习—集成学习（3）—Boosting—Adaboost算法】

原创 已于 2025-09-06 16:31:12 修改 · 123 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #集成学习 #boosting #Adaboost

于 2025-09-06 16:30:48 首次发布

        Adaptive Boosting(自适应提升)是基于 Boosting思想实现的一种集成学习算法，核心思想是通过逐步提高那些被前一步分类错误的样本的权重来训练一个强分类器。

一、Adaboost算法

        

直线相当于一个弱学习器，

正确的数据权重减小，错误的数据权重增加

二、Adaboost构建过程

1 初始化数据权重，来训练第1个弱学习器。找最小的错误率计算模型权重，再更新模数据权重。

2 根据更新的数据集权重，来训练第2个弱学习器，再找最小的错误率计算模型权重，再更新数据权重。

3 依次重复第2步，训练n个弱学习器。组合起来进行预测。结果大于0为正类、结果小于0为负类

内部算法过程

三、API

sklearn.ensemble.AdaBoostClassifier

李思 学AI
关注
【100天精通Python】Day73：python机器学习入门算法详解与代码示例
qq_35831906的博客
11-27 2207
python机器学习入门算法，监督学习算法和无监督学习算法以及集成学习算法，包括线性回归，逻辑回归，决策树，支持向量机，随机森林，聚类算法，主成分分析，k均值聚类，梯度提升树，AdaBoost 算法详解与代码示例
瓦斯浓度预测 | 基于集成学习的SVM-Adaboost实现瓦斯数据回归预测附matlab代码
默默科研仔的博客
12-14 146
瓦斯浓度预测 | 基于集成学习的SVM-Adaboost实现瓦斯数据回归预测附matlab代码
Day22_【机器学习—集成学习（1）—基本思想、分类】
l12345sy的博客
09-06 191
集成学习通过组合多个弱学习器构建更强大的强学习器，其核心思想是“三个臭皮匠，赛过诸葛亮”。它通过降低方差（Bagging）或偏差（Boosting）来提高模型性能，典型算法包括随机森林和XGBoost。成功集成的关键在于保证学习器之间的多样性。
机器学习 Day13 Boosting集成学习方法： Adaboosting和GBDT
qq_66246715的博客
04-21 838
（b）步骤就是我们以前讲过的回归决策树的构造，（c）步骤的意思就是在求解第m个决策树第j个节点上的回归值，是通过最小化损失函数计算得到的，观察那个式子，就是我们把在这个节点上的样本回归值都用c表示，c可以是得在这个节点上的总损失最小，那个fm-1（x）+c，就是表示我上一轮的值加上这个c与真实值的损失最小。他的损失函数是一般的损失函数，我们用L（y，f（x））表示 ，GBDT的核心目标是：确保每增加一个学习器，总损失不会增加，即第m步比第m-1步的总损失不大。如何计算每个学习器的占比权重。
机器学习 Day12 集成学习简单介绍
qq_66246715的博客
04-20 809
集成学习是一种通过组合多个模型来提高预测性能的机器学习方法。超级个体vs弱者联盟单个复杂模型(如9次多项式函数)可能能力过强但容易过拟合组合多个简单模型(如一堆1次函数)可以增强能力而不易过拟合集成学习通过生成多个分类器/模型，将它们的预测结果组合起来，通常能获得优于任何单一分类器的预测性能。
【机器学习】一文理解集成学习Boosting思想之AdaBoost，附带案例
Daycym的博客
11-28 1247
一、Boosting（提升学习） 随机森林 在随机森林的构建过程中，由于各棵树之间是没有关系的，相对独立的；在构建的过程中，构建第m个子树的时候，不会考虑前面的m-1棵子树。 那么： 如果在构建第m棵子树的时候，考虑到前m-1棵子树的结果，会不会对最终结果产生有益 的影响？ 各个决策树组成随机森林后，在形成最终结果的时候能不能给定一种既定的决策顺序呢？ (也就是哪颗子树先进行决策、哪颗子树后进行...
python机器学习 | 集成算法介绍及实现
Claire_chen_jia的博客
11-27 4053
集成算法介绍及实现1 集成算法基本概念2 集成算法介绍2.1 Bagging2.2 随机森林2.3 Boosting2.4 Stacking3 随机森林API介绍及实现3.1 随机森林API实现3.2 随机森林分类示例3.2 随机森林回归3.3 随机森林优化调参 1 集成算法基本概念 （1）定义：集成算法是通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和做出预测(如图所示)。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。 [外链图片转存失败,源站可能有
第一阶段_基础知识-Day 2: 机器学习基本原理和常见算法
qq_26394753的博客
08-15 503
本文介绍了机器学习的基本概念、分类方法和常见算法。主要内容包括：1) 机器学习与传统编程的区别，强调机器学习通过数据自动学习规则；2) 机器学习的主要分类方式，包括监督学习（分类/回归）、无监督学习（聚类/降维）、半监督学习和强化学习；3) 常见算法如线性回归和逻辑回归的原理、特点及Java实现示例；4) 机器学习的基本流程，从数据收集到模型部署的完整过程。文章通过图表和代码示例帮助读者理解机器学习的基本原理和应用。
机器学习入门基础（万字总结）（建议收藏！！！）
热门推荐
subsistent的博客
12-04 15万+
机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本文章涵盖了机器学习的基础知识，主要包括机器学习的概述、 回归、分类、聚类、神经网络、文本分析、图像分析、深度学习等经典的机器学习基础知识，还包括深度学习入门等拔高内容。介绍机器学习的基础概念和知识，包括机器学习简史、主要流派、与人工智能、数据挖掘的关系、应用领域、算法、一般流程等。伴随着计算机计算能力的不断提升以及大数据时代的迅发展人工智能也取得了前所未有的进步。
机器学习DAY4：集成学习和随机森林方法（完）
feifeikon的博客
12-28 1264
在机器学习中，有一些算法通过常被称为弱模型，这里所说的“弱模型”指的是像决策树这样简单的基本模型，也指的是那些精度相对较差的模型，也就是比随机模型好那么一点点的模型。先来思考一个问题：是否可以从大量相对较弱和简单的模型中通过某种手段而得到一个强大的模型？正如你想的一样，这个问题的答案显然是肯定的。集成方法就是其中的一类，集成学习的算法有很多，先从最简单的开始：AdaBoost。AdaBoost 采用的是一种贪婪的学习方法。
【课程总结】Day5(下)：PCA降维、SVD分解、聚类算法和集成学习
Deadwalk的专栏
06-03 1691
人们早就知晓，相比凉爽的天气，蟋蟀在较为炎热的天气里鸣叫更为频繁。数十年来，专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录，通过将数据绘制为图表如下：此曲线图表明温度随着鸣叫声次数的增加而上升。我们可以绘制一条直线来近似地表示这种关系，如下所示：事实上，虽然该直线并未精确无误地经过每个点，但针对我们拥有的数据，清楚地显示了鸣叫声与温度之间的关系(即y = mx + b)。如果我们输入一个新的每分钟的鸣叫声值 x1推断（预测）温度 y′，只需将 x1 值代入此模型即可。
Day07-机器学习
CSBLOG的博客
10-11 1042
机器：machine 不是机器设备，而是“计算机软硬件组织”学习：learn有监督学习 supervised learning无监督学习 unsupervised learning。
Day20_【机器学习—逻辑回归 (1)—原理】
l12345sy的博客
09-03 371
逻辑回归是一种，要用于解决经典的问题其把。
机器学习与深度学习的 Python 基础之 NumPy(2)
2301_80881806的博客
09-03 1082
针对机器学习与深度学习的初学者，有必要对于数组索引进行提前学习与了解。本文针对机器学习与深度学习中常用数组操作知识，为读者提供详细的数组索引学习讲解。
《sklearn机器学习——聚类性能指标》Silhouette 系数
最新发布
m0_71002812的博客
09-06 688
轮廓系数是一种用于评估聚类质量的内部指标，它通过计算样本到同簇和最近其他簇的平均距离来量化聚类效果，取值范围为[-1,1]，值越大表明聚类效果越好。其优点包括无需真实标签、直观可解释性强、可进行样本级分析等，但对非凸簇效果不佳且计算复杂度较高。典型应用包括确定最优聚类数k和评估聚类质量，Python中可通过scikit-learn的silhouette_score实现。
机器学习-逻辑回归
爱分享，爱ai，用热爱驱动ai学习方向
09-03 1221
逻辑回归是一种用于二分类问题的统计学习方法，通过Sigmoid函数将线性结果映射为概率值（0~1）。核心原理包括极大似然估计和对数损失函数，采用梯度下降优化参数。应用场景涵盖金融风控、医疗诊断等领域。Python实现需注意参数配置（solver、penalty等），评估指标包括精确率、召回率、F1值和AUC。案例实践表明，月合约和光纤服务用户具有较高流失风险。该模型适用于处理二分类问题，但样本不均衡时需重点关注召回率指标。
人工智能机器学习——逻辑回归
Billy_Zuo的博客
09-04 317
分类：根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。
用于机器学习的 Podman 简介：简化 MLOps 工作流程
wei_shuo的博客
09-06 509
用于机器学习的 Podman 简介：简化 MLOps 工作流程
机器学习从入门到精通 - 降维艺术：PCA与t-SNE带你玩转高维数据可视化
THMAIL的博客
09-03 970
协方差衡量不同特征间的线性相关性。PCA想找到那些能解释。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值