机器学习—集成学习算法实验

Vixerunt Yuan

已于 2025-04-11 15:09:02 修改

阅读量992

点赞数 25

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习集成学习算法

于 2025-04-08 10:25:06 首次发布

本文链接：https://blog.csdn.net/m0_74427084/article/details/147061344

机器学习专栏收录该内容

11 篇文章

订阅专栏

一、实验目的

理解集成学习算法的基本原理和工作机制。
掌握随机森林和AdaBoost算法的构建过程和参数调优。
通过实践，比较随机森林和AdaBoost在不同数据集上的表现。

学习如何评估模型的性能，并根据结果进行模型优化。

实验要求

理解集成学习算法的基本原理和工作机制。
掌握随机森林或AdaBoost算法的构建过程和参数调优。
通过实践，比较随机森林和AdaBoost在不同数据集上的表现。
学习如何评估模型的性能，并根据结果进行模型优化。

二、实验环境

硬件环境：具备基本计算能力的计算机。
软件环境：
- Python 3.x
- NumPy库：用于数值计算。
- Matplotlib库：用于数据可视化。
- Scikit-learn库（可选）：提供现成的k-means和PCA实现，便于对比验证。
- Matlab

三．实验背景

（一）集成学习算法概述

集成学习是一种机器学习技术，它通过构建并结合多个学习器（也称为基学习器或组件学习器）来完成学习任务。这些学习器可以是同质的，即所有基学习器都使用相同的算法，也可以是异质的，即基学习器使用不同的算法。集成学习的目标是通过整合多个学习器的预测结果来提高整体的预测性能，减少方差和偏差，提高模型的泛化能力和鲁棒性。1 2 3

集成学习算法主要分为三种类型：

Bagging（自助法聚合法）：通过对原始数据集进行有放回的抽样来生成多个不同的训练集，并在这些数据集上训练多个基学习器。最后，通过投票或平均的方式将多个基学习器的预测结果结合起来，以降低方差。

Boosting（提升法）：通过迭代地训练基学习器，并逐步调整每个学习器的权重，使得后续学习器能够专注于前面学习器错误分类的样本，从而提高整体模型的预测性能。Boosting算法通过逐步减少偏差来提升模型的准确性。

Stacking（堆叠法）：将多个基学习器的预测结果作为新的输入特征，训练一个元学习器来进行最终的预测。Stacking能够结合多个基学习器的预测能力，进一步提高整体模型的预测性能。

常见的集成学习算法包括随机森林、AdaBoost、GBDT（梯度提升决策树）、XGBoost和LightGBM等。这些算法在分类、回归和聚类等多种机器学习任务中都有广泛的应用，并在多个机器学习竞赛中取得了优异的成绩.

（二）AdaBoost 算法简介

AdaBoost是一种集成学习方法，它通过将多个弱学习器组合成一个强学习器来提高预测精度。在AdaBoost中，每个新的分类器都会对之前分类的样本赋予更高的权重，使得后续的分类器更加关注那些难以分类的样本。在训练过程中，被错误分类的样本会被赋予更高的权值，使得模型能够特别关注那些难以分类的样本。通过这种方式，每个新的分类器都会对之前分类的样本赋予更高的权重，使得模型能够特别关注那些难以分类的样本。

（三）随机森林算法简介

随机森林（Random Forest, RF）是一种集成学习方法，它通过构建多个决策树并结合这些树的结果来进行分类或回归预测。随机森林的核心思想是“集思广益”，即通过组合多个弱学习器（在这种情况下是决策树）来形成一个强学习器。每棵树在训练时使用不同的数据子集，并且在选择分裂节点时只考虑一部分特征，这种随机性使得每棵树都具有一定独立性，从而减少了模型的过拟合风险.

四．实验过程

1.加载数据集：使用 Scikit - learn 库中的 load_breast_cancer() 函数加载乳腺癌数据集。该数据集包含了乳腺癌肿瘤的特征信息和对应的分类标签（良性或恶性）。

2.数据检查与清洗：检查数据集中是否存在缺失值或异常值。在乳腺癌数据集里，数据相对完整，无需进行缺失值处理。对于异常值，本次实验暂不进行特殊处理，因为在实际情况中，这些数据可能反映了真实的病情特征。

3.数据划分：将数据集划分为特征矩阵 X 和目标向量 y。然后，使用 train_test_split 函数将数据集按照 80:20 的比例划分为训练集和测试集，设置随机种子以确保可重复性。

（二）模型训练

1.创建 AdaBoost 模型：使用 Scikit - learn 库中的 AdaBoostClassifier。初始设置弱分类器为决策树桩（DecisionTreeClassifier(max_depth = 1)），迭代次数 n_estimators 为 50。

2.参数调优：对 n_estimators 参数进行调整，尝试不同的值（如 20、50、100、200 等），观察模型在训练集和测试集上的准确率、损失值等指标的变化，以找到最优的参数设置。同时，也可以尝试改变弱分类器的类型和参数，进一步优化模型性能。

（三）模型评估

1.交叉验证：采用 10 折交叉验证方法评估模型的泛化能力。通过 cross_val_score 函数实现，将 AdaBoost 模型、训练数据和目标数据作为参数传入，得到每次交叉验证的得分。

2.计算性能指标：在测试集上计算模型的准确率、精确率、召回率、F1 - score 等性能指标。使用 accuracy_score、precision_score、recall_score、f1_score 等函数分别计算。

五．结果分析

.实验源代码

# 导入所需的Python库

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns  # 用于绘制混淆矩阵的热图

from sklearn.datasets import load_breast_cancer  # 用于加载乳腺癌数据集

from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score  # 用于数据分割和模型选择

from sklearn.ensemble import AdaBoostClassifier  # 用于创建AdaBoost分类器

from sklearn.metrics import accuracy_score, recall_score, f1_score, classification_report, confusion_matrix, roc_curve, auc  # 用于评估模型性能

from sklearn.preprocessing import StandardScaler  # 用于数据标准化



# 1. 数据预处理

# 加载乳腺癌数据集

bc = load_breast_cancer()

X = bc.data  # 特征矩阵

y = bc.target  # 目标向量



# 使用StandardScaler进行数据标准化，以确保所有特征具有相同的尺度

scaler = StandardScaler()

X_scaled = scaler.fit_transform(X)  # 对特征数据进行标准化处理



# 将数据集分割为训练集和测试集，测试集大小为30%

X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)



# 2. 模型训练

# 创建AdaBoost分类器实例

abc = AdaBoostClassifier(random_state=42)



# 设置网格搜索的参数网格

param_grid = {

    'n_estimators': [50, 100, 200],  # 基础分类器的数量

    'learning_rate': [1.0, 0.5, 0.1],  # 每个分类器的学习率

    'algorithm': ['SAMME', 'SAMME.R']  # 使用的算法，SAMME.R通常收敛更快

}



# 使用网格搜索来找到最佳的参数组合

grid_search = GridSearchCV(estimator=abc, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)

grid_search.fit(X_train, y_train)  # 在训练集上训练模型



# 获取最佳参数和最佳模型

best_params = grid_search.best_params_

best_abc = grid_search.best_estimator_



# 3. 模型评估

# 使用交叉验证评估模型的泛化能力

scores = cross_val_score(best_abc, X_scaled, y, cv=5)  # 5折交叉验证



# 使用测试集评估模型

y_pred = best_abc.predict(X_test)  # 预测测试集结果

y_pred_proba = best_abc.predict_proba(X_test)[:, 1]  # 获取测试集的预测概率



# 计算混淆矩阵

conf_matrix = confusion_matrix(y_test, y_pred)  # 混淆矩阵用于评估分类结果



# 计算模型的准确率、召回率、F1分数等性能指标

accuracy = accuracy_score(y_test, y_pred)

recall = recall_score(y_test, y_pred, average='macro')

f1 = f1_score(y_test, y_pred, average='macro')



# 打印评估结果

print(f"最佳参数: {best_params}")  # 打印最佳参数

print(f"交叉验证分数: {scores.mean()}")  # 打印交叉验证的平均分数

print(f"准确率: {accuracy}")  # 打印准确率

print(f"召回率: {recall}")  # 打印召回率

print(f"F1分数: {f1}")  # 打印F1分数

print(classification_report(y_test, y_pred))  # 打印分类报告，包含精确度、召回率、F1分数等



# 打印混淆矩阵

print("混淆矩阵:")

print(conf_matrix)  # 打印混淆矩阵



# 绘制混淆矩阵的热图

plt.figure(figsize=(8, 6))

sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=bc.target_names, yticklabels=bc.target_names)

plt.xlabel('Predicted labels')  # x轴标签

plt.ylabel('True labels')  # y轴标签

plt.title('Confusion Matrix')  # 图标题

plt.show()  # 显示图形



# 绘制ROC曲线

fpr, tpr, thresholds = roc_curve(y_test, y_pred_proba)  # 计算ROC曲线的参数

roc_auc = auc(fpr, tpr)  # 计算AUC值



plt.figure()

plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)

plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')  # 绘制对角线

plt.xlim([0.0, 1.0])  # 设置x轴的范围

plt.ylim([0.0, 1.05])  # 设置y轴的范围

plt.xlabel('False Positive Rate')  # x轴标签

plt.ylabel('True Positive Rate')  # y轴标签

plt.title('Receiver Operating Characteristic')  # 图标题

plt.legend(loc="lower right")  # 图例位置

plt.show()  # 显示图形



# 4. 结果分析

# 打印不同参数设置下的性能

print("不同参数设置下的性能:")

means = grid_search.cv_results_['mean_test_score']

stds = grid_search.cv_results_['std_test_score']

for mean, std, params in zip(means, stds, grid_search.cv_results_['params']):

    print(f"{params} - 准确率: {mean:.3f} (±{std * 2:.3f})")



# 讨论AdaBoost算法的优缺点和适用场景

# AdaBoost算法的主要思想是迭代训练弱分类器，并将它们组合成一个强分类器。

# 它通过提高被错误分类样本的权重，使后续的分类器更加关注这些样本。

# 优点包括：提高分类性能，适应不同种类的数据集。

# 缺点包括：对噪声敏感，容易过拟合。

# 适用场景：适用于那些需要提高分类性能，并且数据集不太大的场景。

(二）.图表展示模型性能。

(三）.对比分析不同参数和数据集对模型性能的影响。

（四）.模型的优缺点

优点：

高准确率：在乳腺癌数据集上，经过适当参数调整后，AdaBoost 算法能够取得较高的准确率，有效区分良性和恶性肿瘤，对医疗诊断有一定的参考价值。

对噪声数据和异常值有一定的鲁棒性：由于它在训练过程中不断调整样本权重，对数据中的一些噪声和异常值不会过于敏感，仍然能够较好地学习数据的模式。

缺点：

容易过拟合：如果迭代次数过多或者弱分类器过于复杂，容易导致过拟合问题，使得模型在新数据上的泛化能力下降。

对异常值并非完全免疫：虽然有一定的鲁棒性，但在某些极端情况下，异常值可能仍然会影响模型的性能，尤其是当异常值在数据集中占比较大时。

六、结论

（一）总结实验结果

本次实验使用 AdaBoost 算法对乳腺癌数据集进行分类。通过数据预处理、模型训练和参数调优以及模型评估等步骤，得到了不同参数设置下模型的性能指标。实验结果表明，AdaBoost 算法在乳腺癌数据集上有较好的分类能力，通过合理调整参数可以提高模型的准确率、精确率、召回率和 F1 - score 等性能指标。

（二）提出模型改进的建议

优化参数选择：采用更精细的参数搜索方法，如网格搜索结合交叉验证，对 n_estimators、弱分类器的参数等进行更全面的搜索，以找到最优参数组合，减少过拟合的风险。

数据预处理改进：考虑对数据进行进一步的特征工程，如特征选择、特征缩放等，以提高模型的性能和稳定性。同时，可以对异常值进行更深入的分析和处理。

集成其他模型：可以尝试将 AdaBoost 与其他分类算法进行集成，形成更强大的混合模型，进一步提高模型的泛化能力和分类性能。