机器学习——分类模型评估、ROC曲线、PR曲线

一、引言

在机器学习和数据科学领域，对分类模型的性能进行评估是至关重要的。本文将介绍常见的分类模型评估指标，包括准确率、精确率、召回率和F1值等，并深入探讨ROC曲线和PR曲线的概念及其差异。最后，我将通过绘制不同模型下的ROC曲线和PR曲线，并对其进行详细分析，来进一步理解这些评估工具在模型调优中的实际应用。

二、常见的分类模型评估指标

2.1 准确率（Accuracy）

定义：准确率是指模型正确分类的样本数占总样本数的比例。
公式：准确率 = (TP + TN) / (TP + FP + TN + FN)
优点：简单直观，易于理解。
缺点：当不同类别的样本数量不平衡时，准确率可能不能真实反映模型性能。

2.2 精确率（Precision）：

定义：精确率是指模型预测为正例的样本中，真正为正例的比例。
公式：精确率 = TP / (TP + FP)
意义：反映模型预测为正例的可靠性。

2.3 召回率（Recall）：

定义：召回率是指实际为正例的样本中，被模型正确预测为正例的比例。
公式：召回率 = TP / (TP + FN)
意义：反映模型找到所有正例的能力。

2.4 F1值（F1 Score）：

定义：F1值是精确率和召回率的调和平均数，用于综合评估模型的性能。
公式：F1值 = 2 * (精确率 * 召回率) / (精确率 + 召回率)
优点：能够平衡精确率和召回率，给出一个综合的性能指标。

2.5 AUC-ROC（Area Under the Curve - Receiver Operating Characteristic）：

定义：AUC-ROC是通过计算ROC曲线下的面积来评估模型性能。ROC曲线是以真正例率（TPR）为纵轴，假正例率（FPR）为横轴绘制的。
意义：AUC-ROC越接近1，说明模型的性能越好。它不受正负样本比例的影响，因此在类别不平衡的情况下也很有效。

2.6 AUPRC（Area Under the Precision-Recall Curve）：

定义：AUPRC是PR曲线（精确率-召回率曲线）下的面积。
意义：AUPRC更注重在高召回率下的精确率，对于某些应用中可能更加重要。

2.7 混淆矩阵（Confusion Matrix）：

定义：混淆矩阵是一个表格，用于展示模型分类结果的详细情况，包括真正例（TP）、假正例（FP）、真反例（TN）和假反例（FN）。
意义：通过混淆矩阵，我们可以计算上述的评估指标，并深入了解模型的分类性能。

三、ROC曲线与PR曲线的理解与分析

3.1 ROC曲线和PR曲线的定义

ROC曲线（受试者工作特征曲线）和PR曲线（精确率-召回率曲线）是两种用于评估分类模型性能的重要工具。

ROC曲线 以真正例率（TPR，即召回率）为纵轴，假正例率（FPR）为横轴，通过不同阈值下的TPR和FPR绘制而成。

PR曲线 则以召回率为横轴，精确率为纵轴，同样通过不同阈值下的召回率和精确率绘制。

3.2 ROC曲线和PR曲线的差异

ROC曲线与PR曲线的差异主要体现在以下两个方面：首先，ROC曲线对正负样本比例不敏感，而PR曲线则对正负样本比例较为敏感。因此，在处理正负样本比例极度不平衡的数据集时，PR曲线可能更具参考价值。其次，ROC曲线关注的是模型在不同阈值下的整体性能，而PR曲线则更侧重于模型在高召回率下的精确率表现。

四、不同模型方法的ROC曲线和PR曲线绘制与分析

为了比较不同模型方法的性能，我们可以绘制它们的ROC曲线和PR曲线，并进行详细的分析。我将通过乳腺癌分类实例展示如何绘制它们的ROC曲线和PR曲线，并进行性能比较。

4.1 数据集导入和处理

我采用的是乳腺癌数据集，该数据集包含了乳腺癌的多个特征以及对应的标签（良性或恶性）。数据集被划分为训练集和测试集，其中测试集占总数据集的20%。Python代码如下：

# 导入数据集库
from sklearn import datasets
from sklearn.model_selection import train_test_split

# 加载数据并划分训练集和测试集
data = datasets.load_breast_cancer()
X = data.data
y = data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4.2 定义多个分类器

导入数据后，就需要选择分类器来进行训练，这里我选择了以下几个分类模型。

逻辑回归（Logistic Regression）：逻辑回归是一种广义的线性回归模型，常用于处理因变量为二分类（0或1）的问题。它通过计算一个事件的概率来进行分类。

K最近邻（KNN，K-Nearest Neighbors）：KNN是一种基于实例的学习，或者说是非参数方法。它根据一个数据点在特征空间中的k个最近邻居的类别来预测该数据点的类别。

支持向量机（SVM，Support Vector Machines）：SVM是一种监督学习模型，用于分类和回归分析。它的基本思想是将输入的数据映射到一个高维的特征空间，然后在这个空间中寻找一个超平面，使得这个超平面能够将不同类别的数据分隔开。

线性判别分析（LDA，Linear Discriminant Analysis）：LDA是一种在分类问题中常用的方法，它通过找到使得类间距离最大化同时类内方差最小化的投影方向来进行分类。

随机森林（Random Forest）：随机森林是一种包含多个决策树的分类器，它的输出类别是由个别树输出的类别的众数而定。

根据这几个模型，导入相应库，定义分类器列表。Python代码如下：

# 导入分类器库
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.ensemble import RandomForestClassifier

# 定义分类器列表
classifiers = [
    ('Logistic Regression', LogisticRegression(max_iter=10000)),
    ('KNN', KNeighborsClassifier(n_neighbors=5)),
    ('SVM', SVC(probability=True)),
    ('LDA', LinearDiscriminantAnalysis()),
    ('Random Forest', RandomForestClassifier(n_estimators=100))
]

4.3 训练模型

为了训练模型并得到相应的评估值，我进行了下述操作。Python代码如下。

初始化结果字典：
results：用于存储每个分类器的相关信息，如分类器对象、ROC AUC 分数和 PR AUC 分数。
roc_auc_scores：用于存储每个分类器的 ROC AUC 分数。
pr_auc_scores：用于存储每个分类器的 PR AUC 分数。
roc_curves：用于存储每个分类器的 ROC 曲线数据（假正率 fpr 和真正率 tpr）。
pr_curves：用于存储每个分类器的 PR 曲线数据（召回率 recall 和精确率 precision）。

定义 train_and_evaluate 函数：
这个函数用于训练一个分类器，并在测试集上评估其性能。
输入参数包括分类器对象、训练集特征 X_train、训练集标签 y_train、测试集特征 X_test 和测试集标签 y_test。
使用 classifier.fit 方法训练分类器。
使用 classifier.predict_proba 方法获取测试集上的预测概率，并取第二列（索引为 1）作为正类的预测概率。
计算 ROC 曲线和 AUC 分数。
计算 PR 曲线和 AUC 分数。
返回 ROC AUC、PR AUC、ROC 曲线数据和 PR 曲线数据。

循环遍历每个分类器：
classifiers 是一个元组的列表，其中每个元组包含分类器的名称和分类器对象。
对于每个分类器，调用 train_and_evaluate 函数进行训练和评估。
将得到的 ROC AUC 和 PR AUC 分数分别存储到 roc_auc_scores 和 pr_auc_scores 字典中。
将得到的 ROC 曲线和 PR 曲线数据分别存储到 roc_curves 和 pr_curves 字典中。
将分类器对象、ROC AUC 分数和 PR AUC 分数存储到 results 字典中，以分类器的名称作为键。

# 导入相应库
from sklearn.metrics import roc_curve, auc, precision_recall_curve

# 初始化结果字典
results = {}
roc_auc_scores = {}
pr_auc_scores = {}
roc_curves = {}
pr_curves = {}

# 训练并评估每个分类器
def train_and_evaluate(classifier, X_train, y_train, X_test, y_test):
    classifier.fit(X_train, y_train)
    y_score = classifier.predict_proba(X_test)[:, 1]
    fpr, tpr, _ = roc_curve(y_test, y_score)
    roc_auc = auc(fpr, tpr)
    precision, recall, _ = precision_recall_curve(y_test, y_score)
    pr_auc = auc(recall[::-1], precision[::-1])  # 反转 recall 数组
    return roc_auc, pr_auc, fpr, tpr, precision, recall

# 循环遍历每个分类器
for name, classifier in classifiers:
    roc_auc, pr_auc, fpr, tpr, precision, recall = train_and_evaluate(classifier, X_train, y_train, X_test, y_test)
    roc_auc_scores[name] = roc_auc
    pr_auc_scores[name] = pr_auc
    roc_curves[name] = (fpr, tpr)
    pr_curves[name] = (recall, precision)
    results[name] = {'classifier': classifier, 'roc_auc': roc_auc, 'pr_auc': pr_auc}

4.4 绘制ROC曲线和PR曲线

将所有的性能指标和曲线数据收集完成后，就可以绘制相应的ROC曲线和PR曲线。在绘制ROC曲线和PR曲线时，我们需要使用模型的预测概率或得分作为阈值，计算不同阈值下的真正例率、假正例率、召回率和精确率。然后，我们可以使用绘图库（如matplotlib）将这些点连接起来，形成曲线。

# 导入库
import matplotlib.pyplot as plt

# 绘制ROC曲线
plt.figure(figsize=(10, 6))
colors = ['b', 'g', 'r', 'c', 'm']
for i, (name, color) in enumerate(zip(classifiers, colors)):
    classifier_name, _ = name
    fpr, tpr = roc_curves[classifier_name]
    plt.plot(fpr, tpr, color=color, label=f'{classifier_name} (ROC AUC = {roc_auc_scores[classifier_name]:.2f})')

plt.plot([0, 1], [0, 1], 'k--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curves')
plt.legend(loc="lower right")
plt.show()

# 绘制PR曲线
plt.figure(figsize=(10, 6))
for i, (name, color) in enumerate(zip(classifiers, colors)):
    classifier_name, _ = name
    recall, precision = pr_curves[classifier_name]
    plt.plot(recall, precision, color=color, label=f'{classifier_name} (PR AUC = {pr_auc_scores[classifier_name]:.2f})')

plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curves')
plt.legend(loc="lower left")
plt.show()

五、结果分析

5.1 执行结果图

5.2 分析与结论

1.代码执行后，会得到每个分类器在测试集上的ROC AUC和PR AUC分数，这些分数是评估分类器性能的重要指标。

2.ROC曲线和PR曲线会直观地展示每个分类器的性能。通过比较不同分类器的曲线，可以得出哪个分类器在整体上表现更好。

3.ROC AUC分数越接近1，说明分类器的性能越好，能够准确地将正例和负例分开。

4.PR AUC分数同样越接近1越好，它特别关注正例的预测准确率。

5.两次实验不同结果图，是由于我改变了各个分类器的参数值，可以发现，不同的分类器根据不同参数会对AUC值产生影响，为了提高模型的准确率，我们要在避免过拟合的情况下，提高AUC的值。

六、思考

本博客介绍了常见的分类模型评估指标和ROC曲线、PR曲线的概念与差异，并通过绘制不同模型方法的ROC曲线和PR曲线进行了性能比较。这些评估工具和方法帮助我更全面地了解模型的性能特点，为模型的调优和选择提供了有力支持。在未来的学习和实践中，我将继续探索更多评估方法和工具，以不断提升分类模型的性能和应用效果。