机器学习（四）ROC 和 AUC

已于 2022-01-30 16:53:54 修改
阅读量1.7k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 分类 机器学习 人工智能
于 2022-01-30 16:50:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21484787/article/details/122754018
本文详细介绍了ROC曲线和AUC指标的基本概念及其计算方法。通过具体案例解释了ROC曲线的构成要素TPR和FPR，以及AUC作为评估二分类模型性能的重要指标的意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ROC 和 AUC

AUC是一种模型分类指标，且仅仅是二分类模型的评价指标。AUC是Area Under Curve的简称，那么Curve就是ROC（Receiver Operating Characteristic），翻译为"接受者操作特性曲线"。

ROC

曲线由两个变量TPR和FPR组成，这个组合以FPR对TPR，即是以代价(costs)对收益(benefits)。

  • x轴为假阳性率（FPR）：在所有的负样本中，分类器预测错误的比例

    FPR=FPFP+TNFPR = \frac {FP}{FP+TN}FPR=FP+TNFP​

  • y轴为真阳性率（TPR）：在所有的正样本中，分类器预测正确的比例（等于Recall）

    TPR=TPTP+FNTPR = \frac {TP}{TP+FN}TPR=TP+FNTP​

为了更好地理解ROC曲线，我们使用具体的实例来说明：

如在医学诊断中,判断有病的样本。那么尽量把有病的揪出来是主要任务，也就是指标TPR，要越高越好。而把没病的样本误诊为有病的，也就是指标FPR，要越低越好。

不难发现,这两个指标之间是相互制约的。如果某个医生对于有病的症状比较敏感，稍微的小症状都判断为有病,那么他的tpr指标应该会很高，但是fpr指标也就相应地变高。最极端的情况下,他把所有的样本都看做有病,那么tpr达到1,fpr指标也为1。

我们以FPR为横轴,TPR为纵轴,得到如下ROC空间。

undefined

我们可以看出，左上角的点(FPR=0,TPR=1)，为完美分类，也就是这个医生医术高明，诊断全对。点A(TPR>FPR),医生A的判断大体是正确的。中线上的点B(TPR=FPR),也就是医生B全都是蒙的，蒙对一半，蒙错一半；下半平面的点C(TPR<FPR)，这个医生说你有病，那么你很可能没有病，医生C的话我们要反着听，为真庸医。**上图中一个阈值，得到一个点。现在我们需要一个独立于阈值的评价指标来衡量这个医生的医术如何，也就是遍历所有的阈值,得到ROC曲线。**曲线距离左上角越近,证明分类器效果越好

AUC

AUC定义：

AUC值为ROC曲线所覆盖的区域面积，显然，AUC越大，分类器分类效果越好。

AUC的物理意义

AUC的物理意义正样本的预测结果大于负样本的预测结果的概率。所以AUC反应的是分类器对样本的排序能力。

另外值得注意的是，AUC对样本类别是否均衡并不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。

下面从一个小例子解释AUC的含义：小明一家四口，小明5岁，姐姐10岁，爸爸35岁，妈妈33岁建立一个逻辑回归分类器，来预测小明家人为成年人概率，假设分类器已经对小明的家人做过预测，得到每个人为成人的概率。

例子中并不关注小明是不是成人，而关注的是，预测为成人的概率的排序。

**问题①：**以下为三种模型的输出结果，求三种模型的AUC。

小明姐姐妈妈爸爸
a0.120.350.760.85
b0.120.350.440.49
c0.520.650.760.85

AUC只与概率的相对大小（概率排序）有关，和绝对大小没关系。由于三个模型概率排序的前两位都是未成年人（小明，姐姐），后两位都是成年人（妈妈，爸爸），因此三个模型的AUC都等于1。

AUC只关注正负样本之间的排序，并不关心正样本内部，或者负样本内部的排序。这也体现了AUC的本质：任意个正样本的概率都大于负样本的概率的能力

例子中AUC只需要保证（小明和姐姐）（爸爸和妈妈），小明和姐姐在前2个排序，爸爸和妈妈在后2个排序，而不会考虑小明和姐姐谁在前，或者爸爸和妈妈谁在前。

**问题②：**以下已经对分类器输出概率从小到大进行了排列，哪些情况的AUC等于1， 哪些情况的AUC为0（其中背景色表示True value，红色表示成年人，蓝色表示未成年人）。

undefined

D 模型, E模型和F模型的AUC值为1，C模型的AUC值为0

AUC的计算：

  • 法1：AUC为ROC曲线下的面积，那我们直接计算面积可得。面积为一个个小的梯形面积（曲线）之和。计算的精度与阈值的精度有关。

  • 法2：根据AUC的物理意义，我们计算正样本预测结果大于负样本预测结果的概率。取n1*n0(n1为正样本数，n0为负样本数)个二元组，比较score（预测结果），最后得到AUC。时间复杂度为O(N*M)。

  • 法3：我们首先把所有样本按照score排序，依次用rank表示他们，如最大score的样本，rank=n (n=n0+n1，其中n0为负样本个数，n1为正样本个数)，其次为n-1。那么对于正样本中rank最大的样本，rank_max，有n1-1个其他正样本比他score小,那么就有(rank_max-1)-(n1-1)个负样本比他score小。其次为(rank_second-1)-(n1-2)。最后我们得到正样本大于负样本的概率为
    AUC=∑正样本rank(score)−n1∗(n1+1)2n0∗n1 AUC=\frac{\sum_{正样本}{rank(score)}-\frac{{n_1}*({n_1}+1)}{2}}{n_0*n_1} AUC=n0​∗n1​∑正样本​rank(score)−2n1​∗(n1​+1)​​

下面说明如何利用ROC曲线下的面积求解AUC。

image-20210906193345763

  • 阈值取值的含义：

比如阈值取0.9，即将模型输出概率大于等于0.9的样本预测为正例，将模型输出概率小于0.9的样本预测为负例

  • 阈值不同取值与真正例率(TPR)和假正例率(FPR)的关系：

阈值取1，真正例率(正样本预测正确)：0(因为爸爸、妈妈都预测错误了)，假正例率(负样本预测错误)：0(小明和姐姐都没有预测错误)

阈值取0.9，即将大于0.9的概率预测为正例，小于 0.9的概率预测为负例，所以真正例率(正样本预测正确)：50%(爸爸预测正确，妈妈预测错误),假正例率(负样本预测错误)：0

阈值取0.75，真正例率：50%(爸爸预测正确，妈妈预测错误),假正例率：50%(小明预测正确，姐姐预测错误)

阈值取0.36，真正例率：1(爸爸、妈妈都预测正确)，假正例率：50%(小明预测正确，姐姐预测错误)

阈值取0.18，真正例率：1(爸爸、妈妈都预测正确)，假正例率：1(小明和姐姐都预测错误)

阈值取0，真正例率：1(爸爸、妈妈都预测正确)，假正例率：1(小明和姐姐都预测错误)

经过观察，发现ROC曲线下的面积AUC值为0.5；

undefined

下面有一个简单的例子说明如何利用方法三求解AUC：

  • 真实标签为 (1, 0, 0, 1, 0)

  • 预测结果1（0.9, 0.3, 0.2, 0.7, 0.5）

  • 预测结果2（0.9, 0.3, 0.2, 0.7, 0.8）)

  • 分别对两个预测结果进行排序，并提取他们的序号

    • 结果1 (5, 2, 1, 4, 3)
    • 结果2 (5, 2, 1, 3, 4)

  • 对正分类序号累加

    • 结果1：∑正样本RANK(score)=5+4=9\sum_{正样本}{RANK(score)}=5+4=9∑正样本​RANK(score)=5+4=9
    • 结果2: ∑正样本RANK(score)=5+3=8\sum_{正样本}{RANK(score)}=5+3=8∑正样本​RANK(score)=5+3=8

  • 计算两个结果的AUC:

    • 结果1：AUC=9−2∗(2+1)22∗3=1AUC = \frac{9-\frac{{2}*({2}+1)}{2}}{2*3}=1AUC=2∗39−22∗(2+1)​​=1
    • 结果2：AUC=8−2∗(2+1)22∗3=0.833AUC = \frac{8-\frac{{2}*({2}+1)}{2}}{2*3}=0.833AUC=2∗38−22∗(2+1)​​=0.833
机器学习中的模型评估：ROC曲线与AUC值的深度解析
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
03-20 2015
在机器学习项目中，评估模型的性能是确保模型有效性和可靠性的关键步骤。ROC曲线（Receiver Operating Characteristic Curve）和AUC值（Area Under Curve）是评估分类模型性能的重要工具，尤其是在处理不平衡数据集时。ROC曲线展示了模型在不同阈值下的真正例率（TPR）和假正例率（FPR），而AUC值则表示ROC曲线下的面积，用于衡量模型的整体性能。本文将从ROC曲线和AUC值的基本概念出发，通过一个完整的代码示例带你入门，并探讨其应用场景和注意事项。
【机器学习】了解 AUC - ROC 曲线
热门推荐
gongdiwudu的专栏
07-16 3万+
在机器学习中，性能测量是一项基本任务。因此，当涉及到分类问题时，我们可以依靠AUC - ROC曲线。
【机器学习】ROC曲线
慢热型网友的博客
09-22 2356
接受者操作特性曲线（receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。在二战期间，雷达系统被广泛应用于检测敌方飞机。为了优化雷达系统的性能，研究人员需要找到一种评估雷达系统的性能的方法。他们引入了信号检测理论中的TPR（真阳性率）和FPR（假阳性率）的概念。TPR表示在所有实际存在目标的情况下，系统正确检测到目标的比例。FPR则表示在所有实际不存在目标的情况下，系统错误地报告目标存在的比例。
【机器学习】AUC和ROC
屎蛋的铲屎官
09-19 1039
首先我们来看混淆矩阵: 然后，由此引出True Positive Rate（真阳率）、False Positive（伪阳率）两个概念： TPRate的意义是所有真实类别为1的样本中，预测类别为1的比例 FPRate的意义是所有真实类别为0的样本中，预测类别为1的比例 ROC ROC曲线的横轴是FPRate，纵轴是TPRate 当X=Y时，分类器的预测能力为0，也就是和抛硬币没区别，此时AUC为0.5 但是我们希望对一个类别为1的样本，TPRate > FPRate，知识后，我们希望AUC>
AUC-ROC
最新发布
m0_69648014的博客
06-05 279
AUC-ROC是评估二分类模型性能的核心指标，通过ROC曲线下的面积衡量模型区分正负样本的能力。ROC曲线以真阳性率（TPR）和假阳性率（FPR）为坐标轴，AUC值越接近1表示模型性能越好。计算时可通过调整分类阈值绘制曲线，常用sklearn库实现。AUC=0.5为随机猜测，0.5-1之间表示有区分能力。相比准确率，AUC-ROC对类别不平衡更鲁棒，但仅适用于二分类问题。可视化ROC曲线可直观展示模型性能。
机器学习——ROC
读书札记
03-16 4404
一、ROC原理介绍 回到ROC上来， 百度百科对roc的解释如下：ROC曲线指受试者工作特征曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲
机器学习：ROC曲线
m0_72410588的博客
05-07 2352
本篇博客从概念、原理、应用和与AUC值相关的知识点四个方面介绍了ROC曲线的基本知识，并给出了Python实现的示例。尽管ROC曲线不能完全衡量分类器的性能，但是它仍然是一个非常重要的评估指标，可以帮助我们选择更好的分类器模型，提高机器学习的效果和准确率。
机器学习--ROC，AUC
weixin_46361294的博客
04-07 2491
ROC曲线的意义 （1）ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响 （2）有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的准确性就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少 （3）可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高 该方法简单、直观、通过图示可观察分析学习器的准确性，并可用肉眼作出判断。ROC曲线将真正例率和假正例率以图示方法结合在一起，可准确反映某种.
一文彻底理解机器学习 ROC-AUC 指标
sdgfafg_25的博客
06-12 2万+
ROC 曲线，即接收者操作特征曲线，ROC曲线产生于第二次世界大战期间，最早用在信号检测领域，侦测战场上的敌军载具（飞机、船舰）。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率（True Positive Rate，简称 TPR）与假阳性率（False Positive Rate，简称 FPR）之间的权衡来帮助我们理解模型的分类能力。AUC，即曲线下面积（Area Under Curve），是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标，用来衡量分类模型的整体表现。
机器学习-ROC曲线​​ 和 ​​AUC指标
weixin_48093379的博客
06-01 1075
​：医生应该设置一个阈值（比如0.6），把概率≥0.6的病人判定为“患病”，否则“健康”。ROC（Receiver Operating Characteristic，受试者工作特征曲线）是用来评估​。AUC（Area Under Curve，曲线下面积）是ROC曲线下的面积，范围在​。​：曲线越靠近左上角（TPR高，FPR低），模型越好。医生（模型）对每个病人给出一个​。​（比如“患病”或“健康”）。假设我们有10个病人，其中​。​的一种方法，特别是针对​。​（0~1之间的值）。​，计算不同阈值下的​。
机器学习中ROC曲线和AUC评估指标
weixin_57038791的博客
11-23 3752
ROC全称是接受者操作特性曲线（receiver operating characteristic curve）。AUC（Area Under the Curve）ROC曲线下的面积，用于衡量“二分类问题”机器学习算法的性能。对此，为了定义ROC曲线，首先我们由混淆矩阵引入“真正例率”（True Positive Rate，简称TPR）和“假正例率”（False Postive Rate，简称FPR）。
机器学习之ROC曲线
荒野雄兵的专栏
12-30 1万+
在机器学习中评价分类模型时经常会用到ROC曲线。 要学习ROC曲线首先得知道什么是TPR，什么是FPR。 TPR的英文全称为：True Positive Rate FPR的英文全称为：False Positive Rate 中文解释为： TPR（真正例率）：真实值是正例，且预测为正例的比例 FPR（假正例率）：真实值为负例，而预测为正例的比例 怎么感觉有些绕口令啊？ OK，看下图： 根据上图图示...
机器学习——ROC曲线、PR曲线
2301_80841566的博客
04-07 1238
1.横轴（召回率，即TPR）表示正样本被正确识别的比例（关注“漏检”问题）2.纵轴（精确率）表示预测为正的样本中实际为正的比例（关注“误检”问题）3.曲线绘制：通过调整分类阈值（如概率阈值），计算不同阈值下的（Recall, Precision）点，连接这些点形成曲线。
【机器学习】ROC曲线和RP曲线（分类算法）
c___ceeee的博客
08-12 3749
1. ROC曲线1. ROC曲线ROC曲线，全称为“接收者操作特性（Receiver Operating Characteristic）”曲线，是一种反映灵敏度和特异度关系的图形工具。在机器学习和统计学中，ROC曲线常用于评估分类模型的性能。其主要特点是展示在不同分类阈值下模型的性能表现。通过调整不同的分类阈值，可以得到不同的假阳性率和真阳性率，这些点在ROC曲线中绘制出来，从而展现出模型的整体性能。AUC值（曲线下面积）则是衡量ROC曲线性能的量化指标。当模型的预测能力更好时，AUC值更高。
机器学习-ROC曲线&AUC
weixin_54025765的博客
05-08 588
ROC曲线有这样一个很好的特性：当测试集中正负样本的分布变化的时候，ROC曲线能够保持不变。 一个关于AUC的很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。这个等价关系的证明在下面给出。而Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score 如何理解呢？ 自己的理解是：观察ROC曲线图，考虑横轴（假正例率）的变换，我们知道ROC曲线的构成原理是每次更新阈值（当然阈值就直接选
【机器学习】ROC曲线以及AUC面积的原理（理论+图解）
CSDN 精品推荐
07-08 1万+
  简 介：下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。   关键词：Python、机器学习 一、什么是ROC曲线   我们通常说的ROC曲线的中文全称叫做接收者操作特征曲线（receiver operating characteristic curve），也被称为感受性曲线。 该曲线有两个维度，横轴为fpr（假正率），纵轴为tpr（真正率） 准确率（accuracy）：（TP+TN）/ ALL..
机器学习笔记——roc曲线
chang的博客
08-22 1082
接受者操作特征曲线（receiver operating characteristic curve, 或者叫ROC曲线）。 1. 基本概念 分类器是将一个实例映射到一个特定类的过程。roc分析的是二元分类模型。 二元分类模型的个案预测有四种结局： 真阳性（TP）：诊断为有，实际上也有病。 伪阳性（FP）：诊断为有，实际上却没有病。 真阴性（TN）：诊断为没有，实际上也没有病。 伪阴性...
机器学习中的ROC曲线
WYXHAHAHA123的博客
03-27 994
ROC曲线是评价分类器的性能好坏的标准。 在逻辑回归分类器中，最终模型预测出来的是一个概率值，表示当前的样本属于正类的概率。设定逻辑回归正类别的threshold即为t，如果逻辑回归模型预测出的概率值大于t，则预测为正类，如果概率值小于t，则预测为负类。 分类问题中的混淆矩阵（以二分类为例） gt\prediction 正类 负类 正类 TP FN 负类 ...
ROC图以及AUC的实现代码
Sasuke
05-01 2317
这篇文章的内容均翻译自这篇文章： ROC Graphs: Notes and Practical Considerations for Researchers Tom Fawcett ([email protected])                给出一个二元分类器和实例，那么就有4种分类结果，True Positive, False Positive, False Ne
python机器学习ROC-AUC
02-17
### Python 中机器学习 ROC 和 AUC 的概念 ROC (Receiver Operating Characteristic) 曲线用于展示不同阈值下分类器的真阳性率(True Positive Rate, TPR)和假阳性率(False Positive Rate, FPR)[^1]。TPR 表示实际为正类的情况下预测为正的概率；FPR 则表示实际为负类却错误地预测为正的比例。 AUC (Area Under the Curve)，即曲线下面积，衡量的是整个二分类模型的好坏程度。理想的分类器其 AUC 值接近于 1，意味着具有完美的区分能力；而当 AUC 接近 0.5，则表明该分类器几乎不具备任何判别力[^2]。 ### 计算方法与实现方式 为了计算并绘制 ROC 及 AUC，在 Python 中通常会借助 `scikit-learn` 库中的函数来完成这一过程： #### 导入必要的库 ```python import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.preprocessing import label_binarize from sklearn.multiclass import OneVsRestClassifier from sklearn.metrics import roc_curve, auc from sklearn.ensemble import RandomForestClassifier import matplotlib.pyplot as plt ``` #### 加载数据集并预处理 这里以鸢尾花(Iris)数据为例说明多类别情况下的操作流程： ```python iris = datasets.load_iris() X = iris.data y = iris.target # 将标签转换成二进制形式 Y = label_binarize(y, classes=[0, 1, 2]) n_classes = Y.shape[1] # 数据分割 X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=.5, random_state=0) ``` #### 构建分类器并训练 采用随机森林作为基础估计器构建 OvR 多标签分类器： ```python classifier = OneVsRestClassifier(RandomForestClassifier(n_estimators=100)) y_score = classifier.fit(X_train, y_train).predict_proba(X_test) ``` #### 绘制 ROC 曲线及计算 AUC 对于每一个类别分别获取对应的 FPR、TPR 并求得各自的 AUC 值： ```python fpr = dict() tpr = dict() roc_auc = dict() for i in range(n_classes): fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i]) roc_auc[i] = auc(fpr[i], tpr[i]) # 宏平均 ROC 曲线及其 AUC all_fpr = np.unique(np.concatenate([fpr[i] for i in range(n_classes)])) mean_tpr = np.zeros_like(all_fpr) for i in range(n_classes): mean_tpr += np.interp(all_fpr, fpr[i], tpr[i]) mean_tpr /= n_classes macro_roc_auc = auc(all_fpr, mean_tpr) plt.figure(figsize=(8, 6), dpi=100) lw = 2 colors = ['aqua', 'darkorange', 'cornflowerblue'] for i, color in zip(range(n_classes), colors): plt.plot(fpr[i], tpr[i], color=color, lw=lw, label='ROC curve of class {0} (area = {1:0.2f})' ''.format(i, roc_auc[i])) plt.plot([0, 1], [0, 1], 'k--', lw=lw) plt.xlim([-0.05, 1.05]) plt.ylim([-0.05, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Some extension of Receiver operating characteristic to multi-class') plt.legend(loc="lower right") plt.show() ``` 上述代码展示了如何针对多分类问题通过宏平均法得到整体表现指标，并给出了具体绘图的方法[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值