竞赛任务与评估指标详解

### 竞赛任务与评估指标详解 在机器学习和数据科学竞赛中，准确评估模型的性能至关重要。不同的评估指标适用于不同的任务和数据特点，下面将详细介绍一些常见的评估指标及其应用。 #### 1. 精度与召回率 要获取精度（Precision）和召回率（Recall）指标，我们从混淆矩阵（Confusion Matrix）开始。混淆矩阵是一个二维表格，用于展示分类模型的预测结果与真实标签之间的关系。其结构如下： | | 预测负类 | 预测正类 | | --- | --- | --- | | 实际负类 | 真负类（TN） | 假正类（FP） | | 实际正类 | 假负类（FN） | 真正类（TP） | 各单元格的定义如下： - **TP（真正类）**：位于左上角单元格，包含被正确预测为正类的样本。 - **FP（假正类）**：位于右上角单元格，包含被预测为正类但实际为负类的样本。 - **FN（假负类）**：位于左下角单元格，包含被预测为负类但实际为正类的样本。 - **TN（真负类）**：位于右下角单元格，包含被正确预测为负类的样本。 利用这些单元格，我们可以更精确地了解分类器的工作方式，并更好地调整模型。首先，精度的计算公式可以很容易地推导出来： $$ Accuracy = \frac{TP + TN}{TP + TN + FP + FN} $$ 精度（或特异性）实际上是正类预测的准确性，计算公式为： $$ Precision = \frac{TP}{TP + FP} $$ 在计算中，只涉及真正类和假正类的数量。本质上，该指标告诉我们在预测正类时的准确程度。模型可以通过只对有高置信度的样本预测为正类来获得高分，其目的是迫使模型仅在确定且安全的情况下预测正类。 如果我们还希望尽可能多地预测出正类样本，那么就需要关注召回率（或覆盖率、灵敏度、真正类率）指标，计算公式为： $$ Recall = \frac{TP}{TP + FN} $$ 这里需要考虑假负类的情况。精度和召回率这两个指标的有趣之处在于，由于它们基于样本分类，而分类实际上基于概率（通常在正类和负类之间以 0.5 为阈值），我们可以通过改变阈值来提高其中一个指标，但会以牺牲另一个指标为代价。例如，提高阈值会增加精度（分类器对预测更有信心）但降低召回率；降低阈值则会降低精度但提高召回率，这就是所谓的精度/召回率权衡。 Scikit - learn 网站提供了关于这种权衡的简单实用概述（[链接](https://scikit-learn.org/stable/auto_examples/model_selection/plot_precision_recall.html)），帮助我们绘制精度/召回率曲线，从而理解如何在这两个指标之间进行权衡以获得更符合需求的结果。 与精度/召回率权衡相关的一个指标是平均精度（Average Precision）。平均精度计算召回率从 0 到 1 时的平均精度（基本上是当阈值从 1 变化到 0 时）。平均精度在目标检测任务中非常流行，在表格数据分类中也很有用。在实践中，当我们想要更精确地监控非常罕见类别的模型性能（当数据极度不平衡时）时，它特别有价值，这在欺诈检测问题中经常出现。 #### 2. F1 分数 使用精度或召回率作为评估指标并非理想选择，因为我们只能优化其中一个指标而牺牲另一个。因此，在 Kaggle 竞赛中，没有只使用这两个指标之一的情况。我们应该将它们结合起来，F1 分数就是一个常用的解决方案，它是精度和召回率的调和平均值，计算公式为： $$ F1 = \frac{2 * Precision * Recall}{Precision + Recall} $$ 如果 F1 分数高，说明模型在精度或召回率或两者上都有所提高。在 Quora 不真诚问题分类竞赛（[链接](https://www.kaggle.com/c/quora-insincere-questions-classification)）中可以找到使用该指标的一个很好的例子。 在一些竞赛中，还会用到 F - beta 分数，它是精度和召回率的加权调和平均值，beta 决定了召回率在综合分数中的权重，计算公式为： $$ F_{\beta} = \frac{(1 + \beta^2) * Precision * Recall}{\beta^2 * Precision + Recall} $$ #### 3. 对数损失和 ROC - AUC ##### 3.1 对数损失（Log Loss） 对数损失在深度学习模型中也被称为交叉熵（Cross - Entropy），它是预测概率与真实概率之间的差异，计算公式为： $$ LogLoss = -\frac{1}{n}\sum_{i = 1}^{n}[y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)] $$ 其中，$n$ 表示样本数量，$y_i$ 是第 $i$ 个样本的真实标签，$\hat{y}_i$ 是模型的预测概率。 如果竞赛使用对数损失作为评估指标，意味着目标是尽可能准确地估计样本属于正类的概率。在很多竞赛中都可以找到对数损失的应用，例如最近的深度伪造检测挑战（[链接](https://www.kaggle.com/c/deepfake-detection-challenge)）或早期的 Quora 问题对竞赛（[链接](https://www.kaggle.com/c/quora-question-pairs)）。 ##### 3.2 ROC 曲线和 ROC - AUC ROC 曲线（Receiver Operating Characteristic Curve）是用于评估二元分类器性能并比较多个分类器的图形图表。它是 ROC - AUC 指标的基础，ROC - AUC 指标就是 ROC 曲线下的面积。 ROC 曲线由真正类率（召回率）与假正类率（被错误分类为正类的负类样本比例）绘制而成，假正类率等同于 1 减去真负类率（被正确分类的负类样本比例）。 理想情况下，一个性能良好的分类器的 ROC 曲线应该在低假正类率下迅速上升到真正类率。ROC - AUC 在 0.9 到 1.0 之间被认为是非常好的。如果 ROC 曲线与图表的对角线非常相似甚至相同，说明分类器表现不佳，ROC - AUC 得分接近 0.5 被认为几乎是随机结果。当比较不同的分类器时，曲线下面积（AUC）越大的分类器性能越好。 当类别平衡或不太不平衡时，AUC 的增加与训练模型的有效性成正比，可以直观地认为是模型为真正类输出更高概率的能力，也可以看作是模型从正类到负类更正确地排序样本的能力。然而，当正类非常罕见时，AUC 初始值较高，其增量在更好地预测罕见类方面可能意义不大，在这种情况下，平均精度是更有用的指标。 #### 4. 马修斯相关系数（MCC） 马修斯相关系数（Matthews Correlation Coefficient，MCC）出现在 VSB 电力线故障检测（[链接](https://www.kaggle.com/c/vsb-power-line-fault-detection)）和博世生产线性能竞赛（[链接](https://www.kaggle.com/c/bosch-production-line-performance)）中，其计算公式为： $$ MCC = \frac{(TP * TN) - (FP * FN)}{\sqrt{(TP + FP) * (TP + FN) * (TN + FP) * (TN + FN)}} $$ 其中，TP 表示真正