论文阅读 - Causally Regularized Learning with Agnostic Data Selection

原创

已于 2024-11-15 10:03:15 修改 · 1.2k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读

于 2024-11-15 10:00:07 首次发布

代码链接： GitHub - HMTTT/CRLR: CRLR尝试实现

https://arxiv.org/pdf/1708.06656v2

摘要

INTRODUCTION

3.1 Problem Formulation

3.2 Confounder Balancing

3.3 Causally Regularized Logistic Regression

3.4 Optimization

3.5 Complexity Analysis

4 EXPERIMENTS0

4.2 Baselines

4.3 Experiments on Synthetic Data

4.4 Experiments on YFCC100M Dataset

摘要

之前的大部分机器学习算法都是基于 i.i.d 提出的。假设。然而，这种理想的假设在实际应用中经常被违反，其中训练和测试过程之间可能会出现选择偏差。此外，在许多场景中，测试数据在训练过程中甚至不可用，这使得迁移学习等传统方法由于需要测试分布的先验而变得不可行。因此，如何解决鲁棒模型学习的不可知选择偏差对于学术研究和实际应用都至关重要。

本文在假设变量间的因果关系在不同领域间具有稳健性的前提下，将因果技术融入预测建模中，通过联合优化全局混杂因素平衡和加权逻辑回归，提出了一种新颖的因果正则化逻辑回归（CRLR）算法。

全局混杂因素平衡有助于识别因果特征，这些特征对结果的因果影响在不同领域是稳定的，然后对这些因果特征进行逻辑回归，从而构建一个稳健的预测模型，避免不可知论偏差。

为了验证 CRLR 算法的有效性，在合成数据集和真实数据集上进行了全面实验。实验结果清楚地表明，CRLR 算法优于最先进的方法，并且方法的可解释性可以通过特征可视化来充分描述。

INTRODUCTION

传统机器学习中的一个常见假设是，测试数据与训练数据独立地来自同一分布（即 i.i.d 假设）。这样，从训练数据中学到的模型就可以直接用于对测试数据进行经验误差最小的预测。违反 i.i.d. 假设所带来的危险和风险在传统的机器学习方法中往往被忽视，尽管这些方法在许多棘手的任务中取得了显著的成功，如图像分类、语音识别、物体定位等。然而，在许多实际应用中，无法完全控制数据收集过程，因此选择偏差可能会导致违反 i.i.d. 假设。

此外，在大多数情况下，测试数据在训练过程中是不可见的，因此测试数据的选择偏差变得不可知。因此，如果不考虑不可知的数据选择偏差，现有的预测模型在不同偏差的数据上就会缺乏鲁棒性，其预测结果也可能不可靠。

如图 1 所示，识别狗的分类器主要通过狗在草地上的图像进行训练，而通过狗在草地上的图像进行测试（即 i.i.d.情况下）和另一张雪地里有一只狗的图像（即非 i.i.d.情况下）。基于相关性的方法在 i.i.d. 案例中取得了成功，但在非 i.i.d. 案例中却失败了。失败的主要原因是，由于草地特征与训练集中的标签高度相关，因此在分类器中被赋予了较高的权重，但它们并没有出现在测试图像中。