对抗学习与协作标签质量评估

### 对抗学习与协作标签质量评估 在数据挖掘和机器学习领域，对抗学习和协作标签质量评估是两个重要的研究方向。对抗学习旨在解决存在不同类型对手时数据挖掘应用面临的挑战，而协作标签质量评估则关注如何有效评估协作标签系统中标签的质量。 #### 对抗学习作为Stackelberg博弈 在对抗学习中，现有的技术主要集中于学习一个针对单一类型对手的鲁棒学习模型。而这里提出了一个嵌套的Stackelberg博弈框架，其中下层学习者为对抗性数据转换提供鲁棒解决方案，上层学习者则进行单领导者多追随者博弈，并寻找最优的混合策略。 ##### 人工数据集实验 为了测试学习框架，生成了两个人工数据集。每个数据集使用双变量正态分布生成，具有指定的两类均值和协方差矩阵。第一个数据集的正数据和负数据明显分离，第二个数据集则大部分融合。训练数据和测试数据分开生成，在测试数据中模拟对抗攻击。 - 当 $p = 0.1$ 时，对手有10%的机会修改测试集中的负数据；当 $p = 0.5$ 时，对手可以在一半的时间内修改负数据，而正数据总是被修改。 - 所有人工数据的结果是在10次随机运行中取平均值。观察结果如下： 1. 均衡预测器的预测误差与不变SVM和标准SVM方法相似。 2. 当攻击适中或激进时，$SVM^*1$ 如预期地优于 $SVM^*2$，并且 $SVM^*1$ 和 $SVM^*2$ 都优于均衡预测器、不变SVM和标准SVM。 3. 混合策略介于最佳和最差预测器之间，但在所有情况下都与最佳结果保持一致。 以下是人工数据集上各分类器和混合策略的错误率表格： | Dataset I | p = 0.1 | | | | | p = 0.5 | | | | | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | | fa = 0.1 | fa = 0.3 | fa = 0.5 | fa = 0.7 | fa = 0.9 | fa = 0.1 | fa = 0.3 | fa = 0.5 | fa = 0.7 | fa = 0.9 | | Stackelberg Equi*1 | 0.0250 ± 0.0088 | 0.1560 ± 0.1109 | 0.3195 ± 0.0962 | 0.4460 ± 0.0222 | 0.5190 ± 0.0126 | 0.0350 ± 0.0151* | 0.1520 ± 0.0643 | 0.3905 ± 0.0480 | 0.5805 ± 0.0472 | 0.6905 ± 0.0682 | | SVM*1 | 0.0305 ± 0.0140 | 0.0815 ± 0.0266* | 0.2055 ± 0.1504* | 0.3005 ± 0.0370* | 0.4650 ± 0.0373* | 0.0915 ± 0.0176 | 0.1515 ± 0.0297 | 0.3055 ± 0.0370* | 0.4815 ± 0.0316* | 0.6150 ± 0.0361* | | Equi*2 | 0.0250 ± 0.0088 | 0.1560 ± 0.1109 | 0.3195 ± 0.0962 | 0.4460 ± 0.0222 | 0.5190 ± 0.0126 | 0.0350 ± 0.0151* | 0.1520 ± 0.0643 | 0.3905 ± 0.0480 | 0.5805 ± 0.0472 | 0.6905 ± 0.0682 | | SVM*2 | 0.0160 ± 0.0077* | 0.1165 ± 0.0884 | 0.2735 ± 0.1204 | 0.3865 ± 0.0286 | 0.5045 ± 0.0117 | 0.0385 ± 0.0147 | 0.1365 ± 0.0385* | 0.3725 ± 0.0505 | 0.5520 ± 0.0348 | 0.6805 ± 0.0652 | | Mixed | 0.0273 ± 0.0149 | 0.0845 ± 0.0272 | 0.2132 ± 0.1500 | 0.3563 ± 0.0655 | 0.4860 ± 0.0341 | 0.0631 ± 0.0328 | 0.1429 ± 0.0243 | 0.3264 ± 0.0430 | 0.5042 ± 0.0478 | 0.6367 ± 0.0588 | | Invariant SVM | 0.0255 ± 0.0086 | 0.1560 ± 0.1122 | 0.3195 ± 0.0962 | 0.4455 ± 0.0224 | 0.5190 ± 0.0126 | 0.0355 ± 0.0157 | 0.1530 ± 0.0656 | 0.3910 ± 0.0482 | 0.5810 ± 0.0478 | 0.6900 ± 0.0680 | | SVM | 0.0265 ± 0.0067 | 0.1595 ± 0.1207 | 0.3280 ± 0.0952 | 0.4360 ± 0.0313 | 0.5205 ± 0.0140 | 0.0370 ± 0.0151 | 0.1545 ± 0.0724 | 0.3955 ± 0.0474 | 0.5770 ± 0.0458 | 0.6845 ± 0.0669 | | Dataset II | p = 0.1 | | | | | p = 0.5 | | | | | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | | fa = 0.1 | fa = 0.3 | fa = 0.5 | fa = 0.7 | fa = 0.9 | fa = 0.1 | fa = 0.3 | fa = 0.5 | fa = 0.7 | fa = 0.9 | | Stackelberg Equi*1 | 0.1895 ± 0.0273 | 0.3050 ± 0.1146 | 0.3570 ± 0.0747 | 0.4300 ± 0.0255 | 0.5020 ± 0.0385 | 0.2000 ± 0.0350 | 0.2985 ± 0.0232 | 0.4065 ± 0.0207 | 0.5340 ± 0.0181 | 0.6190 ± 0.0357 | | SVM*1 | 0.1955 ± 0.0231 | 0.2920 ± 0.1232 | 0.3465 ± 0.1232 | 0.3985 ± 0.0342* | 0.5090 ± 0.0731 | 0.2140 ± 0.0422 | 0.2955 ± 0.0201 | 0.3940 ± 0.0094* | 0.5240 ± 0.0459* | 0.60