对抗样本（对抗攻击）入门

什么是对抗样本？

从2013年开始，深度学习模型在多种应用上已经能达到甚至超过人类水平，比如人脸识别，物体识别，手写文字识别等等。 在之前，机器在这些项目的准确率很低，如果机器识别出错了，没人会觉得奇怪。但是现在，深度学习算法的效果好了起来，去研究算法犯的那些不寻常的错误变得有价值起来。其中一种错误叫对抗样本（adversarial examples）。

对抗样本（Adversarial examples）是指为了发现某些不被人们注意的特征而使最大化模型的损失函数，从而在数据集中通过故意添加细微的干扰（往往是人类肉眼所无法察觉的干扰）所形成的输入样本，会导致模型以高置信度给出一个错误的输出。

在图像识别中，可以理解为原来被一个卷积神经网络（CNN）分类为一个类（比如“熊猫”）的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成另一个类（比如“长臂猿”）。

对抗样本存在的普遍性

上图表明，在不同的 ϵ 下，可以看到FGSM可以在一维的连续子空间内产生对抗样本，而不是特定的区域。

体现在

（1）对抗样本普遍存在于各种神经网络模型

（2）同样的对抗样本集会对由不同网络训练出的模型造成干扰

（3）也会对由不同数据集相同网络训练出的模型造成干扰。

出现这种普遍性的原因在于：

不论是以什么数据集和神经网络训练出的分类器都具有泛化能力，所以分类器可以在训练集的不同子集上训练出大致相同的分类权重。底层分类权