Enhancing the Transferability of Adversarial Attacks through Variance Runing-CSDN博客

本文链接：https://blog.csdn.net/qq_32925101/article/details/119697960

该研究关注于提升对抗攻击的迁移性，尤其是针对黑盒攻击。通过引入一种名为Variance Tuning的新方法，该方法在梯度更新过程中考虑了历史梯度的方差，以稳定参数更新并避免局部最优。相比于传统的FGSM、I-FGSM、MI-FGSM和NI-FGSM等方法，Variance Tuning在提高攻击效果和迁移性方面表现出优势。实验表明，这种方法可以与数据增广技术如DIM、TIM和SIM等结合，进一步提升攻击性能，尤其是在攻击集成模型和防御模型时。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Enhancing the Transferability of Adversarial Attacks through Variance Tuning

CVPR2021
大类属于使用新的数据增广技术提高对抗样本的攻击迁移性，属于黑盒攻击。

Abstract:白盒攻击效果已经很好了，但是黑盒（迁移）攻击效果仍不能达到满意的效果。本文引入一种新的方法——Variance Tuning，来提高基于梯度迭代攻击方法类的攻击效果，并提高其攻击迁移性。具体地，在使用梯度更新参数的时候，并不是使用当前梯度来进行动量累积，而是使用之前迭代步的梯度信息来对当前梯度进行调整修正，以使得参数更新稳定，并尽可能拜托局部最优。

似乎归根结底，还是要提高模型的泛化性？

1. Introduction

为了提高对抗样本的攻击迁移性，常用的手段有：

生成对抗样本时使用更加先进的梯度计算方法，例如Momentum、Nesterov’s accelerated gradient；
attacking multiple models（集成攻击）
采用数据增广技术对输入数据进行变换

这一点划分和Improving the Transferability of Adversarial Samples with Adversarial Transformations中2.1节内容是一致的。

不过本文采用的是使用更加先进的梯度方法提高攻击迁移性，而这篇文章采用的是数据增广技术。

与之前直接使用梯度方向或使用基于“动量矩”累积进行梯度修正方法不同，本文不仅使用当前梯度信息，而且还使用了之前的梯度方差来修正当前梯度。本方法的关键是使得梯度方差降低，进而使得参数更新更加稳定，并尽可能局部最优点。

2. Related Work

2.1 Adversarial Attacks

2.1.1 Gradient-based attacks

使用先进梯度计算方法提高对抗样本攻击迁移性类。

FGSM

I-FGSM

MI-FGSM（Momentum Iterative FGSM）

将动量矩结合I-FGSM，可提高对抗样本的攻击迁移性。

NI-FGSM（Nesterov Iterative FGSM），采用Nesterov‘s accelerated gradient来进一步提高攻击迁移性。将上式中的 $x_t^{adv}$ 替换为 $x_t^{adv}+\alpha \cdot \mu \cdot g_t$ ，即进一步对梯度信息进行修正。

NI-FGSM与MI-FGSM相比，不仅在更新梯度的时候范式有了变换，而且在更新参数 $\theta$ 的时候也有改进。

原始的Nesterov Accelerated Gradient（NAG）范式为：

即将其中的训练参数 $\theta$ 进一步改进。

在Improving Transferability of Adversarial Examples with Input Diversity(DIM)中，对提出的DIM有以下划分：

2.1.2 Input Transformations

使用数据变换（Input Transformations）/数据增广类方法提高对抗样本攻击迁移性类。

数据/模型增强效果等同于集成模型？？Inputs Transformations类方法都是通过增加数据的多样性来提高模型/对抗样本的泛化能力。

Diverse Input Method（DIM），通过对输入数据进行随机调整大小和padding进行数据增广，提高数据多样性，提高对抗样本攻击迁移性；Improving Transferability of Adversarial Examples with Input Diversity(DIM)

Translation-Invariant Method（TIM）.不是对单张图片计算梯度，而是对单张图片进行一系列变换后在计算梯度，对有防御的模型攻击效果较好。
Scale-Invariant Method（SIM）.在NI-FGSM文章中一并提出，利用图像缩放不变性，通过同时计算单张图片多次缩放的梯度来近似最终梯度。

其中： $S_i(x) = x/2^i$

基于input transformation的方法和基于梯度的方法并不是正交的，二者可以一起结合使用。

本文提出的variance tuning方法旨在提高基于梯度攻击方法（MI-FGSM、NI-FGSM）的攻击迁移性。

2.1.1和2.1.2涉及内容的先后问题：

分两行：

$\rightarrow I-FGSM(BIM) \rightarrow MI-FGSM \rightarrow NI-FGSM \\ \\ DIM\rightarrow TIM \rightarrow SIM$

混合一起：

$\rightarrow I-FGSM(BIM) \rightarrow MI-FGSM \rightarrow DIM\rightarrow TIM \rightarrow NI-FGSM$

即NI-FGSM虽然是输入FGSM梯度类方法，但是继承了DIM和TIM。

2.2 Adversarial Defenses

对抗训练
集成对抗训练（ensemble adversarial training），将多个模型的扰动用来训练模型
其它对输入数据去噪的方法。

3. Methodology

3.1 Motivation

在NI-FGSM（Nesterov Iterative FGSM）中，作者将对抗样本的生成视作一个标准神经网络训练过程，将输入 $x$ 作为训练参数，被攻击模型视为训练集。因此为了提高对抗样本可迁移性，此时相当于提高正常训练模型的泛化性。所以目前提高可迁移性的方法一般集中在训练优化算法的改进和数据增广上。

本文将基于梯度迭代的对抗攻击视作SGD的一个过程，每次迭代攻击者总是选择目标模型进行更新。

但是SGD存在方差大的问题，会导致收敛慢，为了解决这个问题，提出了一系列加速收敛的方法，都是利用训练过程中的部分信息来减小方差。

基于此，本文提出通过降低训练过程中的梯度方差（梯度方差修正技术）实现对抗样本的攻击迁移性提高。

3.2 Variance Tuning Gradient-based Attacks

之前的优化方法，例如FGSM、I-FGSM，往往是一种最贪婪策略，即在某个方向上走一大步，但是这样会造成陷入局部极小值点，并造成过拟合现象。改进方法包括MI-FGSM和NI-FGSM等，分别引入动量矩和Nesterov梯度加速策略。

但是这些策略都是即利用了当前的梯度信息，或者说对抗样本更新时：
$x_0^{adv}=x,x_1^{adv},...,x_{t-1}^{adv},x_T^{adv}=x^{adv}$
为了进一步提高对抗样本的攻击迁移性，尝试利用更对先前的样本点。

定义1-梯度方差
$V_{\epsilon^{\prime}}^{g}(x)=\mathbb{E}_{\left\|x^{\prime}-x\right\|_{p}<\epsilon^{\prime}}\left[\nabla_{x^{\prime}} J\left(x^{\prime}, y ; \theta\right)\right]-\nabla_{x} J(x, y ; \theta)$

一般地，因为 $\mathbb{E}_{\left\|x^{\prime}-x\right\|_{p}<\epsilon^{\prime}}\left[\nabla_{x^{\prime}} J\left(x^{\prime}, y ; \theta\right)\right]$ 不能直接计算，所以采用离散的方式（类似于蒙特卡洛）：

上式变换为：
$V(x)=\frac{1}{N} \sum^N_{i=1}\nabla_{x^i}J(x^i,y;,\theta)-\nabla_x J(x,y;\theta)$
其中 $x^i = x+r_i, r_i \sim U[-(\beta\cdot \epsilon)^d,(\beta\cdot \epsilon)^d]$ ，表示均匀分布。

将variance tuning方法结合MI-FGSM：

其中红框内计算式为MI-FGSM原有内容，只是引入了第6行，更新了计算式（5）.

3.3 Relationships among Various Attacks


本文对不同方法间联系的梳理	DIM中的梳理

如果 $\beta = 0$ ，则没有本文variance tuning的影响，则方法退化为MI-FGSM；
再消除衰减因子 $\mu$ 的影响，则又退化为基本的I-FGSM；
迭代次数为1，退化为FGSM。

右边是将数据增广方法结合优化方法发展的算法。

4. Experiments

4.1 Experimental Setup

**Dataset.**从ILSVTC 2012中随机挑选了1000张图片，分属于不同的类别，且基本能被待攻击模型识别准确。

**Models. **在ImageNet上标准训练的模型，Inception v3(Inc-v3)、Inception v4(Inc-v4)、Inception-Resnet-v2(IncRes-v2)、Resnet-v2-101(Res-101)。另外三个带防御的对抗训练得到的模型： $Inc-v3_{ens3}$ 、 $Inc-v3_{ens4}$ 、 $IncRes-v2_{ens}$ . 共7个。