2、深度神经网络可扩展和模块化鲁棒性分析

深度神经网络可扩展和模块化鲁棒性分析

1. 块总结的扩展

在深度神经网络分析中，为了获得更紧密的具体边界，我们通常会进行反向替换来构建定义在早期层神经元上的符号约束。以DeepPoly方法为例，每个仿射层都会逐层进行反向替换，直到输入层。

假设一个网络有 $n$ 个仿射层，每层最多有 $N$ 个神经元，考虑第 $k$ 个仿射层（输入层索引为 0）。第 $k$ 个仿射层通过前一个仿射层进行反向替换的每一步需要 $O(N^3)$ 的时间复杂度，通过前一个 ReLU 层进行反向替换需要 $O(N^2)$ 的时间复杂度，因此第 $k$ 个仿射层完成反向替换过程需要 $O(k·N^3)$ 的时间。总体而言，DeepPoly 分析需要 $O(n^2 · N^3)$ 的时间复杂度。这在处理大型网络时会给 DeepPoly 带来很大的负担，例如在评估平台上，DeepPoly 分析 ResNet18（18 层）上的一张图像大约需要 40 小时。

为了解决这个问题，我们提出将神经网络划分为块，并为每个块计算总结。这种总结使我们能够通过跨块加速反向替换操作，就像在某些等式中，神经元的约束可以直接定义在输入神经元上。

2. 网络块总结

2.1 模块化网络分析

为了提高可扩展性，我们提出了一种模块化方法，通过将网络分割成块并按顺序分析每个块，来降低计算成本和内存使用。具体来说，我们提出了以下两种技术来减少计算步骤：
1. 为每个块生成输入和输出神经元之间的总结，并利用块总结在反向替换过程中进行“跳跃”，而不是逐层进行。
2. 通过限制反向替换操作提前终止，利用块总结。

网络分割时，我们使用参数 $\