卷积神经网络中的解释技术：深入剖析与应用

# 卷积神经网络中的解释技术：深入剖析与应用 ## 1. CNN 可视化技术综述 深度卷积神经网络（CNN）对计算机视觉（CV）性能产生了重大影响。它始于图像分类技术，如今也用于逐像素的图像分割。尽管多年来取得了进展，但在问题无法表述为语义分割任务，或者逐像素标注计算成本过高的领域，分类方法仍在使用。此外，架构计算可用性的一个限制是输入数据的压缩和调整大小。分类网络的一个主要问题是缺乏可视化输出，这限制了对影响判断的主要图像方面的理解。因此，对能够以人类可理解的方式描绘和解释网络决策的方法和策略的需求日益增加。 ### 1.1 信号显著性方法的挑战 基于信号的方法可能已经揭示了一些黑盒机制，但仍有许多悬而未决的问题，例如： 1. 如何利用优化后的激活图像和部分重建的图像？ 2. 我们新获得的近似反转信号以重建图像的能力，在多大程度上有助于提高可解释性？ 3. 能否利用重建近似图像的中间过程中包含的信息？ 4. 为什么在“逆空间”中描述这一部分比解释信号的前向传播更有帮助？ 5. 研究在中间阶段导致优化激活的信号，如何帮助我们确定哪些神经元发挥哪些作用？ 6. 高度参数化函数的优化通常会产生非唯一解。我们能否确定，产生超现实狗脸组合的优化不会因微小变化而产生更不寻常的图像？ 回答这些问题可能会找到隐藏的线索，帮助我们更接近可理解的人工智能。 ### 1.2 重新思考图像显著性 有研究评估了显著性方法是否对模型和数据不敏感。不敏感性是非常不可取的，因为这意味着“解释”与模型或数据无关。边缘检测器就是对模型和训练数据不敏感的方法，它只是识别图像中显著的像素颜色变化，与预测模型或抽象视觉属性无关，也不需要训练。 一些显著性方法，如 Vanilla Gradient、Gradient × Input、Integrated Gradients、Guided Backpropagation、Guided Grad - CAM 和 SmoothGrad 被进行了测试。其中，Vanilla Gradient 和 Grad - CAM 通过了不敏感性测试，而 Guided Backpropagation 和 Guided Grad - CAM 未通过。然而，另一项研究发现了显著性方法合理性检查论文本身存在的问题，评估指标不一致。这表明评估视觉解释仍然是一个挑战，例如，这使得医疗专业人员在诊断过程中使用深度学习应用变得困难。目前的情况令人失望，我们需要等待进一步的研究。并且，与其开发全新的显著性方法，不如专注于更好地分析现有的方法。例如，使用对抗训练训练的深度神经网络在可解释性方面优于未使用对抗训练的相同模型。 ### 1.3 显著性方法的可解释性受到质疑 近年来，显著性方法作为一种与模型无关的方法，越来越受欢迎，用于突出重要的输入特征，通常是图像。虽然仅依靠视觉评估可能会适得其反，但也并非一定如此。显著性方法确定输入数据的哪些特征对于进行预测或理解模型的潜在表示最为重要。当显著性图属于此类时，需要人类审查以确定其可信度。例如，如果数字图像中北极熊总是与雪或冰配对，模型可能会错误地依赖这些信息而不是实际的北极熊特征进行识别。使用显著性图，我们可以找到问题的根源并避免它。 大量随机实验表明，一些显著性技术可能与模型和数据无关，即某些方法产生的显著性图可能与边缘检测器的结果非常相似。这很麻烦，因为这表明显著性方法没有正确识别导致模型预测的输入特征。在这些情况下，构建一种同时考虑模型和数据的显著性方法非常重要。 ### 1.4 显著性随机化测试案例研究 有研究提出了随机化测试来验证显著性方法的合理性。该方法可以被视为一种全局解释范围，可用于评估任何可解释性方法的适用性。随机化任务的总结如下： 1. 评估与边缘检测进行了类比，边缘检测不依赖于训练数据