深度学习在安全关键感知任务中的安全问题与缓解方法

### 深度学习在安全关键感知任务中的安全问题与缓解方法 #### 1. 引言 近年来，机器学习（ML）尤其是深度学习（DL）方法催生了许多新应用。在高级驾驶辅助系统（ADAS）和自动驾驶（AD）领域，DL 至关重要，因为无法对开放环境的每个细节进行精确规定，例如行人的各种数据表示难以用基于规则的算法实现全面识别。 然而，当前的 DL 算法与人类不同，它不学习语义或因果关系，仅学习数据中的相关性。例如，用于检测相机图像中物体的 DL 算法，学习的是图像像素与物体表示（如边界框）之间的相关性。虽然 DL 算法性能卓越，但难以理解其预测结果的得出方式，这从安全角度来看是个问题。 在汽车领域，安全相关方面通常遵循 ISO 26262 标准，但 DL 方法的使用引入了该标准未涵盖的额外安全问题。例如，DL 算法可能预测错误结果，像物体检测器可能漏检物体，这类局限性由最近发布的 ISO PAS 21448（即预期功能安全，SOTIF）来处理。 SOTIF 指的是因预期功能的功能不足导致的危害不存在不合理风险。要实现 SOTIF，需要正确理解系统、其局限性以及可能暴露这些局限性的条件。对于包含 DL 组件的系统而言，这是一项艰巨任务，因为 DL 算法的学习过程与人类完全不同。人类从语义层面分析系统及其弱点，而 DL 则将问题空间从语义层面转移到数据表示层面（如图像的像素值），这使得 DL 特定的不足和故障原因对人类来说不直观，难以理解这些方法及其局限性。因此，论证依赖 DL 输出正确性的系统的安全性，需要对这类算法进行专门的安全考量。 本文将重点关注深度神经网络（DNNs），对 DL 算法在 ADAS 或 AD 系统感知管道中的使用所涉及的安全问题及其潜在原因进行简要概述，并讨论潜在的缓解方法。 #### 2. 相关工作 近年来，如何在安全关键任务中使用 DL 吸引了广泛研究，涵盖医疗诊断、航空电子、汽车等多个领域。例如，有研究提供了航空电子中神经网络安全保证的概述。 目前，对于 ADAS 或 AD 系统中使用的 ML 组件，尚无公认的验证和确认方法。尽管如此，仍有一些工作定义了组件需要满足的要求或安全标准。例如，有研究从抽象的顶层目标推导出神经网络的安全标准，还有研究提出了使用目标结构符号（GSN）来论证基于 ML 组件安全性的系统方法。 #### 3. 背景 深度神经网络（DNN）是一种机器学习模型，在 ADAS 和 AD 的大多数用例中，它的任务是根据独立随机变量 X（如输入图像）预测依赖随机变量 Y（如类别概率）的后验概率。为此，需要指定 Y 的预期分布类型，因为 DNN 需要配备一个链接函数，将输出映射到 Y 的正确范围。在分类任务中，Y 通常遵循多项分布，常用的链接函数是 softmax。 由于 X 和 Y 未知，通常的做法是记录一个包含 X 和 Y 实现的数据集 D，并对数据进行参数的最大似然估计。在实践中，通常通过使用（随机）梯度下降最小化损失函数来实现优化。 根据 ISO PAS 21448，功能不足是系统固有的不足，可能导致危害。这种不足可能表现为性能限制，导致对环境的不完全或错误感知。功能不足可能在某些条件下暴露，这些条件被称为触发事件。对于 ADAS 或 AD 系统感知管道中的 DNN 模块，触发事件可能引发错误输出，导致系统出现危险行为。 #### 4. 安全问题 我们将安全问题（SCs）定义为可能对系统安全产生负面影响的潜在问题。它们要么是功能不足的直接根源，要么描述了系统的黑盒特性，使得难以评估安全性。SCs 通