基于规则的神经网络安全证据

### 基于规则的神经网络安全证据 #### 1. 引言 嵌入式软件的复杂性以及对可靠性、安全性和安全性的需求不断增加，已经超出了当前验证和认证方法的能力。除非这些方法能够迅速发展，以确保满足安全关键软件的最高可靠性要求，否则像人工智能这样令人兴奋的新功能可能永远无法进入市场。安全关键系统通常需要经过严格的安全认证过程，该过程旨在确保系统在特定环境和条件下能够安全使用。监管机构只有在为系统建立了这种保证之后，才会认为该系统是安全的。认证过程通常遵循特定领域的安全标准，如航空电子领域的 DO - 178C 和汽车领域的 ISO26262。 为了证明系统符合安全标准，需要在系统开发过程中收集有说服力的证据。安全案例是常用的证据形式，它能清晰、全面且有说服力地论证系统在其运行环境中是安全的。一般来说，安全认证的证据被定义为“有助于增强对系统安全运行信心的信息或人工制品”。安全证据可以通过论证来支持，安全论证是一组在主张和证据之间的推理，从构成论证基础的证据引导到顶级安全主张，即系统在其预期环境中可以安全运行。 人工智能等新功能的出现，对保证这些系统的安全性和可靠性的工具、方法和技术提出了需求。近年来，人们也在努力将传统软件的安全保证方法扩展到基于人工智能的系统，如自动驾驶汽车和其他自主系统。然而，将现有安全保证方法扩展到人工智能系统面临两个主要挑战：一是找到用于创建安全证据和构建安全论证的高效分析、测试和验证方法；二是找到能够增强对人工智能系统安全运行信心的信息或人工制品，即可以作为证据的人工制品。本文针对第二个挑战，提出使用规则提取方法为神经网络创建安全证据，并将提取的规则用作安全证据。 #### 2. 规则提取 规则提取是一个过程，它将训练好的神经网络与其训练数据相结合，生成一个可理解的描述，该描述能近似网络的预测行为。这个过程有助于专家解释网络，并论证其安全性和可靠性。规则提取算法有不同类型，由两个重要因素定义：采用的规则提取方法和生成的规则类型。 - **规则提取方法** - **教学法**：将神经网络视为黑盒，通过查询输入对应的输出来工作，不考虑网络内部结构的权重和参数。 - **分解法**：在神经元级别拆分网络，为每个神经元获取规则，然后聚合结果以生成代表整个网络的规则。有些分解算法可以同时进行网络训练和规则生成，但并非适用于所有神经网络架构。还有一些算法可以通过决策树从预训练的神经网络中提取连续和离散规则。 - **提取规则的类型** - **If - then**：布尔条件语句。 - **M - of - N**：N 个条件中满足 M 个。 - **决策树**：条件以分层，二叉树的形式组织。 - **模糊规则**：对部分真值进行近似的条件语句。 - **一阶规则**：带有量词和变量的条件。 - **深度神经网络的规则提取** 深度神经网络的规则提取技术采用分治机制，逐层生成规则。由于这些技术需要高内存和计算时间，因此需要特殊方法来提高效率，最常见的是规则剪枝和网络剪枝，分别去除提取规则和输入神经网络中不太重要的组件。 #### 3. 基于规则的安全证据 ##### 3.1 规则作为证据人工制品 规则和规则提取技术具有一些特征，使规则成为神经网络安全证据的良好候选人工制品： - **规则的不同视角**：一些神经网络的属性需要详细了解