ICS35.240.01 I65T/GDIIA 团 体 标 准 T/GDIIA002—2020 基于卷积神经网络的图像识别模型随机噪声 鲁棒性测试要求 RandomNoiseRobustnessTestingStandardforConvolutionalNeural NetworkBasedImageRecognitionModels 2020-12-28发布 2020-12-31实施 广东省信息协会发布 全国团体标准信息平台 T/GDIIA002—2020 I目  次 前  言...............................................................................................................................................................II 1范围.....................................................................................................................................................................1 2术语和定义.........................................................................................................................................................1 3测试范围.............................................................................................................................................................2 4测试方法与工具.................................................................................................................................................2 5测试过程.............................................................................................................................................................3 全国团体标准信息平台 T/GDIIA002—2020 II前  言 本标准按照GB/T1.1—2020给出的规则起草。 本标准归口单位：广东省信息协会。 本标准主要起草单位：广州市智能软件产业研究院、广州缘润产品设计有限公司、珠海复旦创新研 究院、中科软件测评（广州）有限公司、北京梆梆安全科技有限公司、广州市汇一智能科技有限公司、 广东拓思软件科学园有限公司、广东乐天智谷产业运营发展有限公司、广州方阵科技有限公司、广州米 袋软件有限公司。 本标准主要起草人：张立军、黄承超、温俊峰、李鑫、张浪文、王俊宇、高自立、许赢月、张辰、 郭展威、罗怡、陈立胜、董君君、姚伟杰、万基翔、田文春、陈叙伦、孙志彬、顾浩生、梁铭俊、陈家 辉、吴棉灿、简毅俊、凌宏勋、罗升。 本标准首次发布。 全国团体标准信息平台 T/GDIIA002—2020 1基于卷积神经网络的图像识别模型随机噪声鲁棒性测试要求 1范围 本标准定义了基于卷积神经网络的图像识别模型及其随机噪声鲁棒性的术语和定义、测试方法与评 价标准。 本标准适用于基于卷积神经网络的图像识别模型。 2术语和定义 以下术语和定义适用于本标准。 2.1 分类标签Classificationlabel 分类标签是用于表示类别的特有标志符号。对于由多个类别组成的集合，分类标签与集合中每个类 别一一对应。 2.2 图像识别模型Imagerecognitionmodel 一种计算分类模型，对于一张输入的图像，能够通过计算输出图像在所有给定类别集合最有可能的 分类标签。 2.3 卷积神经网络Convolutionalneuralnetwork 一类包含卷积计算且具有深度结构的前馈神经网络 2.4 输出层Outputlayer 输出层是神经网络的最后一层神经元，其中每个神经元对应图像可能的分类标签，每个神经元的输 出值的大小表示输入图像被识别为这一分类的可能性大小，其中数值越大则可能性越大。 2.5 主导标签Dominantlabel 输出层中的输出值最大的神经元对应的分类标签，即该标签为卷积神经网络所输出的图像类别。 2.6 潜在攻击标签/次主导标签Potentialrisklabel/Seconddominantlabel 全国团体标准信息平台 T/GDIIA002—2020 2输出层中的输出值第二大的神经元对应的分类标签，即该标签为卷积神经网络在受到扰动时最可能 误判的图像类别。 2.7 鲁棒性Robustness 输入图像在一定范围的扰动下，若通过模型识别所输出的主导标签保持一致（即主导标签不改变）， 则称对于该扰动范围，模型对于此输入图像的识别具有鲁棒性。 2.8 随机噪声扰动Randomnoiseperturbation 对某样本图像通过随机噪声进行扰动。对于给定扰动范围δ，图像的任意像素点的值允许随机变化， 但所有像素点变化值的不超过δ（即扰动后的图像矩阵与原始图像矩阵相减后的L∞范数不超过δ）。 2.9 随机噪声鲁棒性Randomnoiserobustness 某样本图像在给定的随机噪声扰动范围δ内，图像识别模型所输出的分类标签保持不变，即卷积神 经网络输出层的主导标签具有一致性。 3测试范围 基于卷积神经网络的图像识别模型的组织架构见图1，其中 ·图像解码——解析输入图像文件，抽取表示图像各像素的数值矩阵； ·预处理——对待识别图像进行尺寸裁剪，并对随机噪声、对比度等基本特征进行自动调整； ·核心识别模型——接受预处理后的图像数值矩阵，通过卷积神经网络计算，在输出层得到 表明图像类别的主导标签，进而输出识别结果。 图1基于卷积神经网络的图像识别模型的组织架构图 4测试方法与工具 全国团体标准信息平台 T/GDIIA002—2020 3随机噪声鲁棒性的测试方法为基于抽样的测试方法。将数据集中图像的随机噪声扰动范围抽象成为 一个以原图像为中心的范数球几何区域，将该数据区域内通过抽样的方法生成测试样本集，进而通过神 经网络进行执行，得到输出层各个神经元输出值，继而分析神经元的主导关系，当主导标签一致，神经 网络在该样本上随机噪声具有鲁棒性。 图2测试方法流程图 5测试过程 5.1鲁棒性测试需求分析 鲁棒性测试需求分析是研究用户对于模型所需要达到的随机噪声鲁棒性的定义过程。具体来说，就 是了解和分析用户对于模型能够抵抗随机噪声扰动强度的需求。在得出分析结果的基础上，确定可量 化的模型随机噪声鲁棒性测试的目标，（如模型在数据集上可以抵抗强度为0.01的随机噪声扰动），以 便开展后续的测试过程。 5.2确定测试数据集 根据卷积神经网络图像识别模型确定适当的测试样本集，其中主要需要： 1.确定数据集的来源与规模； 2.通过数据集生成测试样本集。 具体执行可参考如下： 1.可以采用公开的数据集或由用户指定所要针对的数据集； 2.在数据集中各图像的随机噪声范围内进行抽样，生成测试样本集。 5.3鲁棒性测试实施 将数据集中图像的随机噪声扰动范围抽象成为一个范数球几何区域，将该数据区域内通过抽样的方 法生成测试样本集，进而通过神经网络进行执行，得到输出层各个神经元输出值，继而分析神经元的主 导关系，当主导标签一致，神经网络在该样本上随机噪声具有鲁棒性。统计数据集中具有鲁棒性的数据 比例，计算其占数据集中数据总量的比例。 全国团体标准信息平台 T/GDIIA002—2020 4在神经网络执行某个数据所生成的测试样本的过程中，检测神经元激活状态是否发生改变。统计神 经元激活状态保持稳定的数量比例。对所以数据计算神经元激活状态保持稳定的数量比例的均值。 5.4测试数据收集与结果分析 5.4.1鲁棒性分析 鲁棒性分析即使根据测试结果直接判断模型是否满足预期的抗随机噪声扰动能力，即量化测试目 标。通过测试得到测试数据集上鲁棒的样本比例对模型的鲁棒性等级进行划分，具体鲁棒性等级划分可 参考表1。其中，对于部分鲁棒等级的分级阈值Z可以由用户定义。 表1模型随机噪声鲁棒性等级 随机噪声鲁棒性等级 描述 数据集中鲁棒样本比例 等级1：鲁棒模型在测试数据集上可以完全抵抗目 标强度的随机噪声扰动，具有达到要求 的抗随机噪声扰动能力。100% 等级2：Z%部分鲁棒模型具有一定的抗随机噪声扰动能力。 >Z% 等级3：失效模型的抗随机噪声扰动能力完全无法 达到预期目标，影响模型的正常使用。其他 5.4.2神经元稳定性分析 神经元稳定性分析是通过采集测试过程中卷积神经网络中神经元的激活状态改变情况来分析神经 元激活状态是否稳定，为评估神经网络在随机噪声扰动下的鲁棒性提供依据。激活状态稳定的神经元比 例越低，则表明神经网络对扰动越敏感，对于识别准确性的风险越高。具体敏感性程度划分可