CN114896134A - 面向目标检测模型的蜕变测试方法、装置及设备 - Google Patents
面向目标检测模型的蜕变测试方法、装置及设备 Download PDFInfo
- Publication number
- CN114896134A CN114896134A CN202210322833.4A CN202210322833A CN114896134A CN 114896134 A CN114896134 A CN 114896134A CN 202210322833 A CN202210322833 A CN 202210322833A CN 114896134 A CN114896134 A CN 114896134A
- Authority
- CN
- China
- Prior art keywords
- target
- test case
- case file
- detection model
- visual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 132
- 238000010998 test method Methods 0.000 title description 4
- 238000012360 testing method Methods 0.000 claims abstract description 303
- 230000000007 visual effect Effects 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000004088 simulation Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000009377 nuclear transmutation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013101 initial test Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 3
- 241000722363 Piper Species 0.000 description 3
- 235000016761 Piper aduncum Nutrition 0.000 description 3
- 235000017804 Piper guineense Nutrition 0.000 description 3
- 235000008184 Piper nigrum Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向目标检测模型的蜕变测试方法、装置及设备，涉及模型测试领域。所述方法包括：生成仿真测试用例文件；通过目标检测模型对视觉图像进行处理得到预测结果，并基于预测结果和标签判断目标检测模型是否通过仿真测试用例文件的测试；在目标检测模型通过仿真测试用例文件的测试的情况下，基于仿真测试用例文件生成衍生测试用例文件，衍生测试用例文件包括标签和新视觉图像，新视觉图像由视觉图像经蜕变处理得到；通过目标检测模型对新视觉图像进行处理得到新预测结果，并基于新预测结果和标签判断目标检测模型是否通过衍生测试用例文件的测试。本发明能够帮助用户测试目标检测模型在不同程度的噪声、模糊等蜕变处理后的性能。
Description
技术领域
本发明涉及模型测试技术领域，具体涉及一种面向目标检测模型的蜕变测试方法、装置及设备。
背景技术
蜕变测试是一种构造新的测试用例的方法，它的基本原理是利用程序由输入变化引起的输出变化之间的关系，将现存的测试用例转化为新的测试用例用以测试程序。其中，输入变化带来的输出变化之间的关系即为蜕变关系，生成的新的测试用例即为衍生测试用例。如果原始测试用例和衍生测试用例分别执行程序得到的相应输出不满足上述蜕变关系就说明程序存在故障。
然而，现有的蜕变测试大多使用蜕变关系作为测试语言，仅仅验证原始测试用例的测试结果和衍生测试用例的测试结果是否满足蜕变关系，测试方式单一、不够全面。
发明内容
为克服现有蜕变测试存在的局限性，本发明公开了一种面向目标检测模型的蜕变测试方法、装置及设备。
本发明的技术方案包括：
一种面向目标检测模型的蜕变测试方法，所述方法包括：
生成仿真测试用例文件，所述仿真测试用例文件包括：视觉图像、标签和语义图；
通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试；
在所述目标检测模型通过所述仿真测试用例文件的测试的情况下，基于所述仿真测试用例文件生成衍生测试用例文件，所述衍生测试用例文件包括所述标签和新视觉图像，所述新视觉图像由所述视觉图像经蜕变处理得到；
通过所述目标检测模型对所述新视觉图像进行处理得到新预测结果，并基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试。
可选地，所述通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试，包括：
设置目标类别数、交并比阈值、置信度阈值，并创建长度为所述目标类别数的目标类别数组；
将所述视觉图像输入所述目标检测模型，得到所述目标检测模型针对所述视觉图像的预测置信度高于所述置信度阈值的预测结果；
初始化长度为所述目标类别数的真实结果数组与预测结果数组，并根据所述标签中的目标类别与所述预测结果中的目标类别在所述目标类别数组中的位置，将目标类别的位置信息分别加入至所述真实结果数组与所述预测结果数组中的对应位置；
对于目标类别i，基于所述真实结果数组与所述预测结果数组中的位置信息，分别计算每个标签中目标类别i与预测结果中目标类别i的交并比，并组成一交并比矩阵，其中i为目标类别在所述目标类别数组中的编号；
根据所述交并比矩阵与所述交并比阈值，计算所述目标类别i的预测结果和标签相互匹配的目标数tp；
基于所述目标数tp计算所述目标类别i的精确率与召回率，并基于所述精确率与所述召回率计算所述目标类别i的F1值；
统计所有目标类别的F1值，得到所述仿真测试用例文件的宏平均F1值；
基于所述仿真测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述仿真测试用例文件的测试。
可选地，所述基于所述仿真测试用例文件生成衍生测试用例文件，包括：
基于所述语义图分离所述视觉图像中的目标与背景，对所述目标进行所述蜕变处理，并将所述背景和所述蜕变处理得到的目标合并，生成所述新视觉图像；
组合所述新视觉图像和所述标签，得到所述衍生测试用例文件。
可选地，所述蜕变处理包括目标模糊处理和/或目标噪声添加。
可选地，所述蜕变处理包括目标模糊处理；所述基于所述语义图分离所述视觉图像中的目标与背景，对所述目标进行蜕变处理，并将所述背景和所述蜕变处理得到的目标合并，生成新视觉图像，包括：
初始化视觉图像数组与语义图数组，设定迭代次数与卷积核大小，并设置当前迭代次数为0；
设置填充大小为卷积核大小的一半，计算所述视觉图像的高、宽及通道数，并赋值给所述视觉图像数组；
设置填充数组为所述视觉图像数组分别在上、下、左、右各个边缘填充行；
初始化衍生图像数组，所述衍生图像数组的维度与所述视觉图像数组的维度一致；
对所述衍生图像数组进行迭代处理，并在每次迭代处理时，基于所述语义图数组判断所述衍生图像数组中待处理元素属于目标或背景，对属于背景的待处理元素的取值设置为所述视觉图像数组中相应位置元素的取值，对属于目标的待处理元素的取值设置为所述视觉图像数组中相应位置元素在所述目标模糊处理后得到的取值，设置所述填充数组为所述衍生图像数组分别在上、下、左、右各个边缘填充行；
直至完成所述迭代处理，输出所述衍生图像数组为所述新视觉图像。
可选地，所述基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试，包括：
基于所述新预测结果和所述标签，确定所述衍生测试用例文件的宏平均F1值；
基于所述衍生测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述衍生测试用例文件的测试。
可选地，所述基于所述衍生测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述衍生测试用例文件的测试，包括：
若所述衍生测试用例文件的宏平均F1值大于第一阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试；
或者，
若所述衍生测试用例文件的宏平均F1值和所述仿真测试用例文件的宏平均F1值的差值小于第二阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试；
或者，
若所述衍生测试用例文件的宏平均F1值大于第一阈值，且所述衍生测试用例文件的宏平均F1值和所述仿真测试用例文件的宏平均F1值的差值小于第二阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试。
一种面向目标检测模型的蜕变测试装置，包括：
用例生成模块，用于生成仿真测试用例文件，所述仿真测试用例文件包括：视觉图像、标签和语义图；
初始测试模块，用于通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试；
蜕变处理模块，用于在所述目标检测模型通过所述仿真测试用例文件的测试的情况下，基于所述仿真测试用例文件生成衍生测试用例文件，所述衍生测试用例文件包括所述标签和新视觉图像，所述新视觉图像由所述视觉图像经蜕变处理得到；
衍生测试模块，用于通过所述目标检测模型对所述新视觉图像进行处理得到新预测结果，并基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述面向目标检测模型的蜕变测试方法。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行，以实现上述面向目标检测模型的蜕变测试方法。
一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行如上述面向目标检测模型的蜕变测试方法。
本发明首先使用原始图像测试目标检测模型的性能，在通过原始图像的测试时进一步使用经蜕变处理后的图像(如噪声图像、添加模糊处理的图像)确定目标检测模型的性能下降程度，一方面帮助用户测试目标检测模型在不同程度的噪声、模糊等蜕变处理后的性能，另一方面从多种维度测试目标检测模型的性能，丰富了目标检测模型的测试方式，提高了测试结果的准确度和可信度。
附图说明
图1面向目标检测模型的蜕变测试方法的流程图。
图2仿真测试用例生成方法流程图。
图3测试用例正确性判定方法的流程图。
图4衍生测试用例生成方法的流程图。
图5面向目标检测模型的蜕变测试装置的框图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
本发明的蜕变测试方法，如图1所示，至少包括以下步骤(步骤110至140)。
步骤110：生成仿真测试用例文件。
本发明的仿真测试用例文件包括：视觉图像、标签和语义图。可选地，该仿真测试用例文件生成的过程，如图2所示，包括步骤1101至1104。
步骤1101：设置地形、天气、光照场景。
在一示例中，所述地形包括滩涂、山地、丘陵、峡谷、沙漠和平原等，所述天气包括晴天、雨天、雾天、雪天、雨夹雪等，所述光照场景包括日出、日落、上午、中午、下午、黄昏等。
本发明通过对地形、天气、光照场景的设置，构建视觉图像中的背景图像。
步骤1102：摆放目标与规划路线。
在一示例中，所述目标包括动态目标(行人、车辆、红绿灯等)和静态目标(建筑、植物等)，所述路线包括一些起点、终点、任务点、目标点等。
本发明通过对目标的摆放和路线的规划，构建视觉图像中的目标图像。
步骤1103：设置图像参数与摄像头参数。
本发明通过对图像参数与摄像头参数的设置，构建视觉图像的采样方式，从而生成视觉图像的拍摄角度、图像大小、图像内容和图像格式等。
步骤1104：生成测试用例。
本发明基于上述设置好的背景、目标与采样方式，并使用自动化测试用例生成工具，生成仿真测试用例文件。所述仿真测试用例文件包括：视觉图像、标签和语义图。
步骤120：通过目标检测模型对视觉图像进行处理得到预测结果，并基于预测结果和标签判断目标检测模型是否通过仿真测试用例文件的测试。
可选地，基于仿真测试用例文件对目标检测模型的测试，包括步骤1201至步骤1208。
步骤1201：设置目标类别数、交并比阈值、置信度阈值，并创建长度为目标类别数的目标类别数组。
置信度阈值confidenceThreshold设置的目的是为了筛选目标检测模型对于指定图像检测到的目标，其中，置信度阈值范围应介于0到1.0，一般高于0.3。
交并比(IOU)阈值设置的目的是为了确定经过置信度阈值筛选后的目标是否被正确预测，若经筛选后的目标检测模型预测结果中的某个给定目标的位置信息与图像标签中的某个目标位置信息计算IOU大于IOU阈值且预测结果其他被置信度阈值筛选的目标中不存在与图像标签中的上述目标位置信息的IOU高于上述给定目标，即表示该目标被预测正确，其中，IOU阈值范围应介于0到1.0，一般应高于0.5。
长度为目标类别数classNum的数组f1ScoreArray中，每个元素均为0。
步骤1202：将视觉图像输入目标检测模型，得到目标检测模型针对视觉图像的预测置信度高于置信度阈值的预测结果。
本步骤将步骤110生成的视觉图像image输入目标检测模型OD，然后将小于或等于置信度阈值confidenceThreshold的预测结果过滤掉，获得目标检测模型对视觉图像所有高于置信度阈值的预测结果inferenceResult。
步骤1203：初始化长度为目标类别数的真实结果数组与预测结果数组，并根据标签中的目标类别与预测结果中的目标类别在目标类别数组中的位置，将目标类别的位置信息分别加入至真实结果数组与预测结果数组中的对应位置。
在本步骤中，需要先初始化长度为目标类别数classNum的真实结果数组bboxLabel与预测结果数组bboxInference；然后遍历标签的每个目标，若该目标属于目标类别数组classType的第n个，则将该目标的位置信息追加到真实结果数组bboxLabel的第n个元素；此外还遍历预测结果中的每个目标，若该目标属于目标类别数组classType的第n个，则将该目标的位置信息追加到预测结果数组bboxInference的第n个元素。
步骤1204：对于目标类别i，基于真实结果数组与预测结果数组中的位置信息，分别计算每个标签中目标类别i与预测结果中目标类别i的交并比，并组成一交并比矩阵，其中i为目标类别在目标类别数组中的编号。
在本步骤中，对于目标类别i，先取出目标类别数组classType与预测结果数组bboxInference的对应元素后，分别赋值给ithBboxLable与ithBboxInference，其中ithBboxLable、ithBboxInference分别是标签中所有类别为i的目标的位置信息和预测结果中所有类别为i的目标的位置信息；之后，初始化预测结果和标签相互匹配的目标数tp＝0，初始化ithBboxLable与ithBboxInference分别是真实结果数组bboxLabel与预测结果数组bboxInference的第i个元素；然后，基于ithBboxLable与ithBboxInference，计算出每个标签中类别为i的目标和每个预测结果中类别为i的目标的IOU；最后，根据各目标类别的IOU，组成一个交并比矩阵ithClassIOU。
步骤1205：根据交并比矩阵与交并比阈值，计算目标类别i的预测结果和标签相互匹配的目标数tp。
在本步骤中，当交并比矩阵中相应的两个目标的IOU大于IOU阈值，则认为这两个目标匹配，从而获取目标类别i的预测结果和标签相互匹配的目标数tp。
步骤1206：基于目标数tp计算目标类别i的精确率与召回率，并基于精确率与召回率计算目标类别i的F1值。
类别i的精确率Pi是所有预测为类别i的样本中预测正确的比例，公式如下：
其中，TPi表示预测为正、真实值为正的样本，FPi表示预测为负、真实值为正的样本。
类别i的召回率Ri是所有真实标签为类别i的样本中预测正确的比例，公式如下：
其中，TPi表示预测为正、真实值为正的样本，FNi表示预测为负、真实值为负的样本。
类别i的F1值是类别i的精确率和召回率的调和平均数，F1值越接近于1，说明目标检测模型对类别i中每个目标的检测结果越接近真实情况。类别i的F1值Fi的计算公式如下：
步骤1207：统计所有目标类别的F1值，得到仿真测试用例文件的宏平均F1值。
仿真测试用例文件的宏平均F1值Fmacro是所有类别的F1值的算术平均值，用于衡量目标检测模型对所有类别预测结果与真实情况的接近程度，宏平均F1值越接近于1，说明目标检测模型对所有类别中每个目标的检测结果越接近真实情况。仿真测试用例文件的宏平均F1值Fmacro的计算公式如下：
步骤1208：基于仿真测试用例文件的宏平均F1值，确定目标检测模型是否通过仿真测试用例文件的测试。
在本步骤中，确定目标检测模型是否通过仿真测试用例文件的测试时，可设置一阈值，当该宏平均F1值Fmacro不小于(大于或等于)该阈值的情况下，认为目标检测模型通过仿真测试用例文件的测试，当该宏平均F1值Fmacro小于该阈值的情况下，认为目标检测模型未通过仿真测试用例文件的测试。
步骤130：在目标检测模型通过仿真测试用例文件的测试的情况下，基于仿真测试用例文件生成衍生测试用例文件。
在一示例中，先使用仿真测试用例中的语义图将视觉图像中的目标和背景分离，然后对目标做蜕变处理，最后将经过蜕变处理的目标和图像的背景合并生成新视觉图像，并将该新视觉图像和对应的标签组合成衍生测试用例，用于继续测试目标检测模型。
基于此，如图4所示，衍生测试用例文件的生成，包括步骤1301至1302。
步骤1301：基于语义图分离视觉图像中的目标与背景，对目标进行蜕变处理，并将背景和蜕变处理得到的目标合并，生成新视觉图像。
本实施例的蜕变处理包括目标模糊处理和目标噪声添加等。可选地，请参考表1，目标模糊处理包括目标高斯模糊、目标均值模糊、目标中值模糊等；目标噪声添加包括目标添加高斯噪声、目标添加乘性噪声、目标添加椒盐噪声等。其中，表1还列出了这些蜕变处理可能存在的蜕变参数，若改变蜕变参数，生成的衍生测试用例中的新视觉图像也会随之变化，如选择对目标高斯模糊，如果增加卷积核大小或者提高迭代次数，目标的模糊化程度会提高，识别难度将变大。
表1蜕变处理及其蜕变参数
| 蜕变类型 | 蜕变参数1 | 蜕变参数2 |
| 目标高斯模糊 | 卷积核大小 | 迭代次数 |
| 目标均值模糊 | 卷积核大小 | 迭代次数 |
| 目标中值模糊 | 卷积核大小 | 迭代次数 |
| 目标添加高斯噪声 | 噪声均值 | 噪声方差 |
| 目标添加乘性噪声 | 噪声均值 | 噪声方差 |
| 目标添加椒盐噪声 | 噪声比例 | 胡椒噪声、盐噪声比例 |
在一示例中，以蜕变处理包括目标模糊处理为例，上述步骤1301包括以下步骤：
1)初始化视觉图像数组imageMatrix(维度为图像的高、宽和通道)与语义图数组segmanticMatrix(维度为图像的高、宽，通道为1)，设定迭代次数iterations与卷积核大小kernelSize，并设置当前迭代次数为0。
2)设置填充大小padding为卷积核大小kernelSize的一半，计算视觉图像的高、宽及通道数，并赋值给视觉图像数组imageMatrix。
3)设置填充数组paddingMatrix为视觉图像数组imageMatrix分别在上、下、左、右各个边缘填充行，填充的像素数可设置为0或者设置为边缘像素。
4)初始化衍生图像数组derivedMatrix，衍生图像数组derivedMatrix的维度与视觉图像数组imageMatrix的维度一致，且每个元素都为0。
5)对衍生图像数组derivedMatrix进行迭代处理，并在每次迭代处理时，基于语义图数组segmanticMatrix判断衍生图像数组中待处理元素属于目标或背景(判断的依据是使用仿真环境生成的图像设置0-6为背景语义，7-255为目标语义)，对属于背景的待处理元素的取值设置为视觉图像数组imageMatrix中相应位置元素的取值，对属于目标的待处理元素的取值设置为视觉图像数组中相应位置元素在目标模糊处理后得到的取值，设置填充数组为衍生图像数组分别在上、下、左、右各个边缘填充行。
6)直至完成迭代处理，输出衍生图像数组为新视觉图像。
可选地，若蜕变处理为目标噪声添加，则可以忽略目标模糊处理中的迭代步骤，根据语义数组中的语义值判断得出像素是否属于目标，若属于目标则原始图像矩阵中处于该位置的像素可以根据噪声的具体特性生成不同类型的噪声，若属于背景则不做处理。
步骤1302：组合新视觉图像和标签，得到衍生测试用例文件。
需要说明的一点是，在实际应用中，为了提高测试结果的准确度等等，在基于仿真测试用例文件生成衍生测试用例文件时，还可以先对仿真测试用例文件中的视觉图像进行筛选。如图3所示，通过目标检测模型对视觉图像进行处理得到视觉图像的预测结果，再基于视觉图像的预测结果和标签以及给定的交并比阈值和置信度阈值，筛选出目标检测模型正确识别或判断的视觉图像。之后，再对筛选出的视觉图像进行上述蜕变处理得到新视觉图像，以结合标签进一步组合成衍生测试用例文件。
步骤140：通过目标检测模型对新视觉图像进行处理得到新预测结果，并基于新预测结果和标签判断目标检测模型是否通过衍生测试用例文件的测试。
可选地，基于衍生测试用例文件对目标检测模型的测试，包括步骤1401至步骤1406。
步骤1401：设置目标类别数、交并比阈值、置信度阈值，并创建长度为目标类别数的目标类别数组。
步骤1402：将新视觉图像输入目标检测模型，得到目标检测模型针对新视觉图像的预测置信度高于置信度阈值的预测结果。
步骤1403：初始化长度为目标类别数的真实结果数组与预测结果数组，并根据标签中的目标类别与预测结果中的目标类别在目标类别数组中的位置，将目标类别的位置信息分别加入至真实结果数组与预测结果数组中的对应位置。
步骤1404：对于目标类别i，基于真实结果数组与预测结果数组中的位置信息，分别计算每个标签中目标类别i与预测结果中目标类别i的交并比，并组成一交并比矩阵，其中i为目标类别在目标类别数组中的编号。
步骤1405：根据交并比矩阵与交并比阈值，计算目标类别i的预测结果和标签相互匹配的目标数tp′。
步骤1406：基于目标数tp′计算目标类别i的精确率与召回率，并基于精确率与召回率计算目标类别i的F1值。
步骤1407：统计所有目标类别的F1值，得到衍生测试用例文件的宏平均F1值。
步骤1408：基于衍生测试用例文件的宏平均F1值，确定目标检测模型是否通过衍生测试用例文件的测试。
在一个示例中，基于衍生测试用例文件的宏平均F1值，确定目标检测模型是否通过衍生测试用例文件的测试，包括：若衍生测试用例文件的宏平均F1值大于或等于第一阈值，则确定目标检测模型通过衍生测试用例文件的测试；若衍生测试用例文件的宏平均F1值小于第一阈值，则确定目标检测模型未通过衍生测试用例文件的测试。
在另一个示例中，基于衍生测试用例文件的宏平均F1值，确定目标检测模型是否通过衍生测试用例文件的测试，包括：若衍生测试用例文件的宏平均F1值和仿真测试用例文件的宏平均F1值的差值小于或等于第二阈值，则确定目标检测模型通过衍生测试用例文件的测试；若衍生测试用例文件的宏平均F1值和仿真测试用例文件的宏平均F1值的差值大于第二阈值，则确定目标检测模型未通过衍生测试用例文件的测试。
在又一个示例中，基于衍生测试用例文件的宏平均F1值，确定目标检测模型是否通过衍生测试用例文件的测试，包括：若衍生测试用例文件的宏平均F1值大于或等于第一阈值，且衍生测试用例文件的宏平均F1值和仿真测试用例文件的宏平均F1值的差值小于或等于第二阈值，则确定目标检测模型通过衍生测试用例文件的测试；若衍生测试用例文件的宏平均F1值小于第一阈值，或衍生测试用例文件的宏平均F1值和仿真测试用例文件的宏平均F1值的差值大于第二阈值，则确定目标检测模型未通过衍生测试用例文件的测试。
综上所述，本发明首先使用原始图像测试目标检测模型的性能，在通过原始图像的测试时进一步使用经蜕变处理后的图像(如噪声图像、添加模糊处理的图像)确定目标检测模型的性能下降程度，分别验证原始测试用例和衍生测试用例运行结果的正确性，一方面帮助用户检测目标检测模型在不同程度的噪声、模糊等蜕变处理后的性能，另一方面从多种维度测试目标检测模型的性能，丰富了目标检测模型的测试方式，提高了测试结果的准确度和可信度。
例如，假设被测软件P是目标函数sin(x)的一个具体实现，P(x)＝-P(-x)为设计的蜕变关系，相关技术中测试人员构造(1，-1)为测试用例对P做蜕变测试，得出的结果满足P(1)＝-P(-1)从而得出结论(1，-1)通过测试，然而由于没有对P(1)和sin(1)相比，存在一种特殊情况即P(1)＝-P(-1)≠sin(1)使得蜕变测试的最终结果并没有检测出错误。因此，相关技术仅考虑到蜕变测试构造的测试用例中仿真测试用例和衍生测试用例均为被测软件输入空间的值，蜕变测试选择验证被测软件P对原始测试用例和衍生测试用例运行结果是否符合蜕变关系，以验证被测软件的正确性。对于原始测试用例和衍生测试用例运行结果出错，蜕变测试只能检测出运行结果出错导致违反蜕变关系的一部分，如果运行结果出错并没有引起蜕变关系被违反，蜕变测试就不能测试出错误。而本发明在相关技术的基础之上，还分别验证原始测试用例和衍生测试用例运行结果的正确性，从多个维度测试目标检测模型。
参考图5，其示出了本发明一个实施例提供的目标检测模型的蜕变测试装置的框图。该装置可以为计算机设备，也可以设置在计算机设备中。如图5所示，该装置500包括：用例生成模块510、初始测试模块520、蜕变处理模块530与衍生测试模块540。
用例生成模块510，用于生成仿真测试用例文件，所述仿真测试用例文件包括：视觉图像、标签和语义图。
初始测试模块520，用于通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试。
蜕变处理模块530，用于在所述目标检测模型通过所述仿真测试用例文件的测试的情况下，基于所述仿真测试用例文件生成衍生测试用例文件，所述衍生测试用例文件包括所述标签和新视觉图像，所述新视觉图像由所述视觉图像经蜕变处理得到。
衍生测试模块540，用于通过所述目标检测模型对所述新视觉图像进行处理得到新预测结果，并基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试。
可选地，所述初始测试模块520，用于：设置目标类别数、交并比阈值、置信度阈值，并创建长度为所述目标类别数的目标类别数组；将所述视觉图像输入所述目标检测模型，得到所述目标检测模型针对所述视觉图像的预测置信度高于所述置信度阈值的预测结果；初始化长度为所述目标类别数的真实结果数组与预测结果数组，并根据所述标签中的目标类别与所述预测结果中的目标类别在所述目标类别数组中的位置，将目标类别的位置信息分别加入至所述真实结果数组与所述预测结果数组中的对应位置；对于目标类别i，基于所述真实结果数组与所述预测结果数组中的位置信息，分别计算每个标签中目标类别i与预测结果中目标类别i的交并比，并组成一交并比矩阵，其中i为目标类别在所述目标类别数组中的编号；根据所述交并比矩阵与所述交并比阈值，计算所述目标类别i的预测结果和标签相互匹配的目标数tp；基于所述目标数tp计算所述目标类别i的精确率与召回率，并基于所述精确率与所述召回率计算所述目标类别i的F1值；统计所有目标类别的F1值，得到所述仿真测试用例文件的宏平均F1值；基于所述仿真测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述仿真测试用例文件的测试。
可选地，所述蜕变处理模块530，用于：基于所述语义图分离所述视觉图像中的目标与背景，对所述目标进行所述蜕变处理，并将所述背景和所述蜕变处理得到的目标合并，生成所述新视觉图像；组合所述新视觉图像和所述标签，得到所述衍生测试用例文件。
可选地，所述蜕变处理包括目标模糊处理和/或目标噪声添加。
可选地，所述蜕变处理包括目标模糊处理；所述蜕变处理模块530，还用于：初始化视觉图像数组与语义图数组，设定迭代次数与卷积核大小，并设置当前迭代次数为0；设置填充大小为卷积核大小的一半，计算所述视觉图像的高、宽及通道数，并赋值给所述视觉图像数组；设置填充数组为所述视觉图像数组分别在上、下、左、右各个边缘填充行；初始化衍生图像数组，所述衍生图像数组的维度与所述视觉图像数组的维度一致；对所述衍生图像数组进行迭代处理，并在每次迭代处理时，基于所述语义图数组判断所述衍生图像数组中待处理元素属于目标或背景，对属于背景的待处理元素的取值设置为所述视觉图像数组中相应位置元素的取值，对属于目标的待处理元素的取值设置为所述视觉图像数组中相应位置元素在所述目标模糊处理后得到的取值，设置所述填充数组为所述衍生图像数组分别在上、下、左、右各个边缘填充行；直至完成所述迭代处理，输出所述衍生图像数组为所述新视觉图像。
可选地，所述衍生测试模块540，用于：基于所述新预测结果和所述标签，确定所述衍生测试用例文件的宏平均F1值；基于所述衍生测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述衍生测试用例文件的测试。
可选地，所述衍生测试模块540，还用于：若所述衍生测试用例文件的宏平均F1值大于第一阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试；或者，若所述衍生测试用例文件的宏平均F1值和所述仿真测试用例文件的宏平均F1值的差值小于第二阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试；或者，若所述衍生测试用例文件的宏平均F1值大于第一阈值，且所述衍生测试用例文件的宏平均F1值和所述仿真测试用例文件的宏平均F1值的差值小于第二阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试。
有关装置模块的具体执行过程、有益效果等阐述，请参见上述方法实施例的介绍说明，此处不多赘述。
在示例性实施例中，还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行，以实现上述面向目标检测模型的蜕变测试方法。
在示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述面向目标检测模型的蜕变测试方法。
在示例性实施例中，还提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行如上述面向目标检测模型的蜕变测试方法。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向目标检测模型的蜕变测试方法，其特征在于，所述方法包括：
生成仿真测试用例文件，所述仿真测试用例文件包括：视觉图像、标签和语义图；
通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试；
在所述目标检测模型通过所述仿真测试用例文件的测试的情况下，基于所述仿真测试用例文件生成衍生测试用例文件，所述衍生测试用例文件包括所述标签和新视觉图像，所述新视觉图像由所述视觉图像经蜕变处理得到；
通过所述目标检测模型对所述新视觉图像进行处理得到新预测结果，并基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试。
2.如权利要求1所述的方法，其特征在于，所述通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试，包括：
设置目标类别数、交并比阈值、置信度阈值，并创建长度为所述目标类别数的目标类别数组；
将所述视觉图像输入所述目标检测模型，得到所述目标检测模型针对所述视觉图像的预测置信度高于所述置信度阈值的预测结果；
初始化长度为所述目标类别数的真实结果数组与预测结果数组，并根据所述标签中的目标类别与所述预测结果中的目标类别在所述目标类别数组中的位置，将目标类别的位置信息分别加入至所述真实结果数组与所述预测结果数组中的对应位置；
对于目标类别i，基于所述真实结果数组与所述预测结果数组中的位置信息，分别计算每个标签中目标类别i与预测结果中目标类别i的交并比，并组成一交并比矩阵，其中i为目标类别在所述目标类别数组中的编号；
根据所述交并比矩阵与所述交并比阈值，计算所述目标类别i的预测结果和标签相互匹配的目标数tp；
基于所述目标数tp计算所述目标类别i的精确率与召回率，并基于所述精确率与所述召回率计算所述目标类别i的F1值；
统计所有目标类别的F1值，得到所述仿真测试用例文件的宏平均F1值；
基于所述仿真测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述仿真测试用例文件的测试。
3.如权利要求1所述的方法，其特征在于，所述基于所述仿真测试用例文件生成衍生测试用例文件，包括：
基于所述语义图分离所述视觉图像中的目标与背景，对所述目标进行所述蜕变处理，并将所述背景和所述蜕变处理得到的目标合并，生成所述新视觉图像；
组合所述新视觉图像和所述标签，得到所述衍生测试用例文件。
4.如权利要求3所述的方法，其特征在于，所述蜕变处理包括目标模糊处理和/或目标噪声添加。
5.如权利要求3所述的方法，其特征在于，所述蜕变处理包括目标模糊处理；所述基于所述语义图分离所述视觉图像中的目标与背景，对所述目标进行蜕变处理，并将所述背景和所述蜕变处理得到的目标合并，生成新视觉图像，包括：
初始化视觉图像数组与语义图数组，设定迭代次数与卷积核大小，并设置当前迭代次数为0；
设置填充大小为卷积核大小的一半，计算所述视觉图像的高、宽及通道数，并赋值给所述视觉图像数组；
设置填充数组为所述视觉图像数组分别在上、下、左、右各个边缘填充行；
初始化衍生图像数组，所述衍生图像数组的维度与所述视觉图像数组的维度一致；
对所述衍生图像数组进行迭代处理，并在每次迭代处理时，基于所述语义图数组判断所述衍生图像数组中待处理元素属于目标或背景，对属于背景的待处理元素的取值设置为所述视觉图像数组中相应位置元素的取值，对属于目标的待处理元素的取值设置为所述视觉图像数组中相应位置元素在所述目标模糊处理后得到的取值，设置所述填充数组为所述衍生图像数组分别在上、下、左、右各个边缘填充行；
直至完成所述迭代处理，输出所述衍生图像数组为所述新视觉图像。
6.如权利要求1所述的方法，其特征在于，所述基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试，包括：
基于所述新预测结果和所述标签，确定所述衍生测试用例文件的宏平均F1值；
基于所述衍生测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述衍生测试用例文件的测试。
7.如权利要求6所述的方法，其特征在于，所述基于所述衍生测试用例文件的宏平均F1值，确定所述目标检测模型是否通过所述衍生测试用例文件的测试，包括：
若所述衍生测试用例文件的宏平均F1值大于第一阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试；
或者，
若所述衍生测试用例文件的宏平均F1值和所述仿真测试用例文件的宏平均F1值的差值小于第二阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试；
或者，
若所述衍生测试用例文件的宏平均F1值大于第一阈值，且所述衍生测试用例文件的宏平均F1值和所述仿真测试用例文件的宏平均F1值的差值小于第二阈值，则确定所述目标检测模型通过所述衍生测试用例文件的测试。
8.一种面向目标检测模型的蜕变测试装置，包括：
用例生成模块，用于生成仿真测试用例文件，所述仿真测试用例文件包括：视觉图像、标签和语义图；
初始测试模块，用于通过目标检测模型对所述视觉图像进行处理得到预测结果，并基于所述预测结果和所述标签判断所述目标检测模型是否通过所述仿真测试用例文件的测试；
蜕变处理模块，用于在所述目标检测模型通过所述仿真测试用例文件的测试的情况下，基于所述仿真测试用例文件生成衍生测试用例文件，所述衍生测试用例文件包括所述标签和新视觉图像，所述新视觉图像由所述视觉图像经蜕变处理得到；
衍生测试模块，用于通过所述目标检测模型对所述新视觉图像进行处理得到新预测结果，并基于所述新预测结果和所述标签判断所述目标检测模型是否通过所述衍生测试用例文件的测试。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-7中任一所述方法。
10.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-7中任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210322833.4A CN114896134B (zh) | 2022-03-29 | 2022-03-29 | 面向目标检测模型的蜕变测试方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210322833.4A CN114896134B (zh) | 2022-03-29 | 2022-03-29 | 面向目标检测模型的蜕变测试方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114896134A true CN114896134A (zh) | 2022-08-12 |
| CN114896134B CN114896134B (zh) | 2024-07-30 |
Family
ID=82714727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210322833.4A Active CN114896134B (zh) | 2022-03-29 | 2022-03-29 | 面向目标检测模型的蜕变测试方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114896134B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056203A (zh) * | 2023-07-11 | 2023-11-14 | 南华大学 | 一种基于复杂性的数值表达式型蜕变关系选择方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100278420A1 (en) * | 2009-04-02 | 2010-11-04 | Siemens Corporation | Predicate Logic based Image Grammars for Complex Visual Pattern Recognition |
| CN111858347A (zh) * | 2020-07-23 | 2020-10-30 | 深圳慕智科技有限公司 | 一种基于智能交通模型正确性的蜕变测试方法 |
| CN112506797A (zh) * | 2020-12-22 | 2021-03-16 | 南京航空航天大学 | 一种针对医学影像识别系统的性能测试方法 |
-
2022
- 2022-03-29 CN CN202210322833.4A patent/CN114896134B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100278420A1 (en) * | 2009-04-02 | 2010-11-04 | Siemens Corporation | Predicate Logic based Image Grammars for Complex Visual Pattern Recognition |
| CN111858347A (zh) * | 2020-07-23 | 2020-10-30 | 深圳慕智科技有限公司 | 一种基于智能交通模型正确性的蜕变测试方法 |
| CN112506797A (zh) * | 2020-12-22 | 2021-03-16 | 南京航空航天大学 | 一种针对医学影像识别系统的性能测试方法 |
Non-Patent Citations (2)
| Title |
|---|
| SAEED HOSSEINI等: "A Novel Method for Time-Dependent Numerical Modeling of Gastric Motility Directly from Magnetic Resonance Imaging", 《2020 42ND ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY (EMBC)》, 27 August 2020 (2020-08-27), pages 2384 * |
| 杜珂珂: "基于蜕变测试的模型转换程序调试方法研究", 《CNKI优秀硕士学位论文全文库 信息科技辑》, 15 March 2022 (2022-03-15), pages 138 - 325 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056203A (zh) * | 2023-07-11 | 2023-11-14 | 南华大学 | 一种基于复杂性的数值表达式型蜕变关系选择方法 |
| CN117056203B (zh) * | 2023-07-11 | 2024-04-09 | 南华大学 | 一种基于复杂性的数值表达式型蜕变关系选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114896134B (zh) | 2024-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN112418212B (zh) | 一种基于EIoU改进的YOLOv3算法 | |
| CN110348437B (zh) | 一种基于弱监督学习与遮挡感知的目标检测方法 | |
| CN114140683A (zh) | 一种航拍图像目标检测的方法、设备与介质 | |
| CN112085056B (zh) | 目标检测模型生成方法、装置、设备及存储介质 | |
| CN113468967A (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
| US20200065664A1 (en) | System and method of measuring the robustness of a deep neural network | |
| CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN115205855B (zh) | 融合多尺度语义信息的车辆目标识别方法、装置及设备 | |
| US20230401691A1 (en) | Image defect detection method, electronic device and readable storage medium | |
| CN111652266A (zh) | 用户界面组件的识别方法、装置、电子设备和存储介质 | |
| CN112308069A (zh) | 一种软件界面的点击测试方法、装置、设备及存储介质 | |
| CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| CN114299358A (zh) | 图像质量评估方法、装置、电子设备及机器可读存储介质 | |
| Ren et al. | Environment influences on uncertainty of object detection for automated driving systems | |
| CN110490058B (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
| CN110321867B (zh) | 基于部件约束网络的遮挡目标检测方法 | |
| CN114896134B (zh) | 面向目标检测模型的蜕变测试方法、装置及设备 | |
| CN111709951B (zh) | 目标检测网络训练方法及系统及网络及装置及介质 | |
| CN114724140A (zh) | 一种基于yolo v3的草莓成熟度检测方法、装置 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
| CN112614108A (zh) | 基于深度学习检测甲状腺超声图像中结节的方法和装置 | |
| CN112528500B (zh) | 一种场景图构造模型的评估方法及评估设备 | |
| CN116958954B (zh) | 基于关键点与旁路矫正的车牌识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |