CN117315525A - 一种图像识别效果检验方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种图像识别效果检验方法、装置及存储介质，其中方法包括：设置所述显示模块的显示方式；设置所述变换模块的显示方式；设置所述干扰模块的干扰方式；设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

Description

一种图像识别效果检验方法、装置及存储介质

技术领域

本发明属于图像识别测试领域，特别涉及一种图像识别效果检验方法、装置及存储介质。

背景技术

目前对智能识别算法、智能识别设备检验时，往往需要进行大量的样本测试进而评估其识别效果。最贴近实际效果的当然是投入大量的人力、物力进行真实情况的校验，其运行效果一目了然，但这是不划算的，不仅造成资源的浪费，而且一旦设备调整变更，将导致成本的翻倍增加。

目前常见的检测方法是：首先开发出了一种识别算法，为了验证其识别效果，会收集多张照片/视频，作为“测试集”，然后通过程序读取，将测试集送到算法模块，经过算法处理，将识别到的结果输出，然后进行调优或者与其他模块进行整合。开发阶段的测试到这里就算告一段落了。作为测试人员会发现其中一些欠缺的部分，第一，对于算法模块，一直拿到的都是特定的那些照片，计算机读取到的二进制数据是不变的，只要测试集不变，识别算法获取到的“数据源”就不变，如果数据集不够全面，代表性不强就会影响实际使用效果。第二，开发人员往往会对算法单独测试，然后再与其他模块集成，当所有模块都部署在了硬件设备时候，是否会在实际识别过程中产生问题在这阶段未知，当然，这点是测试人员需要重点关心的。

发明内容

本发明提供图像识别效果检验方法、装置及存储介质，旨在至少解决现有技术中存在的技术问题之一。

本发明的技术方案涉及一种图像识别效果检验装置，其特征在于，所述装置包括：

控制模块，所述控制模块用于控制图像识别效果检验装置；

图像测试集模块，用于收集和存储多种类型的测试图像，所述图像测试集模块与所述控制模块连接；

显示模块，所述显示模块用于显示所述图像测试集模块的图像或视频，所述显示模块与所述控制模块连接；

变换模块，所述变换变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述变换模块的数量至少为一个，所述变换模块与所述控制模块连接；

干扰模块，用于生成环境干扰，所述干扰模块与所述变换模块相邻或相对设置；

智能识别模块，所述智能模块用于识别图像或视频的信息，所述智能识别模块包括依次连接的图像采集装置和识别装置，所述图像采集装置用于采集所述显示模块、所述变换模块和经所述干扰模块干扰后的图像或视频，所述识别装置用于识别所述图像采集装置采集到的图像或视频，所述图像采集装置与所述识别装置通过线缆连接或网络连接，所述智能识别模块与所述控制模块连接；

结果汇总模块，用于汇总分析所述智能识别模块的判断结果并输出结果汇总文件，所述智能识别模块和所述控制模块分别与所述结果汇总模块连接。

进一步，还包括应用程序，所述应用程序执行以下步骤：

S100、设置所述显示模块的显示方式，所述显示模块通过所述控制模块从所述图像测试集模块调取测试图像或视频进行显示；

S200、设置所述变换模块的显示方式，所述变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述控制模块从所述图像测试集模块调取测试图像或测试视频；

S300、设置所述干扰模块的干扰方式，所述干扰模块用于对所述显示模块和所述变换模块所处的环境造成干扰；

S400、设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；

S500、所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；

S600、所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

进一步，步骤S100包括：

S110、设置调取所述图像测试模块中测试图像或测试视频的范围，所述图像测试模块包括多种类型的测试图像和测试视频；

S120、设置所述显示模块的显示方式，所述显示模块的显示方式包括每个测试集图像的显示时间、是否插入无关图像和无关图像的显示时间；

S130、设置显示模块循环显示的次数。

进一步，步骤S200包括：

S210、设置所述变换模块的数量；

S220、设置每个所述变换模块的变换处理方式；

S230、根据每个所述变换模块的变换处理方式，所述控制模块基于测试图像或测试视频生成对应的变换后的测试图像或变换后的测试视频；

S240、设置所述变换模块的显示方式，所述变换模块的显示方式包括每个变换后的测试图像或变换后的测试视频的显示时间、是否插入无关图像和无关图像的显示时间；

S250、设置每个所述变换模块循环显示变换后的测试图像或变换后的测试视频的次数。

进一步，所述变换处理方式包括对所述图像测试集的图像进行放大处理、缩小处理、镜像处理、倾斜处理、拉伸处理、凹凸处理和光照不均处理后得到的变换图像。

进一步，所述干扰模块包括光源干扰、镜面干扰和遮挡物干扰。

进一步，步骤S400包括：

S410、设置每一个所述图像采集装置分别对准所述显示装置或所述变换模块；

S420、若存在网络摄像设备，检查网络摄像设备与所述智能识别模块的连接状态。

进一步，步骤S600包括：

S610、所述智能识别模块基于所述测试图像或测试视频的数据标签的项目对所述图像采集装置采集到的测试图像或测试视频进行识别，得到识别结果；

S620、所述智能识别模块基于所述测试图像或测试视频的数据标签，逐个对比测试结果是否正确，并计算正确率；

S630、保存并输出测试结果。

进一步，本发明还提出一种图像识别效果检验装置，所述图像识别效果检验装置包括：

控制模块，所述控制模块包括服务器；

图像测试集模块，所述图像测试集模块包括服务器、网络存储服务器，所述图像测试集模块与所述控制模块连接；

显示模块，所述显示模块包括显示器，所述显示模块与所述控制模块连接；

变换模块，所述变换变换模块包括显示器，所述变换模块与所述控制模块连接；

干扰模块，所述干扰模块包括光源干扰灯、镜面干扰物和遮挡物；

智能识别模块，所述智能模块包括服务器，所述智能识别模块与所述控制模块连接；

结果汇总模块，所述结果汇总包括服务器，所述结果汇总模块与所述控制模块连接。

进一步，本发明还提出一种图像识别效果检验方法，所述的图像识别效果检验装置，所述方法包括以下步骤：

S100、设置所述显示模块的显示方式，所述显示模块通过所述控制模块从所述图像测试集模块调取测试图像或视频进行显示；

S200、设置所述变换模块的显示方式，所述变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述控制模块从所述图像测试集模块调取测试图像或测试视频；

S300、设置所述干扰模块的干扰方式，所述干扰模块用于对所述显示模块和所述变换模块所处的环境造成干扰；

S400、设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；

S500、所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；

S600、所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

进一步，本发明还提出一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施所述的方法。

与现有的技术相比，本发明具有以下的特点：

本方法能模拟图像在多种现实环境下的采集效果，模拟现实中的干扰因素，对图像本身或变换后的图像自动进行采集、识别并和预设的数据标签进行比对，从而实现自动化分析识别程序的正确率的技术效果。

附图说明

图1为图像识别效果检验方法的流程图；

图2为图像识别效果检验方法中设置所述显示模块的显示方式的流程图；

图3为图像识别效果检验方法中设置所述变换模块的显示方式的流程图；

图4为图像识别效果检验方法中设置所述图像采集装置的流程图；

图5为图像识别效果检验方法中智能识别模块的流程图；

图6为图像识别效果检验装置的示意图；

图7为图像识别效果检验方法中智能识别模块的输出测试结果的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。此外，本文所采用的行业术语“位姿”是指某个元件相对于空间坐标系的位置和姿态。

参照图1至图7，本发明实施例提供了一种图像识别效果检验装置，其特征在于，参照图6，所述装置包括：

控制模块，所述控制模块用于控制图像识别效果检验装置；

图像测试集模块，用于收集和存储多种类型的测试图像，所述图像测试集模块与所述控制模块连接；

显示模块，所述显示模块用于显示所述图像测试集模块的图像或视频，所述显示模块与所述控制模块连接；

变换模块，所述变换变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述变换模块的数量至少为一个，所述变换模块与所述控制模块连接；

干扰模块，用于生成环境干扰，所述干扰模块与所述变换模块相邻或相对设置；

智能识别模块，所述智能模块用于识别图像或视频的信息，所述智能识别模块包括依次连接的图像采集装置和识别装置，所述图像采集装置用于采集所述显示模块、所述变换模块和经所述干扰模块干扰后的图像或视频，所述识别装置用于识别所述图像采集装置采集到的图像或视频，所述图像采集装置与所述识别装置通过线缆连接或网络连接，所述智能识别模块与所述控制模块连接；

结果汇总模块，用于汇总分析所述智能识别模块的判断结果并输出结果汇总文件，所述智能识别模块和所述控制模块分别与所述结果汇总模块连接。

在一些实施例中，所述显示模块和所述变换模块为普通显示器、长带鱼屏、曲面屏等显示器。

进一步，参照图1，还包括应用程序，所述应用程序执行以下步骤：

S100、设置所述显示模块的显示方式，所述显示模块通过所述控制模块从所述图像测试集模块调取测试图像或视频进行显示；

S200、设置所述变换模块的显示方式，所述变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述控制模块从所述图像测试集模块调取测试图像或测试视频；

S300、设置所述干扰模块的干扰方式，所述干扰模块用于对所述显示模块和所述变换模块所处的环境造成干扰；

S400、设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；

S500、所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；

S600、所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

进一步，参照图1和图2，步骤S100包括：

S110、设置调取所述图像测试模块中测试图像或测试视频的范围，所述图像测试模块包括多种类型的测试图像和测试视频；

S120、设置所述显示模块的显示方式，所述显示模块的显示方式包括每个测试集图像的显示时间、是否插入无关图像和无关图像的显示时间；

S130、设置显示模块循环显示的次数。

在一些实施例中，所述测试图像或测试视频包括人脸图像视频、车辆图像视频、车牌图像视频和安全帽图像视频；所述人脸图像视频的数据标签包括性别、年龄和表情；所述车辆图像视频的数据标签包括车型、车辆颜色和驾驶室人像；所述车牌图像视频的数据标签包括车牌号、车牌颜色和车牌类型。

在一些实施例中，设置图像在显示器上的显示方式，显示方式可以通过在控制模块上的软件编程控制，可以详细、严格的控制图像显示区域、暂留间隔。当设置间隔较大的时候，此时可以测试图像识别效果，当数据集中存在大量相似的图像(不相似也无妨)，并且设置间隔较小的时候，可以模拟输入视频流，即对支持视频分析的算法、设备进行测试，这个设置是很容易实现的。如设置每张图像停留40ms，在循环显示图像时候，既可以达到每秒25帧，这个是视频中常用的帧率，而且这个数值可以灵活设置，对于实际中测试算法的图像识别速度很有帮助。另外，根据周围环境的不同，可适当调整显示模块的位置、角度、光照，以获得不同的显示效果。在设置显示模块的时候，可以在屏幕上图像显示区域之外的其他地方配置不同的背景、遮挡，以构造不同的环境干扰。

进一步，参照图1和图3，步骤S200包括：

S210、设置所述变换模块的数量；

S220、设置每个所述变换模块的变换处理方式；

S230、根据每个所述变换模块的变换处理方式，所述控制模块基于测试图像或测试视频生成对应的变换后的测试图像或变换后的测试视频；

S240、设置所述变换模块的显示方式，所述变换模块的显示方式包括每个变换后的测试图像或变换后的测试视频的显示时间、是否插入无关图像和无关图像的显示时间；

S250、设置每个所述变换模块循环显示变换后的测试图像或变换后的测试视频的次数。

具体地，变换模块对显示模块中的图像进行一定的变换，并在变换模块中显示变换之后的效果。在一些实施例中，所述变换模块显示的图像或视频可以是原始图像或视频经过光学设备的变换后的图像或视频，如平面镜变换、凸面镜变换等。所述变换模块的数量也不局限于两个，但是考虑到实际中的空间位置、相互之间的成像影响等因素，优选为两个。

添加了变换设备之后，通过改变智能识别设备的位置，可以获得更大的视角范围，以及不同的图像特效。如将设备A摆放在和显示器正对的地方获取正面视角，将设备B通过机械轴、支撑平台等放置在显示器平行、小角度倾斜、大角度倾斜、部分超出显示器以达到不同的视角范围。针对一台智能识别设备，扩大了图像识别数据源，同时如果增加设备数量，并合理放置其位置，可同时比较对同一个图像，在不同角度下的识别效果，即在一个时间单位下提升了测试效率。另外，根据周围环境的不同，也可以适当调节变换模块的位置、角度、光照，以获得不同的显示效果。对于进行广角支持范围的极限测试十分有益。

进一步，参照图1，所述变换处理方式包括对所述图像测试集的图像进行放大处理、缩小处理、镜像处理、倾斜处理、拉伸处理、凹凸处理和光照不均处理后得到的变换图像。

进一步，参照图1，所述干扰模块包括光源干扰、镜面干扰和遮挡物干扰。

进一步，参照图1和图4，步骤S400包括：

S410、设置每一个所述图像采集装置分别对准所述显示装置或所述变换模块；

S420、若存在网络摄像设备，检查网络摄像设备与所述智能识别模块的连接状态。

具体地，针对步骤S500，设备开始识别，即开始运行测试过程之前，可对设备进行一定的配置，包括但不限于参与测试的设备数量、调整设备的位置、配置设备的识别参数，对设备的参数配置可以在控制模块中进行。在测试过程中，可以根据环境的变化或者测试策略的调整，随时变更设备，此时可以选择暂停或者不暂停测试。

进一步，参照图1，所述测试图像或测试视频包括人脸图像视频、车辆图像视频、车牌图像视频和安全帽图像视频；

所述人脸图像视频的数据标签包括性别、年龄和表情；

所述车辆图像视频的数据标签包括车型、车辆颜色和驾驶室人像；

所述车牌图像视频的数据标签包括车牌号、车牌颜色和车牌类型。

进一步，参照图1和图5，步骤S600包括：

S610、所述智能识别模块基于所述测试图像或测试视频的数据标签的项目对所述图像采集装置采集到的测试图像或测试视频进行识别，得到识别结果；

S620、所述智能识别模块基于所述测试图像或测试视频的数据标签，逐个对比测试结果是否正确，并计算正确率；

S630、保存并输出测试结果。

具体地，智能识别模块需要将识别结果发送给结果汇总模块，发送的信息由设备内嵌的算法决定，根据测试目标，可以发送详细或者简略的结果，但应当是在数据集内被标注过的那些项以便统计。识别设备发送过来的结果也是格式化之后的。

所述结果汇总模块也是由所述控制模块控制，所述控制模块在接收到识别设备发送过来的结果之后，可以暂时将识别结果存储下来，形成文件的格式，在本轮测试结束之后，自动读取识别结果文件与标准结果文件对比，自动计算并生成本次测试的正确率、误识别率，还可以通过对几次测试的结果比较，生成近几次的结果曲线图，便于观察改进效果和运行趋势。可以通过编程设计，不一定在测试完成后再进行结果汇总，可以在达到一定数量、一定时间的时候就进行，都是比较容易实现的。同时，保留的原始结果文件也便于开发测试人员对其进行人工二次验证。

纵观以上工作流程，可以实现在一开始配置好相关模块、准备好数据集，启动测试之后，即可完全交由系统自动化执行，最终生成的易读的测试结果。

进一步，参照图6，本发明还提出一种图像识别效果检验装置，所述图像识别效果检验装置包括：

控制模块，所述控制模块包括服务器；

图像测试集模块，所述图像测试集模块包括服务器、网络存储服务器，所述图像测试集模块与所述控制模块连接；

显示模块，所述显示模块包括显示器，所述显示模块与所述控制模块连接；

变换模块，所述变换变换模块包括显示器，所述变换模块与所述控制模块连接；

干扰模块，所述干扰模块包括光源干扰灯、镜面干扰物和遮挡物；

智能识别模块，所述智能模块包括服务器，所述智能识别模块与所述控制模块连接；

结果汇总模块，所述结果汇总包括服务器，所述结果汇总模块与所述控制模块连接。

进一步，参照图1，本发明还提出一种图像识别效果检验方法，所述的图像识别效果检验装置，所述方法包括以下步骤：

S100、设置所述显示模块的显示方式，所述显示模块通过所述控制模块从所述图像测试集模块调取测试图像或视频进行显示；

S200、设置所述变换模块的显示方式，所述变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述控制模块从所述图像测试集模块调取测试图像或测试视频；

S300、设置所述干扰模块的干扰方式，所述干扰模块用于对所述显示模块和所述变换模块所处的环境造成干扰；

S400、设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；

S500、所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；

S600、所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

进一步，参照图1，本发明还提出一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施所述的方法。

与现有的技术相比，本发明具有以下的特点：

本方法能模拟图像在多种现实环境下的采集效果，模拟现实中的干扰因素，对图像本身或变换后的图像自动进行采集、识别并和预设的数据标签进行比对，从而实现自动化分析识别程序的正确率的技术效果。

具体地，

1)提高测试效率，一次部署，可以在后续的回归测试中多次使用，即使是非开发人员，普通的测试人员也可以轻松使用，自动化程度高，一次性可以处理大量的样本、不同视角的测试工作。通过配置场景化的模拟真实环境，也避免把测试集输入识别设备影响实际效果。

2)测试环境稳定，如果将该系统部署在周围环境不易发生变化的地方，可保证每次测试的外部因素统一，对于控制变量型的实验减少了很多外部干扰。

3)灵活扩展性强，系统结构图中展现的是独立分布的各个构件，如果能够将其制作为一台统一的机器，并增加一些光源、遮光罩、红外等其他部件，可灵活进行部署以及提供更多的测试场景，如果改进显示设备，如使用柔性显示，则可以模拟更加真实的使用场景。数据源的选取与显示方式没有严格要求，根据软件控制进行灵活的变化，不仅对图像识别，对视频分析也有一定的应用。

4)后期维护方便，软硬结合的系统设计，在测试方案不变的情况下，测试策略的变更只需调整相关软件配置即可，对于新手测试人员十分友好。

在一个具体的实施例中，如要测试一个人脸识别的算法在低照度、强光、侧方广视角下的识别效果。

先要准备的材料：

1)100张正面人脸照，充当测试集，已完成编号并将每张照片的各项信息存在了excel表格中，包含不同的年龄段、肤色、部分戴眼镜等；

2)三台智能识别设备，即识别模块，可自带摄像头或可通过网络等连接摄像头来采集画面；

3)变换模块所需的补光灯、平面镜、其他机械构件等。

步骤如下：

1)智能识别模块的初始化：将待测试的算法烧录到识别设备中，只把人脸识别的算法添加在固件包里，将算法的输出设置为只有人名，然后使用工具将固件烧写进设备；随后将测试集的正面照片人员信息注册到每台设备，这样识别模块有了“标准答案”。

2)设置显示模块和变换模块：这里的显示模块使用一个普通的平面显示器，每3s显示一个测试集的图像，中间插一个空白图像，空白图像显示1s。本次正面图像不作为测试关心点。然后在显示模块的两侧放上平面镜，其中一个打上强光，另一个用遮光板进行部分遮挡，为了防止强光干扰，可以另外错开放置一个显示模块和变换模块以减少干扰。再在合适的位置如斜右上角放置一个平面镜，使其相对于显示模块中的画面明显倾斜。这样，变换模块的显示周期和显示模块一致，而实际画面也和预期的强光、弱光、广视角接近，然后可进一步修正。

在一个具体的实施例中，此步骤通过以下代码实现：

3)智能识别模块的摄像头摆放：我们默认的识别模块均从摄像头采集图像，然后进行智能识别分析。

方式一：使用识别模块自带的摄像头；

方式二：通过网络获取IPC的图像，这里直接采用前者，将这三个摄像头分别对着三个变换后的图像并固定好，此时就完成了对三种状态的画面采集。

4)结果汇总比对：鉴于本次只进行人脸识别，识别模块均可记录每次识别结果，将三台设备的识别结果分别上传并由控制模块以文本文档的形式保存在结果汇总模块。当这一轮结束之后，由结果汇总模块将excel的“标准答案”、三个识别设备的识别结果即文本文档进行逐个比对后，自动计算每个场景下的正确率。

综上，可以将结果汇总模块看作储存着“标准答案”和实际识别结果的文件夹，将控制模块看作操作这些文件的自动化程序，并输出每轮测试后的正确率。

在一个具体的实施例中，此步骤通过以下代码实现：

参照图7，输出结果包括编号1到编号100的100组数据，其中每组数据包括3个测试结果，分别采集1个显示模块和2个变换模块的图像或视频，对比结果1至对比结果3分别是测试结果与数据标签的对比结果，如果测试结果与数据标签一致，则为真，如果测试结果与数据标签不一致，则为假。最后通过分别计算对比结果1至对比结果3的准确率，评价一个测试程序的准确性。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种图像识别效果检验装置，其特征在于，所述装置包括：

控制模块，所述控制模块用于控制图像识别效果检验装置；

图像测试集模块，用于收集和存储多种类型的测试图像，所述图像测试集模块与所述控制模块连接；

显示模块，所述显示模块用于显示所述图像测试集模块的图像或视频，所述显示模块与所述控制模块连接；

变换模块，所述变换变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述变换模块的数量至少为一个，所述变换模块与所述控制模块连接；

干扰模块，用于生成环境干扰，所述干扰模块与所述变换模块相邻或相对设置；

智能识别模块，所述智能模块用于识别图像或视频的信息，所述智能识别模块包括依次连接的图像采集装置和识别装置，所述图像采集装置用于采集所述显示模块、所述变换模块和经所述干扰模块干扰后的图像或视频，所述识别装置用于识别所述图像采集装置采集到的图像或视频，所述图像采集装置与所述识别装置通过线缆连接或网络连接，所述智能识别模块与所述控制模块连接；

结果汇总模块，用于汇总分析所述智能识别模块的判断结果并输出结果汇总文件，所述智能识别模块和所述控制模块分别与所述结果汇总模块连接。

2.根据权利要求1所述的图像识别效果检验装置，其特征在于，还包括应用程序，所述应用程序执行以下步骤：

S100、设置所述显示模块的显示方式，所述显示模块通过所述控制模块从所述图像测试集模块调取测试图像或视频进行显示；

S200、设置所述变换模块的显示方式，所述变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述控制模块从所述图像测试集模块调取测试图像或测试视频；

S300、设置所述干扰模块的干扰方式，所述干扰模块用于对所述显示模块和所述变换模块所处的环境造成干扰；

S400、设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；

S500、所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；

S600、所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

3.根据权利要求2所述的图像识别效果检验装置，其特征在于，步骤S100包括：

S110、设置调取所述图像测试模块中测试图像或测试视频的范围，所述图像测试模块包括多种类型的测试图像和测试视频；

S120、设置所述显示模块的显示方式，所述显示模块的显示方式包括每个测试集图像的显示时间、是否插入无关图像和无关图像的显示时间；

S130、设置显示模块循环显示的次数。

4.根据权利要求2所述的图像识别效果检验装置，其特征在于，步骤S200包括：

S210、设置所述变换模块的数量；

S220、设置每个所述变换模块的变换处理方式；

S230、根据每个所述变换模块的变换处理方式，所述控制模块基于测试图像或测试视频生成对应的变换后的测试图像或变换后的测试视频；

S240、设置所述变换模块的显示方式，所述变换模块的显示方式包括每个变换后的测试图像或变换后的测试视频的显示时间、是否插入无关图像和无关图像的显示时间；

S250、设置每个所述变换模块循环显示变换后的测试图像或变换后的测试视频的次数。

5.根据权利要求4所述的图像识别效果检验装置，其特征在于，所述变换处理方式包括对所述图像测试集的图像进行放大处理、缩小处理、镜像处理、倾斜处理、拉伸处理、凹凸处理和光照不均处理后得到的变换图像。

6.根据权利要求2所述的图像识别效果检验装置，其特征在于，步骤S400包括：

S410、设置每一个所述图像采集装置分别对准所述显示装置或所述变换模块；

S420、若存在网络摄像设备，检查网络摄像设备与所述智能识别模块的连接状态。

7.根据权利要求2所述的图像识别效果检验装置，其特征在于，步骤S600包括：

S610、所述智能识别模块基于所述测试图像或测试视频的数据标签的项目对所述图像采集装置采集到的测试图像或测试视频进行识别，得到识别结果；

S620、所述智能识别模块基于所述测试图像或测试视频的数据标签，逐个对比测试结果是否正确，并计算正确率；

S630、保存并输出测试结果。

8.根据权利要求1所述的图像识别效果检验装置，其特征在于，

控制模块，所述控制模块包括服务器；

图像测试集模块，所述图像测试集模块包括服务器、网络存储服务器，所述图像测试集模块与所述控制模块连接；

显示模块，所述显示模块包括显示器，所述显示模块与所述控制模块连接；

变换模块，所述变换变换模块包括显示器，所述变换模块与所述控制模块连接；

干扰模块，所述干扰模块包括光源干扰灯、镜面干扰物和遮挡物；

智能识别模块，所述智能模块包括服务器，所述智能识别模块与所述控制模块连接；

结果汇总模块，所述结果汇总包括服务器，所述结果汇总模块与所述控制模块连接。

9.一种图像识别效果检验方法，用于如权利要求1所述的图像识别效果检验装置，所述方法包括以下步骤：

S100、设置所述显示模块的显示方式，所述显示模块通过所述控制模块从所述图像测试集模块调取测试图像或视频进行显示；

S200、设置所述变换模块的显示方式，所述变换模块用于显示经所述控制模块变换处理的所述图像测试集的图像或视频，所述控制模块从所述图像测试集模块调取测试图像或测试视频；

S300、设置所述干扰模块的干扰方式，所述干扰模块用于对所述显示模块和所述变换模块所处的环境造成干扰；

S400、设置所述图像采集装置，使所述图像采集装置能采集到每一个所述显示装置和所述变换装置显示的测试图像或测试视频；

S500、所述控制模块控制所述显示模块和所述变换模块开始播放测试图像和测试视频，所述智能识别模块控制多个所述图像采集装置启动图像采集；

S600、所述智能识别模块对所述图像采集装置采集的图像或视频进行分析汇总，并输出分析结果，所述分析结果包括基于所述测试图像或测试视频的数据标签，对分析结果进行对比后的正确率。

10.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求9中任一项所述的方法。