[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110348522B - 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统 - Google Patents

一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统 Download PDF

Info

Publication number
CN110348522B
CN110348522B CN201910633174.4A CN201910633174A CN110348522B CN 110348522 B CN110348522 B CN 110348522B CN 201910633174 A CN201910633174 A CN 201910633174A CN 110348522 B CN110348522 B CN 110348522B
Authority
CN
China
Prior art keywords
image
target
recognized
rectangular frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910633174.4A
Other languages
English (en)
Other versions
CN110348522A (zh
Inventor
周伟
张发恩
赵江华
杨麒弘
张祥伟
秦永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Qingdao Technology Co ltd
Original Assignee
Innovation Qizhi Qingdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Qingdao Technology Co ltd filed Critical Innovation Qizhi Qingdao Technology Co ltd
Priority to CN201910633174.4A priority Critical patent/CN110348522B/zh
Publication of CN110348522A publication Critical patent/CN110348522A/zh
Application granted granted Critical
Publication of CN110348522B publication Critical patent/CN110348522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别领域,特别涉及图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统,包括步骤S1、提供待测图像;S2、利用检测分类模型将待测图像中的待识别目标进行检测以获得与待识别目标对应的掩膜图像;S3、将步骤S1中的待测图像和步骤S2中的掩膜图像进行合并以获得多通道图像;及S4、将多通道图像输入训练好的分类网络进行检测以对待识别目标进行分类,掩膜图像将待识别的目标与背景进行区分,以提高检测分类模型对待识别目标的识别效率,同时,由于多通道图像相对于待测图像代表了待识别目标更全面的信息,将其输入训练好的分类网络进行检测以对所述待识别目标进行分类,能很好的提高检测的准确率且能获得更细致的分类结果。

Description

一种图像检测识别方法及系统、电子设备、图像分类网络优化 方法及系统
【技术领域】
本发明涉及图像识别领域,特别涉及一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统。
【背景技术】
现有常用的检测识别方法主要使用深度学习技术,可以粗略分为一阶段和二阶段方法,包括SSD、yolo、以及faster-rcnn系列,这些方法都将检测识别分为预测目标分类以及外接框两个任务,mask-rcnn是最新最优异的检测识别方法,其在检测中加入了一个额外预测目标mask的任务,能让网络获得更好的检测识别效果,但mask-rcnn以及其他的检测模型在实际应用中,往往需要对图像进行缩放处理,当在目标尺寸敏感的时表现不好,因为其不能有效区分目标边界以及没有保持目标的长宽比例。因此,急需提出一种图像分类检测识别方法以提高目标识别准确率。
【发明内容】
为克服目前的检测识别方法在目标尺寸敏感时检测识别准确率低的缺陷,本发明提供一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统为了解决上述技术问题提供一种图像检测识别方法,包括如下步骤:S1、提供具有至少一个待识别目标的待测图像;S2、利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与所述待识别目标对应的掩膜图像;S3、将所述步骤S1中的待测图像和所述步骤S2中的掩膜图像进行合并以获得多通道图像;及S4、将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。
优选地,所述步骤S2具体包括如下步骤:步骤S21、定位与每个待识别目标对应的矩形框;步骤S22、根据所述矩形框获得与所述待识别目标对应的掩膜图像。
优选地,所述步骤S2还包括在所述步骤S21和所述步骤S22之间执行的如下步骤:步骤S21A、获得与每个矩形框对应的置信度;步骤S21B、根据置信度与预设阈值之间的大小关系,判定所述矩形框是否合格;若是,则对应执行步骤S22;若否,则重新返回步骤S21。
优选地,若判定所述矩形框为合格,则在所述上述步骤S21B及步骤S22之间还包括步骤S21C,将所述矩形框按照预设的缩放比例进行缩放以获得与每个待识别目标对应的多个尺寸不相同的矩形框。
优选地,在所述步骤S22中,将所述矩形框内的像素值设置为255,将所述矩形框以外的区域的像素值设置为0以获得二值图像,所述二值图像为所述掩膜图像。
优选地,在所述步骤S3中,基于所述掩膜图像的通道数、宽度以及高度和所述待测图像的通道数、宽度以及高度做合并以获得所述多通道图像,所述待测图像的通道数对应为n,合并后的多通道图像的通道数对应为n+1。
为了解决上述技术问题,本发明还提供一种图像分类网络优化方法,包括如下步骤:T1、提供具有至少一个待识别目标的待测图像;T2、利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与所述待识别目标对应的掩膜图像;T3、将所述步骤S1中的待测图像和所述步骤S2中的掩膜图像进行合并以获得多通道图像;及T4、将所述多通道图像作为训练集输入训练好的分类网络进行训练以获得优化后的分类网络。
为了解决上述技术问题,本发明还提供一种图像检测识别系统,包括:图像获取单元,用于获取具有至少一个待识别目标的待测图像;检测单元,用于将所述待测图像中的待识别目标进行检测以获得与每个待识别目标对应的掩膜图像;合并单元,用于将所述待测图像和所述掩膜图像进行合并以获得多通道图像;分类单元,用于将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。
为了解决上述技术问题,本发明还提供一种图像分类网络优化系统,其特征在于,包括:图像获取单元,用于获取具有至少一个待识别目标的待测图像;检测单元,用于将所述待测图像中的待识别目标进行检测以获得与每个待识别目标对应的掩膜图像;合并单元,用于将所述待测图像和所述掩膜图像进行合并以获得多通道图像;训练单元,用于将所述多通道图像输入训练好的分类网络进行训练以获得优化后的分类网络。
本发明为了解决上述技术问题,还提供一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被设置为运行时执行如上所述的图像检测识别方法;所述处理器被设置为通过所述计算机程序执行如上所述的图像检测识别方法。
相对于现有技术,在对待测图片的检测开始时,利用检测分类模型预测获取掩膜图像,掩膜图像将待识别的目标与背景进行区分,以提高检测分类模型对待识别目标的识别效率,同时进一步将掩膜图像与待测图像进行合并以获得多通道图像,由于多通道图像相对于待测图像代表了待识别目标更全面的信息,将其输入训练好的分类网络进行检测以对所述待识别目标进行分类,能很好的提高检测的准确率且能获得更细致的分类结果。
根据置信度与预设的阈值之间的大小关系判定所述矩形框是否合格,以在获得多通道图像的初期进行管控,进一步提高对待测图片检测分类的准确性。
当所述定位框合格时,按照预设的缩放比例对矩形框进行缩放以获得与每个待识别目标对应的多个尺寸不同的矩形框,因此,获得的多个多通道图像,提高了分类的准备性,同时丰富训练分类网络的数据集,进一步提高训练后的分类网络的性能。
还利用多通道图像作为训练集对训练好的分类网络进行训练优化获得优化后的分类网络,提升分类网络的模型性能,以在后续的图片检测识别过程中获得更加准确的检测分类结果
本发明提供的图像分类网络优化方法、电子设备具有和所述图像检测识别方法相同的有益效果。
【附图说明】
图1是本发明第一实施例图像检测识别方法的流程示意图;
图2是本发明第一实施例图像检测识别方法的步骤S2的细节流程示意图;
图2a是本发明第一实施例图像检测识别方法中在步骤S21中定位与待识别目标对应的矩形框的示意图;
图3是本发明第一实施例图像检测识别方法的变形实施例中步骤S2的细节流程示意图;
图4是本发明第一实施例图像检测识别方法的又一变形实施例中步骤S2的细节流程示意图;
图5是本发明第二实施例提供的图像分类网络优化方法的流程示意图;
图6是本发明第三实施例图像检测识别系统的模块示意图;
图7是本发明第三实施例图像检测识别系统中检测单元的模块示意图;
图8是本发明第四实施例提供的图像分类网络优化系统的模块示意图;
图9是本发明第五实施例电子设备的模块示意图;
图10是第六实施例提供的适于用来实现本发明实施例的服务器的计算机系统的结构示意图;
附图标记说明:
100、图像检测识别系;101、图像获取单元;102、检测单元;1021、定位框生成单元;1022、掩膜图像生成单元;103、合并单元;104、分类单元;200、图像分类网络优化系统;205、训练单元;700、电子设备;701、存储器;702、处理器;800、计算机系统;801、中央处理单元(CPU);802、存储器(ROM);803、RAM;804、总线;805、I/O接口;806、输入部分;807、输出部分;808、存储部分;809、通信部分;810、驱动器;811、可拆卸介质。
【具体实施方式】
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明第一实施例提供一种图像检测识别方法,包括如下步骤:
S1、获取具有至少一个待识别目标的待测图像;
S2、利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与所述待识别目标对应的掩膜图像;
S3、将所述步骤S1中的待测图像和所述步骤S2中的掩膜图像进行合并以获得多通道图像;及S4、将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。
在所述步骤S1中,所述待测图像为通过相机拍摄获得的图片或者视频。当为视频时,所述待测图像为从视频中截取出来的每一帧图像。可以理解,根据设定的分析任务,在每个待测图像中可以包括一个待识别目标或者多个待识别目标。比如,一张图片中有1瓶矿泉水和3瓶可乐,当需要对矿泉水进行检测识别时,其待识别目标为1个,当需要对可乐进行检测识别时,其待识别目标为3个。
请参阅图2,在所述步骤S2中,利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与所述待识别目标对应的掩膜图像。具体包括如下步骤:
步骤S21、定位与每个待识别目标对应的矩形框;及
步骤S22、根据所述矩形框获得与所述待识别目标对应的掩膜图像。
在所述步骤S21中,通过检测分类模型定位与所述每个待识别目标对应的矩形框,该矩形框内包含了待识别目标的最大边界所在的矩形区域,如图2a中所示,以瓶装饮料为例,待测图像20中具有第一饮料200和第二饮料300,矩形框400分别精确定位第一饮料200和第二饮料300最大边界所在的矩形区域。可以理解,常用的检测分类模型的检测算法通常包括Faster R-CNN、Cascade R-CNN和Mask R-CNN中的任一种,在此不再赘述。
在所述步骤S22中,根据所述矩形框获得与所述待识别目标对应的掩膜图像,其具体操作如下:在本步骤中,基于经验值或者预处理图像的特点可设定一个阈值,以此阈值来进行二值化处理,所有灰度大于或者等于阈值的像素被判定为属于气泡的边缘,其灰度值为255(即相对于为白色)表示,将所述矩形框内的像素值设置为255;否则这些像素点被排除在物体区域以外,灰度值为0(即相对于为黑色)表示,也即将所述矩形框以外的区域的像素值设置为0。其可以通过OpenCV算法中的两个函数对预处理图像进行二值化处理,所述的两个函数如下:
(1)cvThreshold(dst,dst,230,255,CV_THRESH_BINARY_INV);
(2)cvAdaptiveThreshold(dst,dst,255,CV_ADAPTIVE_THRESH_MEAN_C,CV_THRESH_BINARY,9,-10)
因此,所述二值图像为所述掩膜图像,如图2a所示。
请参阅图3,所述步骤S2进一步包括在所述步骤S21和所述步骤S22之间执行的如下步骤:
步骤S21A、获得与每个矩形框对应的置信度;
步骤S21B、步骤S21B、根据置信度与预设阈值之间的大小关系,判定所述矩形框是否合格;
若是,则对应执行步骤S22;
若否,则重新返回步骤S21。
在所述步骤S21A中,获取的与每个矩形框对应的置信度也是通过在步骤S21中使用的检测分类模型获得的。也即,同样是通过算法Faster R-CNN、Cascade R-CNN和Mask R-CNN中的任一种获得的。
在所述步骤S21B中,根据所述置信度判定所述矩形框是否合格,是通过设定一个阈值,若所述置信度大于或者等于设定的阈值,则认为所述矩形框合格,否则认为所述矩形框不合格。可以理解的是:所述矩形框合格就代表所述矩形框能将所述待识别目标进行很好的框定,比如,将待识别目标100%框定在所述矩形框内,或者,80%-95%的区域的待识别目标被框定在所述矩形框内,否则认为所述矩形框不合格。当所述矩形框不合格时,需要重新返回步骤S21。
请参阅图4,所述步骤S2还包括步骤S21C,
若是,也即当所述矩形框合格时,则对应执行步骤S21C:将所述矩形框按照预设的缩放比例进行缩放以获得与每个待识别目标对应的多个尺寸不相同的矩形框;所述步骤S21C在所述步骤S21B和所述步骤S22之间。通常在步骤21定位的矩形框为一个待识别目标对应一个矩形框,当通过对所述每个矩形框按照预设的缩放比例进行缩放之后获得与每个待识别目标对应的多个尺寸不同的矩形框,以形成多张具有不同尺寸的矩形框大小的待测图像。可选地,所述缩放比例为根据经验值进行设定的,比如:可以是步骤21中的矩形框的0.8倍、0.85倍、0.9倍、1.05倍、1.1倍、1.2倍或者其他数值。将所述矩形框按照预设的缩放比例进行缩放以获更多的代表每个待识别目标的待测图像集,使得基于该待测图像集训练的分类网络获得更好的分类检测效果。
请参阅图1,在所述步骤S3中,将所述步骤S1中的待测图像和所述步骤S2中的掩膜图像进行合并以获得多通道图像是基于所述掩膜图像的通道数、宽度以及高度和所述待测图像的通道数、宽度以及高度做合并以获得所述多通道图像。所述待测图像的通道数对应为n,合并后的多通道图像的通道数对应为n+1。比如,待测图像的宽度、高度以及通道数分别为:W1、H1和n;掩膜图像的宽度、高度以及通道数分别为:W2、H2和1,在将两者进行合并时,分别是将所述宽度、高度以及通道数进行叠加。合并后的多通道图像的宽度、高度以及通道数分别为:W1+W2、H1+H2和n+1。可以理解的是,待测图像通常为彩色图像,其为RGB三通道图像,即其通道数为3。可以理解的是,由于在步骤21C中将所述矩形框按照预设的缩放比例进行缩放以获得与待识别目标对应的多个尺寸不相同矩形框,因此,在本步骤中,与每张待测图像对应的多通道图像为多个。
请再次参阅图1,在所述步骤S4中,S4、将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。在本步骤中,所述训练好的分类网络是现有的常用的分类网络,如SSD、yolo、faster-rcnn和mask-rcnn或者其他分类网络中的任一种。
请参阅图5,本发明第二实施例提供一种图像分类网络优化方法,其包括第一实施例提供的步骤S1-步骤S3和步骤:T4、将所述多通道图像作为训练集输入训练好的分类网络进行训练以获得优化后的分类网络。
在所述步骤T4中,所述训练好的分类网络为现有的常用的分类网络,如SSD、yolo、faster-rcnn和mask-rcnn或者其他分类网络中的任一种。
请参阅图6,本发明的第三实施例提供一种图像检测识别系统100,其包括:图像获取单元101、检测单元102、合并单元103和分类单元104。
图像获取单元101,用于获取具有至少一个待识别目标的待测图像;
检测单元102,用于将所述待测图像中的待识别目标进行检测以获得与每个待识别目标对应的掩膜图像;
合并单元103,用于将所述待测图像和所述掩膜图像进行合并以获得多通道图像;
分类单元104,用于将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。
请参阅图7,所述检测单元102包括:定位框生成单元1021以及掩膜图像生成单元1022。
其中,定位框生成单元1021,用于生成与每个待识别目标对应的矩形框;
掩膜图像生成单元1022,用于根据所述矩形框获得与每个待识别目标对应的掩膜图像。
请参阅图8,本发明的第四实施例提供的图像分类网络优化系统200,其包括第三实施例提供的检测单元102、合并单元103和训练单元205。所述训练单元205用于将所述多通道图像输入训练好的分类网络进行训练以获得优化后的分类网络。
请参阅图9,本发明的第五实施例提供一种电子设备700,包括存储器701和处理器702,所述存储器701中存储有计算机程序,所述计算机程序被设置为运行时执行如第一实施例所述的图像检测识别方法;
所述处理器702被设置为通过所述计算机程序执行如第一实施例所述的图像检测识别方法。
下面参考图10,其示出了适于用来实现本申请实施例的终端设备/服务器的计算机系统800的结构示意图。图8示出的终端设备/服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中,还存储有系统800操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“如“语言或类似的程序设计语言。程序代码可以完全地在管理端计算机上执行、部分地在管理端计算机上执行、作为一个独立的软件包执行、部分在管理端计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)域连接到管理端计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
相对于现有技术,在检测开始时,利用检测分类模型预测获取掩膜图像,掩膜图像将待识别的目标与背景进行区分,以提高检测分类模型对待识别目标的识别效率,同时进一步将掩膜图像与待测图像进行合并以获得多通道图像,多通道图像相对于待测图像代表了待识别目标更全面的信息,将其输入训练好的分类网络进行检测以对所述待识别目标进行分类,能很好的提高检测的准确率且能获得更细致的分类结果。
根据置信度与预设的阈值之间的大小关系判定所述矩形框是否合格,以在获得多通道图像的初期进行管控,进一步提高对待测图片检测分类的准确性。
当所述定位框合格时,按照预设的缩放比例对矩形框进行缩放以获得与每个待识别目标对应的多个尺寸不同的矩形框,因此,获得的多个多通道图像,提高了分类的准备性,同时丰富训练分类网络的数据集,进一步提高训练后的分类网络的性能。
还利用多通道图像作为训练集对训练好的分类网络进行训练优化获得优化后的分类网络,提升分类网络的模型性能,以在后续的图片检测识别过程中获得更加准确的检测分类结果
本发明提供图像检测识别系统、电子设备具有和所述图像检测识别方法相同的有益效果。
以上所述仅为本发明较佳实施例而已,并不用以限制本发明,凡在本发明原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。

Claims (6)

1.一种图像检测识别方法,其特征在于,包括如下步骤:
S1、提供具有至少一个待识别目标的待测图像;
S2、利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与所述待识别目标对应的掩膜图像,所述步骤S2具体包括如下步骤:
步骤S21、定位与每个待识别目标对应的矩形框;
步骤S21A、获得与每个矩形框对应的置信度;
步骤S21B、根据置信度与预设阈值之间的大小关系,判定所述矩形框是否合格;
若是,则对应执行步骤S21C及S22;
若否,则重新返回步骤S21;
步骤S21C,将所述矩形框按照预设的缩放比例进行缩放以获得与每个待识别目标对应的多个尺寸不相同的矩形框;
步骤S22、根据所述矩形框获得与所述待识别目标对应的掩膜图像;
在步骤S22中,基于设定的阈值进行二值化处理,将所述矩形框内的像素值设置为一种数值,将所述矩形框以外的区域的像素值设置为另一种数值以获得二值图像,所述二值图像为所述掩膜图像;
S3、将所述步骤S1中的待测图像和所述步骤S2中的掩膜图像进行合并以获得多通道图像;及
S4、将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。
2.如权利要求1所述的图像检测识别方法,其特征在于:在所述步骤S3中,基于所述掩膜图像的通道数、宽度以及高度和所述待测图像的通道数、宽度以及高度做合并以获得所述多通道图像,所述待测图像的通道数对应为n,合并后的多通道图像的通道数对应为n+1。
3.一种图像分类网络优化方法,其特征在于:其包括步骤:
步骤T1、提供具有至少一个待识别目标的待测图像;
步骤T2、利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与所述待识别目标对应的掩膜图像;
所述步骤T2具体包括如下步骤:
步骤T21、定位与每个待识别目标对应的矩形框;
步骤T21A、获得与每个矩形框对应的置信度;
步骤T21B、根据置信度与预设阈值之间的大小关系,判定所述矩形框是否合格;
若是,则对应执行步骤T21C及T22;
若否,则重新返回步骤T21;
步骤T21C,将所述矩形框按照预设的缩放比例进行缩放以获得与每个待识别目标对应的多个尺寸不相同的矩形框;
步骤T22、根据所述矩形框获得与所述待识别目标对应的掩膜图像;
在步骤T22中,基于设定的阈值进行二值化处理,将所述矩形框内的像素值设置为一种数值,将所述矩形框以外的区域的像素值设置为另一种数值以获得二值图像,所述二值图像为所述掩膜图像;
步骤T3、将所述步骤T1中的待测图像和所述步骤T2中的掩膜图像进行合并以获得多通道图像;及
步骤T4、将所述多通道图像作为训练集输入训练好的分类网络进行训练以获得优化后的分类网络。
4.一种图像检测识别系统,其特征在于,包括:
图像获取单元,用于获取具有至少一个待识别目标的待测图像;
检测单元,用于利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与每个待识别目标对应的掩膜图像;所述检测单元对待识别目标进行检测具体包括如下步骤:
步骤S21、定位与每个待识别目标对应的矩形框;
步骤S21A、获得与每个矩形框对应的置信度;
步骤S21B、根据置信度与预设阈值之间的大小关系,判定所述矩形框是否合格;
若是,则对应执行步骤S21C及S22;
若否,则重新返回步骤S21;
步骤S21C,将所述矩形框按照预设的缩放比例进行缩放以获得与每个待识别目标对应的多个尺寸不相同的矩形框;
步骤S22、根据所述矩形框获得与所述待识别目标对应的掩膜图像;
在步骤S22中,基于设定的阈值进行二值化处理,将所述矩形框内的像素值设置为一种数值,将所述矩形框以外的区域的像素值设置为另一种数值以获得二值图像,所述二值图像为所述掩膜图像;
合并单元,用于将所述待测图像和所述掩膜图像进行合并以获得多通道图像;
分类单元,用于将所述多通道图像输入训练好的分类网络进行检测以对所述待识别目标进行分类。
5.一种图像分类网络优化系统,其特征在于,包括图像获取单元、检测单元、合并单元和训练单元,
图像获取单元,用于获取具有至少一个待识别目标的待测图像;
检测单元,用于利用检测分类模型将所述待测图像中的待识别目标进行检测以获得与每个待识别目标对应的掩膜图像;所述检测单元对待识别目标进行检测具体包括如下步骤:
步骤T21、定位与每个待识别目标对应的矩形框;
步骤T21A、获得与每个矩形框对应的置信度;
步骤T21B、根据置信度与预设阈值之间的大小关系,判定所述矩形框是否合格;
若是,则对应执行步骤T21C及T22;
若否,则重新返回步骤T21;
步骤T21C,将所述矩形框按照预设的缩放比例进行缩放以获得与每个待识别目标对应的多个尺寸不相同的矩形框;
步骤T22、根据所述矩形框获得与所述待识别目标对应的掩膜图像;
在步骤T22中,基于设定的阈值进行二值化处理,将所述矩形框内的像素值设置为一种数值,将所述矩形框以外的区域的像素值设置为另一种数值以获得二值图像,所述二值图像为所述掩膜图像;
合并单元,用于将所述待测图像和所述掩膜图像进行合并以获得多通道图像;
所述训练单元用于将所述多通道图像输入训练好的分类网络进行训练以获得优化后的分类网络。
6.一种电子设备,包括存储器和处理器,其特征在于:所述存储器中存储有计算机程序,所述计算机程序被设置为运行时执行所述权利要求1至2任一项中所述的图像检测识别方法;
所述处理器被设置为通过所述计算机程序执行所述权利要求1至2任一项中所述的图像检测识别方法。
CN201910633174.4A 2019-07-12 2019-07-12 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统 Active CN110348522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910633174.4A CN110348522B (zh) 2019-07-12 2019-07-12 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910633174.4A CN110348522B (zh) 2019-07-12 2019-07-12 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统

Publications (2)

Publication Number Publication Date
CN110348522A CN110348522A (zh) 2019-10-18
CN110348522B true CN110348522B (zh) 2021-12-07

Family

ID=68175211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910633174.4A Active CN110348522B (zh) 2019-07-12 2019-07-12 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统

Country Status (1)

Country Link
CN (1) CN110348522B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008642A (zh) * 2019-10-25 2020-04-14 湖北富瑞尔科技有限公司 基于卷积神经网络的高分辨率遥感影像分类方法及系统
CN110826504A (zh) * 2019-11-07 2020-02-21 深圳市微埃智能科技有限公司 一种结合细粒度分类的视觉识别方法、装置及计算机设备
CN110910360B (zh) * 2019-11-14 2023-06-13 腾讯云计算(北京)有限责任公司 电网图像的定位方法和图像定位模型的训练方法
CN112001940B (zh) * 2020-08-21 2023-04-07 Oppo(重庆)智能科技有限公司 图像处理方法及装置、终端及可读存储介质
CN111985416B (zh) * 2020-08-24 2024-08-20 国网河北省电力有限公司 基于图像识别的施工安全隔离设施合规性监测方法
CN112070059A (zh) * 2020-09-18 2020-12-11 厦门汉舒捷医疗科技有限公司 一种血液细胞及骨髓细胞图像人工智能分类识别方法
CN112465753B (zh) * 2020-11-16 2024-05-28 北京工业大学 花粉颗粒检测方法、装置及电子设备
CN112633405A (zh) * 2020-12-30 2021-04-09 上海联影智能医疗科技有限公司 模型训练方法、医学影像分析方法及装置、设备、介质
CN113657334B (zh) * 2021-08-25 2023-01-20 展讯通信(天津)有限公司 图片识别方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930793A (zh) * 2016-04-19 2016-09-07 中山大学 一种基于sae特征可视化学习的人体检测方法
CN108062547A (zh) * 2017-12-13 2018-05-22 北京小米移动软件有限公司 文字检测方法及装置
CN108229575A (zh) * 2018-01-19 2018-06-29 百度在线网络技术(北京)有限公司 用于检测目标的方法和装置
CN109118456A (zh) * 2018-09-26 2019-01-01 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109146911A (zh) * 2018-07-23 2019-01-04 北京航空航天大学 一种目标跟踪的方法及装置
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN109492416A (zh) * 2019-01-07 2019-03-19 南京信息工程大学 一种基于安全区域的大数据图像保护方法和系统
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010008630A1 (de) * 2010-02-18 2011-08-18 ESW GmbH, 22880 Verfahren zu Verarbeitung von mehrkanaligen Bildaufnahmen für die Detektion von verborgenen Gegenständen bei der optoelektronischen Personenkontrolle
ES2877178T3 (es) * 2015-10-23 2021-11-16 Novartis Ag Procesos informáticos tras una versión mejorada de AQUA
CN108596940B (zh) * 2018-04-12 2021-03-30 北京京东尚科信息技术有限公司 一种视频分割方法和装置
CN109190540B (zh) * 2018-06-06 2020-03-17 腾讯科技(深圳)有限公司 活检区域预测方法、图像识别方法、装置和存储介质
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930793A (zh) * 2016-04-19 2016-09-07 中山大学 一种基于sae特征可视化学习的人体检测方法
CN108062547A (zh) * 2017-12-13 2018-05-22 北京小米移动软件有限公司 文字检测方法及装置
CN108229575A (zh) * 2018-01-19 2018-06-29 百度在线网络技术(北京)有限公司 用于检测目标的方法和装置
CN109146911A (zh) * 2018-07-23 2019-01-04 北京航空航天大学 一种目标跟踪的方法及装置
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN109118456A (zh) * 2018-09-26 2019-01-01 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN109492416A (zh) * 2019-01-07 2019-03-19 南京信息工程大学 一种基于安全区域的大数据图像保护方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用超像素标注匹配的交通场景几何分割方法;胡江策等;《西安交通大学学报》;20180622;第52卷(第8期);74-79、145 *

Also Published As

Publication number Publication date
CN110348522A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348522B (zh) 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
WO2021027135A1 (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN112633384A (zh) 基于图像识别模型的对象识别方法、装置和电子设备
CN107273458B (zh) 深度模型训练方法及装置、图像检索方法及装置
WO2019020103A1 (zh) 目标识别方法、装置、存储介质和电子设备
CN111582021A (zh) 场景图像中的文本检测方法、装置及计算机设备
WO2021031954A1 (zh) 对象数量确定方法、装置、存储介质与电子设备
CN111291601B (zh) 车道线识别方法和装置以及电子设备
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN109285181B (zh) 用于识别图像的方法和装置
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN112863187B (zh) 感知模型的检测方法、电子设备、路侧设备和云控平台
CN112330602B (zh) 一种智能陷印方向判断方法及装置
CN111583341A (zh) 云台像机移位检测方法
CN117854402A (zh) 显示屏的异常显示检测方法、装置、终端设备
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质
CN114445751A (zh) 视频关键帧图像轮廓特征的提取方法和装置
CN109726741B (zh) 一种多目标物体的检测方法及装置
CN115019321A (zh) 一种文本识别、模型训练方法、装置、设备及存储介质
CN114821034A (zh) 目标检测模型的训练方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhou Wei

Inventor after: Zhang Faen

Inventor after: Zhao Jianghua

Inventor after: Yang Qihong

Inventor after: Zhang Xiangwei

Inventor after: Qin Yongqiang

Inventor before: Zhang Faen

Inventor before: Zhao Jianghua

Inventor before: Yang Qihong

Inventor before: Zhang Xiangwei

Inventor before: Qin Yongqiang

GR01 Patent grant
GR01 Patent grant