CN109711427A - 目标检测方法及相关产品 - Google Patents
目标检测方法及相关产品 Download PDFInfo
- Publication number
- CN109711427A CN109711427A CN201811375173.6A CN201811375173A CN109711427A CN 109711427 A CN109711427 A CN 109711427A CN 201811375173 A CN201811375173 A CN 201811375173A CN 109711427 A CN109711427 A CN 109711427A
- Authority
- CN
- China
- Prior art keywords
- network
- target
- image
- shallow
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 230000008878 coupling Effects 0.000 claims abstract description 31
- 238000010168 coupling process Methods 0.000 claims abstract description 31
- 238000005859 coupling reaction Methods 0.000 claims abstract description 31
- 230000007717 exclusion Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 abstract 7
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种目标检测方法及相关产品,方法包括:获取目标图像;将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;将所述第一目标区域和所述第二目标区域作为最终的目标区域。采用本申请可提升目标检测召回率和检测精度。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种目标检测方法及相关产品。
背景技术
目标检测是计算机视觉应用的关键部分。它在在城市自动驾驶、视频监控和工业机器人场景中有广泛的应用前景。随着计算机视觉技术的发展,目标检测的检测精度和检测速度都有了极大的提升。但是,拥挤场景下的行人、车辆检测以及大场景下的微小目标检测,一直是目标检测技术难以突破的瓶颈。即使当前的大多数目标检测技术对离摄像头较近的目标检测效果都比较好,但是对那些远离摄像头的相对较小的行人和车辆目标检出率和检出精度都难以令人满意。
发明内容
本申请实施例提供了一种目标检测方法及相关产品,能够提升目标检测精度。
本申请实施例第一方面提供了一种目标检测方法,包括:
获取目标图像;
将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;
基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;
基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;
将所述第一目标区域和所述第二目标区域作为最终的目标区域。
本申请实施例第二方面提供了一种目标检测装置,包括:
获取单元,用于获取目标图像;
处理单元,用于将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;
检测单元,用于基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;以及基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;
确定单元,用于将所述第一目标区域和所述第二目标区域作为最终的目标区域。
第三方面,本申请实施例提供了一种电子设备,包括:处理器和存储器;以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置成由所述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质用于存储计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。
第五方面,本申请实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具有如下有益效果:
可以看出,通过本申请实施例所描述的目标检测方法及相关产品,获取目标图像,将目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,预设ResNet残差网络为两级特征级联网络,两级特征级联网络包括第一级特征网络和第二级特征网络,第一级特征网络用于提取浅层网络特征,第二级网络特征用于提取深层网络特征,基于预设互斥损失规则对浅层网络特征进行目标检测,得到第一目标区域,基于深层网络特征和耦合特征进行目标检测,得到第二目标区域,将第一目标区域和第二目标区域作为最终的目标区域,如此,不仅能够提取图像中的大目标,还可以提取图像中的小目标,提升了目标检测精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种目标检测方法的实施例流程示意图;
图1B是本申请实施例提供的一种预设ResNet残差网络的演示示意图;
图2是本申请实施例提供的一种目标检测装置的实施例结构示意图;
图3是本申请实施例提供的一种电子设备的实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所描述行电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、视频矩阵、监控平台、车载设备、卫星、掌上电脑、笔记本电脑、移动互联网设备(MID,Mobile Internet Devices)或穿戴式设备等,上述仅是举例,而非穷举,包含但不限于上述装置,当然,上述电子设备还可以为服务器。
请参阅图1A,为本申请实施例提供的一种目标检测方法的实施例流程示意图。本实施例中所描述的目标检测方法,包括以下步骤:
101、获取目标图像。
其中,目标图像可以为抓拍图像,例如,由监控摄像头抓拍的图像,或者,目标图像可以由用户输入的任一图像。
可选地,上述步骤101,获取目标图像,可包括如下步骤:
A1、获取输入图像;
A2、对所述输入图像进行缩放处理,使得缩放处理后的所述输入图像与图像库中的图像的尺寸大小一样;
A3、对缩放处理后的所述输入图像进行图像分割,得到所述目标图像。
其中,输入图像可以为任一抓拍图像,由于输入图像尺寸不统一,因此,可以对输入图像进行缩放处理,使得缩放处理后的输入图像与图像库中的图像的尺寸大小一样,对缩放处理后的输入图像进行图像分割,则可以先粗略确定目标位置,便于后续精准提取目标。
可选地,上述步骤101,获取目标图像,可包括如下步骤:
B1、获取输入图像;
B2、对所述输入图像进行抠图处理,得到抠图图像;
B3、对所述抠图图像进行缩放处理,得到所述目标图像,缩放处理后的目标图像与图像库中的图像的尺寸大小一样。
其中,输入图像可以为任一抓拍图像,可以对输入图像进行抠图处理,具体地,用户可以指定抠图区域,对抠图区域进行抠图处理,得到抠图图像,对抠图图像进行缩放处理,得到目标图像,缩放处理后的目标图像与图像库中的图像的尺寸大小一致,如此,便于后续目标检测。
102、将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征。
其中,预设ResNet残差网络可以由用户自行设置或者系统默认,其可以是一种深度学习神经网络,将目标图像输入到预设ResNet残差网络,可以得到浅层网络特征、深层网络特征和耦合特征,预设ResNet残差网络为两级特征级联网络,该两级特征级联网络可以包括第一级联特征网络和第二级联特征网络,第一级联特征网络用于提取浅层网络特征,第二级特征网络用于提取深层网络特征,上述第一级联特征网络和第二级联特征网络均可以基于深度学习神经网络实现。
可选地,所述预设ResNet残差网络,包括:
一个1*1的卷积层和一个3*3的卷积层,并通过shortcut的残差连接恢复回输入的卷积通道数。
其中,1*1的卷积层可以位于第一级联特征网络,3*3的卷积层可以位于第二级特征网络。
具体地,大量的研究工作表明基于深度学习的网络结构在计算机分类、识别、检测等任务中表现出极大的优势,并且,随着网络深度的加深,模型的特征提取能力和任务泛化能力也更突出。但网络的加深也伴随计算量和存储量的增加以及训练梯度爆炸等问题,本申请实施例采用ResNet的残差模块,如图1B所示,构建了深度的特征提取主干网,并采用膨胀卷积提高深层特征的视野范围,增强小目标的检测效果,而在卷积核的尺寸上采取尺度较小的1*1、3*3,提高网络的计算效率和存储效率。另外,本申请实施例可以在卷积后采用了组归一化Group Normalization(GN)代替批量归一化Batch Normalization(BN),在检测效果上有明显的提高。
另外,通常的目标检测方法中,如Faster-RCNN,为了获取提高目标的检出率,往往需要较大的图像输入分辨率(800*600),而较大的图片分辨率不仅增加了网络的存储压力,同时在检测的实时性处理上也会有很大的阻碍。因此,在本申请中,为了保证算法的时效性,采用了全卷积网络结构模型。在网络结构中主要的残差网络模块。具体地,首先是通过一个1*1的卷积计算降低中间层的卷积通道,然后经过了3*3的卷积计算后再通过shortcut的残差连接恢复回输入的卷积通道数。这种1*1的卷积调整映射首先是降低了网络计算复杂度,同时减轻网络的存储压力。
具体实现中,深度神经网络结构的各层特征的目标表现形式和表示能力不同。一般浅层网络特征对应的是粗略的边缘和角点形状特征,往深的进一步抽象提取,得到图像的抽象概念。本申请就是通过这种不同层次机制,完成浅层特征和深层特征的结合,得到表现能力良好深度耦合,完成目标检测任务。假设本系统中检测网络的输入尺度为M*N,在进行了骨干网络的特征提取后,最后的输出检测大小为(M/32)*(N/32),这属于深层进行目标检测的特征图。而相对于最后一层的,往后的(M/16)*(N/16)以及(M/8)*(N/8)则属于浅层的目标检测图。在一般的检测方法中,如果仅仅对某一个尺度的目标检测,这势必导致目标的缺失。
具体实现中,本申请实施例,首先是最后深层的特征提取后,进行一次目标检测提取。这种深度特征的抽象化程度较高,对一些清晰明了的大尺度目标检测效果较好。然后将深层特征进行尺度扩展,与往前的浅层特征进行耦合学习,完成深浅特征的结合。这种耦合特征在特征提取上更为丰富,对一些模糊的、拥挤的目标以及小尺度目标检测效果非常好。最后,采取同样的耦合策略,再进一步提高特征表现能力和检测尺度,达到提高小目标检出率的目的。
103、基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域。
其中,上述预设互斥损失规则可以由用户自行设置或者系统默认。
可选地,上述步骤103,基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域,可包括如下步骤:
31、按照如下公式构造候选框向真实标签靠拢的损失:
其中,L1表示候选框向真实标签靠拢的损失,P为所述浅层网络特征对应的候选框集,G为真实标签框,其表示与标签具有极大IOU的真实框为回归目标;
32、按照如下公式构造候选框与非真实标签之间的排斥项:
其中,L2表示候选框与非真实标签之间的排斥项,IoG(P,GP)表示预测框与真实框之间的交叉比例,其取值范围属于[0,1];
33、按照如下公式构造候选框与候选框之间的排斥项:
其中,L3表示候选框与候选框之间的排斥项,i、j表示所述候选框集中的任一候选框,IoU(Pi,Pj)为Pi,Pj之间的交叉比例,∈为常数;
34、按照如下公式对所述浅层网络特征进行目标检测,得到所述第一目标区域:
Loss=L1+γ*L2+δ*L3
其中,γ、δ均为损失平衡因子。
具体实现中,通常会出现目标和目标的拥挤、小目标和旁边的干扰信息相似的情况。这种同类别之间的干扰和不同类别之间的干扰均导致了目标定位的不确定性,从而增加了算法的误报率。同样,由于小目标的有用信息较少,这也会使得小目标的定位率急剧下降。边框互斥损失就是在目标检测时,将算法提出的疑似目标向真实目标标签靠拢,而与非真实标签排斥。所以,互斥损失包含如式1所示的几个部分:1、候选框与真实标签的靠拢项;2、候选框与非真实标签的排斥项;3、候选框与候选框的互斥项。
Loss=L1+γ*L2+δ*L3(1)
等式右边第一项L1表示候选框向真实标签靠拢的损失,第二L2、第三L3项分别表示候选框与非真实标签、候选框与候选框的排斥项,γ与δ则为损失平衡因子。
假设浅层网络特征对应的候选框集为P,真实标签框为G。则与标签具有极大IoU的真实框为回归目标:候选框与真实标签的损失计算表示为:
L2的损失项定义了候选框与非真实标签的排斥,即候选区域与指定标签之外的其他标签的惩罚项:
其中,IoG(P,GP)表示预测框与真实框之间的交叉比例,范围属于[0,1]。从上式子可以看出,当所提出的候选框与非真实的标签重叠,则惩罚项L2的值就会偏大,而防止出现误检的情况。所以,L2有效地防止了拥挤和小目标情况下,检测框向周围漂移的情况,较大的提高了小目标的检出率和精确度。
第三个L3的损失是候选框与候选框之间的互斥项,是指在提出的候选目标区域,要确保区域之间IoU尽量的小,防止候选框在后处理中被抑制掉,从而提高拥挤情况下的目标检出率。候选框之间的互斥损失表示为:
其中,要最小化L3,则候选框之间的IoU要尽可能的小,∈的参数范围为[0,1]例如,将其设置为0.5。这就确保了候选框在后处理的时候保留住了小目标的区域,从而提高小目标检出效果。
104、基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域。
其中,耦合特征中结合了浅层和深层特征的双重属性,从而,基于深层网络特征和耦合特征进行目标检测,能够精准提取小目标。
105、将所述第一目标区域和所述第二目标区域作为最终的目标区域。
其中,第一目标区域作为大目标,第二目标区域作为小目标,则可以最终将第一目标区域和第二目标区域作为最终的目标区域,如此,不仅可以提取图像中的大目标,还可以提取图像中的小目标。
上述本申请实施例,采用ResNet残差模块作为网络的主干结构,构建了一个深层的特征提取网络结构;然后构建深层特征目标检测算子、浅层特征目标检测算子以及深浅特征耦合特征检测算子,实现在多尺度下的目标检测架构;最后在计算目标损失计算上,将候选框与候选框、候选框与真实框构建互斥损失惩罚项,在边框回归上提高小目标的检测准确度,也提升了目标检测召回率,召回率是指图像中检测到的目标数量与图像中的总目标数量之间的百分比。
可以看出,通过本申请实施例所描述的目标检测方法,获取目标图像,将目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,预设ResNet残差网络为两级特征级联网络,两级特征级联网络包括第一级特征网络和第二级特征网络,第一级特征网络用于提取浅层网络特征,第二级网络特征用于提取深层网络特征,基于预设互斥损失规则对浅层网络特征进行目标检测,得到第一目标区域,基于深层网络特征和耦合特征进行目标检测,得到第二目标区域,将第一目标区域和第二目标区域作为最终的目标区域,如此,不仅能够提取图像中的大目标,还可以提取图像中的小目标,提升了目标检测精度。
与上述一致地,以下为实施上述目标检测方法的装置,具体如下:
请参阅图2,为本申请实施例提供的一种目标检测装置的实施例结构示意图。本实施例中所描述的目标检测装置,包括:获取单元201、处理单元202、检测单元203和确定单元204,具体如下:
获取单元201,用于获取目标图像;
处理单元202,用于将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;
检测单元203,用于基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;以及基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;
确定单元204,用于将所述第一目标区域和所述第二目标区域作为最终的目标区域。
可选地,所述预设ResNet残差网络,包括:
一个1*1的卷积层和一个3*3的卷积层,并通过shortcut的残差连接恢复回输入的卷积通道数。
可选地,在所述基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域方面,所述检测单元203具体用于:
按照如下公式构造候选框向真实标签靠拢的损失:
其中,L1表示候选框向真实标签靠拢的损失,P为所述浅层网络特征对应的候选框集,G为真实标签框,其表示与标签具有极大IOU的真实框为回归目标;
按照如下公式构造候选框与非真实标签之间的排斥项:
其中,L2表示候选框与非真实标签之间的排斥项,IoG(P,GP)表示预测框与真实框之间的交叉比例,其取值范围属于[0,1];
按照如下公式构造候选框与候选框之间的排斥项:
其中,L3表示候选框与候选框之间的排斥项,i、j表示所述候选框集中的任一候选框,IoU(Pi,Pj)为Pi,Pj之间的交叉比例,∈为常数;
按照如下公式对所述浅层网络特征进行目标检测,得到所述第一目标区域:
Loss=L1+γ*L2+δ*L3
其中,γ、δ均为损失平衡因子。
可选地,在所述获取目标图像方面,所述获取单元201具体用于:
获取输入图像;
对所述输入图像进行缩放处理,使得缩放处理后的所述输入图像与图像库中的图像的尺寸大小一样;
对缩放处理后的所述输入图像进行图像分割,得到所述目标图像。
可选地,在所述获取目标图像方面,所述获取单元201具体用于:
获取输入图像;
对所述输入图像进行抠图处理,得到抠图图像;
对所述抠图图像进行缩放处理,得到所述目标图像,缩放处理后的目标图像与图像库中的图像的尺寸大小一样。
可以看出,通过本申请实施例所描述的目标检测装置,获取目标图像,将目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,预设ResNet残差网络为两级特征级联网络,两级特征级联网络包括第一级特征网络和第二级特征网络,第一级特征网络用于提取浅层网络特征,第二级网络特征用于提取深层网络特征,基于预设互斥损失规则对浅层网络特征进行目标检测,得到第一目标区域,基于深层网络特征和耦合特征进行目标检测,得到第二目标区域,将第一目标区域和第二目标区域作为最终的目标区域,如此,不仅能够提取图像中的大目标,还可以提取图像中的小目标,提升了目标检测精度。
与上述一致地,请参阅图3,为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备,包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器,也可为非易失存储器(non-volatilememory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于:
获取目标图像;
将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;
基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;
基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;
将所述第一目标区域和所述第二目标区域作为最终的目标区域。
可以看出,通过本申请实施例所描述的电子设备,获取目标图像,将目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,预设ResNet残差网络为两级特征级联网络,两级特征级联网络包括第一级特征网络和第二级特征网络,第一级特征网络用于提取浅层网络特征,第二级网络特征用于提取深层网络特征,基于预设互斥损失规则对浅层网络特征进行目标检测,得到第一目标区域,基于深层网络特征和耦合特征进行目标检测,得到第二目标区域,将第一目标区域和第二目标区域作为最终的目标区域,如此,不仅能够提取图像中的大目标,还可以提取图像中的小目标,提升了目标检测精度。
可选地,所述预设ResNet残差网络,包括:
一个1*1的卷积层和一个3*3的卷积层,并通过shortcut的残差连接恢复回输入的卷积通道数。
可选地,在所述基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域方面,上述处理器3000具体用于:
按照如下公式构造候选框向真实标签靠拢的损失:
其中,L1表示候选框向真实标签靠拢的损失,P为所述浅层网络特征对应的候选框集,G为真实标签框,其表示与标签具有极大IOU的真实框为回归目标;
按照如下公式构造候选框与非真实标签之间的排斥项:
其中,L2表示候选框与非真实标签之间的排斥项,IoG(P,GP)表示预测框与真实框之间的交叉比例,其取值范围属于[0,1];
按照如下公式构造候选框与候选框之间的排斥项:
其中,L3表示候选框与候选框之间的排斥项,i、j表示所述候选框集中的任一候选框,IoU(Pi,Pj)为Pi,Pj之间的交叉比例,∈为常数;
按照如下公式对所述浅层网络特征进行目标检测,得到所述第一目标区域:
Loss=L1+γ*L2+δ*L3
其中,γ、δ均为损失平衡因子。
可选地,在所述获取目标图像方面,上述处理器3000具体用于:
获取输入图像;
对所述输入图像进行缩放处理,使得缩放处理后的所述输入图像与图像库中的图像的尺寸大小一样;
对缩放处理后的所述输入图像进行图像分割,得到所述目标图像。
可选地,在所述获取目标图像方面,上述处理器3000具体用于:
获取输入图像;
对所述输入图像进行抠图处理,得到抠图图像;
对所述抠图图像进行缩放处理,得到所述目标图像,缩放处理后的目标图像与图像库中的图像的尺寸大小一样。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种目标检测方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种目标检测方法的部分或全部步骤。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白,本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车牌定位设备的处理器以产生一个机器,使得通过计算机或其他可编程车牌定位设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程车牌定位设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程车牌定位设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种目标检测方法,其特征在于,包括:
获取目标图像;
将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;
基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;
基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;
将所述第一目标区域和所述第二目标区域作为最终的目标区域。
2.根据权利要求1所述的方法,其特征在于,所述预设ResNet残差网络,包括:
一个1*1的卷积层和一个3*3的卷积层,并通过shortcut的残差连接恢复回输入的卷积通道数。
3.根据权利要求1或2所述的方法,其特征在于,所述基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域,包括:
按照如下公式构造候选框向真实标签靠拢的损失:
其中,L1表示候选框向真实标签靠拢的损失,P为所述浅层网络特征对应的候选框集,G为真实标签框,其表示与标签具有极大IOU的真实框为回归目标;
按照如下公式构造候选框与非真实标签之间的排斥项:
其中,L2表示候选框与非真实标签之间的排斥项,IoG(P,GP)表示预测框与真实框之间的交叉比例,其取值范围属于[0,1];
按照如下公式构造候选框与候选框之间的排斥项:
其中,L3表示候选框与候选框之间的排斥项,i、j表示所述候选框集中的任一候选框,IoU(Pi,Pj)为Pi,Pj之间的交叉比例,∈为常数;
按照如下公式对所述浅层网络特征进行目标检测,得到所述第一目标区域:
Loss=L1+γ*L2+δ*L3
其中,γ、δ均为损失平衡因子。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取目标图像,包括:
获取输入图像;
对所述输入图像进行缩放处理,使得缩放处理后的所述输入图像与图像库中的图像的尺寸大小一样;
对缩放处理后的所述输入图像进行图像分割,得到所述目标图像。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述获取目标图像,包括:
获取输入图像;
对所述输入图像进行抠图处理,得到抠图图像;
对所述抠图图像进行缩放处理,得到所述目标图像,缩放处理后的目标图像与图像库中的图像的尺寸大小一样。
6.一种目标检测装置,其特征在于,包括:
获取单元,用于获取目标图像;
处理单元,用于将所述目标图像输入到预设ResNet残差网络,得到浅层网络特征、深层网络特征和耦合特征,所述预设ResNet残差网络为两级特征级联网络,所述两级特征级联网络包括第一级特征网络和第二级特征网络,所述第一级特征网络用于提取浅层网络特征,所述第二级网络特征用于提取深层网络特征;
检测单元,用于基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域;以及基于所述深层网络特征和所述耦合特征进行目标检测,得到第二目标区域;
确定单元,用于将所述第一目标区域和所述第二目标区域作为最终的目标区域。
7.根据权利要求6所述的装置,其特征在于,所述预设ResNet残差网络,包括:
一个1*1的卷积层和一个3*3的卷积层,并通过shortcut的残差连接恢复回输入的卷积通道数。
8.根据权利要求6或7所述的装置,其特征在于,在所述基于预设互斥损失规则对所述浅层网络特征进行目标检测,得到第一目标区域方面,所述检测单元具体用于:
按照如下公式构造候选框向真实标签靠拢的损失:
其中,L1表示候选框向真实标签靠拢的损失,P为所述浅层网络特征对应的候选框集,G为真实标签框,其表示与标签具有极大IOU的真实框为回归目标;
按照如下公式构造候选框与非真实标签之间的排斥项:
其中,L2表示候选框与非真实标签之间的排斥项,IoG(P,GP)表示预测框与真实框之间的交叉比例,其取值范围属于[0,1];
按照如下公式构造候选框与候选框之间的排斥项:
其中,L3表示候选框与候选框之间的排斥项,i、j表示所述候选框集中的任一候选框,IoU(Pi,Pj)为Pi,Pj之间的交叉比例,∈为常数;
按照如下公式对所述浅层网络特征进行目标检测,得到所述第一目标区域:
Loss=L1+γ*L2+δ*L3
其中,γ、δ均为损失平衡因子。
9.根据权利要求6-8任一项所述的装置,其特征在于,在所述获取目标图像方面,所述获取单元具体用于:
获取输入图像;
对所述输入图像进行缩放处理,使得缩放处理后的所述输入图像与图像库中的图像的尺寸大小一样;
对缩放处理后的所述输入图像进行图像分割,得到所述目标图像。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811375173.6A CN109711427A (zh) | 2018-11-19 | 2018-11-19 | 目标检测方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811375173.6A CN109711427A (zh) | 2018-11-19 | 2018-11-19 | 目标检测方法及相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109711427A true CN109711427A (zh) | 2019-05-03 |
Family
ID=66255084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811375173.6A Pending CN109711427A (zh) | 2018-11-19 | 2018-11-19 | 目标检测方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109711427A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610123A (zh) * | 2019-07-09 | 2019-12-24 | 北京邮电大学 | 一种多目标车辆检测方法、装置、电子设备及存储介质 |
CN111160135A (zh) * | 2019-12-12 | 2020-05-15 | 太原理工大学 | 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统 |
CN111223128A (zh) * | 2020-01-17 | 2020-06-02 | 深圳大学 | 目标跟踪方法、装置、设备及存储介质 |
CN112651441A (zh) * | 2020-12-25 | 2021-04-13 | 深圳市信义科技有限公司 | 细粒度非机动车特征检测方法、存储介质及计算机设备 |
CN113077451A (zh) * | 2021-04-13 | 2021-07-06 | 中山大学 | 基于无监督学习的单张图片本征图像分解方法、系统及介质 |
WO2021208722A1 (zh) * | 2020-11-26 | 2021-10-21 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、终端及存储介质 |
CN113536829A (zh) * | 2020-04-13 | 2021-10-22 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 无人零售货柜的货品静态识别方法 |
CN117311891A (zh) * | 2023-11-30 | 2023-12-29 | 中航信移动科技有限公司 | 一种位置确定方法、存储介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171752A (zh) * | 2017-12-28 | 2018-06-15 | 成都阿普奇科技股份有限公司 | 一种基于深度学习的海面船只视频检测与跟踪方法 |
CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
CN108427912A (zh) * | 2018-02-05 | 2018-08-21 | 西安电子科技大学 | 基于稠密目标特征学习的光学遥感图像目标检测方法 |
CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与系统 |
CN108629354A (zh) * | 2017-03-17 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
-
2018
- 2018-11-19 CN CN201811375173.6A patent/CN109711427A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629354A (zh) * | 2017-03-17 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
CN108171752A (zh) * | 2017-12-28 | 2018-06-15 | 成都阿普奇科技股份有限公司 | 一种基于深度学习的海面船只视频检测与跟踪方法 |
CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与系统 |
CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
CN108427912A (zh) * | 2018-02-05 | 2018-08-21 | 西安电子科技大学 | 基于稠密目标特征学习的光学遥感图像目标检测方法 |
Non-Patent Citations (9)
Title |
---|
PING WANG.ETC: "Regional Detection of Traffic Congestion Using in a Large-Scale Surveillance System via Deep Residual TrafficNet", 《IEEE ACCESS》 * |
RONALD: "《CSDN:深度学习时代的目标检测算法》", 5 March 2018 * |
WENBO LAN.ETC: "Pedestrian Detection Based on YOLO Network Model", 《(2018 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION (ICMA)》 * |
XINLONG WANG.ETC: "Repulsion Loss: Detecting Pedestrians in a Crowd", 《COMPUTER SCIENCE》 * |
中国铁路总公司: "《高速铁路通信技术 业务网》", 30 April 2016, 中国铁道出版社 * |
张瑞林等: "基于改进YOLOv2网络的遗留物检测算法", 《浙江理工大学学报 自然科学版》 * |
栗科峰: "《人脸图像处理与识别技术》", 30 September 2018, 黄河水利出版社 * |
王海屹: "基于特征融合的小物体目标检测研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
秦方: "基于计算机视觉的行人检测与人数统计算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610123A (zh) * | 2019-07-09 | 2019-12-24 | 北京邮电大学 | 一种多目标车辆检测方法、装置、电子设备及存储介质 |
CN111160135A (zh) * | 2019-12-12 | 2020-05-15 | 太原理工大学 | 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统 |
CN111223128A (zh) * | 2020-01-17 | 2020-06-02 | 深圳大学 | 目标跟踪方法、装置、设备及存储介质 |
CN113536829A (zh) * | 2020-04-13 | 2021-10-22 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 无人零售货柜的货品静态识别方法 |
CN113536829B (zh) * | 2020-04-13 | 2024-06-11 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 无人零售货柜的货品静态识别方法 |
WO2021208722A1 (zh) * | 2020-11-26 | 2021-10-21 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、终端及存储介质 |
CN112651441A (zh) * | 2020-12-25 | 2021-04-13 | 深圳市信义科技有限公司 | 细粒度非机动车特征检测方法、存储介质及计算机设备 |
CN112651441B (zh) * | 2020-12-25 | 2022-08-16 | 深圳市信义科技有限公司 | 细粒度非机动车特征检测方法、存储介质及计算机设备 |
CN113077451A (zh) * | 2021-04-13 | 2021-07-06 | 中山大学 | 基于无监督学习的单张图片本征图像分解方法、系统及介质 |
CN117311891A (zh) * | 2023-11-30 | 2023-12-29 | 中航信移动科技有限公司 | 一种位置确定方法、存储介质及电子设备 |
CN117311891B (zh) * | 2023-11-30 | 2024-02-20 | 中航信移动科技有限公司 | 一种位置确定方法、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109711427A (zh) | 目标检测方法及相关产品 | |
CN109508688B (zh) | 基于骨架的行为检测方法、终端设备及计算机存储介质 | |
CN107944450B (zh) | 一种车牌识别方法及装置 | |
Jung et al. | 3D convolutional neural network‐based one‐stage model for real‐time action detection in video of construction equipment | |
CN108009543A (zh) | 一种车牌识别方法及装置 | |
CN112336342B (zh) | 手部关键点检测方法、装置及终端设备 | |
CN110991261A (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
CN112101169A (zh) | 基于注意力机制的道路图像目标检测方法及相关设备 | |
CN111581423B (zh) | 一种目标检索方法及装置 | |
CN109740415A (zh) | 车辆属性识别方法及相关产品 | |
Jo | Cumulative dual foreground differences for illegally parked vehicles detection | |
CN109034136A (zh) | 图像处理方法、装置、摄像设备及存储介质 | |
CN111209774A (zh) | 目标行为识别及显示方法、装置、设备、可读介质 | |
CN111160140A (zh) | 一种图像检测方法及装置 | |
CN111127516A (zh) | 无搜索框的目标检测和跟踪方法及系统 | |
CN110866428B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112132216B (zh) | 车型识别方法、装置、电子设备及存储介质 | |
CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
CN113139416A (zh) | 目标关联方法、计算机设备和存储介质 | |
CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 | |
Abdulrahim et al. | Cumulative frame differencing for urban vehicle detection | |
CN111382606A (zh) | 摔倒检测方法、摔倒检测装置和电子设备 | |
CN112396060A (zh) | 基于身份证分割模型的身份证识别方法及其相关设备 | |
CN112991397B (zh) | 交通牌跟踪方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
RJ01 | Rejection of invention patent application after publication |