CN112001448A - 一种形状规则小物体检测方法 - Google Patents
一种形状规则小物体检测方法 Download PDFInfo
- Publication number
- CN112001448A CN112001448A CN202010869854.9A CN202010869854A CN112001448A CN 112001448 A CN112001448 A CN 112001448A CN 202010869854 A CN202010869854 A CN 202010869854A CN 112001448 A CN112001448 A CN 112001448A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- template
- similarity
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标检测技术领域，提供一种形状规则小物体检测方法，包括：步骤100，采集目标的图像；步骤200，利用目标检测算法，提取图像中含有目标的区域，得到图像中目标的分类和边界框回归结果；步骤300，利用图像去噪算法对图像目标区域进行去噪处理；步骤400，利用生成对抗网络，对目标轮廓进行提取，得到目标轮廓图像；步骤500，利用图像畸变矫正算法，对得到的目标轮廓图像，进行畸变矫正；步骤600，采用分块计算目标和模板相似度算法，计算目标轮廓图像与模板图像各区域的相似度；步骤700，采用整体计算目标和模板相似概率算法，得出目标和模板整体的相似概率。本发明能够提高形状规则小物体检测的精确性和可靠性。
Description
技术领域
本发明涉及目标检测技术领域，尤其涉及一种形状规则小物体检测方法。
背景技术
近年来，基于深度学习的目标检测作为计算机视觉领域的重要研究方向之一越发受到关注，而小物体检测在深度学习卷积神经网络模型中一直是一个难题。
现有的研究一般是检测图像中的中型或者大型物体，对于图像中的小物体，由于小物体的分辨率较低，提取出的小物体的特征不明显，导致小物体检测的结果准确性低。而且，小物体检测是一种细粒度图像分析，其类别检测更加精细，它要求模型能够对视觉相似度极高的同一大类下的不同子类物体进行区分，这些细粒度图像的差异往往只体现在细微之处，因此小物体检测模型需要发现物体中具有区分度的局部区域，这导致检测更加困难，检测准确率较低。
发明内容
本发明主要解决现有技术对小物体检测准确率较低的技术问题，提出一种形状规则小物体检测方法，以达到提高形状规则小物体检测的精确性和可靠性，提高检测效率的目的。
本发明提供一种形状规则小物体检测方法，包括以下过程：
步骤100，采集目标的图像；
步骤200，利用目标检测算法，提取图像中含有目标的区域，得到图像中目标的分类和边界框回归结果；
步骤400，利用生成对抗网络，对目标轮廓进行提取，得到目标轮廓图像；
步骤600，采用分块计算目标和模板相似度算法，计算目标轮廓图像与模板图像各区域的相似度；
步骤700，采用整体计算目标和模板相似概率算法，得出目标和模板整体的相似概率。
进一步的，步骤200包括以下过程：
步骤201，对图像进行卷积神经网络提取特征；
步骤202，区域提取网络进行初步分类与回归；
步骤203，对候选框特征图进行对齐操作；
步骤204，利用卷积神经网络对目标进行分类和回归，得到目标物的提取结果。
进一步的，在步骤200和步骤400之间，还包括：
步骤300，利用图像去噪算法对图像目标区域进行去噪处理。
进一步的，在步骤400和步骤600之间，还包括：
步骤500，利用图像畸变矫正算法，对得到的目标轮廓图像，进行畸变矫正。
进一步的，通过图像畸变矫正算法构建的图像畸变矫正算法网络结构包括：解码器和编码器；
所述解码器包括输入层、四个卷积块和四个池化层；卷积块和池化层交错分布；
所述编码器包括四个转置卷积、四个卷积块和输出层；转置卷积和卷积块交错分布；
其中，具有相同尺寸的解码器得到的特征图和编码器得到的特征图按照叠加方式进行跳跃连接。
进一步的，步骤600包括以下过程：
步骤601，构建分块计算目标和模板相似度算法网络结构；
步骤602，将畸变矫正后的目标轮廓图像和模板图像合理地分成若干区域，成对依次经过分块计算目标和模板相似度算法网络结构，得到指畸变矫正后的目标轮廓图像与模板图像的相似度；
步骤603，计算畸变矫正后的目标轮廓图像和模板特征向量之间的欧氏距离，得到指畸变矫正后的目标轮廓图像与模板图像各区域的相似度。
进一步的，所述分块计算目标和模板相似度算法网络结构包括输入层、卷积块1、卷积块2、卷积块3、卷积块4、卷积层和输出层；其中，卷积块1包括三个卷积层和池化层；卷积块2包括三个卷积层和池化层；卷积块3包括三个卷积层和池化层；卷积块4包括两个卷积层和池化层。
进一步的，步骤700包括以下过程：
步骤701，构建整体计算目标和模板相似概率算法网络结构；
步骤702，将指畸变矫正后的目标轮廓图像与模板图像各区域的相似度一同作为输入数据，传到整体计算目标和模板相似概率算法网络结构中；
步骤703，将各个区域之间的相似度和相应的权重相乘，计算得出目标和模板整体的相似概率。
进一步的，所述整体计算目标和模板相似概率算法网络结构包括输入层、神经网络层和输出层，神经网络层包括一个全连接层。
本发明提供的一种形状规则小物体检测方法，通过目标检测算法将图像中含有目标的区域提取出来，通过图像去噪算法对图像目标区域进行去噪处理，通过目标轮廓提取算法将目标的轮廓完整提取，通过图像畸变矫正算法对目标形状进行位置、方向、大小的归一化，分块计算目标和模板相似度算法将矫正之后的目标与模板图像进行分块对比，通过计算每个区域对物体整体相似度判别的影响权重，再结合每个区域的相似度结果，从而综合评价两个图形的相似程度，判断出两个小物体之间是否存在差异，实现对形状规则小物体进行检测，以提升形状规则小物体检测的精确性和可靠性。本发明对形状规则小物体进行检测时，受图像光照强度、阴影及背景干扰等影响较小，对图像适应性强，不依赖于特定的图像场景。本发明可对不同形状的小物体进行检测，检测结果准确率高、稳定性高。
附图说明
图1是本发明提供的形状规则小物体检测方法的实现流程图；
图2是特征金字塔网络结构的示意图；
图3是自底向上结构的示意图；
图4是自底向上结构中每个阶段产生特征图的原理示意图；
图5是区域提取网络结构的示意图；
图6是对特征图进行对齐操作的效果图；
图7是分类、回归网络结构的示意图；
图8是图像去噪算法网络结构的示意图；
图9是生成对抗网络结构的示意图；
图10是生成网络结构的示意图；
图11是判别网络结构的示意图；
图12是图像畸变矫正算法网络结构的示意图；
图13是分块计算目标和模板相似度算法网络结构的示意图；
图14是整体计算目标和模板相似概率算法网络结构的示意图；
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
图1为本发明实施例提供的形状规则小物体检测方法的实现流程图。如图1所示，本发明实施例提供的形状规则小物体检测方法,包括以下过程：
步骤100，采集目标的图像。
本步骤可以通过相机采集目标的图像。
步骤200，利用目标检测算法，提取图像中含有目标的区域，得到图像中目标的分类和边界框回归结果。
本步骤提取图像中含有目标的区域，能够减少背景或其他物体对计算目标和模板相似度结果带来的影响。本步骤包括以下过程：
步骤201，对图像进行卷积神经网络提取特征。
本步骤考虑图像中目标的尺寸大小会有不同，所以采用多尺度特征提取方案，即特征金字塔网络。特征金字塔网络结构如图2所示。
特征金字塔网络分为两部分结构。左侧结构叫自底向上结构，该结构产出不同尺度的特征图，如图上C1到C5。C1到C5分别为不同尺度的特征图，从下至上，特征图尺寸不断变小，也意味着提取的特征维度越来越高。形状呈金字塔型，因此成为特征金字塔网络。右侧结构叫自顶向下结构，分别对应特征金字塔的每一层特征，两个结构间，相同级别的特征处理连接的箭头是横向连接。
这样做的目的是因为尺寸较小的高层特征具有较多语义信息，尺寸较大的低层特征语义信息少但位置信息多，通过这样的连接，每一层的特征图都融合了不同分辨率和不同语义强度的特征，因此在对不同分辨率的物体进行检测时，检测效果可以得到提升。
自底向上结构如图3所示，该网络结构中包含五个阶段，每个阶段用来计算不同尺寸的特征图，其缩放步长为2。每个阶段产生特征图的原理如图4所示。我们使用每个阶段输出的C1、C2、C3、C4、C5特征图用于构建特征金字塔网络结构。
自顶向下结构如图2中金字塔网络结构右侧所示。首先对具有更强语义信息的高层特征图进行上采样，得到和低层特征图相同的尺寸。然后，将具有相同尺寸的自底向上和自顶向下结构中的特征图进行横向连接。按元素相加的方式，将两个特征图映射合并。最后，为了减少上采样带来的混叠效应，在每个合并的特征图上附加一个卷积层得到最终的特征图，即P2、P3、P4、P5。
步骤202，区域提取网络进行初步分类与回归。
区域提取网络结构如图5所示。基于上述特征金字塔网络得到的特征图P2、P3、P4、P5，首先根据锚框生成规则生成特征图上每个点对应原图的锚框，然后将P2、P3、P4、P5特征图输入到区域提取网络，区域提取网络包含一个卷积层和一个全连接层，最终得到每个锚框的分类、回归结果，具体包含每个锚框的前景、背景分类得分及每个锚框的边界框坐标修正信息。最后根据阈值选取出符合前景得分条件的锚框并进行边界框修正，修正之后的锚框称为候选框。
步骤203，对候选框特征图进行对齐操作。
通过区域提取网络，得到符合得分要求的候选框，并将这些候选框映射回特征图上。根据以下公式得到候选框所对应的特征图层数：
其中，w表示候选框的宽度，h表示候选框的高度，k表示这个候选框所对应的特征层层数，k0是w，h＝224时映射的层数，一般取4，即对应着P4层。然后，通过双线性内插的方法获得候选框所对应的特征图，所得到的特征图尺寸是一致的。对特征图进行对齐操作的效果图如图6所示。
步骤204，利用卷积神经网络对目标进行分类和回归，得到目标物的提取结果。
分类、回归网络结构如图7所示。基于上述所得固定尺寸的候选框特征图，经过分类、回归网络，计算候选框的分类得分和坐标偏移量并对候选框进行边界框修正。最终，经过目标检测算法可以得到图像中目标的分类和边界框回归结果。
步骤300，利用图像去噪算法对图像目标区域进行去噪处理。
图像在拍摄过程中可能出现存在噪声的情况，本步骤通过图像去噪算法可以对图像目标区域进行去噪处理，提升图片质量以便后续算法能将目标轮廓更加完整准确的提取出来。
图像去噪算法主要将图像依次通过低层特征提取网络、密集残差块网络以及特征融合网络进行处理。图像去噪算法网络结构如图8所示。在密集残差块网络中，每个密集残差块都充分的利用了所有卷积层的层次信息，通过密集连接卷积层提取丰富的卷积特征并且保留累积的特征。特征融合网络使用了全局残差，将浅层特征和深层特征相结合，得到全局密集特征。因此，在对图像去除噪声的过程中，图像本身的细节信息不会丢失，恢复的图像是高质量图像。
低层特征提取网络，使用两层卷积层来提取低层特征，其中第二层卷积层的输出特征图作为密集残差块网络的输入特征图。
密集残差块网络，中包含3个密集残差块，这3个密集残差块可以提取到3个不同层次的特征。如上图所示，每个密集残差块中含有4个卷积层。在密集残差块中，输入特征图是每个卷积层的输入，每个卷积层的输出同时也都作为之后卷积层的输入，最后将输入特征图与最后卷积层的输出特征图按元素相加的方式，将两个特征图映射合并，进行局部特征的融合，这样密集连接的目的是在特征提取过程中一直保留之前的特征，即，图像固有的纹理等细节特征不会随着网络的加深而消失。
特征融合网络，含有三个卷积层，该网络融合了三个密集残差块提取的不同层次的深层特征以及第一层卷积层提取的低层特征，从而得到了全局融合特征，最终对去除噪声的图像进行高质量恢复。
步骤400，利用生成对抗网络，对目标轮廓进行提取，得到目标轮廓图像。
在步骤300中得到了含有目标的高质量图像。由于图像背景和目标均可能存在各种材质、纹理等信息，这种复杂的场景对目标轮廓提取带来很大干扰。因此，本步骤可以将目标的轮廓完整提取，以排除目标本身的材质和纹理等信息对相似度计算带来的干扰。
本步骤采用生成对抗网络进行目标轮廓提取，得到目标轮廓图像。生成对抗网络结构如图9所示。生成对抗网络包括两个结构，生成网络和判别网络。生成网络用于生成图像，它的目的是尽可能生成真实的图像，使判别网络无法判断真假。判别网络将生成网络生成的图像与真实图像进行对比，判别生成的图像是否为真实图像，它的目的是尽可能将生成的图像和真实的图像区分开，这样，生成网络和判别网络构成了一个动态的博弈过程。这个博弈过程会一直迭代，直至生成网络与判别网络无法提升自己，即判别网络无法判断一张图片是生成出来的还是真实的而结束，此时生成网络就是一个完美的生成模型，可用来生成图像。
通过这个判别网络而不是直接使用损失函数来逼近真实图像，能更准确地把握全局信息。这样做的目的是使生成网络生成更加准确、清楚的目标轮廓图像。因为后续对目标进行相似度比对计算是基于此处所得到的目标轮廓图像，所以提取的目标轮廓越准确，比对结果越可信。
生成网络结构如图10所示。生成网络结构是一个深度卷积神经网络。包含六个卷积层，不同的卷积层用来提取图像不同层次的特征，最后生成目标轮廓图像。
判别网络结构如图11所示。所述判别网络结构包括输入层、五个卷积层、四个池化层和输出层，卷积层和池化层交错分布。判别网络输入为图像，输出为图像的真伪概率。卷积层用来提取特征，池化层进行下采样，最后得到图像真伪概率。
步骤500，利用图像畸变矫正算法，对得到的目标轮廓图像，进行畸变矫正。
由于目标本身可能存在倾斜、扭曲等情况，所以得到目标轮廓图像之后，通过图像畸变矫正算法对目标形状进行位置、方向、大小的归一化，使得计算相识度是在同一尺度空间内进行的。
本步骤构建的图像畸变矫正算法网络结构如图12所示。图像畸变矫正算法网络结构包括一个解码器和编码器。左侧是解码器结构，右侧是编码器结构，两个结构间，相同级别的特征处理连接的箭头是跳跃连接。这样做的目的是保证最后矫正的图像不仅融合了低层的几何细节信息，也融合了不同分辨率和不同语义强度的特征，从而使得最后得到的矫正之后的图像边缘等细节信息更加完整。
解码器包括输入层、四个卷积块和四个池化层；卷积块和池化层交错分布。池化层的目的是通过下采样得到不同尺度的特征，其缩放步长为2，如图12所示解码器一共进行了四次下采样。卷积块的目的是实现不同尺度特征的提取。解码器处理后的数据经过卷积块处理后，输入编码器结构。
编码器主要通过转置卷积、卷积块和跳跃连接实现将特征图恢复到原图像的分辨率。编码器包括四个转置卷积、四个卷积块和输出层；转置卷积和卷积块交错分布。转置卷积的目的是通过上采样将特征图逐步恢复到原图尺寸，实现像素级回归，其缩放步长为2，与解码器相对称，一共进行了四次上采样。具有相同尺寸的解码器得到的特征图和编码器得到的特征图按照叠加方式进行跳跃连接。随后，卷积块对特征进行融合。最终，得到矫正之后的图像。
步骤600，采用分块计算目标和模板相似度算法，计算指畸变矫正后的目标轮廓图像与模板图像各区域的相似度。
对小物体进行检测是一种细粒度的识别。目标和模板图像的任意区域都可能存在差异。为了提高本环节算法的准确率，我们将矫正之后的目标与数据库中预存的模板图像进行分块对比，分别计算各个区域的相似度。
通常计算两个图形的相似度是整体进行比对的，但在本发明中为了更准确的判断出两个小物体之间是否存在差异，我们采用了图像分块比对的方法，以便于找到小物体之间的细微差距，从而进行细粒度的识别。本步骤包括以下具体过程：
步骤601，构建分块计算目标和模板相似度算法网络结构。
本步骤构建的分块计算目标和模板相似度算法网络结构如图13所示。所述分块计算目标和模板相似度算法网络结构包括输入层、卷积块1、卷积块2、卷积块3、卷积块4、卷积层和输出层；其中，卷积块1包括三个卷积层和池化层；卷积块2包括三个卷积层和池化层；卷积块3包括三个卷积层和池化层；卷积块4包括两个卷积层和池化层。
步骤602，将畸变矫正后的目标轮廓图像和模板图像合理地分成若干区域，成对依次经过分块计算目标和模板相似度算法网络结构，得到指畸变矫正后的目标轮廓图像与模板图像的相似度。
分块计算目标和模板相似度算法网络结构中第一个卷积块主要用来提取图像低层细节特征。随着卷积层数的增加，网络可提取到高级语义特征。然后，经过一个卷积层，得到具有区分能力且包含空间位置关系的特征向量。
步骤603，计算畸变矫正后的目标轮廓图像和模板特征向量之间的欧氏距离，得到指畸变矫正后的目标轮廓图像与模板图像各区域的相似度。
步骤700，采用整体计算目标和模板相似概率算法，得出目标和模板整体的相似概率。
经过步骤600得到了目标和模板图像每个区域之间的相似度。计算整体相似概率通常采用均值算法，但考虑到各个区域对物体之间相似度判别的影响权重是不同的，所以我们采用神经网络来求得各个区域对整体相似度的权重，从而得到整体判别的相似概率。步骤700包括以下过程：
步骤701，构建整体计算目标和模板相似概率算法网络结构。
整体计算目标和模板相似概率算法网络结构如图14所示。整体计算目标和模板相似概率算法网络结构包括输入层、神经网络层和输出层，神经网络层包括一个全连接层。
步骤702，将指畸变矫正后的目标轮廓图像与模板图像各区域的相似度一同作为输入数据，传到整体计算目标和模板相似概率算法网络结构中。
神经网络包含一个全连接层，此层用来学习各个区域对整体相似度判别的权重。
步骤703，将各个区域之间的相似度和相应的权重相乘，计算得出目标和模板整体的相似概率。
本步骤通过计算每个区域对物体整体相似度判别的影响权重，再结合每个区域的相似度结果，从而综合评价两个图形的相似程度，判断出两个小物体之间是否存在差异。最终，本发明可以对形状规则小物体进行检测。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种形状规则小物体检测方法，其特征在于，包括以下过程：
步骤100，采集目标的图像；
步骤200，利用目标检测算法，提取图像中含有目标的区域，得到图像中目标的分类和边界框回归结果；
步骤400，利用生成对抗网络，对目标轮廓进行提取，得到目标轮廓图像；
步骤600，采用分块计算目标和模板相似度算法，计算目标轮廓图像与模板图像各区域的相似度；
步骤700，采用整体计算目标和模板相似概率算法，得出目标和模板整体的相似概率。
2.根据权利要求1所述的形状规则小物体检测方法，其特征在于，步骤200包括以下过程：
步骤201，对图像进行卷积神经网络提取特征；
步骤202，区域提取网络进行初步分类与回归；
步骤203，对候选框特征图进行对齐操作；
步骤204，利用卷积神经网络对目标进行分类和回归，得到目标物的提取结果。
3.根据权利要求1所述的形状规则小物体检测方法，其特征在于，在步骤200和步骤400之间，还包括：
步骤300，利用图像去噪算法对图像目标区域进行去噪处理。
4.根据权利要求1所述的形状规则小物体检测方法，其特征在于，在步骤400和步骤600之间，还包括：
步骤500，利用图像畸变矫正算法，对得到的目标轮廓图像，进行畸变矫正。
5.根据权利要求4所述的形状规则小物体检测方法，其特征在于，通过图像畸变矫正算法构建的图像畸变矫正算法网络结构包括：解码器和编码器；
所述解码器包括输入层、四个卷积块和四个池化层；卷积块和池化层交错分布；
所述编码器包括四个转置卷积、四个卷积块和输出层；转置卷积和卷积块交错分布；
其中，具有相同尺寸的解码器得到的特征图和编码器得到的特征图按照叠加方式进行跳跃连接。
6.根据权利要求1所述的形状规则小物体检测方法，其特征在于，步骤600包括以下过程：
步骤601，构建分块计算目标和模板相似度算法网络结构；
步骤602，将畸变矫正后的目标轮廓图像和模板图像合理地分成若干区域，成对依次经过分块计算目标和模板相似度算法网络结构，得到指畸变矫正后的目标轮廓图像与模板图像的相似度；
步骤603，计算畸变矫正后的目标轮廓图像和模板特征向量之间的欧氏距离，得到指畸变矫正后的目标轮廓图像与模板图像各区域的相似度。
7.根据权利要求6所述的形状规则小物体检测方法，其特征在于，所述分块计算目标和模板相似度算法网络结构包括输入层、卷积块1、卷积块2、卷积块3、卷积块4、卷积层和输出层；其中，卷积块1包括三个卷积层和池化层；卷积块2包括三个卷积层和池化层；卷积块3包括三个卷积层和池化层；卷积块4包括两个卷积层和池化层。
8.根据权利要求1所述的形状规则小物体检测方法，其特征在于，步骤700包括以下过程：
步骤701，构建整体计算目标和模板相似概率算法网络结构；
步骤702，将指畸变矫正后的目标轮廓图像与模板图像各区域的相似度一同作为输入数据，传到整体计算目标和模板相似概率算法网络结构中；
步骤703，将各个区域之间的相似度和相应的权重相乘，计算得出目标和模板整体的相似概率。
9.根据权利要求8所述的形状规则小物体检测方法，其特征在于，所述整体计算目标和模板相似概率算法网络结构包括输入层、神经网络层和输出层，神经网络层包括一个全连接层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010869854.9A CN112001448A (zh) | 2020-08-26 | 2020-08-26 | 一种形状规则小物体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010869854.9A CN112001448A (zh) | 2020-08-26 | 2020-08-26 | 一种形状规则小物体检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112001448A true CN112001448A (zh) | 2020-11-27 |
Family
ID=73471540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010869854.9A Pending CN112001448A (zh) | 2020-08-26 | 2020-08-26 | 一种形状规则小物体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001448A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766151A (zh) * | 2021-01-19 | 2021-05-07 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
| CN114511820A (zh) * | 2022-04-14 | 2022-05-17 | 美宜佳控股有限公司 | 货架商品检测方法、装置、计算机设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08161503A (ja) * | 1994-12-09 | 1996-06-21 | Canon Inc | 複数画像間の対応点抽出方法及び画像処理装置 |
| US20020136457A1 (en) * | 2001-03-23 | 2002-09-26 | Hiroyuki Onishi | Method of and apparatus for searching corresponding points between images, and computer program |
| CN109522938A (zh) * | 2018-10-26 | 2019-03-26 | 华南理工大学 | 一种基于深度学习的图像中目标的识别方法 |
| CN109784261A (zh) * | 2019-01-09 | 2019-05-21 | 深圳市烨嘉为技术有限公司 | 基于机器视觉的行人分割与识别方法 |
| CN109829448A (zh) * | 2019-03-07 | 2019-05-31 | 苏州市科远软件技术开发有限公司 | 人脸识别方法、装置及存储介质 |
| CN110321769A (zh) * | 2019-03-25 | 2019-10-11 | 浙江工业大学 | 一种多尺寸货架商品检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
| CN111311486A (zh) * | 2018-12-12 | 2020-06-19 | 北京沃东天骏信息技术有限公司 | 用于处理图像的方法和装置 |
| CN111339891A (zh) * | 2020-02-20 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种图像数据的目标检测方法及相关装置 |
-
2020
- 2020-08-26 CN CN202010869854.9A patent/CN112001448A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08161503A (ja) * | 1994-12-09 | 1996-06-21 | Canon Inc | 複数画像間の対応点抽出方法及び画像処理装置 |
| US20020136457A1 (en) * | 2001-03-23 | 2002-09-26 | Hiroyuki Onishi | Method of and apparatus for searching corresponding points between images, and computer program |
| CN109522938A (zh) * | 2018-10-26 | 2019-03-26 | 华南理工大学 | 一种基于深度学习的图像中目标的识别方法 |
| CN111311486A (zh) * | 2018-12-12 | 2020-06-19 | 北京沃东天骏信息技术有限公司 | 用于处理图像的方法和装置 |
| CN109784261A (zh) * | 2019-01-09 | 2019-05-21 | 深圳市烨嘉为技术有限公司 | 基于机器视觉的行人分割与识别方法 |
| CN109829448A (zh) * | 2019-03-07 | 2019-05-31 | 苏州市科远软件技术开发有限公司 | 人脸识别方法、装置及存储介质 |
| CN110321769A (zh) * | 2019-03-25 | 2019-10-11 | 浙江工业大学 | 一种多尺寸货架商品检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
| CN111339891A (zh) * | 2020-02-20 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种图像数据的目标检测方法及相关装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766151A (zh) * | 2021-01-19 | 2021-05-07 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
| CN114511820A (zh) * | 2022-04-14 | 2022-05-17 | 美宜佳控股有限公司 | 货架商品检测方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105956582B (zh) | 一种基于三维数据的人脸识别系统 | |
| CN106874894B (zh) | 一种基于区域全卷积神经网络的人体目标检测方法 | |
| CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
| JP5545361B2 (ja) | 画像分類方法、装置、プログラム製品および記憶媒体 | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN110263712B (zh) | 一种基于区域候选的粗精行人检测方法 | |
| CN111368769A (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN112766184A (zh) | 基于多层级特征选择卷积神经网络的遥感目标检测方法 | |
| Kim et al. | Autonomous vehicle detection system using visible and infrared camera | |
| CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
| CN112883941A (zh) | 一种基于并行神经网络的人脸表情识别方法 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN112560852A (zh) | 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法 | |
| CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
| CN112200186A (zh) | 基于改进yolo_v3模型的车标识别方法 | |
| CN103353941A (zh) | 基于视角分类的自然标志物注册方法 | |
| CN112001448A (zh) | 一种形状规则小物体检测方法 | |
| CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
| CN115797970B (zh) | 基于YOLOv5模型的密集行人目标检测方法及系统 | |
| CN113554036A (zh) | 一种改进orb算法的特征点提取与匹配方法 | |
| CN112101283A (zh) | 一种交通标志智能识别方法及系统 | |
| Ubul et al. | Off-line Uyghur signature recognition based on modified grid information features | |
| US7231086B2 (en) | Knowledge-based hierarchical method for detecting regions of interest | |
| CN113435315A (zh) | 一种基于双路神经网络特征聚合的表情识别方法 | |
| CN112784777A (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |