CN109348731B - 一种图像匹配的方法及装置 - Google Patents
一种图像匹配的方法及装置 Download PDFInfo
- Publication number
- CN109348731B CN109348731B CN201680039124.8A CN201680039124A CN109348731B CN 109348731 B CN109348731 B CN 109348731B CN 201680039124 A CN201680039124 A CN 201680039124A CN 109348731 B CN109348731 B CN 109348731B
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- coordinate
- template
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种图像匹配的方法和装置,用于提高模板图像的前景图像与目标图像的子图像匹配准确率,该方法包括:获取模板图像(101);确定模板图像中的前景图像(102),前景图像为模板图像中实际物体的像素点的集合;当模板图像覆盖在目标图像上时,计算前景图像的灰度特征和子图像的灰度特征(103),子图像为当模板图像覆盖在目标图像上时,在目标图像上与前景图像对应的图像;通过模板图像的灰度特征和目标图像的灰度特征计算前景图像与子图像的归一化互相关(104);当归一化互相关大于预置值时,确定前景图像与子图像匹配(105)。上述方法用于提高模板图像的前景图像与目标图像的子图像匹配准确率。
Description
技术领域
本发明属于图像处理技术领域及计算机技术领域,尤其涉及一种图像匹配的方法及装置。
背景技术
人们利用图像采集设备获取所需要的物体图像,将有用信息存储到计算机中,接着通过计算机将采集到的图像或图像序列的信息提取出来,最后完成对这些图像信息的处理、识别和理解,这个过程是用计算机来代替人的视觉器官,由此形成了一门新兴的学科,称为计算机视觉。
模式匹配是计算机(机器)视觉和图形图像处理领域研究的主要内容之一。在计算机(机器)识别物体的过程中,常常需要把传感器获取到物体的图像信息(模板)在被搜索图(目标图像)中寻找与之相似的子图像,在目标图像中想要找到与模板图像相似子图像的位置,我们可以通过计算模板图像与被搜索图像中子图像的相似度来进行判断。在匹配过程中,如果模板图像与子图像相似度高,则匹配成功,反之则失败。目前工业对模式匹配技术的应用比较广泛,主要通过模式匹配技术进行检测、识别和分割等等,如工业流水线的自动监控、半导体晶片的切割等。
灰度值模式匹配是模式匹配中提出最早、应用最广泛的一种算法,灰度值模式匹配利用图像的灰度值度量两幅图像之间的相似性,用某种相似性度量,判定两幅图像中的对应关系,其中,通过归一化互相关来作为相似性度量的算法被大多数机器视觉软件所应用。
现有技术中,通过灰度值模式匹配仅支持输入矩形模板图像,根据矩形模板图像中全部像素点与目标图像中的相似子图像进行模式匹配,由于在采集模板图像时,矩形模板图像中包括了主要物体的前景图像,还有除了主要物体图像之外的背景图像,由于背景图像也参与了模式匹配,若图像质量较差,目标图像中相似部分较多的情况下,背景图像的模式匹配可能在相似性度量的过程中产生误判,因此会对最终的匹配精度产生很大的影响,使模式匹配精度下降。
发明内容
本发明提供了一种图像匹配的方法及装置,通过仅对模板图像中的前景图像与目标图像中的子图像进行归一化互相关计算,来确定前景图像与目标图像中的子图像是否匹配,以提高图像匹配的准确率。
有鉴于此,本发明第一方面提供一种图像匹配的方法,包括:
获取模板图像;
确定所述模板图像中的前景图像,所述前景图像为模板图像中实际物体的像素点的集合;
当所述模板图像覆盖在目标图像上一个位置时,计算所述前景图像的灰度特征和子图像的灰度特征,所述子图像为当所述模板图像覆盖在所述目标图像上时,在所述目标图像上与所述前景图像对应的图像;
通过所述前景图像的灰度特征和所述子图像的灰度特征计算所述前景图像与子图像的归一化互相关;
当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
进一步的,所述计算所述前景图像的像素点灰度值一系列特征包括:
按照如下方式计算所述前景图像的像素点的灰度值方差与s面积之积:
其中,(x,y)所述目标图像上一点的坐标值;
(μ,ν)表示所述模板图像上的一参考点,该参考点可以为左上角对应于所述目标图像上的坐标值;
s为所述前景图像的像素点的集合;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标。进一步的,所述计算目标图像的像素点的灰度值一系列特征包括:
对所述模板图像进行掩膜处理,得到前景掩膜;
其中,f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
(μ,ν)表示所述模板图像上的一参考点,该参考点可以为左上角对于所述目标图像上的坐标值;
s为所述前景图像的像素点的集合。
进一步的,所述对所述模板图像进行掩膜处理,得到前景掩膜包括:
对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜,所述背景图像为所述模板图像上除所述前景图像之外的图像。
进一步的,对于任意位置(μ,ν),通过前景图像的灰度值和所述子图像的灰度值计算所述前景图像与所述子图像的归一化互相关包括:
其中,γ(μ,ν)表示将所述模板图像参考点对齐于目标图像上的一坐标(μ,ν)时,所述前景图像与所述目标图像中对应的子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
本发明第二方面提供一种图像匹配的装置,包括:
获取模块,用于获取模板图像;
第一确定模块,用于确定所述模板图像中的前景图像,所述前景图像为模板图像中实际物体的像素点的集合;
第一计算模块,当所述模板图像覆盖在目标图像上一个位置时,用于计算所述前景图像的灰度特征;
第二计算模块,当所述模板图像覆盖在目标图像上一个位置时,用于计算子图像的灰度特征,所述子图像为当所述模板图像覆盖在所述目标图像上时,在所述目标图像上与所述前景图像对应的图像;
第三计算模块,用于通过模板图像的灰度值和所述目标图像的灰度值计算所述前景图像与子图像的归一化互相关;
第二确定模块,用于当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
所述第一计算模块,还用于按照如下方式计算前景图像的像素点方差与s面积之积:
其中,(x,y)表示目标图像上一点的坐标值;
(μ,ν)表示所述模板图像上的一参考点对应于所述目标图像上的坐标值;
s为所述前景图像的像素点的集合;
t(x-μ,y-ν)表示模板图像上坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标。
进一步的,所述第二计算模块包括:
掩膜处理单元,用于对所述模板图像进行掩膜处理,得到前景掩膜;
按如下方式计算区域方差与s面积之积:
其中,f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
s为所述前景图像的像素点的集合。进一步的,所述掩膜处理单元,还用于对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜,所述背景图像为所述模板图像上除所述前景图像之外的图像。进一步的,所述第三计算模块,还用于按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示将所述模板图像参考点对齐于目标图像上的一坐标(μ,ν)时,所述前景图像与所述目标图像中对应的子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上坐标(x-μ,y-ν)对应的像素的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
本发明的第三方面提供一种图像匹配的装置,包括:
处理器以及存储器;
所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,使得所述图像匹配装置执行本发明第一方面中的图像匹配的方法。
本发明的第四方面提供一种存储一个或多个程序的存储介质,包括:
所述一个或多个程序包括指令,所述指令当被包括一个或多个处理器的所述图像匹配装置执行时,使所述图像匹配装置执行如本发明第一方面所述的图像匹配的方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
本实施例中,在模板图像与目标图像通过灰度值进行归一化互相关计算时,将模板图像分为前景图像和背景图像,只将模板图像中的任意形状的前景图像与目标图像中的子图像进行归一化互相关,从而确定前景图像与目标图像的子图像是否匹配,在进行归一化互相关计算时,保证大O复杂度不增加的情况下,不需要计算背景图像中的像素点,避免误判,有效的提高了图像匹配的精确度。
附图说明
图1为本发明实施例一种图像匹配的方法的一个实施例示意图;
图2为本发明实施例中前景图像与子图像匹配示意图;
图3为本发明实施例图像匹配装置的一个实施例的结构示意图;
图4为本发明实施例图像匹配装置的另一个实施例的结构示意图;
图5为本发明实施例图像匹配装置的另一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种图像匹配的方法及装置,用于提高图像匹配的准确性。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下通过实施例进行具体描述,请参阅图1所示,本发明一种图像匹配的方法的一个实施例包括:
101、获取模板图像。
通过传感器获取模板图像,模板图像为矩形,模板图像包括了前景图像和背景图像,前景图像为模板图像中实际物体的像素点的集合,背景图像为模板图像上除了前景图像之外的图像。前景图像可以包括至少一个实际物体的图像,且在实际应用中,实际物体可以为产品,标识,数字,字母等,实际物体的形状多样,本方法中对于前景图像的形状不限定。
102、确定所述模板图像中的前景图像。
可以根据用户输入的选择指令,确定模板图像中的前景图像,该前景图像为模板图像中实际物体的像素点的集合,该前景图像的像素点的集合用s表示。
103、当所述模板图像覆盖在目标图像上一个位置时,所述目标图像上对应于所述前景图像的图像为子图像,计算所述子图像的灰度特征和前景图像的灰度特征。
模板图像和目标图像可以为矩形也可以为正方形,本实施例中将所述模板图像和目标图像以正方形为例进行说明,目标图像的大小为M×M,模板图像的大小为N×N,且M≥N。
将模板图像置于该目标图像上,可以以目标图像的左上角顶点为原点,建立坐标系,所述模板图像上的参考点对应于所述目标图像上时的坐标(μ,ν),该参考点可以为模板图像的左下角、左上角或中心点等,本实施例中以参考点为左上角为例进行说明。当所述μ和v的值变化时,表示模板图像覆盖在目标图像的不同位置。
计算模板图像的灰度特征和目标图像的灰度特征可以包括:
f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标。
t(x-μ,y-ν)表示模板图像上坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标,(x-μ,y-ν)∈S。
其中,x∈[μ,μ+N-1],y∈[v,v+N-1]。
104、通过所述前景图像的灰度特征和所述子图像的灰度特征计算所述前景图像与子图像的归一化互相关;
按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示当所述模板图像的左上角对应于所述目标图像上坐标(μ,ν)时,所述前景图像与所述子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标。
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标。
需要说明的,在步骤103和步骤104中,是根据模板图像的相关灰度特征与目标图像的相关灰度特征通过归一化互相关公式直接进行计算,可选的,在实际应用中对于该归一化互相关的计算也可以分步骤进行,例如,在步骤103中,计算模板图像的灰度特征可以包括:
按照如下方式计算所述前景图像的像素点的灰度值方差与s面积之积:
其中,(x,y)表示当所述模板图像覆盖在所述目标图像上时,所述目标图像上的坐标值,x∈[μ,μ+N-1],y∈[v,v+N-1]。
(μ,ν)表示所述模板图像上的参考点对应于所述目标图像上时的坐标值,该参考点可以为模板图像的左下角、左上角或中心点等,本实施例中以参考点为左上角为例进行说明。若模板图像的参考点相对于模板左上角的坐标为(m,n),那么相应的有x∈[μ-m,μ-m+N-1],y∈[v-n,v-n+N-1]
s表示所述前景图像的像素点的集合。
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标。
进一步的,在步骤103中,计算目标图像的灰度特征包括:
对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜。
按如下方式计算区域方差与s面积之积:
其中,f(x,y)表示目标图像上坐标(x,y)对应像素点的灰度值。
再按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示当所述模板图像的左上角对应于所述目标图像上坐标(μ,ν)时,所述前景图像与所述子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
可以理解的是,本实施例中,对于归一化互相关的计算,可以根据目标图像的灰度特征和模板图像的灰度特征,通过上述归一化互相关的公式直接计算,也可分步骤预先对一些参数进行计算,具体方法不做限定。
其中,对分步骤进行计算的方法,为了更便于理解,可参阅下述具体说明:
其中,对于归一化互相关公式,展开分子项得:
其中,第三项为0。如果将模板图像的背景像素全部置为0,那么第一项为:
即对模板图像中所有像素点进行运算(包括前景图像的和背景图像),因此直接通过傅里叶变换计算互相关项:
即可。
对于归一化互相关公式的分母项第二项在步骤103的分步骤描述中,计算所述前景图像的像素点的灰度值方差与s面积之积步骤中,已经说明,此处不赘述。对于分母项中的第一项展开得:
需要说明的是,本发明实施例中,傅里叶变换的最优尺寸以目标图像为准,所以对模板图像进行掩膜处理,并不会改变傅里叶变换的尺寸,大O复杂度是以目标图像的边长为参数计算的,大O复杂度表示为O(M2log2M),其中,M为目标图像的边长,这里的M不变,因此,此算法的大O复杂度与以模板图像的矩形区域的归一化互相关的大O复杂度相同。
可以理解的是,本实施例中的归一化互相关中的灰度值,若图像为灰度图像可以直接以灰度值表示,灰度值的范围为0至255之间,若图像为彩色图像,例如,以三通道RGB(英文:Red Green Blue,缩写:RGB)红,绿,蓝三种颜色表示,某像素点的颜色为(123,104,238),可以通过浮点算法,整数方法,移位方法或平均值法等进行灰度值转换,将原来的RGB中的R,G,B统一用灰度值替换即可,或者,将R,G,B的值作为灰度值分别带入上述归一化互相关公式中,则计算出三个γ值,分别为γ1,γ2,γ3,再求出γ1,γ2,γ3三个值的平均值。对于CMYK(英文:Cyan Mageata Yellow Black,缩写CMYK)是以青,品红,黄,黑四种颜色表示,处理方法与RGB的方法相同,此处对于具体方法不做限定。
步骤105、当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
当所述模板图像覆盖在目标图像上一个位置时,前景图像的灰度特征和所述子图像的灰度特征计算所述前景图像与子图像的归一化互相关大于预置值时,则确定所述前景图像与所述子图像匹配。
为了确定所述模板图像上的前景图像与所述目标图像是否匹配,需要将所述前景图像与所述目标图像的不同局部进行比较,也即所述模板图像覆盖在所述目标图像上的位置发生变化,也即(μ,ν)发生变化,并在每个位置进行比较,也即(μ,ν)发生变化以后,重复执行步骤103至步骤105,并通过判断归一化互相关是否大于预置值来判断当前位置的前景图像与子图像是否匹配。
本发明实施例提供的一种图像匹配的方法,应用于图像匹配的装置,且可以在以下场景中实现,请参阅图2的前景图像与子图像匹配示意图所示,例如,在工业流水线检测,装置通过传感器获取流水线上产品的图像,该产品可能为不规则形状,装置获取的图像为模板图像20,模板图像20为正方形,模板图像20中的实际产品的图像为前景图像21和除前景图像21之外的背景图像22,将获取到的模板图像20覆盖在目标图像10上,目标图像10可以为装置预存储的图像,并使模板图像20在目标图像10上移动,模板图像20左上角对应于目标模板上的坐标为(μ,ν),在(μ,ν)位置归一化互相关为模板图像20的前景图像21与子图像11的归一化互相关,若该归一化互相关大于预置值,则确定前景图像21与子图像11匹配,进而可以确定进行下一个工序流程。
本实施例中,在模板图像与目标图像通过灰度值进行归一化互相关计算时,将模板图像分为前景图像和背景图像,只确定将模板图像中的任意形状的前景图像与目标图像中的子图像进行归一化互相关计算,确定前景图像与目标图像的子图像是否匹配,在进行归一化互相关计算时,不需要计算背景图像,在图像质量较差,目标图像中相似部分较多的情况下,降低误判,有效的提高了匹配的精确度,且保证大O复杂度不增加。
上面对图像匹配的方法进行描述,该方法应用于图像匹配装置,下面对该装置进行描述,请参阅图3所示,本发明提供的图像匹配装置的一个实施例包括:
获取模块301,用于获取模板图像。
第一确定模块302,用于确定所述获取模块301获取的模板图像中的前景图像,所述前景图像为模板图像中实际物体的像素点的集合。
第一计算模块303,用于计算所述前景图像的像素点的灰度特征。
第二计算模块304,用于计算子图像的像素点的灰度特征,所述子图像为当所述模板图像覆盖在所述目标图像上一个位置时,在所述目标图像上与所述前景图像对应的图像。
第三计算模块305,用于通过模板图像的灰度特征和所述目标图像的灰度值特征计算所述前景图像与子图像的归一化互相关。
第二确定模块306,用于当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
请参阅图4所示,在上述实施例的基础上,本发明提供的图像匹配装置的另一个实施例包括:
所述第一计算模块303,还用于按照如下方式计算前景图像的像素点方差与s面积之积:
其中,(x,y)目标图像上一点的坐标值;
(μ,ν)表示所述模板图像上的一参考点(此处以左上角为例)对应于所述目标图像上时的坐标值;
s为所述前景图像的像素点的集合;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标。
可选的,所述第二计算模块304包括:
掩膜处理单元3042,用于对所述模板图像进行掩膜处理,得到前景掩膜;
按如下方式计算区域方差与s面积之积:
其中,f(x,y)表示坐标(x,y)对应的像素的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
(μ,ν)表示所述模板图像上的一参考点(此处以左上角为例)对于所述目标图像上时的坐标值;(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
s为所述前景图像的像素点的集合。
可选的,所述掩膜处理单元3042,还用于对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜,所述背景图像为所述模板图像上除所述前景图像之外的图像。
可选的,所述第三计算模块305,还用于根据目标图像的灰度特征和模板图像的灰度特征按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示所述模板图像以目标图像上的一坐标(μ,ν)为参考点,所述前景图像与所述子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
本实施例中,图像匹配装置的具体工作过程可以参阅方法实施例中的具体描述,此处不赘述。
本实施例中,在模板图像与目标图像通过灰度值进行归一化互相关时,将模板图像分为前景图像和背景图像,只确定将模板图像中的任意形状的前景图像与目标图像中的子图像进行归一化互相关,确定前景图像与目标图像的子图像是否匹配,在进行归一化互相关计算时,不需要计算背景图像,在图像质量较差,目标图像中相似部分较多的情况下,降低误判,有效的提高了匹配的精确度,且保证大O复杂度不增加。
请参阅图5所示,图5是本发明实施例图像匹配装置40的结构示意图。图像匹配装置40可包括输入设备410、输出设备420、处理器430和存储器440。本发明实施例中的输入设备可以是传感器。输出设备可以是显示设备。
存储器440可以包括只读存储器和随机存取存储器,并向处理器430提供指令和数据。存储器440的一部分还可以包括非易失性随机存取存储器(英文全称:Non-VolatileRandom Access Memory,英文缩写:NVRAM)。
存储器440存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
操作指令:包括各种操作指令,用于实现各种操作。
操作系统:包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
本发明实施例中,通过输入设备410获取模板图像;
处理器430用于:
确定所述模板图像中的前景图像,所述前景图像为模板图像中实际物体的像素点的集合;
当所述模板图像覆盖在目标图像上一个位置时,计算所述前景图像的灰度特征和子图像的灰度特征;所述子图像为当所述模板图像覆盖在所述目标图像上时,在所述目标图像上与所述前景图像对应的图像;
通过所述前景图像的灰度特征和所述子图像的灰度特征计算所述前景图像与子图像的归一化互相关;当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
处理器430控制图像匹配装置40的操作,处理器430还可以称为中央处理单元(英文全称:Central Processing Unit,英文缩写:CPU)。存储器440可以包括只读存储器和随机存取存储器,并向处理器430提供指令和数据。存储器440的一部分还可以包括NVRAM。具体的应用中,图像匹配装置40的各个组件通过总线系统450耦合在一起,其中总线系统450除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统450。
上述本发明实施例揭示的方法可以应用于处理器430中,或者由处理器430实现。处理器430可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器430中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器430可以是通用处理器、数字信号处理器(英文全称:digital signal processing,英文缩写:DSP)、专用集成电路(英文全称:Application Specific Integrated Circuit,英文缩写:ASIC)、现成可编程门阵列(英文全称:Field-Programmable Gate Array,英文缩写:FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器440,处理器430读取存储器440中的信息,结合其硬件完成上述方法的步骤。
可选地,处理器430还用于:
按照如下方式计算所述前景图像的像素点的灰度值方差与s面积之积:
其中,(x,y)表示所述目标图像上一点的坐标值;
(μ,ν)表示所述模板图像上的一参考点(此处以左上角为例)对应于所述目标图像上时的坐标值;
s为所述前景图像的像素点的集合;
t(x-μ,y-ν)表示在所述模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值。
可选地,处理器430还用于:
对所述模板图像进行掩膜处理,得到前景掩膜;
按如下方式计算区域方差与s面积之积:
其中,f(x,y)表示坐标(x,y)对应的像素的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
(μ,ν)表示所述模板图像上的一参考点对于所述目标图像上时的坐标值;
s为所述前景图像的像素点的集合。
可选的,处理器430还用于:
对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜,所述背景图像为所述模板图像上除所述前景图像之外的图像。
可选的,处理器430还用于:
按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示所述模板图像以目标图像上的一坐标(μ,ν)为参考点,所述前景图像与所述子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
本实施例中,在模板图像与目标图像通过灰度值进行归一化互相关时,将模板图像分为前景图像和背景图像,只将模板图像中的任意形状的前景图像与目标图像中的子图像进行归一化互相关,从而确定前景图像与目标图像的子图像是否匹配,在进行归一化互相关计算时,保证大O复杂度不增加的情况下,不需要计算背景图像中的像素点,避免误判,有效的提高了图像匹配的精确度。
图4的相关描述可以参阅图1方法部分的相关描述和效果进行理解,本处不做过多赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种人脸识别的方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种图像匹配的方法,其特征在于,包括:
获取模板图像;
确定所述模板图像中的前景图像,所述前景图像为模板图像中实际物体的像素点的集合;
当所述模板图像覆盖在目标图像上一个位置时,计算所述前景图像的灰度特征和子图像的灰度特征,所述子图像为当所述模板图像覆盖在所述目标图像上时,在所述目标图像上与所述前景图像对应的图像;所述计算所述前景图像的像素点灰度特征包括:
按照如下方式计算所述前景图像的像素点的灰度值方差与s面积之积:
其中,(x,y)表示所述目标图像上的坐标值;
(μ,ν)表示所述模板图像上的一参考点对应于所述目标图像上时的坐标值;
s为所述前景图像的像素点的集合;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
所述计算子图像的像素点的灰度特征包括:
对所述模板图像进行掩膜处理,得到前景掩膜;
按如下方式计算区域方差与s面积之积:
其中,f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
s为所述前景图像的像素点的集合;
通过所述前景图像的灰度特征和所述子图像的灰度特征计算所述前景图像与子图像的归一化互相关;
当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
2.根据权利要求1所述的方法,其特征在于,所述对所述模板图像进行掩膜处理,得到前景掩膜包括:
对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜,所述背景图像为所述模板图像上除所述前景图像之外的图像。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述通过前景图像的灰度值和所述子图像的灰度值计算所述前景图像与所述子图像的归一化互相关包括:
按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示所述模板图像以目标图像上的一坐标(μ,ν)为参考点,所述前景图像与所述子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素点的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
4.一种图像匹配的装置,其特征在于,包括:
获取模块,用于获取模板图像;
第一确定模块,用于确定所述模板图像中的前景图像,所述前景图像为模板图像中实际物体的像素点的集合;
所述第一计算模块,还用于按照如下方式计算前景图像的像素点方差与s面积之积:
其中,(x,y)表示目标图像上的坐标值;
(μ,ν)表示所述模板图像上的一参考点对应于所述目标图像上时的坐标值;
s为所述前景图像的像素点的集合;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
第二计算模块,用于计算子图像的像素点的灰度特征,所述子图像为当所述模板图像覆盖在所述目标图像上一个位置时,在所述目标图像上与所述前景图像对应的图像;所述第二计算模块包括:
掩膜处理单元,用于对所述模板图像进行掩膜处理,得到前景掩膜;
按如下方式计算区域方差与s面积之积:
其中,f(x,y)表示坐标(x,y)对应的像素的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
s为所述前景图像的像素点的集合;
第三计算模块,用于通过模板图像的灰度特征和所述目标图像的灰度特征计算所述前景图像与子图像的归一化互相关;
第二确定模块,用于当所述归一化互相关大于预置值时,确定所述前景图像与所述子图像匹配。
5.根据权利要求4所述的装置,其特征在于,
所述掩膜处理单元,还用于对所述模板图像进行掩膜处理,将所述前景图像的像素置为1,背景图像的像素置为0,得到前景掩膜,所述背景图像为所述模板图像上除所述前景图像之外的图像。
6.根据权利要求4至5任一项所述的装置,其特征在于,
所述第三计算模块,还用于按如下方式计算所述归一化互相关:
其中,γ(μ,ν)表示所述模板图像以目标图像上的一坐标(μ,ν)为参考点,所述前景图像与所述子图像的归一化互相关;
f(x,y)表示坐标(x,y)对应的像素的灰度值,其中,所述坐标(x,y)是以目标图像上的原点建立的坐标系中的坐标;
t(x-μ,y-ν)表示模板图像上的坐标(x-μ,y-ν)对应的像素点的灰度值,其中,(x-μ,y-ν)表示以目标图像上的参考点(μ,ν)为原点建立的坐标系中模板图像上的坐标;
7.一种图像匹配的装置,其特征在于,包括:
处理器以及存储器;
所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,使得所述图像匹配装置执行如权利要求1至3任一项所述的图像匹配的方法。
8.一种存储一个或多个程序的存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当被包括一个或多个处理器的所述图像匹配装置执行时,使所述图像匹配装置执行如权利要求1至3任一项所述的图像匹配的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/102129 WO2018068304A1 (zh) | 2016-10-14 | 2016-10-14 | 一种图像匹配的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109348731A CN109348731A (zh) | 2019-02-15 |
CN109348731B true CN109348731B (zh) | 2022-05-17 |
Family
ID=61906106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680039124.8A Active CN109348731B (zh) | 2016-10-14 | 2016-10-14 | 一种图像匹配的方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109348731B (zh) |
WO (1) | WO2018068304A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369599B (zh) * | 2018-12-25 | 2024-04-16 | 阿里巴巴集团控股有限公司 | 一种图像匹配方法、设备、装置及存储介质 |
CN110210565B (zh) * | 2019-06-05 | 2021-04-30 | 中科新松有限公司 | 归一化互相关图像模板匹配实现方法 |
CN110288034A (zh) * | 2019-06-28 | 2019-09-27 | 广州虎牙科技有限公司 | 图像匹配方法、装置、电子设备及可读存储介质 |
CN113066121A (zh) * | 2019-12-31 | 2021-07-02 | 深圳迈瑞生物医疗电子股份有限公司 | 图像分析系统和识别重复细胞的方法 |
CN111105447B (zh) * | 2019-12-31 | 2023-02-28 | 西安科技大学 | 一种基于局部处理的屏幕图像传递方法 |
CN111340795B (zh) * | 2020-03-09 | 2023-11-10 | 珠海格力智能装备有限公司 | 物品质量的确定方法及装置 |
CN111507995B (zh) * | 2020-04-30 | 2023-05-23 | 柳州智视科技有限公司 | 一种基于彩色图像金字塔和颜色通道分类的图像分割方法 |
CN112164032B (zh) * | 2020-09-14 | 2023-12-29 | 浙江华睿科技股份有限公司 | 一种点胶方法、装置、电子设备及存储介质 |
CN114140700A (zh) * | 2021-12-01 | 2022-03-04 | 西安电子科技大学 | 基于级联网络的分步异源图像模板匹配方法 |
CN114689053A (zh) * | 2022-01-29 | 2022-07-01 | 深圳市云鼠科技开发有限公司 | 一种用于机器人的室内定位方法及系统 |
CN114549975A (zh) * | 2022-01-29 | 2022-05-27 | 深圳市云鼠科技开发有限公司 | 一种基于多摄像头的移动机器人的覆盖率检测方法及系统 |
CN114549976A (zh) * | 2022-01-29 | 2022-05-27 | 深圳市云鼠科技开发有限公司 | 一种基于多摄像头的移动机器人的轨迹测量方法及系统 |
CN114494265B (zh) * | 2022-04-19 | 2022-06-17 | 南通宝田包装科技有限公司 | 识别化妆品生产领域包装印刷质量方法及人工智能系统 |
CN118314060B (zh) * | 2024-06-05 | 2024-09-10 | 中国人民解放军国防科技大学 | 一种用于空间目标观测的图像预处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070103482A1 (en) * | 2005-11-02 | 2007-05-10 | Omron Corporation | Image processing device, image processing method, program for the same, and computer readable recording medium recorded with program |
CN101639858A (zh) * | 2009-08-21 | 2010-02-03 | 深圳创维数字技术股份有限公司 | 基于目标区域匹配的图像检索方法 |
CN101770583A (zh) * | 2010-01-15 | 2010-07-07 | 华中科技大学 | 一种基于场景全局特征的模板匹配方法 |
CN103177458A (zh) * | 2013-04-17 | 2013-06-26 | 北京师范大学 | 一种基于频域分析的可见光遥感图像感兴趣区域检测方法 |
CN103593838A (zh) * | 2013-08-01 | 2014-02-19 | 华中科技大学 | 一种快速互相关灰度图像匹配方法与装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5993267B2 (ja) * | 2012-10-04 | 2016-09-14 | オリンパス株式会社 | 画像処理装置 |
CN104318568B (zh) * | 2014-10-24 | 2017-07-28 | 武汉华目信息技术有限责任公司 | 一种图像配准的方法和系统 |
CN104915940A (zh) * | 2015-06-03 | 2015-09-16 | 厦门美图之家科技有限公司 | 一种基于图像对齐的图像去噪的方法和系统 |
CN105678778B (zh) * | 2016-01-13 | 2019-02-26 | 北京大学深圳研究生院 | 一种图像匹配方法和装置 |
-
2016
- 2016-10-14 WO PCT/CN2016/102129 patent/WO2018068304A1/zh active Application Filing
- 2016-10-14 CN CN201680039124.8A patent/CN109348731B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070103482A1 (en) * | 2005-11-02 | 2007-05-10 | Omron Corporation | Image processing device, image processing method, program for the same, and computer readable recording medium recorded with program |
CN101639858A (zh) * | 2009-08-21 | 2010-02-03 | 深圳创维数字技术股份有限公司 | 基于目标区域匹配的图像检索方法 |
CN101770583A (zh) * | 2010-01-15 | 2010-07-07 | 华中科技大学 | 一种基于场景全局特征的模板匹配方法 |
CN103177458A (zh) * | 2013-04-17 | 2013-06-26 | 北京师范大学 | 一种基于频域分析的可见光遥感图像感兴趣区域检测方法 |
CN103593838A (zh) * | 2013-08-01 | 2014-02-19 | 华中科技大学 | 一种快速互相关灰度图像匹配方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109348731A (zh) | 2019-02-15 |
WO2018068304A1 (zh) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109348731B (zh) | 一种图像匹配的方法及装置 | |
CN110399890B (zh) | 图像识别方法、装置、电子设备及可读存储介质 | |
Matas et al. | Local affine frames for wide-baseline stereo | |
EP2879080B1 (en) | Image processing device and method, and computer readable medium | |
US9916513B2 (en) | Method for processing image and computer-readable non-transitory recording medium storing program | |
CN111369550A (zh) | 图像配准与缺陷检测方法、模型、训练方法、装置及设备 | |
CN101246593B (zh) | 一种彩色图像边缘检测方法及设备 | |
CN110807110B (zh) | 结合局部和全局特征的图片搜索方法、装置及电子设备 | |
CN105740872B (zh) | 图像特征提取方法及其装置 | |
CN107680112B (zh) | 图像配准方法 | |
CN110660089A (zh) | 一种卫星图像的配准方法及装置 | |
US7403636B2 (en) | Method and apparatus for processing an image | |
CN108960012A (zh) | 特征点检测方法、装置及电子设备 | |
CN115078365A (zh) | 一种软包装印刷质量缺陷检测方法 | |
CN111614959B (zh) | 一种视频打码方法、装置以及电子设备 | |
CN110704667B (zh) | 一种基于语义信息的快速相似图检测方法 | |
US9792675B1 (en) | Object recognition using morphologically-processed images | |
CN109871779B (zh) | 掌纹识别的方法及电子设备 | |
EP2993623B1 (en) | Apparatus and method for multi-object detection in a digital image | |
CN105868768A (zh) | 一种识别图片是否带有特定标记的方法及系统 | |
CN111784561A (zh) | 用于从图像中提取对象的方法、装置和存储介质 | |
KR101643550B1 (ko) | 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법 | |
CN115187790A (zh) | 一种基于参考区域二值化结果的图像轮廓提取方法 | |
Wang et al. | Face detection based on color template and least square matching method | |
CN111275693A (zh) | 一种图像中物体的计数方法、计数装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |