CN102663391A - 一种图像的多特征提取与融合方法及系统 - Google Patents

Abstract

本发明提供一种图像的多特征提取与融合方法，包括以下步骤：从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果颜色相似度超过设定的颜色相似度阈值则进入下一步骤；从待匹配图像中提取辅助特征，与目标图像进行辅助特征匹配，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少一项；在颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待匹配图像与目标图像的综合相似度。也可从待匹配图像的匹配区域中提取辅助特征与目标图像进行匹配。本发明通过级联的方式，从粗到精逐步匹配，并可以精确确定目标图像和待匹配图像中的相似区域，达到了快速和高效准确匹配的效果，节省了人力物力。

Description

一种图像的多特征提取与融合方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像的多特征提取与融合方法及系统。

背景技术

随着“平安城市”和“智慧城市”等大型安防监控系统的建设，监控视频的数据量日益庞大，如何从海量的图像和视频数据中快速、准确的检索出需要的图像和视频成为一个日益重要的问题，而目前检索最大的难题在于如何得到一种快速、准确的鲁棒特征。

基于内容的图像和视频检索技术通过提取图像中用户感兴趣的特征，包括颜色、纹理、形状等一些视觉特征，对用户输入的图像在海量图像中进行检索，实现了真正的图像视觉内容特征的检索，这种方式是对以关键字检索的重大突破，提高了工作科技含量、改进了管理方式、加强了执法监督、提高了治安防范水平，例如中国专利：一种综合多特征图像检索方法(公开号：CN101551823，公开日：2009-10-07)将得到的颜色、纹理和形状特征通过加权相加合成总的相似度；一种多特征融合的外观设计专利图像检索方法(公开号：CN101847163A，公开日：2010-09-29)将各个特征归一化后的距离加权融合，得到最终的图像间相似度。

现有的多特征提取与融合技术主要有以下几点不足：

1、速度慢：现有多特征提取与融合技术都是针对图像和图像之间的比较，随着视频逐步高清化的趋势，采有这种方法，速度极慢，不能应用到视频的实时检索当中。

2、目标的缩放和旋转等变化误检率极高：现有技术多采用颜色、边缘和纹理的组合，由于这三种特征对目标的缩放和旋转等变化误检率极高，很难实用。

3、现有的多特征提取与融合技术是将颜色、边缘和纹理通过并联的方式，采用加权求和来得到最终置信度，由于颜色、边缘和纹理不具有可比性，这种加权求和的方式会产生极大的误差。

发明内容

本发明的方面和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有多特征提取与融合技术中存在的速度慢、将各个特征不利因素累加、误检率高等问题，本发明提供了一种图像的多特征提取与融合方法及系统，通过级联的方式充分利用各个特征的优势，从粗到精逐步匹配，可以逐步精确确定目标图像和待匹配图像中的相似区域，而不再是两副图像之间的直接匹配，达到了快速和高效准确匹配的效果，节省了人力物力。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种图像的多特征提取与融合方法，其包括以下步骤：

S1.从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入下一步骤；

S2.从待匹配图像中提取辅助特征，与所述目标图像进行辅助特征匹配，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

S3.在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出所述待匹配图像与所述目标图像的综合相似度。

根据本发明的一个实施例，在所述步骤S1中，通过将所述待匹配图像与目标图像进行基于颜色的模板匹配，来确定所述颜色相似度。

优选地，在所述步骤S1中，同时利用基于颜色的模板匹配来确定所述待匹配图像中和所述目标图像最相似的匹配区域；在所述步骤S2中，通过从所述待匹配图像的所述匹配区域中提取辅助特征与所述目标图像的辅助特征进行匹配，来确定所述辅助特征相似度。

根据本发明的一个实施例，在所述步骤S1中，先对待匹配图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

根据本发明的一个实施例，在所述步骤S1中，通过颜色直方图进行所述基于颜色的模板匹配。

根据本发明的一个实施例，在所述步骤S2中，所述辅助特征采用纹理特征，所述纹理特征包括下列特征中的一项或多项：灰度共生矩阵的纹理特征、旋转缩放不变纹理特征。

根据本发明的一个实施例，在所述步骤S3中，进行综合判定的方法如下：

如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合相似度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合相似度中颜色相似度所占的比重提高。

根据本发明的另一个方面，提供一种图像的多特征提取与融合系统，其包括匹配模块，所述匹配模块包括：

颜色匹配模块，用于从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入辅助特征匹配模块进行处理；

辅助特征匹配模块，用于从待匹配图像中提取辅助特征，与所述目标图像进行辅助特征匹配，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

综合判定模块，用于在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出所述待匹配图像与所述目标图像的综合相似度。

根据本发明的一个实施例，所述颜色匹配模块设置为通过将所述待匹配图像与目标图像进行基于颜色的模板匹配，来确定所述颜色相似度。

优选地，所述颜色匹配模块设置为同时利用基于颜色的模板匹配来确定所述待匹配图像中和所述目标图像最相似的匹配区域；所述辅助特征匹配模块设置为通过从所述待匹配图像的所述匹配区域中提取辅助特征与所述目标图像的辅助特征进行匹配，来确定所述辅助特征相似度。

当然，所述匹配模块还可设置为执行上述图像的多特征提取与融合方法特征中的其它一项或多项步骤。

本发明的多特征提取与融合方法，主要应用于图像匹配或图像和视频检索技术中，克服了现有多特征提取与融合方法中存在的将各个特征不利因素累加的问题，通过级联的方式充分利用各个特征的优势，从粗到精逐步匹配，同时通过级联匹配的方法可以逐步精确确定目标图像和待匹配图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确匹配的效果，节省了人力物力。

具体而言，相对于现有技术，本发明可带来如下有益效果：

1、本发明通过级联的方法，从粗到精逐步匹配，并可缩小检测区域，可以使匹配速度大大提高。

2、利用本发明，可以去掉形状特征(如边缘特征)而采用纹理特征作为辅助特征，采用更健壮、对缩放和旋转变化有很好检测的SIFT(或SURF)算法，准确度可大大提高。

3、本发明可通过将颜色、辅助特征通过串联、并联相结合的级联方式，最后根据两个相似度是否大于设定的阈值来取最终的置信度，不但大大提高了匹配速度，同时避免了现有技术对颜色、边缘和纹理等不具有可比性的特征直接采用加权求和所导致的误差。

4、在应用到图像的指定目标(如车辆、行人和动物等)检索时，本发明通过基于颜色的模板匹配方法可首先从图像中获取目标的大致区域，然后再采用更为精确的辅助特征(可采用纹理特征，如旋转缩放不变特征)对目标区域精确匹配，从而获得目标的精确相似度。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为根据本发明一个实施例的图像的多特征提取与融合方法的总流程图。

图2为图1中的粗匹配流程图。

图3为根据本发明一个实施例的匹配模块的结构示意图。

具体实施方式

本发明提供一种图像的多特征提取与融合系统，该系统可以是一台主机或专门的设备，也可以是一个网络系统，或者是可以安装于主机或专门设备中的软件系统，关键是其包括匹配模块，如图3所示，匹配模块包括：

颜色匹配模块，用于从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果颜色相似度超过设定的颜色相似度阈值则进入辅助特征匹配模块进行处理；

辅助特征匹配模块，用于从待匹配图像中提取辅助特征，与目标图像进行辅助特征匹配，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少一项；

综合判定模块，用于在颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待匹配图像与目标图像的综合相似度。

根据本发明的实施例，颜色匹配模块设置为通过将待匹配图像与目标图像进行基于颜色的模板匹配，来确定颜色相似度。优选地，颜色匹配模块设置为同时利用基于颜色的模板匹配来确定待匹配图像中和目标图像最相似的匹配区域；辅助特征匹配模块设置为通过从待匹配图像的匹配区域中提取辅助特征与目标图像的辅助特征进行匹配，来确定辅助特征相似度。

在下面的实施例中，以辅助特征采用纹理特征为例进行说明，当然本领域普通技术人员也可以采用形状特征(例如边缘特征)作为辅助特征，也可以同时采用纹理特征和形状特征作为辅助特征，这些都在本发明的范围之内。

如图1和图2所示，对待匹配图像(原始图像)通过颜色分层并得到分层后的颜色直方图和其它颜色特征进行第一级粗匹配，通过粗匹配获取最相似的目标区域作为下一级细匹配的目标区域，可以排除大部分颜色特征相差极大的目标，同时由于条件并不苛刻，所以不会漏检目标造成累积误差；在粗匹配的基础上结合辅助特征(以纹理特征为例)进行细匹配，细匹配是进一步的确认，并不是对粗匹配的直接否定；在粗匹配和细匹配的基础上，通过粗匹配和细匹配分别得到的相似度，进行综合判定，得出待匹配图像与目标目标图像的综合置信度。其具体步骤如下：

1、色彩空间转换和色彩分层计算；

2、第一级粗匹配(采用基于颜色的模板匹配技术)：在色彩分层的基础上，通过颜色直方图和其它特征进行粗匹配，确定和指定目标最相似的可能区域(匹配区域)；如果颜色相似度超过设定的颜色相似度阈值则进入下一步骤；否则，结束对当前待匹配图像的匹配。

3、第二级细匹配：提取纹理特征进行精确匹配，通过从待匹配图像的匹配区域中提取纹理特征与目标图像的纹理特征进行匹配，来确定纹理特征相似度；

4、第三级综合判定：结合粗匹配和细匹配依据一定的规则进行综合判定，得出综合置信度。

该方法的流程图详见图1和图2，如图1所示的具体实施例中，匹配模块的处理流程包括下列步骤：

101.获得原始图像(即待匹配图像)；

102.结合输入的参数，进行色彩空间转换；

103.进行色彩分层计算；

104.与目标图像进行颜色匹配(即粗匹配)；

105.确定待匹配图像中最相似的匹配区域；

106.从匹配区域中进行纹理特征的提取；

107.与目标图像进行纹理特征匹配(即细匹配)；

108.进行颜色和纹理特征的融合判定；

109.判断是否符合置信度要求，如果是则给出综合置信度，否则退出。

如图2所示的具体实施例中，粗匹配的处理流程包括下列步骤：

201.分层图像输入；

202.结合输入的参数，将图像按照目标图像的大小划分；

203.取出一块图像区域；

204.计算HSV(色调、饱和度、亮度)颜色直方图；

205.HSV直方图匹配；

206.将相似度排序保存；

207.判断是否为最后一块图像区域；

208.如果是，则取出最相似的匹配区域，否则回到步骤203，重复进行下一块图像区域的匹配。

下面对本实施例的几个步骤依次进行详细描述：

第一步、色彩空间转换和色彩分层计算

1)色彩空间转换；

由于需要在HSV(色调、饱和度、亮度)颜色空间来对颜色分层，所以首先将图像从RGB(红、绿、蓝)颜色空间转换到HSV颜色空间：

$H=\left\{\begin{array}{c}\arccos \frac{(R-G)+(R-B)}{2\sqrt{(R-G)*(R-G)+(R-B)*(G-*B)}}(B\≤G)\\ 2\mathrm{\π}-\arccos \frac{(R-G)+(R-B)}{2\sqrt{(R-G)*(R-G)+(R-B)*(G-*B)}}(B>G)\end{array}\right.---\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

2)色彩分层计算

色彩分层就是将颜色空间映射到一定的子集中，从而提高图像匹配速度。一般的图像颜色系统大约有2²⁴种颜色，而人眼能够真正辨别的颜色有限，因此在进行图像处理时，需要对颜色空间进行分层，分层的维数大小非常重要，分层维数越高，匹配精度就越高，但是匹配速度会随之下降。

色彩分层分为等量间距颜色分层和非等量间距颜色分层，由于等量间距分层的维数如果过低，则精度会大大下降，如果过高又会造成计算复杂，经过分析和实验，本实施例选用非等量间距颜色分层，步骤如下：

根据人的感知能力，把色调H分成8份，饱和度S和亮度V分成3份，根据颜色空间以及人对颜色的主观感知特性进行量化分层，公式如下：

$H=\left\{\begin{array}{cc}0& \mathrm{ifh}\∈\left[\mathrm{316,20}\right]\\ 1& \mathrm{ifh}\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{ifh}\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{ifh}\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{ifh}\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{ifh}\∈\left[\mathrm{271,195}\right]\\ 7& \mathrm{ifh}\∈\left[\mathrm{296,315}\right]\end{array}\right.---\left(4\right)$

$S=\left\{\begin{array}{cc}0& \mathrm{ifs}\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{ifs}\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{ifs}\∈\left[\mathrm{0.7,1}\right]\end{array}\right.---\left(5\right)$

$V=\left\{\begin{array}{cc}0& \mathrm{ifv}\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{ifv}\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{ifv}\∈\left[\mathrm{0.7,1}\right]\end{array}\right.---\left(6\right)$

根据以上方法将颜色空间划分为72种颜色。

第二步、第一级粗匹配：在色彩分层的基础上，通过颜色直方图进行粗匹配，确定和目标最相似的可能区域

1)图像区域划分；

针对指定目标的匹配，为了使样例目标和待匹配图像中的目标更好的匹配，我们在第一级将匹配图像划分为一块块和样例目标差不多大小的区域，水平和垂直移动的步长可以根据匹配精度的要求设定，要精度高一点可以将步长设定的小一点，要速度快一些，可以将步长设定的大一些。

2)颜色模板和特征匹配

对每一个划分的图像区域，根据分割得到的颜色区域，计算样例颜色区域与待匹配区域的相似性，这里采用绝对值距离法。

设两个颜色区域分别为I、Q，用同心矩形划分方法对图像进行划分，得到一个n个同心矩形，根据前面分层得到的72维HSV直方图，对应部分的距离D_i为：

$D_i=\underset{j=0}{\overset{71}{\mathrm{\Σ}}}\left(\right|h_i\left(j\right)-h_q\left(j\right)\left|\right)---\left(7\right)$

其中，h_i(j)、h_q(j)分别对应颜色区域I、Q在第j维直方图的值，对计算结果排序，找出最相似的区域作为匹配区域。

第三步、细匹配：提取辅助特征(以纹理特征为例)进行精确匹配

纹理特征可包括下列特征中的一项或多项：灰度共生矩阵的纹理特征、旋转缩放不变纹理特征(如SIFT特征)。

1)灰度共生矩阵的纹理特征

首先将彩色图像转换成灰度图像，对于灰度为N级的图像，共生矩阵为N*N维矩阵，即其中，位于(h，k)的元素m_hk的值表示相距(h，k)的灰度为h，而另一个灰度为k的像素对出现的次数。

由纹理共生矩阵提取的四个特征量为：

反差： $\mathrm{CON}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(h-k)}^2{m}_{\mathrm{hk}}---\left(8\right)$

能量： $\mathrm{ASM}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\left(m_{\mathrm{hk}}\right)}^2---\left(9\right)$

熵： $\mathrm{ENT}=-\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{m}_{\mathrm{hk}}\lg \left(m_{\mathrm{hk}}\right)---\left(10\right)$

相关： $\mathrm{COR}=[\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\mathrm{hkm}}_{\mathrm{hk}}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y)]/{\mathrm{\σ}}_x{\mathrm{\σ}}_y---\left(11\right)$

其中，

是矩阵M中每列元素之和；

是每行元素之和；μ_x、μ_y、σ_x、σ_y分别是m_x、m_y的均值和标准差。

在本实施例中的具体步骤如下：

A、将图像的灰度分为64个灰度等级；

B、构造四个方向灰度共生矩阵：M(1，0)，M(0，1)，M(1，1)，M(1，-1)

C、分别计算每个共生矩阵上的四个纹理特征量；

以各特征量的均值和标准差：μ_CON、σ_CON、μ_ASM、σ_ASM、μ_ENT、σ_ENT、μ_COR、σ_COR作为纹理特征的八个分量。

2)SIFT(尺度不变特征转换)特征

SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。

其主要检测步骤如下：

a)检测尺度空间极值点；

b)精确定位极值点；

c)为每个关键点指定方向参数；

d)关键点描述子的生成

●尺度空间的生成

尺度空间理论目的是模拟图像数据的多尺度特征，高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，yσ)*I(x，y)   (12)

其中G(x，y，σ)是尺度可变高斯函数。

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2---\left(13\right)$

(x，y)是空间坐标，σ是尺度坐标。

为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图像卷积生成。

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)  (14)

图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到，O和S由用户设定。

●空间极值点检测

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

●构建尺度空间需确定的参数

σ-尺度空间坐标

O-octave坐标

S-sub-level坐标

σ和O、S的关系σ(o，s)＝σ₀2^o+s/S，o∈o_min+[0，...，O-1]，s∈[0，...，S-1]其中σ₀是基准层尺度。

空间坐标x是组octave的函数，设x₀是O组的空间坐标，则

x＝2^ox₀，o∈Z，x₀∈[0，...，N₀-1]×[0，...，M₀-1]

如果(M₀，N₀)是基础组o＝O的分辨率，则其他组的分辨率由下式获得：

一般使用如下的参数：

σ_n＝0.5，σ₀＝1.6·2^1/S，o_min＝-1，S＝3

在组o＝-1，图像用双线性插值扩大一倍(对于扩大的图像σ_n＝1)。

●精确确定极值点位置

通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

边缘响应的去除

一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求出：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(16\right)$

导数由采样点相邻差估计得到。

D的主曲率和H的特征值成正比，令α为最大特征值，β为最小的特征值，则

Tr(H)＝D_xx+D_yy＝α+β          (17)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ    (18)

令α＝γβ，则：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{{\mathrm{r\β}}^2}=\frac{{(r+1)}^2}{r}---\left(19\right)$

(r+1)²/r的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(20\right)$

一般取r＝10。

●关键点方向分配

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(21\right)$

$\mathrm{\&theta;}(x,y)=\sqrt{\mathrm{\&alpha;}\tan 2((L(x,y+1)-L(x,y-1))/((L(x+1,y)-L(x-1,y)))}---\left(22\right)$

上两式为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。

在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。

至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。

●特征点描述子生成

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

接下来以关键点为中心取8×8的窗口，中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。

实际计算过程中，为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取样例图中的某个关键点，并找出其与匹配图中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

3)综合特征

利用单一特征进行图像匹配有各自的优点，为了提高匹配的准确性，本发明结合纹理特征，构造一个结构化特征进行图像匹配。

由于颜色和纹理特征的物理意义不相同，不具有直接可比性，需要对几种特征做规一化处理，公式如下：

D＝w₁d₁+w₂d₂       (23)

其中，d₁、d₂分别表示2幅图像的颜色特征量、纹理特征量之间的距离；w₁、w₂为特征量的权值(0≤w₁≤1，且w₁+w₂＝1)。

第四步、综合判定：结合粗匹配和细匹配依据一定的规则进行综合判定，得出综合置信度

综合判定的规则是这样的：

a)如果粗匹配和细匹配都有极高的相似度，那么肯定是相似的匹配目标，综合置信度计算时以纹理特征(如SIFT特征)相似度为主；

b)如果粗匹配的相似度一般，但是细匹配的相似度极高，由于SIFT特征的稳定性，综合置信度计算时以纹理特征相似度为主，但是颜色相似度的比重提高；

c)如果粗匹配的相似度极高，而细匹配的相似度一般，综合置信度计算时两种相似度的比重相差不大，根据实际情况确定；

d)如果两种相似度都很低，那么认为不是相似目标。

本实施例中方法的实现主要是通过级联的匹配方式，从粗到精逐步确定，包括三部分：第一级粗匹配、第二级细匹配和第三级综合判定；粗匹配根据颜色分层后的颜色直方图通过模板匹配的方法来确定可能包括目标的大致区域；细匹配主要是通过获取纹理特征，在粗匹配的基础上进一步确定；综合判定是根据颜色的粗匹配和纹理特征的细匹配得到的独立相似度，得出综合相似度(或综合置信度)。

采用本发明所述方法，与现有技术相比，克服现有多特征提取与融合方法中存在的一些不足，通过级联的方式充分利用各个特征的优势，从粗到精逐步匹配，可精确确定目标图像和待匹配图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确匹配的效果，节省了人力物力。

本发明不但能够应用在对静态图片的检索中，同时也可以应用在视频检索当中。本领域普通技术人员应了解，在应用于视频检索时，待匹配图像中最相似的匹配区域的获得除了可通过上述的基于颜色的模板匹配方法之外，也可以通过其它技术，比如通过背景差来获取运动目标区域。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (10)

1.一种图像的多特征提取与融合方法，其特征在于，包括以下步骤：

S1.从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入下一步骤；

S2.从待匹配图像中提取辅助特征，与所述目标图像进行辅助特征匹配，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

S3.在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出所述待匹配图像与所述目标图像的综合相似度。

2.根据权利要求1所述的图像的多特征提取与融合方法，其特征在于，在所述步骤S1中，通过将所述待匹配图像与目标图像进行基于颜色的模板匹配，来确定所述颜色相似度。

3.根据权利要求2所述的图像的多特征提取与融合方法，其特征在于，在所述步骤S1中，同时利用基于颜色的模板匹配来确定所述待匹配图像中和所述目标图像最相似的匹配区域；在所述步骤S2中，通过从所述待匹配图像的所述匹配区域中提取辅助特征与所述目标图像的辅助特征进行匹配，来确定所述辅助特征相似度。

4.根据权利要求2或3所述的图像的多特征提取与融合方法，其特征在于，在所述步骤S1中，先对待匹配图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

5.根据权利要求2或3所述的图像的多特征提取与融合方法，其特征在于，在所述步骤S1中，通过颜色直方图进行所述基于颜色的模板匹配。

6.根据权利要求2或3所述的图像的多特征提取与融合方法，其特征在于，在所述步骤S2中，所述辅助特征采用纹理特征，所述纹理特征包括下列特征中的一项或多项：灰度共生矩阵的纹理特征、旋转缩放不变纹理特征。

7.根据权利要求6所述的图像的多特征提取与融合方法，其特征在于，在所述步骤S3中，进行综合判定的方法如下：

如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合相似度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合相似度中颜色相似度所占的比重提高。

8.一种图像的多特征提取与融合系统，其特征在于，包括匹配模块，所述匹配模块包括：

颜色匹配模块，用于从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入辅助特征匹配模块进行处理；

辅助特征匹配模块，用于从待匹配图像中提取辅助特征，与所述目标图像进行辅助特征匹配，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

综合判定模块，用于在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出所述待匹配图像与所述目标图像的综合相似度。

9.根据权利要求8所述的图像的多特征提取与融合系统，其特征在于，所述颜色匹配模块设置为通过将所述待匹配图像与目标图像进行基于颜色的模板匹配，来确定所述颜色相似度。

10.根据权利要求9所述的图像的多特征提取与融合系统，其特征在于，所述颜色匹配模块设置为同时利用基于颜色的模板匹配来确定所述待匹配图像中和所述目标图像最相似的匹配区域；所述辅助特征匹配模块设置为通过从所述待匹配图像的所述匹配区域中提取辅助特征与所述目标图像的辅助特征进行匹配，来确定所述辅助特征相似度。

Images