CN106570183A - 一种彩色图像检索和分类方法 - Google Patents

Abstract

本发明涉及了一种利用Log‑Gabor滤波器实现图像检索和分类方法。该方法主要内容包括以下几点：1)利用copula模型同时捕获了Log‑Gabor小波子带间的相关性和颜色通道的相关性，提高了检索和分类的准确度；2)本发明对将颜色通道上Log‑Gabor小波子带进行了选择(去掉冗余子带提高算法精度，减少计算时间)，而且每个彩色图像只建立一个copula模型，提高了计算效率。与现有方法相比，本发明有本发明抗噪声干扰能力强、具有较好的检索和分类性能、具有较低的计算复杂度。

Description

一种彩色图像检索和分类方法

技术领域

本发明涉及图像检索技术与分类领域，尤其是涉及利用颜色通道相关性的一种图像检索方法。

背景技术

目前大多数图像采集设备获取的图像为彩色图像(其中RGB图像是最常见的一种)，然而目前多数图像检索方法是基于灰度图像来设计的，即首先要将彩色图像(如RGB图像)转换为灰度图像。基于灰度图像的纹理信息进行分类与检索的缺点是没有利用图像的颜色特征，降低了算法的识别精度。常用的图像检索与分类方法包括离散小波变换方法(DWT)、对偶树小波变换方法(DT-CWT)、Gabor小波分解方法、局部二进制模式方法(LBP)及其扩展方法。为了利用颜色特征，可以将上述方法在每个颜色通道上分别提取纹理特征，然后将所有的颜色通道纹理特征连接成最终的图像特征。然而这种先在通道独立计算特征再连接的检索与分类方法提高的效果不很明显。对于LBP及其扩展的描述子方法，其最大的特点是抗图像噪声干扰能力差。

近来在该研究领域中，有算法利用了颜色通道的相关性，结合copula模型来提高检索和分类准确率(Kwitt R,Meerwald P,Uhl A.Efficient texture image retrievalusing copulas in a Bayesian framework[J].IEEE transactions on imageprocessing,2011,20(7):2063-2077，文献1)。具体做法是用DWT或DT-CWT分解RGB图像的3个颜色通道上进行分解。对于DT-CWT，一般在3个通道上分别进行3层分解，每层分解有6个方向子带(对于DWT则只有水平、垂直和对角3个方向子带)。将每一层上的18个子带用copula模型进行连接，建立颜色相关的多维统计模型。这样3层分解将产生3个copula多维统计模型，利用统计模型的相似比较(常用的是Kullback–Leibler distance，简称KLD)进行检索和分类(Lasmar N E,Berthoumieu Y.Gaussian copula multivariate modelingfor texture image retrieval using wavelet transforms[J].IEEE Transactions onImage Processing,2014,23(5):2246-2261，文献2)。这种基于传统小波变换的copula模型有两个缺点：1)相比于Gabor小波(或Gabor滤波器)，DWT和DTCWT对纹理图像的刻画能力较弱；2)由于受小波正交性影响，DWT不能捕获尺度和方向上的相关性；对于DT-CWT其尺度相关性也很弱，降低了性能。文献1采用了非常耗时的Bayesian框架进行检索；文献2没有利用纹理图像的颜色通道特征，也降低了算法的性能。Li,Chaorong等(论文Li,Chaorong,Guiduo Duan,and Fujin Zhong."Rotation invariant texture retrieval consideringthe scale dependence of Gabor wavelet."IEEE Transactions on Image Processing,2015,24(8):2344-2354.)提出了Gabor小波结合copula图像检索方法，但是与文献2一样针对的是灰度图像的检索，也没有考虑图像颜色通道相关性。

发明内容

本发明方法针对现有图像分类和检索方法的不足，提出一种考虑颜色通道相关性的，利用Log-Gabor滤波器实现图像检索和分类方法。Log-Gabor是Gabor滤波器的提提升版，具有模拟人的视觉感知细胞。利用它能提取具有较好区别能力的图像特征，更适合提取自然图像特征信息。本发明主要创新点在于：1)利用copula模型同时捕获了Log-Gabor小波子带间的相关性和颜色通道的相关性，提高了检索和分类的准确度；2)本发明对将颜色通道上Log-Gabor小波子带进行了选择(去掉冗余子带提高算法精度)，而且每个彩色图像只建立一个copula模型，提高了计算效率。本发明方法具体实施步骤是：

步骤1，用二维Log-Gabor滤波器将RGB彩色图像在3个通道上分别进行4尺度和6方向分解，这样一共得到72个Log-Gabor输出图像(4×6×3)，称为Log-Gabor子带。二维Log-Gabor滤波器函数的频域响应定义如下：

其中k和θ分别表示频域极坐标上的半径和方向；u∈[1,…,L]是尺度因子，v∈[1,…,S]是方向因子，L和S是分别表示最大分解尺度数和方向数的正整数；σ_k和σ_θ分别决定了尺度和方向带宽。

步骤2，分别对每一个Log-Gabor子带进行拉直运算，即将二维Log-Gabor子带从上到下、从左到右拼接形成一维向量(称为子带向量)。对于M行N列的Log-Gabor子带将产生长度为P的向量(P＝M×N)。

步骤3，用Weibull分布分别拟合72个向量。Weibull分布的密度函数表示为：其中α和β是Weibull分布的形状和尺度参数。Weibull累积分布函数为：拟合是在每个Log-Gabor子带向量上根据Weibull分布计算出参数α和β，以使曲线f(x|α,β)能最吻合的包络该向量的直方图。这里采用最大似然法拟合Gabor子带，即用下面的公式确定：此步骤将得到72个Weibull分布，包括72个不同的密度函数f_i(x_i)和累积分布F_i(x_i)。

步骤4，建立初步的高斯copula模型。此步骤用高斯copula模型联合这72个Weibull分布，使之成为一个多维统计模型，以获得比独立统计模型更好的检索或分类效果。Copula模型由下面的式子确定：

其中n是边缘分布的个数，这里n取值为72；x_i代表了n个向量；c(F₁(x₁|α₁,β₁),…,F_n(x_n|α_n,β_n))是copula密度函数；F_i(x_i|α_i,β_i)和f_i(x_i|α_i,β_i)是copula模型的边缘分布(这里分别是已经计算出参数的Weibull分布函数和密度函数)；Θ是参数集，包括边缘分布参数和copula函数的参数。这里选取高斯copula，其密度函数的表达式为：

其中R是相关矩阵，ξ＝[ξ₁,…,ξ_n]，ξ_i＝Φ^-1(u_i),i＝1,…,n，Φ是标准正太分布，Φ^-1是其逆函数。由上可知Weibull边缘分布和高斯Copula函数确定了copula模型，该模型为多元统计模型。利用已经求得的F_i(x_i|α_i,β_i)和f_i(x_i|α_i,β_i)，并根据最大似然法求得高斯copula模型参数R的估计：其中ξ_i＝Φ^-1(F_W(x_i|α_i,β_i))，ξ^T是ξ的转置，L是Log-Gabor子带向量长度。这样参数Θ(包括copula函数参数和边缘分布参数)已全部确定，即copula模型已确定。

步骤5，Log-Gabor子带选择。上述步骤建立的copula模型联合了Log-Gabor分解的所有72个子带。其中一些子带在检索的时候会产生干扰因素，影响算法精度，而且子带过多也将增大计算量。因而选取一部分效果较好的子带参与最终的检索和分类是有必要的。由于是联合分布模型，主要考察的是子带间组合性能，而不是单独测试某个子带的性能。设所有子带集合为S＝{s₁,…,s₇₂}，s_i是第i个子带，用S-s_i表示除去第i个子带剩下的71个子带。用h(S-s_i)表示去除s_i后的copula模型，其检索或分类正确率用R_i表示，即R_i＝h(S-s_i)。R_i越小，则表示第i个子带重要性越大。按照从小到大进行排序，选择前面m个(m＜n)参加重组最终的copula模型，这里m取值为36。在训练时，应在不同类型的图像数据库中进行训练，以确保选取的子带有广泛的适应性。这里用两个高斯copula模型之间的KLD(Kullback-Leibler距离)相似度量来实现检索与分类(具体见步骤7中的公式)。

步骤6，建立最终的copula模型。将选取的m个子带构建出copula模型。表示如下：

步骤7，用最终的copula模型实现检索和分类。这里用两个copula模型之间的KLD进行检索和分类。设需要查询的图像(未知类别)的高斯copula模型为h₁，来源于图像数据库中的某一图像(已知类别)的高斯copula模型为h_j，则通过计算h₁和h_j的KLD(h₁||h_j)，选取具有最小的KLD(h₁||h_j)对应的h_j的图像为查询图像h₁的类别。两个模型之间的KLD距离表示为：

其中是两个高斯copula函数之间的KLD；表示两个Weibull边缘分布之间的KLD，其表达如下其中Γ是Gamma函数。

本发明中的方法为多元统计模型，能很好捕获颜色相关性和Log-Gabor子带相关性(包括尺度间相关性和方向间相关性)，与现有方法相比，本发明有本发明抗噪声干扰能力强、具有较好的检索和分类性能、具有较低的计算复杂度；经试验表明，本发明取得了很好的效果。

附图说明

图1为本发明方法流程图

具体实施方式

下面结合附图对本发明方法作进一步说明，具体实施步骤如下(如图1所示)：

步骤1，用二维Log-Gabor滤波器将RGB彩色图像在3个通道上分别进行4尺度和6方向分解，这样一共得到72个Log-Gabor输出图像(4×6×3)，称为Log-Gabor子带。

步骤2，分别对每一个Log-Gabor子带进行拉直运算，即将二维Log-Gabor子带从上到下、从左到右拼接形成一维向量(称为子带向量)。对于M行N列的Log-Gabor子带将产生长度为P的子带向量(P＝M×N)。

步骤3，用Weibull分布分别拟合72个子带向量。拟合是在每个Log-Gabor子带向量上根据Weibull分布计算出参数α和β，以使曲线f(x|α,β)能最吻合的包络该向量的直方图。这里采用最大似然法拟合Gabor子带，即用下面的公式确定：此步骤将得到72个Weibull分布，包括72个不同的密度函数f_i(x_i)和累积分布F_i(x_i)。

步骤4，建立初步的高斯copula模型。此步骤用高斯copula模型联合这72个Weibull分布，使之成为一个多维统计模型，以获得比独立统计模型更好的检索或分类效果。这里选取高斯copula来建立初步模型。由上可知Weibull边缘分布和高斯Copula函数确定了copula模型。利用已经求得的F_i(x_i|α_i,β_i)和f_i(x_i|α_i,β_i)，并根据最大似然法求得高斯copula模型参数R的估计：其中ξ_i＝Φ^-1(F_W(x_i|α_i,β_i))，ξ^T是ξ的转置，P是Log-Gabor子带向量长度。这样参数Θ(包括copula函数参数和边缘分布参数)已全部确定，即copula模型已确定。

步骤5，Log-Gabor子带选择。上述步骤建立的copula模型联合了Log-Gabor分解的所有72个子带。用R_i表示去除第i个子带后的copula模型在训练数据库中的检索或分类正确率。R_i越小，则表示第i个子带重要性越大。按照从小到大进行排序，选择前面m个(m＜n)参加重组最终的copula模型，这里m取值为36。在训练时，应在不同类型的图像数据库中进行训练，以确保选取的子带有广泛的适应性。这里用两个高斯copula模型之间的KLD(Kullback-Leibler距离)相似度量来实现检索与分类(具体见步骤7中的公式)。

步骤6，建立最终的copula模型。将选取的m个子带构建出一个copula模型。表示如下：

步骤7，用最终的copula模型实现检索和分类。设需要查询的图像(未知类别)的高斯copula模型为h₁，来源于图像数据库中的某一图像(已知类别)的高斯copula模型为h_j，则通过计算h₁和h_j的KLD(h₁||h_j)，选取具有最小的KLD(h₁||h_j)对应的h_j的图像为查询图像h₁的类别。两个模型之间的KLD距离表示为：

Claims (1)

1.一种彩色图像检索和分类方法，其特征在于它包括以下步骤：

步骤1，用二维Log-Gabor滤波器将RGB彩色图像在3个通道上分别进行4尺度和6方向分解，这样一共得到72个Log-Gabor输出图像(4×6×3)，称为Log-Gabor子带。二维Log-Gabor滤波器函数的频域响应定义如下：

${\mathrm{LG}}_{u,v}(k,\mathrm{\θ})=e^{-\frac{{\[log\left(k\right)-log\left(k_v\right)\]}^2}{2{\[log\left({\mathrm{\σ}}_k\right)\]}^2}}{e}^{-\frac{{(\mathrm{\θ}-{\mathrm{\θ}}_u)}^2}{2{\mathrm{\σ}}_{\mathrm{\θ}}^2}}$

其中k和θ分别表示频域极坐标上的半径和方向；u∈[1,…,L]是尺度因子，v∈[1,…,S]是方向因子，L和S是分别表示最大分解尺度数和方向数的正整数；σ_k和σ_θ分别决定了尺度和方向带宽。

步骤2，分别对每一个Log-Gabor子带进行拉直运算，即将二维Log-Gabor子带从上到下、从左到右拼接形成一维向量(称为子带向量)。对于M行N列的Log-Gabor子带将产生长度为P的向量(P＝M×N)。

步骤3，用Weibull分布分别拟合72个向量。Weibull分布的密度函数表示为：其中α和β是Weibull分布的形状和尺度参数。Weibull累积分布函数为：拟合是在每个Log-Gabor子带向量上根据Weibull分布计算出参数α和β，以使曲线f(x|α,β)能最吻合的包络该向量的直方图。这里采用最大似然法拟合Gabor子带，即用下面的公式确定：此步骤将得到72个Weibull分布，包括72个不同的密度函数f_i(x_i)和累积分布F_i(x_i)。

步骤4，建立初步的高斯copula模型。此步骤用高斯copula模型联合这72个Weibull分布，使之成为一个多维统计模型，以获得比独立统计模型更好的检索或分类效果。Copula模型由下面的式子确定：

$h(x_1,...,x_n|\mathrm{\Θ})=c\left(F_1\right(x_1|{\mathrm{\α}}_1,{\mathrm{\β}}_1),...,F_n(x_n|{\mathrm{\α}}_n,{\mathrm{\β}}_n\left)\right)\·\underset{i=1}{\overset{n}{\Π}}{f}_i\left(x_i\right|x,{\mathrm{\β}}_i),$

其中n是边缘分布的个数，这里n取值为72；x_i代表了n个向量；c(F₁(x₁|α₁,β₁),…,F_n(x_n|α_n,β_n))是copula密度函数；F_i(x_i|α_i,β_i)和f_i(x_i|α_i,β_i)是copula模型的边缘分布(这里分别是已经计算出参数的Weibull分布函数和密度函数)；Θ是参数集，包括边缘分布参数和copula函数的参数。这里选取高斯copula，其密度函数的表达式为：

$g(u_1,...,u_n|R)=|R{|}^{-1/2}\exp (-\frac{1}{2}{\mathrm{\ξ}}^T(R^{-1}-I\left)\mathrm{\ξ}\right),$

其中R是相关矩阵，ξ＝[ξ₁,…,ξ_n]，ξ_i＝Φ^-1(u_i),i＝1,…,n，Φ是标准正太分布，Φ^-1是其逆函数。由上可知Weibull边缘分布和高斯Copula函数确定了copula模型，该模型为多元统计模型。利用已经求得的F_i(x_i|α_i,β_i)和f_i(x_i|α_i,β_i)，并根据最大似然法求得高斯copula模型参数R的估计：其中ξ_i＝Φ^-1(F_W(x_i|α_i,β_i))，P是Log-Gabor子带向量长度。这样参数Θ(包括copula函数参数和边缘分布参数)已全部确定，即copula模型已确定。

步骤5，Log-Gabor子带选择。上述步骤建立的copula模型联合了Log-Gabor分解的所有72个子带。其中一些子带在检索的时候会产生干扰因素，影响算法精度，而且子带过多也将增大计算量。因而选取一部分效果较好的子带参与最终的检索和分类是有必要的。由于是联合分布模型，主要考察的是子带间组合性能，而不是单独测试某个子带的性能。设所有子带集合为S＝{s₁,…,s₇₂}，s_i是第i个子带，用S-s_i表示除去第i个子带剩下的71个子带。用h(S-s_i)表示去除s_i后的copula模型，其检索或分类正确率用R_i表示，即R_i＝h(S-s_i)。R_i越小，则表示第i个子带重要性越大。按照从小到大进行排序，选择前面m个(m＜n)参加重组最终的copula模型，这里m取值为36。在训练时，应在不同类型的图像数据库中进行训练，以确保选取的子带有广泛的适应性。这里用两个高斯copula模型之间的KLD(Kullback-Leibler距离)相似度量来实现检索与分类(具体见步骤7中的公式)。

步骤6，建立最终的copula模型。将选取的m个子带构建出copula模型。表示如下：

$h(x_1,...,x_m|\mathrm{\Θ})=c\left(F_1\right(x_1|{\mathrm{\α}}_1,{\mathrm{\β}}_1),...,F_m(x_m|{\mathrm{\α}}_m,{\mathrm{\β}}_m\left)\right)\·\underset{i=1}{\overset{m}{\Π}}{f}_i\left(x_i\right|{\mathrm{\α}}_i,{\mathrm{\β}}_i)$

步骤7，用最终的copula模型实现检索和分类。这里用两个copula模型之间的KLD进行检索和分类。设需要查询的图像(未知类别)的高斯copula模型为h₁，来源于图像数据库中的某一图像(已知类别)的高斯copula模型为h_j，则通过计算h₁和h_j的KLD(h₁||h_j)，选取具有最小的KLD(h₁||h_j)对应的h_j的图像为查询图像h₁的类别。两个模型之间的KLD距离表示为：

$KLD\left(h_1\right|\left|h_j\right)=KLD\left(g_1\right|\left|g_2\right)+\underset{k=1}{\overset{m}{\Σ}}KLD\left(f_k^1\right|\left|f_k^2\right)$

其中是两个高斯copula函数之间的KLD；表示两个Weibull边缘分布之间的KLD，其表达如下其中Γ是Gamma函数。