CN102147867B - 一种基于主体的国画图像和书法图像的识别方法 - Google Patents

Abstract

本发明涉及一种基于主体的国画图像和书法图像的识别方法，其包括如下步骤：利用扫描仪扫描中国近代以前的国画作品和历史上出现过的书法作品，得到国画作品和书法作品的样本图像；对样本图像进行基于Top-down的图像预处理，从扫描得到的样本图像中随机选取训练样本图像和测试样本图像；从训练样本图像中提取训练样本图像的主体特征向量，并训练分类器；训练样本图像分类器，从测试样本图像中提取主体特征向量，利用训练好的样本图像分类器进行识别，得出识别的结果。本发明基于主体的概念，通过提取国画图像和书法图像主体的特征，实现了对国画图像和书法图像的识别，能广泛应用于对国画图像和书法图像的识别和检索中。

Description

一种基于主体的国画图像和书法图像的识别方法

技术领域

本发明涉及一种图像识别方法，特别是关于一种基于主体的国画图像和书法图像的识别方法。

背景技术

国画作品和书法作品是中国文化中的重要组成部分，具有独特的艺术形式，在世界美术领域中自成体系，独树一帜。近年来，随着计算机和多媒体等技术的迅速发展，国画作品和书法作品的数字图像也与日俱增，因此如何有效的检索国画图像和书法图像越来越受到大家的关注。

国画图像和书法图像主要包括留白区域和主景区域，针对国画图像和书法图像自身的特点，经过数据预处理把留白区域设定为统一颜色之后剩余的主景区域更能够突出国画图像和书法图像的特征，因此定义该主景区域为国画图像和书法图像的主体。目前现有的图像识别方法中，对于图像特征的提取有：基于视觉注意机制目标区域的特征提取，直接使用全局图像进行特征提取，全局结合局部的特征提取等。

现有的研究工作主要集中在对国画图像的创作风格如工笔、写意等；内容如山水、人物、花鸟等的识别。2006年蒋树强等人提出了一种有效针对中国国画图像的检测和识别方法，该方法首先从一般图像中把国画图像分离出来，然后再对国画图像进行工笔和写意的二分类；2009年美国西北大学的Jana Zujovic等人提出了一种按艺术流派分类的算法，和基于内容的图像检索CBIR(Content Based Image Retrieval)系统类似，该算法主要也是利用纹理和颜色进行特征提取；美国宾夕法尼亚大学的Jia Li和James Z.Wang提出了一种基于混合随机模型的图像识别方法，该方法中使用二维小波多分辨率隐马尔可夫模型，对中国国画图像按作家进行识别，试验中选取了中国历史上的沈周、董其昌、高凤翰、吴昌硕、张大千五位画家的作品，对其所属作家进行识别。

上述方法都是集中在对国画图像的识别，目前尚未发现基于主体对国画图像和书法图像进行识别的方法。

发明内容

针对上述问题，本发明的目的是提供一种基于主体的概念，通过提取国画图像和书法图像主体的特征，实现对国画图像和书法图像识别的方法。

为实现上述目的，本发明采取以下技术方案：一种基于主体的国画图像和书法图像的识别方法，其包括如下步骤：(1)利用扫描仪扫描中国近代以前的国画作品和历史上出现过的书法作品，得到国画作品和书法作品的样本图像；(2)对样本图像进行基于Top-down的图像预处理，其包括如下步骤：①将样本图像从RGB颜色空间转换到HSV颜色空间；②对步骤①得到的HSV颜色空间的样本图像做Canny算子的边缘检测；③对步骤②得到的边缘检测的样本图像做边缘膨胀的处理；④对步骤③得到的边缘膨胀的样本图像做区域填充的处理；⑤对步骤④得到的区域填充的样本图像的填充区域以外的背景区域进行颜色信息的统计，包括对HSV颜色空间中的各个分量进行统计，得出各个分量的平均值Ave_H、Ave_S、Ave_V；⑥对初始扫描得到的样本图像进行全图逐个像素的遍历，样本图像每个像素点的HSV颜色空间的H、S、V各个分量的值分别与HSV颜色空间中各个分量的平均值Ave_H、Ave_S、Ave_V做差值运算，将差值运算结果与阈值进行比较，在阈值范围内的像素点认为是留白区域，将其设定为统一颜色；(3)从扫描得到的样本图像中随机选取训练样本图像和测试样本图像；(4)从训练样本图像中提取训练样本图像的主体特征向量，并训练分类器，其包括如下步骤：①经过步骤(2)图像预处理得到训练样本图像的灰度直方图，灰度为256阶；②对于训练样本图像灰度直方图中的每个颜色区间bin统计出在训练样本图像中出现的次数总和Total，每个训练样本图像最后生成一个256维的主体特征向量，完成训练样本图像的主体特征向量的提取，考虑到不同训练样本图像的大小，采用以下公式计算：

$\mathrm{Total}\_\mathrm{bin}=\frac{\mathrm{Total}}{\mathrm{Wide}\×\mathrm{High}},$

其中，Wide，High分别表示训练样本图像的宽和高；

(5)训练样本图像分类器，从测试样本图像中提取主体特征向量，利用训练好的样本图像分类器进行识别，其包括如下步骤：①对提取好的训练样本图像的主体特征向量，基于机器学习模型进行训练，得到训练好的样本图像分类器；②提取测试样本图像的主体特征向量；③对于提取的测试样本图像的主体特征向量，运用训练好的样本图像分类器，进行识别，得出识别的结果。

所述步骤(3)从扫描得到的样本图像中随机选取训练样本图像和测试样本图像包括如下步骤①定义样本图像类别，编号为1或0，1表示国画样本图像，0表示书法样本图像；②用于待识别样本图像为I，标记为{I₁，I₂}，其中I₁表示书法样本图像，记为I₁＝{C₁，C₂...C_n}，C_i(i＝1，2...n)表示为扫描得到的书法样本图像，I₂表示国画样本图像，记为I₂＝{P₁，P₂...P_n}，P_i(i＝1，2...n)表示为扫描得到的国画样本图像；③分别从I₁、I₂中随机选取设定数量的样本图像作为训练样本图像集T，记为{I₁′，I₂′}，I₁′表示书法训练样本图像，I₂′表示国画训练样本图像，将I₁、I₂中剩余的样本图像作为测试样本图像集

e_i(i＝1，2...m)为测试样本图像。

所述步骤(5)中的①基于机器学习模型进行训练采用的算法为决策树算法，人工神经网络，支持向量机算法，贝叶斯学习算法中的一种。

本发明由于采取以上技术方案，其具有以下优点：1、本发明基于主体的概念，通过提取国画图像和书法图像主体的特征，实现了对国画图像和书法图像的识别。2、本发明通过对国画图像和书法图像的预处理，实现了对国画图像和书法图像背景的留白区域处理，这样使国画图像和书法图像各自主体的特征突出显现，有利于对国画图像和书法图像主体的特征提取。3、本发明在对国画图像和书法图像主体特征进行提取时，可以忽略国画图像和书法图像的大小对主体特征向量的影响。因此，本发明能广泛应用于对国画图像和书法图像的识别中。

附图说明

图1是本发明的处理流程图

图2是本发明中所使用的国画图像的样本示例

图3是本发明中所使用的书法图像的样本示例

图4是本发明样本图像预处理的流程图

图5是本发明的国画图像边缘检测结果图

图6是本发明的书法图像边缘检测结果图

图7是本发明的国画图像边缘膨胀后的结果图

图8是本发明的书法图像边缘膨胀后的结果图

图9是本发明的国画图像区域填充后的结果图

图10是本发明的书法图像区域填充后的结果图

图11是本发明经过图像预处理后国画图像的结果图

图12是本发明经过图像预处理后书法图像的结果图

图13是本发明的国画图像的灰度直方图

图14是本发明的书法图像的灰度直方图

图15是本发明经过预处理后的国画图像的灰度直方图

图16是本发明经过预处理后的书法图像的灰度直方图

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明的国画图像和书法图像的识别方法包括如下步骤：

1、扫描中国近代以前的国画作品和历史上出现过的书法作品，得到国画作品和书法作品的样本图像。

如图2、图3所示，本发明的样本图像是通过爱普生Expression10000XL扫描仪扫描得到的。

2、对样本图像进行数据预处理，提取样本图像主体的特征。

样本图像主要包括留白区域和主景区域，针对样本图像自身的特点，设定留白区域为统一的颜色之后，剩余的主景区域更能够突出样本图像的特征，因此定义该主景区域为样本图像的主体。

由于年代久远的原因，样本图像的留白区域大都已经变色，这些信息会对样本图像的主体特征提取造成干扰，图像预处理的目的把样本图像的留白区域设定为统一的颜色，降低对样本图像主体特征提取的干扰。

如图4所示，本发明对样本图像进行基于Top-down的图像预处理，其处理的过程包括如下步骤：

(1)首先将样本图像的颜色空间从RGB(红、绿、蓝颜色空间)转换到HSV(色调、饱和度、亮度颜色空间)。RGB颜色空间不是一个均匀颜色空间，RGB颜色空间上的距离，并不能代表人眼视觉上的颜色相似性，这种表示法虽然简单但与人眼的感觉差异较大。在处理颜色特征时宜选取HSV颜色空间，HSV颜色空间是由色调H，饱和度S，亮度V三个分量组成，与人的视觉特性比较接近，其中色调H表示不同颜色，如红、橙、绿，它的强度分量值范围是0～360，饱和度S表示颜色的深浅，它的强度分量值范围为0～1，亮度V表示颜色的明暗程度，主要受光源强弱影响，通常用百分比度量，它的强度分量值范围为0％到100％，其中黑为0％，白为100％。HSV颜色模型用Munsell(蒙赛尔)三维空间系统表示，可以独立感知颜色分量的变化，且这种颜色空间具有线性伸缩性，可感知的颜色差与HSV颜色空间上坐标的点的欧几里得距离成比例，从RGB颜色空间转换到HSV颜色空间的计算公式如下：

$H=\left\{\begin{array}{c}\arccos \frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}(B\≤G)\\ 2\mathrm{\π}-\arccos \frac{(R-G)+(R-G)}{2\sqrt{{(R-G)}^2+(R-G)(G-B)}}(B>G)\end{array}\right.,$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R,G,B)},$

$V=\frac{\max (R,G,B)}{255}.$

式中，R、G、B分别表示样本图像中每个像素点的红、绿、蓝的强度分量值。

(2)如图5、图6所示，样本图像在HSV颜色空间中的V分量上作Canny算子的边缘检测，包括如下步骤：

①利用高斯滤波器平滑样本图像，二维高斯函数为：

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}^2}\exp (-\frac{(x^2+y^2)}{2{\mathrm{\δ}}^2})$

式中，δ表示方差是高斯滤波器的参数，它控制着平滑程度，x、y是生成高斯掩模的坐标，用此公式计算出合适的掩模，用标准卷积实现高斯平滑，计算得到的高斯掩模如下图所示：

2	4	5	4	2
					4	9	12	9	4
5	12	15	12	5
					4	9	12	9	4
2	4	5	4	2

②使用Sobel梯度算子计算每一个像素点的梯度估计值。

Sobel梯度算子有两个3×3的卷积核：G_x为水平方向的梯度分量；G_y为垂直方向的梯度分量，其计算公式如下：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $G_y=\left[\begin{array}{ccc}1& 0& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],$

梯度大小或边缘强度计算公式为：

|G|＝|G_x|+|G_y|。

③若水平方向的梯度分量G_x和垂直方向的梯度分量G_y已知，方向角计算公式为：

θ＝arctan(G_y/G_x)，

若水平方向的梯度分量G_x为0，方向角取决于垂直方向的梯度分量G_y：

④样本图像中每个像素只有4个可能的方向与相邻像素点相连：0°(水平方向)，45°(正对角方向)，90°(垂直方向)，135°(负对角方向)，方向角被规范到以下4个角度：

0°∶0°～22.5°，157.5°～180°；45°∶22.5°～67.5°；

90°∶67.5°～112.5°；135°∶112.5°～157.5°。

⑤样本图像中的像素点如果在方向角方向上梯度值最大，则保留，否则将该像素点去除，样本图像的所有的像素点在方向角方向上梯度值最大的点构成的集合为可能的边缘点的集合。

⑥设定两个梯度阈值，一个高阈值TH，一个低阈值TL，高阈值TH一般取低阈值TL的2～3倍。先从可能的边缘点的集合中去除梯度值小于高阈值TH的像素点，得边缘点集合F，再处理梯度值介于高、低阈值之间的像素点集合M，若M中的点在边缘点集合F中有临点，则将该点加入边缘点集合F，最终得到的边缘点集合F就是样本图像的边缘点集合。

(3)如图7、图8所示，对上述得到的边缘检测的样本图像进行膨胀处理，包括如下步骤：

假设A是上述得到的样本图像的边缘，B是声明的一个4×4的结构元素(之所以选用这个结构元素，是因为通过实验，得出在这个情况下，识别结果是最好的)，对A作边缘膨胀遵循以下公式：

$A\⊕B=\left\{z\right|[{\left(\hat{B}\right)}_z\∩A]\⊆A\},$

式中，A和B是z²(二维整数空间)中的集合，z是其中一个元素，

是指膨胀操作，

表示B的反射平移到点z＝(z₁，z₂)。

(4)如图9、图10所示，对上述得到边缘膨胀的样本图像进行区域填充，区域填充主要是以集合的膨胀、求补和交集为基础，区域填充的公式如下：

$X_k=(X_{k-1}\⊕B)\∩A^c(k=\mathrm{1,2,3},...),$

式中，A^c表示A的补集，X_k-1是填充区域内的一点，k是算法迭代的步数。

(5)如图11、图12所示，对上述得到的区域填充的样本图像的背景区域进行处理。对于样本图像中填充区域以外的背景区域认为是留白区域，留白区域记为I_B，统计留白区域的颜色信息，主要统计HSV颜色空间中各个分量的平均值：Ave_H、Ave_S、Ave_V，公式如下：

$\mathrm{Ave}\_H=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{h}_k(h_k\∈I\_B),$

$\mathrm{Ave}\_S=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{s}_k(s_k\∈I\_B),$

$\mathrm{Ave}\_V=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{v}_k(v_k\∈I\_B),$

式中，h_k、s_k、v_k分别表示色调、饱和度和亮度的强度分量值。

对初始扫描得到的样本图像进行全图逐个像素的遍历，样本图像每个像素点的HSV颜色空间的H、S、V各个分量的值分别与HSV颜色空间中各个分量的平均值Ave_H、Ave_S、Ave_V做差值运算，将差值运算结果与阈值T_P进行比较(该阈值T_P是通过实验得出的，阈值范围是在0.15～0.2之间)，对于在阈值T_P范围之内的像素点认为是留白区域，设定留白区域为统一的颜色，此处设定为白色(以此为例，不限于此)，其计算公式为：

其中，white是指设置为白色，unchange是指保持原来样本图像不变，i_pex表示样本图像中的每个像素点，i_pex_h，i_pex_s，i_pex_v表示是样本图像每个像素点上的HSV颜色空间上的H、S、V各个分量的值。

如图13～图16所示，本发明从国画作品和书法作品创作特点出发，即书法作品的用墨较为均匀，而国画作品的用墨要层次感；经过上述的数据预处理后，使得样本图像的主体更加突出，其中，在灰度直方图中横坐标表示灰度的阶数0～255，灰度阶数共256阶，纵坐标是统计样本图像中的像素在某个灰度阶数出现的个数。

3、随机从样本图像中选取训练样本图像和测试样本图像。

将样本图像分为训练样本图像和测试样本图像，训练样本图像和测试样本图像标记方法包括如下步骤：(1)定义样本图像类别，编号为1或0，1表示国画样本图像，0表示书法样本图像；(2)假设用于待识别样本图像为I，标记为{I₁，I₂}，其中I₁表示书法样本图像，记为I₁＝{C₁，C₂...C_n}，C_i(i＝1，2...n)表示为扫描得到的书法样本图像，I₂表示国画样本图像，记为I₂＝{P₁，P₂...P_n}，P_i(i＝1，2...n)表示为扫描得到的国画样本图像；(3)分别从I₁、I₂中随机选取设定数量的样本图像作为训练样本图像集T，记为{I₁′，I₂′}，I₁′表示书法训练样本图像，I₂′表示国画训练样本图像，将I₁、I₂中剩余的样本图像作为测试样本图像集e_i(i＝1，2...m)为测试样本图像。

4、在完成样本图像预处理的基础上，对训练样本图像进行主体特征提取，并训练分类器。训练样本图像主体特征提取的过程如下：对训练样本图像经过上述图像预处理得到训练样本图像的灰度直方图，灰度为256阶，对于灰度直方图中的每个颜色区间bin统计出在样本图像出现的次数总和Total，每个训练样本图像最后生成一个256维的主体特征向量。考虑到不同训练样本图像的大小，本发明中采用以下公式计算：

$\mathrm{Total}\_\mathrm{bin}=\frac{\mathrm{Total}}{\mathrm{Wide}\×\mathrm{High}},$

其中，Wide和High分别表示训练样本图像的宽和高。

本发明采用支持向量机(以此为例，不限于此)的识别方法对训练样本图像进行训练，经过训练后，得到一个样本图像分类器的模型model。本实验采用LIBSVM提供的工具包进行试验，可利用如下函数模型表示：

model＝svmtrain(T_F，label，options)

上述函数调用中，svmtrain是支持向量机运算，T_F表示提取的训练样本图像的主体特征向量，label表示相对应的训练样本图像的类别标签，这里取值0或1，分别表示书法样本图像和国画样本图像，options为参数选择，例如参数options＝‘-t2-s0-b1-c1’，表示的含义是核函数为intersection kernel，SVM类型为C-svc；C-svc惩罚系数为1，且需要概率估计。

5、从测试样本图像中提取测试样本图像的主体特征向量，并用训练好的样本图像分类器进行识别，完成测试样本图像的识别，包括如下步骤：

(1)对测试样本图像进行数据预处理；(2)对经过数据预处理后的测试样本图像，进行主体特征提取，生成测试样本图像的主体特征向量；(3)将测试样本图像的主体特征向量输入训练好的样本图像分类器，得到识别结果。

本发明的识别结果验证试验采用的识别方法是支持向量机(以此为例，不限于此)在MatlabR2008A软件平台中，得到测试样本图像的预测结果pre和准确率acc，支持向量机使用以下函数来处理：

[pre acc]＝svmpredict(label_1，H_F，model，‘-b 1’)，

上述函数调用中，svmpredict是预测函数，label_1是测试样本图像的类别标签，H_F是测试样本图像生成的主体特征向量，model是训练好的样本图像分类器。

识别的结果可以采用以下公式：

$P=\frac{n\_R}{N\_\mathrm{Total}},$

式中，n_R为识别出的测试样本图像的数目，N_Total为测试样本图像的数目。

本发明通过对以下国画图像和书法图像的试验结果进行验证说明，实验所使用的样本图像是通过扫描《中国绘画全集》和《中国书法全集》得到的，使其作为样本图像库，然后从中随机的选取训练样本图像和测试样本图像，如下表所示：

经过测试得到的结果如下：

$P=\frac{n\_R}{N\_\mathrm{Total}}=\frac{238}{240}=0.992.$

上述结果表明，利用本发明的图像识别方法得到了很理想的识别结果，有助于国画图像和书法图像的标注和检索。

上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤和配比进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (3)

1.一种基于主体的国画图像和书法图像的识别方法，其包括如下步骤：

(1)利用扫描仪扫描中国近代以前的国画作品和历史上出现过的书法作品，得到国画作品和书法作品的样本图像；

(2)对样本图像进行基于Top-down的图像预处理，其包括如下步骤：

①将样本图像从RGB颜色空间转换到HSV颜色空间；

②对步骤①得到的HSV颜色空间的样本图像做Canny算子的边缘检测；

③对步骤②得到的边缘检测的样本图像做边缘膨胀的处理；

④对步骤③得到的边缘膨胀的样本图像做区域填充的处理；

⑤对步骤④得到的区域填充的样本图像的填充区域以外的背景区域进行颜色信息的统计，包括对HSV颜色空间中的各个分量进行统计，得出各个分量的平均值Ave_H、Ave_S、Ave_V；

⑥对初始扫描得到的样本图像进行全图逐个像素的遍历，样本图像每个像素点的HSV颜色空间的H、S、V各个分量的值分别与HSV颜色空间中各个分量的平均值Ave_H、Ave_S、Ave_V做差值运算，将差值运算结果与阈值进行比较，在阈值范围内的像素点认为是留白区域，将其设定为统一颜色；

(3)从扫描得到的样本图像中随机选取训练样本图像和测试样本图像；

(4)从训练样本图像中提取训练样本图像的主体特征向量，并训练样本图像分类器，其包括如下步骤：

①对训练样本图像进行步骤(2)的图像预处理，并得到预处理后的训练样本图像的灰度直方图，灰度为256阶；

②对于预处理后的训练样本图像灰度直方图中的每个颜色区间bin统计出在预处理后的训练样本图像中出现的次数总和Total，每个预处理后的训练样本图像最后生成一个256维的主体特征向量，完成预处理后的训练样本图像的主体特征向量的提取，考虑到不同预处理后的训练样本图像的大小，采用以下公式计算：

$\mathrm{Total}\_\mathrm{bin}=\frac{\mathrm{Total}}{\mathrm{Wide}\×\mathrm{High}},$

其中，Wide，High分别表示预处理后的训练样本图像的宽和高；

(5)从测试样本图像中提取测试样本图像的主体特征向量，并用训练好的样本图像分类器进行识别，完成测试样本图像的识别，包括如下步骤：

①对测试样本图像进行数据预处理；

②对经过数据预处理后的测试样本图像，进行主体特征提取，生成测试样本图像的主体特征向量；

③将测试样本图像的主体特征向量输入训练好的样本图像分类器，得到识别结果。

2.如权利要求1所述的一种基于主体的国画图像和书法图像的识别方法，其特征在于：所述步骤(3)从扫描得到的样本图像中随机选取训练样本图像和测试样本图像包括如下步骤①定义样本图像类别，编号为1或0，1表示国画样本图像，0表示书法样本图像；②待识别样本图像为I，标记为{I₁，I₂}，其中I₁表示书法样本图像，记为I₁＝{C₁，C₂...C_n}，C_i(i＝1，2...n)表示为扫描得到的书法样本图像，I₂表示国画样本图像，记为I₂＝{P₁，P₂...P_n}，P_i(i＝1，2...n)表示为扫描得到的国画样本图像；③分别从I₁、I₂中随机选取设定数量的样本图像作为训练样本图像集T，记为{I₁′，I₂′}，I₁′表示书法训练样本图像，I₂′表示国画训练样本图像，将I₁、I₂中剩余的样本图像作为测试样本图像集e_i(i＝1，2...m)为测试样本图像。

3.如权利要求1或2所述的一种基于主体的国画图像和书法图像的识别方法，其特征在于：所述步骤(5)中的①基于机器学习模型进行训练采用的算法为决策树算法，人工神经网络，支持向量机算法，贝叶斯学习算法中的一种。

Images