CN103020650A - 一种台标识别方法及装置 - Google Patents

Abstract

本发明适用于多媒体应用领域，提供了一种台标识别方法及装置，所述台标识别方法包括：截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像；根据预先训练的台标分类器获知所述台标图像所属的类别；将所述台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。在本发明实施例中，在分离出电视台标后，通过有效的模板匹配方法与预先存储的已高效分类的电视台标进行匹配，有效结合了基于分类的识别方法和基于模板匹配的识别方法，不仅能够有效减少误检率，而且具有高效的识别速度和较高的识别率。

Description

一种台标识别方法及装置

技术领域

本发明属于多媒体应用领域，尤其涉及一种台标识别方法及装置。

背景技术

随着广电的不断发展，电视节目越来越多，越来越丰富。在电视节目中，电视台台标是一个电视台的标志，包含了电视台名称、节目取向等重要语义信息。虽然现有的台标识别方法很多，然而通常电视的台标识别算法在面对大量台标（如两三百个台标）需要识别时，识别速度变得很慢，甚至识别方法失效。

发明内容

本发明实施例的目的在于提供一种台标识别方法及机顶盒，旨在解决现有台标识别方法在识别大量台标时识别速度慢，甚至识别方法失效的问题。

本发明实施例是这样实现的，一种台标识别方法，所述方法包括：

截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像；

根据预先训练的台标分类器获知所述台标图像所属的类别；

将所述台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。

本发明实施例的另一目的在于提供一种台标识别装置，所述装置包括：

台标获取单元，用于截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像；

台标类别确定单元，用于根据预先训练的台标分类器获知所述台标图像所属的类别；

台标匹配单元，用于将所述台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。

在本发明实施例中，在分离出电视台标后，通过有效的模板匹配方法与预先存储的已高效分类的电视台标进行匹配，有效结合了基于分类的识别方法和基于模板匹配的识别方法，不仅能够有效减少误检率，而且具有高效的识别速度和较高的识别率。

附图说明

图1是本发明实施例提供的台标识别方法的流程图；

图2是本发明实施例提供的台标识别装置结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

如图1所示为本发明第一实施例提供的台标识别方法的流程图，为了便于说明，仅示出了与本发明实施例相关的部分。

在步骤S101中，预先获取各电视台台标的模板图像，并对各电视台台标模板图像进行分类。

在本发明实施例中，预先收集并制作各个电视台台标的模板图像，使得各电视台台标的模板图像只包含台标内容，且模板图像的大小与各电视台台标大小相同，并最后记录下各个台标模板图像在整帧电视屏幕图像中的方位位置（如位于电视屏幕的左上方、还是位于电视屏幕的右上方）及相对起始位置的坐标。其中，通过下述公式可计算台标模板图像的相对起始位置的坐标：

$\left\{\begin{array}{c}{x}^{\′}=\frac{x}{W}\\ y^{\′}=\frac{y}{H}\end{array}\right.,$ 其中，(x',y′)表示台标模板图像的相对起始位置的坐标，(x,y)表示整帧电视屏幕图像的起始坐标，W和H分别表示屏幕图像的宽度和高度。

在本发明实施例中，在获取各电视台台标的模板图像后，对各电视台台标模板图像进行分类，其中，台标分类方法包括多种，可根据台标的内容相似度分类，如将CCTV1、CCTV2和CCTV3等台标内容相似度较大的分为一类，将广东卫视、江苏卫视等台标内容相似度较大的又分为另一类；还可根据台标在电视屏幕图像中的方位位置来对台标进行分类，如将位于电视屏幕图像左上方的台标模板图像分为一类，将位于电视屏幕图像右上方的台标模板图像分为另一类等。

在步骤S102中，根据所提取的各电视台台标模板图像的特征训练台标分类器。

在本发明实施例中，通过提取各电视台台标模板图像的特征，采用支持向量机（SVM，support vector machine，一种分类算法）方法将所提取的各电视台台标模板图像的特征作为SVM的输入特征用以训练台标分类器，所述提取的台标模板图像的特征包括：颜色直方图及几何不变矩。

在本发明实施例中，台标模板图像的颜色直方图反应了台标模板图像的颜色组成分布，通过将台标模板图像的图像数据转换到HSV（Hue色度,Saturation亮度,Va lue饱和度，为一种颜色空间）空间后，通过遍历HSV空间的图像数据，统计各个H分量出现的次数，并将所统计的数据归一化到0~255的范围区间内，则得出了台标模板图像的颜色直方图。

在本发明实施例中，台标模板图像的几何不变矩体现了台标模板图像的图像区域几何特征，如旋转、平移、尺度等几何特征，其计算方法为：

先设台标模板图像中坐标点(x,y)所对应的像素值为f(x,y)，则有下述公式：

$\left\{\begin{array}{c}{u}_{\mathrm{pq}}={\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^N{(x-x_0)}^p{(y-y_0)}^{q}f(x,y)\\ y_{\mathrm{pq}}=\frac{u_{\mathrm{pq}}}{u_{00}^r}\end{array}\right.,$ 其中，p,q＝0,1,2......， $r=\frac{p+q+2}{2}.$

将上述公式中计算出来的y_pq作为归一化中心矩，则利用二阶和三阶中心矩可以构造出七个几何不变矩，具体如下：

$\left\{\begin{array}{c}{I}_1=y_{20}+y_{02}\\ I_2={(y_{20}+y_{02})}^2+4y_{11}^2\\ I_3={(y_{30}+3y)}^2+{(3y_{21}-y_{03})}^2\\ I_4={(y_{30}+y_{12})}^2+{(y_{21}+y_{03})}^2\\ I_5=(y_{30}-y_{12})(y_{30}+y_{12})[{(y_{30}+y_{12})}^2-3{(y_{21}+y_{03})}^2]+\\ (3y_{21}-y_{03})(y_{21}+y_{30})[3{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2]\\ I_6=(y_{20}-y_{02})[{(y_{30}+y_{12})}^2-3{(y_{21}+y_{03})}^2]+\\ 4y_{11}(y_{30}+y_{12})(y_{21}+y_{03})\\ I_7=(3y_{21}+y_{03})(y_{30}+y_{12})[{(y_{30}+y_{12})}^2-3{(y_{21}+y_{03})}^2]+\\ (y_{30}-3y_{12})(y_{21}+y_{03})[3{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2]\end{array}\right.$

则根据上述公式可为每个台标模板图像计算出多个几何不变矩。

最后，根据计算出的每个台标模板图像的颜色直方图及几何不变矩作为SVM的输入特征，用以训练出能分别各类台标的台标分类器。

在步骤S103中，截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像。

在本发明实施例中，获得台标图像的过程分为以下两个子过程，分别为：

第一，在获取当前屏幕图像后，截取多帧预设区域内的图像。

具体为，首先通过芯片厂商提供的接口获取当前正在播放的电视频道图像数据，随之截取当前屏幕预设区域内的图像。其中，由于电视台台标在电视屏幕中的位置及大小通常是固定的，如台标通常位于电视屏幕左上角或右上角，台标的宽通常不会超过电视屏幕宽度的三分之一，台标的高也通常不会超过电视屏幕高度的四分之一，因而可将电视屏幕的左上方宽度为信源图像宽度的三分之一，高度为信源高度的四分之一的区域，以及电视屏幕的右上方宽度为信源图像宽度的三分之一，高度为信源高度的四分之一的区域共同作为预设区域用于截取台标。因为电视屏幕有两个预设区域，则当前屏幕每帧电视图像都将截取出两幅图像。

在本发明实施例中，虽然每帧电视图像都会由于电视节目内容的不同而不同，然而每帧电视图像中的台标不会随着电视节目的变化而变化，为了提高台标图像的准确性，截取多帧当前屏幕预设区域内的图像并累积获得台标候选图像。可通过下述公式累积多帧图像：

${\mathrm{sum}}_n(x,y)=\frac{f(x,y)}{n}+{\mathrm{sum}}_{n-1}(x,y)\frac{n-1}{n}$

其中，sum_n(x,y)表示像素点(x,y)累积n次的累积像素值，f(x,y)表示第n个候选图像在点(x,y)处的像素值。

在本发明实施例中，由于台标图像需要累积一段时间才能进行台标的分割，因而预先设置一个累积帧数阈值，当累积的图像少于累积帧数阈值时，继续累积图像，当累积的图像达到累积帧数阈值时，获得台标候选图像，才开始从台标候选图像中分割台标。

第二，将台标候选图像的背景与台标进行分割后，根据台标的起始和结束行列的位置分离出台标图像。

在本发明实施例中，分割台标即是将台标与背景相分割。为了较完整的分割出台标，此处采用自适应阈值分割的方法进行台标分割，具体为：首先使用高斯模板与图像进行卷积运算对台标候选图像进行高斯滤波，去除图像噪声的影响，紧接着设定一个分割阈值（通常分割阈值取5~10之间较优），遍历台标候选图像中的每个像素点，若台标候选图像的原图像的像素点值与滤波后的台标候选图像的像素点值的差值大于分割阈值，则该像素点为台标，否则为背景，以此来将台标像素点与背景像素点分开。最后，使用形态去学中的开运算进一步滤除台标候选图像中的孤立点噪声，消除掉纤细的粘连。

在分割完台标后，根据台标的起始和结束行列的位置分离出台标图像。具体如下：首先，按行扫描分割后的台标候选图像，记录下所有包含非零数据的行（即非零行）。从第一个非零行开始向后遍历所有非零行，找到第一个与相邻非零行差距大于预设的差距阈值的非零行，将该非零行作为台标的起始行。同样的，采用该方法从第N个非零行开始向前遍历所有非零行，找到第一个与相邻非零行差距大于预设的差距阈值的非零行，将该非零行作为台标的结束行。差距阈值一般取候选累积图像高度的

其中，如果起始行与结束行的差距小于差距阈值的最小值，则认为这个分割后的图像中没有台标，结束操作。同样的，采用与上述同样的方法记录所有非零列，并找到起始列与结束列。

此时以经过台标分割的图像为掩码模板，在台标的起始和结束行列内，在台标候选图像中提取出相应点的像素值，组成一帧只含有台标内容的台标图像

在步骤S104中，根据预先训练的台标分类器获知台标图像所属的类别。

在本发明实施例中，计算分离出的台标图像的颜色直方图和几何不变矩，并将台标图像的颜色直方图和几何不变矩作为特征输入到训练好的SVM分类器中，以确定当前台标所属的大类类别。计算分离出的台标图像的颜色直方图和几何不变矩的方法参照步骤S102，在此不再赘述。

在本发明实施例中，如果台标分类器没有确定出类别，则可能当前台标没有在收集好的台标库内或是台标分类出现错误，这种情况下，存储下当前台标图像，将其作为一个台标模板图像。

在步骤S105中，将台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。

在本发明实施例中，确定了台标图像所属的类别后，依次取出这个类别的各个台标模板图像与该台标图像做模板匹配，并记录下每次模板匹配计算出的结果。为了提高模板匹配算法的速度，此处采用SAD（图像插值的绝对值和）的方式进行模板匹配，计算公式为：

$\left\{\begin{array}{c}\mathrm{sum}={\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^N\left(\right|f_{\mathrm{temp}}(x,y)-f(x,y)\left|\right)\\ \mathrm{sad}=\frac{\mathrm{sum}}{M*N}\end{array}\right.$

其中,f_temp(x,y)和f(x,y)分别表示坐标点(x,y)处台标模板图像和台标图像的像素值，M和N分别表示台标模板图像的长度和宽度。其中的SAD值做了归一化处理，方便比较相似度。

由于在SAD算法中，台标模板图像和台标图像越相似，则SAD值越小。因此在计算出该类别各电视台台标模板图像与台标图像的SAD值后，SAD值最小的台标模板图像则是与台标图像匹配度最高的台标模板。然而，为了提高精确度，还需预设一个匹配阈值，只有计算出的SAD最小值小于该匹配阈值，方认为该SAD最小值对应的台标模板图像与台标图像相匹配。

优选的，由于电视屏幕设置有两个预设区域，如果两个预设区域都分离出了台标，即最后获得的是两个台标图像，则按照以下策略选择最匹配的台标模板图像：

首先检测两个台标图像的最小SAD值是否小于匹配阈值，若其中一个台标图像的SAD值大于匹配阈值，则取另一个台标图像的最小SAD值对应的台标模板图像为最匹配结果；如果两个台标图像的最小SAD值都大于匹配阈值，则认为台标分离失败，返回步骤S102重新执行；如果两个台标图像的最小SAD值都小于匹配阈值，则继续判断这两个最小SAD值的差的绝对值是否大于匹配阈值，若是则认为SAD值较小的那个台标图像对应的台标模板图像为最佳匹配模板，否则分别计算两个台标图像的相对起始点与其最小SAD匹配模板的相对起始点的距离，取距离较小的台标图像对应的台标模板图像为最终匹配结果。

在本发明实施例中，在分离出电视台标后，通过有效的模板匹配方法与预先存储的已高效分类的电视台标进行匹配，有效结合了基于分类的识别方法和基于模板匹配的识别方法，不仅能够有效减少误检率，而且具有高效的识别速度和较高的识别率。

实施例二：

图2为本发明实施例提供的台标识别装置结构示意图，为了便于说明，仅示出了与本发明实施例相关的部份。其中：

台标模板库建立单元21，用于预先获取各电视台台标的模板图像，并对各电视台台标模板图像进行分类。

台标分类器训练单元22，用于根据所提取的各电视台台标模板图像的特征训练台标分类器。

在本发明实施例中，台标分类器训练单元22包括一个子单元:分类器训练子单元221，用于使用支持向量机SVM方法将所提取的各电视台台标模板图像的特征作为SVM的输入特征用以训练台标分类器，所述台标模板图像的特征包括：颜色直方图及几何不变矩。

台标获取单元23，用于截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像。

在本发明实施例中，所述台标获取单元23包括：

图像截取累积单元231，用于在获取当前屏幕图像后，截取多帧预设区域内的图像并累积，获得台标候选图像。

台标分割及分离单元232，用于将台标候选图像的背景与台标进行分割后，根据台标的起始和结束行列的位置分离出台标图像。

台标类别确定单元24，用于根据预先训练的台标分类器获知所述台标图像所属的类别。

在本发明实施例中，所述台标类别确定单元24包括一个子单元，即台标类别确定子单元241，用于将所计算出的台标图像的颜色直方图和几何不变矩作为特征输入台标分类器中，确定台标图像所属的类别。

台标匹配单元25，用于将台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。

在本发明实施例中，在分离出电视台标后，通过有效的模板匹配方法与预先存储的已高效分类的电视台标进行匹配，有效结合了基于分类的识别方法和基于模板匹配的识别方法，不仅能够有效减少误检率，而且具有高效的识别速度和较高的识别率。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种台标识别方法，其特征在于，所述方法包括：

截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像；

根据预先训练的台标分类器获知所述台标图像所属的类别；

将所述台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。

2.如权利要求1所述的方法，其特征在于，所述截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标之前，还包括：

预先获取各电视台台标的模板图像，并对所述各电视台台标模板图像进行分类；

根据所提取的各电视台台标模板图像的特征训练台标分类器。

3.如权利要求2所述的方法，其特征在于，所述根据所提取的各电视台台标模板图像的特征训练台标分类器包括：

使用支持向量机SVM方法将所提取的各电视台台标模板图像的特征作为SVM的输入特征用以训练台标分类器，所述台标模板图像的特征包括：颜色直方图及几何不变矩。

4.如权利要求1所述的方法，其特征在于，所述截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像包括：

在获取当前屏幕图像后，截取多帧预设区域内的图像并累积，获得台标候选图像；

将台标候选图像的背景与台标进行分割后，根据台标的起始和结束行列的位置分离出台标图像。

5.如权利要求1所述的方法，其特征在于，所述根据预先训练的台标分类器获知所述台标图像所属的类别包括：

将所计算出的台标图像的颜色直方图和几何不变矩作为特征输入台标分类器中，确定所述台标图像所属的类别。

6.一种台标识别装置，其特征在于，所述装置包括：

台标获取单元，用于截取当前屏幕预设区域内的图像，并在累积多帧当前频道预设区域内的图像后分离出台标图像；

台标类别确定单元，用于根据预先训练的台标分类器获知所述台标图像所属的类别；

台标匹配单元，用于将所述台标图像与预先存储的该类别各电视台台标模板图像进行匹配，确定当前频道。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

台标模板库建立单元，用于预先获取各电视台台标的模板图像，并对所述各电视台台标模板图像进行分类；

台标分类器训练单元，用于根据所提取的各电视台台标模板图像的特征训练台标分类器。

8.如权利要求7所述的装置，其特征在于，所述台标分类器训练单元包括：

分类器训练子单元，用于使用支持向量机SVM方法将所提取的各电视台台标模板图像的特征作为SVM的输入特征用以训练台标分类器，所述台标模板图像的特征包括：颜色直方图及几何不变矩。

9.如权利要求6所述的装置，其特征在于，所述台标获取单元包括：

图像截取累积单元，用于在获取当前屏幕图像后，截取多帧预设区域内的图像并累积，获得台标候选图像；

台标分割及分离单元，用于将台标候选图像的背景与台标进行分割后，根据台标的起始和结束行列的位置分离出台标图像。

10.如权利要求6所述的装置，其特征在于，所述台标类别确定单元包括：

台标类别确定子单元，用于将所计算出的台标图像的颜色直方图和几何不变矩作为特征输入台标分类器中，确定所述台标图像所属的类别。

Images