[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107545268A - 颜色特征提取方法及系统 - Google Patents

颜色特征提取方法及系统 Download PDF

Info

Publication number
CN107545268A
CN107545268A CN201610499736.7A CN201610499736A CN107545268A CN 107545268 A CN107545268 A CN 107545268A CN 201610499736 A CN201610499736 A CN 201610499736A CN 107545268 A CN107545268 A CN 107545268A
Authority
CN
China
Prior art keywords
target object
region
candidate
candidate region
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610499736.7A
Other languages
English (en)
Other versions
CN107545268B (zh
Inventor
张默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moshanghua Technology Co Ltd
Original Assignee
Beijing Moshanghua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moshanghua Technology Co Ltd filed Critical Beijing Moshanghua Technology Co Ltd
Priority to CN201610499736.7A priority Critical patent/CN107545268B/zh
Publication of CN107545268A publication Critical patent/CN107545268A/zh
Application granted granted Critical
Publication of CN107545268B publication Critical patent/CN107545268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种颜色特征提取方法及系统,所述方法包括:提取待处理图像中目标物体的特征部位所在的候选区域;利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。本申请实施例提高了提取的颜色特征的准确度。

Description

颜色特征提取方法及系统
技术领域
本申请属于图像处理技术领域,具体地说,涉及一种颜色特征提取方法及系统。
背景技术
颜色特征属于图像特征的一种,用于描述图像的表面性质。现有技术中,颜色特征多使用颜色直方图表示,颜色特征提取主要是提取图像的颜色直方图。
但是,由于图像中能够表示图像内容的主要为图像中的目标物体,其他部分为背景信息,由于目标物体所在区域只占整体图像的一部分,并且目标物体在图像中的区域以及姿态都比较随机,而现有的颜色特征提取方法,包含背景信息的颜色特征,不能很好地捕捉图像中目标物体的颜色特征,造成提取的颜色特征不够准确,错误率高。
发明内容
有鉴于此,本申请所要解决的技术问题是现有技术中提取的颜色特征不准确,错误率高的技术问题。
为了解决上述技术问题,本申请开了一种颜色特征提取方法:
提取待处理图像中目标物体的特征部位所在的候选区域;
利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;
从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;
提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。
优选地,所述提取待处理图像中目标物体的特征部位所在的候选区域包括:
构建待处理图像的金字塔特征图像;
构建每一个金字塔特征图像的积分通道特征图像;
针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
从所述候选窗口中提取多个矩形候选框;
利用分类器,从所述多个矩形候选框中,选择包含所述目标物体的特征部位的候选区域;所述分类器是利用第一训练样本预先训练获得,所述第一训练样本包括包含所述目标物体特征部位的正样本和不包含所述目标物体特征部位的负样本。
优选地,所述利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域包括:
利用每一个特征部位的候选区域,利用包围盒算法获取所述目标物体所在的包围区域,确定所述包围区域为目标物体的候选区域。
优选地,所述从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域包括:
将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域;所述物体模型是利用第二训练样本训练预先训练获得,所述第二训练样本包括包含所述目标物体的正样本和不包含所述目标物体的负样本;所述物体模型包括一个主模型和多个子模型。
优选地,所述将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域,作为目标物体的最优目标区域包括:
将所述目标物体的每一个候选区域划分获得多个子区域;
计算所述目标物体的每一个候选区域与物体模型的主模型的第一匹配分数;
计算所述目标物体的每一个候选区域中的每一个子区域,与所述物体模型中对应子模型的第二匹配分数;
将所述目标物体的每一个候选区域的多个子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
将所述目标物体的每一个候选区域对应的第一匹配分数以及第三匹配分数进行相加,获得第四匹配分数;
选择所述第四匹配分数最高的一个候选区域,作为目标物体的最优目标区域。
优选地,所述提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征包括:
提取所述目标区域的三通道颜色直方图;
利用条件随机场算法以及所述目标区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
本申请还开了一种颜色提取系统:
第一提取模块,用于提取待处理图像中目标物体的特征部位所在的候选区域;
第一确定模块,用于利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;
第一选择模块,用于从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;
第二提取模块,用于提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。
优选地,所述第一提取模块包括:
第一构建单元,用于构建待处理图像的金字塔特征图像;
第二构建单元,用于构建每一个金字塔特征图像的积分通道特征图像;
第一提取单元,用于针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
第二提取单元,用于从所述候选窗口中提取多个矩形候选框;
第一分类单元,用于利用分类器,从所述多个矩形候选框中,选择包含所述目标物体的特征部位的候选区域;所述分类器是利用第一训练样本预先训练获得,所述第一训练样本包括包含所述目标物体特征部位的正样本和不包含所述目标物体特征部位的负样本。
优选地,所述第一确定模块包括:
第一确定单元,用于利用每一个特征部位的候选区域,利用包围盒算法获取所述目标物体所在的包围区域,确定所述包围区域为目标物体的候选区域。
优选地,所述第一选择模块包括:
第一选择单元,用于将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域;所述物体模型是利用第二训练样本训练预先训练获得,所述第二训练样本包括包含所述目标物体的正样本和不包含所述目标物体的负样本;所述物体模型包括一个主模型和多个子模型。
优选地,所述第一选择单元包括:
第一划分子单元,用于将所述目标物体的每一个候选区域划分获得多个子区域;
第一计算子单元,用于计算所述目标物体的每一个候选区域与物体模型的主模型的第一匹配分数;
第二计算子单元,用于计算所述目标物体的每一个候选区域中的每一个子区域,与所述物体模型中对应子模型的第二匹配分数;
第三计算子单元,用于将所述目标物体的每一个候选区域的多个子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
第四计算子单元,用于将所述目标物体的每一个候选区域对应的第一匹配分数以及第三匹配分数进行相加,获得第四匹配分数。
第一选择子单元,用于选择第四匹配分数最高的一个候选区域,作为目标物体的最优目标区域。
优选地,所述第二提取模块包括:
第三提取单元,用于提取所述目标区域的三通道颜色直方图;
第二选择单元,用于利用条件随机场算法以及所述目标区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
与现有技术相比,本申请可以获得包括以下技术效果:
采用精确获取待处理图像中目标物体所在区域的方法,准确定位目标物体出现的区域,再利用获得的区域获取相应的颜色特征。该方法提高了颜色特征提取位置的针对性,以及颜色特征提取的精确度,降低了提取的颜色特征出现错误的概率。
当然,实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例的颜色提取方法一个实施例的流程图;
图2是本申请实施例的颜色提取方法又一个实施例的流程图;
图3是本申请实施例中一个人体模型的示意图;
图4是本申请实施例的颜色提取系统的一个实施例的结构示意图。
具体实施方式
以下将配合附图及实施例来详细说明本申请的实施方式,藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
图像的颜色特征在图像处理领域具有重要的应用意义,可以通过对图像颜色特征的提取对图像的颜色进行详细分析。例如,提取一段视频中一个人的服饰的颜色特征,再利用服饰的颜色特征提取作为参数检测相同类型的服饰;还可以提取一副油画的颜色特征,用来分析油画的颜色构成。现有的颜色特征提取方式,对目标物体的出现区域关注度不高。例如,使用提取图像的颜色直方图作为颜色特征,在提取时并未考虑目标物体出现的区域,而是直接统计待处理图像中各个像素值,直接构成颜色直方图。提取的颜色特征不能很好地捕捉待处理图像中目标物体的颜色特征,造成提取的颜色特征的针对性不强,提取结果不够准确,错误率高。
为了解决这一技术问题,发明人经过一系列的研究之后,提出本申请的技术方案。在本实施例中,首先现获取目标物体的特征部位的候选区域;再利用特征部位的候选区域确定目标物体的候选区域;之后从目标物体的候选区域中选择目标物体所处的最优的候选区域,作为目标区域;最后从目标区域上提取颜色特征,作为图像的颜色特征。
在本申请实施例中,可以提高获取目标物体所在目标区域的鲁棒性,并且提高获取目标物体所在目标区域的精确度,从而提高了提取的颜色特征的准确度,降低了颜色特征出现错误的概率。
下面结合附图对本申请的技术方案进行详细描述。
如图1所示,为本申请提供的一种颜色特征提取方法的一个实施例流程图,该方法主要包括以下几个步骤:
101:提取待处理图像中目标物体的特征部位所在的候选区域;
其中,所述目标物体的特征部位可以是目标物体中比较鲁棒的特征,例如,如果目标物体是一个人,所述目标物体的特征部位可以是人体的头肩区域;如果目标物体是一辆自行车,所述目标物体的特征部位可以是两个自行车车轮。
102:利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;
优选地,所述利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域可以包括:
利用每一个特征部位的候选区域,利用包围盒算法获取所述目标物体所在的包围区域,确定所述包围区域为目标物体的候选区域。
其中,所述包围盒算法的具体参数可以配置为:宽度不变,中心点下移原目标区域高度的两倍,高度变为原目标区域高度的3.5倍。采用包围盒坐标估计的算法可以使获取的目标区域更加精确。
103:从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;
作为一种可能的实现方式,为了使获得的目标区域更加准确,可以使用目标检测算法,从所述目标物体的候选区域中,选择目标物体的最优候选区域。所述目标检测算法可以是DPM(Deformable Parts Model,形变部件模型)目标检测算法。
104:提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。
其中,提取的目标区域的颜色特征可以为颜色直方图。
作为一种可能的实现方式,为了使待处理图像的颜色特征的准确度更高,所述提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征包括:
提取所述目标区域的三通道颜色直方图;
利用条件随机场算法以及所述目标区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
优选地,可以将所述目标区域的所述目标区域的三通道颜色直方图作为观测颜色特征,输入所述条件随机场的概率公式:
其中,i表示观测序列的第i个位置,tk表示对观测颜色特征的标记位置i-1与i之间的转移特征函数,sl表示观测颜色特征i位置的状态特征函数,λk和μl表示对应权值,可以通过最大似然估计得到。x表示先验观测颜色特征,y表示后验标注颜色特征,所述条件随机场的概率公式取得概率值最大值时的后验标注颜色特征,即为待处理图像的颜色特征。
在上述实施例中,可以提高获取目标物体所在目标区域的鲁棒性,并且提高获取目标物体所在目标区域的精确度,从而提高了提取的颜色特征的准确度,降低了颜色特征出现错误的概率。
作为又一个实施例,为了进一步提高颜色特征的准确度,步骤101中:提取待处理图像中目标物体的特征部位所在的候选区域可以包括:
构建待处理图像的金字塔特征图像;
构建每一个金字塔特征图像的积分通道特征图像;
针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
从所述候选窗口中提取多个矩形候选框;
利用分类器,从所述多个矩形候选框中,选择包含所述目标物体的特征部位的候选区域;所述分类器是利用第一训练样本预先训练获得,所述第一训练样本包括包含所述目标物体特征部位的正样本和不包含所述目标物体特征部位的负样本。
优选地,所述待处理图像的金字塔特征图像的构建方式可以是将原图的长宽每下降一半为一个台阶,每一个台阶中可以包含m层,例如,m可以为4层、12层等,每一层的宽度和高度各缩小为上一层的21/m倍得到。
优选地,所述积分通道特征图像可以包括:三通道颜色特征、梯度幅值、6个方向的梯度直方图。
优选地,所述在所述积分通道特征图像上进行窗口滑动可以是定义一个窗口以及滑动步长,使所述窗口从积分通道特征图像的左上角开始滑动,按照从左到右从上到下的顺序,知道滑动到右下角。
优选地,所述从所述候选窗口中提取多个矩形候选框可以是在候选框中的随机选取第一预定数量的大小随机,但是满足一定限制的矩形候选框;其中,所述第一预定数量为至少能够获取到一个目标物体的特征部位足够多的数值,例如,可以为4万个。所述满足一定限制可以是矩形框的宽高比可以满足一定的比例限制,例如,宽高比可以在1/8~8之间变化,但是不能超出这一比例限制。同时,还可以限制宽和/或高的最大和/或最小值,例如,可以限制,宽度和高度最大不能超过36个像素值。
优选地,所述分类器可以采用soft-cascade(软性级联)分类器,soft-cascade只有一个强分类器,这个强分类器有很多个弱分类器。可以将一个Adaboost(Adaptiveboost,自适应增强)分类器的分类过程看作是一个cascade(级联),而每个弱分类器为cascade的一层,而被检测的矩形候选框通过某一层时,该层的得分与该层之前的所有层中相关。在判断是否能通过某一层时,需要根据该层之前的所有层的输出分数综合来决策。其决策公式如下:
其中,t代表前t个弱分类器组成的当前层,Ht代表当前层的得分,x表示该层的输入,即被检测的候选矩形框。判断所述被检测的矩形候选框是否可以通过该层,可以使用阈值判断法。即设置一个阈值θ,若该层的分数小于θ,则判定所述候选矩形框不能通过该层,从而判断所述候选矩形框不包含有目标物体的特征部位。
优选地,所述分类器可以是利用第一训练样本预先训练获得的。所述第一训练样本包括正样本、负样本。所述第一训练样本可以是从互联网上下载的包含有目标物体的图像进行手动标注得到的,也可以是公开的数据集,如INRIA(Institut national derecherche en informatique et en automatique,法国国家信息与自动化研究所)的行人数据集、CVC(Computer Vision Center,计算机视觉中心)的虚拟行人数据集通过坐标变换得到的。
正样本是包含目标物体的特征部位的图像,通过手动标注或者坐标转化得到。所述手动标注可以是从网络手动下载的图像中选择目标物体的特征部位所在区域。所述坐标转化可以是从数据集中通过坐标转化获得目标物体的特征部位所在的区域。从通过手动标注或者坐标转化得到的图像作为正样本。
正样本可以包括训练样本和测试样本。选择第一数量的图像作为训练样本,第二数量的图像作为测试样本。例如,如果通过手动标注或者坐标转化得到的图像有10000张,所述第一数量可以是8000,所述第二数量可以是2000。
负样本是不包含目标物体的特征部位的图像,可以是不存在目标物体且图像背景复杂的第三数量的图像。例如,所述第三数量可以是10000。
为了使样本信息更加准确,可以保证第一训练样本的图像满足一定的尺度比例。例如,可以限制宽高比例,如:1:0.85;还可以将第一训练样本的图像的大小固定,如,采用34*29的大小,34、29代表像素个数。
分类器的训练过程可以包括多轮训练过程,例如,可以训练5轮。第一轮训练可以是从不包含所述目标物体且图像背景复杂的图像中,选择第四数量的负样本,所述第四数量小于或等于第三数量。之后的每一轮的训练结束后,利用测试样本,测试该轮训练得到的分类器;将分类错误的图像作为新增样本加入到负样本中,第四数量增加相应的数量。经过多轮训练后,可以获得分类效果更高的分类器。
在本实施例中,由于多个矩形候选框只包括目标物体的特征部位,从而使每一个候选框占用较小的内存,在计算过程中,内存越小计算速度越快,也不容易出现计算误差,从而使用此种方式可以快速且精确地排除大量的背景信息,提高了提取的目标物体候选区域的准确度,从而进一步提高了颜色特征的准确度。
作为又一个实施例,为了提高获得的目标区域的精确度,可以使用目标检测算法,提取最优的候选区域。所述目标检测算法可以是DPM目标检测算法,则在步骤103中:从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域可以包括:
将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域;所述物体模型是利用第二训练样本训练预先训练获得,所述第二训练样本包括包含所述目标物体的正样本和测试样本以及不包含所述目标物体的负样本。
优选地,所述物体模型是由一个主模型和多个子模型构成的。所述主模型是目标物体的理想模板。每一个子模型代表了目标物体的一个鲁棒的特征部位在目标物体的理想位置。所述多个子模型可以是6个子模型。
因此,作为又一个实施例,所述将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域可以包括:
将所述目标物体的每一个候选区域划分获得多个子区域;
优选地,所述候选区域的多个子区域与所述物体模型的多个子区域个数相等,且位置相互匹配,一一对应。
计算所述目标物体的每一个候选区域与物体模型的主模型的第一匹配分数;
优选地,计算所述目标物体的每一个候选区域与物体模型的第一匹配分数可以是计算所述目标物体的每一个候选区域与物体模型的主模型的匹配分数,作为第一匹配分数。
计算所述目标物体的每一个候选区域中的每一个子区域,与所述物体模型中对应子模型的第二匹配分数;
优选地,所述第二匹配分数是所述候选区域中的每一个子区域,偏离所述物体模型中对应子模型代表的理想位置的形变花费,偏离越远,所述第二匹配分数越低。
将所述目标物体的每一个候选区域的多个子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
将所述目标物体的每一个候选区域对应的第一匹配分数以及第三匹配分数进行相加,获得第四匹配分数。
所述第四匹配分数可以使用以下的公式计算得到:
其中,表示第一匹配分数,表示第i个子区域对应的第二匹配分数,表示第三匹配分数,score(x0,y0,l0)表示第四匹配分数;(x0,y0)表示根滤波器左上角在根特征图上的坐标(根滤波器可以是主模型,根特征图可以是候选区域,需要用根滤波器在根特征图上滑窗),2(x0,y0)+vi表示根滤波器中部件(子模型)的坐标(该坐标是某一部件在部件特征图上的坐标,部件特征图的分辨率是根特征图的2倍,因此乘2,vi是部件的偏移,比如从左上角偏移到头的位置,或从左上角偏移到胳膊的位置);b表示为为了对齐各个部分而设的根偏移。
选择所述第四匹配分数最高的一个候选区域,作为目标物体的最优目标区域。
作为又一个实施例,为了进一步提高提取的颜色特征的准确度,所述提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征可以包括:
提取所述目标区域中每一个子区域的三通道颜色直方图;
利用条件随机场算法以及所述目标区域中每一个子区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的每一个子区域的后验标注颜色特征;
将所述每一个子区域的后验标注颜色特征进行统计,作为所述待处理图像的颜色特征。
其中,提取每一个子区域的三通道颜色直方图是为了使用条件随机场算法并且通过统计的方式进一步优化颜色特征的提取结果。
优选地,可以将所述目标区域中每一个子区域的三通道颜色直方图作为观测颜色特征,输入所述条件随机场的概率公式:
其中,i表示观测序列的第i个位置,tk是对观测序列的标记位置i-1与i之间的转移特征函数,sl是观测序列i位置的状态特征函数,λk和μl是对应权值,可以通过最大似然估计得到。x为先验观测颜色特征,y为后验标注颜色特征,所述条件随机场的概率公式取得概率最大值时的每一个子区域的后验标注颜色特征。
其中,所述每一个子区域的后验标注颜色特征可以单独使用也可以与所述目标区域的后验标注颜色特征结合使用,在此不做过多限定。
在本申请实施例中,采用了获取目标物体在一张图像中出现的最优目标区域的方法。可以准确地获取目标区域出现的位置,再进行颜色特征提取,提高了颜色特征提取的针对性,从而进一步提高了提取的颜色特征的准确性。
下面将结合一个具体的应用场景对本申请技术方案进行描述,如图2所示,为本申请实施例提供的一种颜色特征提取方法又一个实施例的流程图,本实施例中,以目标物体为人体为例进行描述。
该方法可以包括以下几个步骤:
201:构建待处理图像的金字塔特征图像;
202:构建每一个金字塔特征图像的积分通道特征图像;
203:针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
204:从所述候选窗口中提取多个矩形候选框;
205:利用头肩分类器,从所述多个矩形候选框中,选择包含人体头肩的候选区域;所述头肩分类器是利用第三训练样本预先训练获得,所述第三训练样本为包括人体头肩区域的正样本和不包含人体头肩区域的负样本。
优选地,所述头肩分类器可以采用soft-cascade(软性级联)分类器,利用第三训练样本预先训练获得的。所述第三训练样本可以是从互联网上下载的包含有人体的图像进行手动标注得到的,也可以是公开的行人数据集,如INRIA(Institut national derecherche en informatique et en automatique,法国国家信息与自动化研究所)的行人数据集、CVC(Computer Vision Center,计算机视觉中心)的虚拟行人数据集通过坐标变换得到的。
正样本与测试样本是包含人体头肩区域的图像,通过手动标注或者坐标转化得到。所述手动标注可以是从网络手动下载的图像中选择人体头肩所在区域。所述坐标转化可以是从数据集中通过坐标转化获得人体头肩所在的区域。从通过手动标注或者坐标转化得到的图像作为正样本。
正样本可以包括训练样本和测试样本。选择第五数量的图像作为训练样本,第六数量的图像作为测试样本。例如,如果通过手动标注或者坐标转化得到的图像有10000张,所述第五数量可以是8000,所述第六数量可以是2000。
负样本是不包含人体头肩区域的图像,可以是不存在人的且图像背景复杂的第七数量的图像。例如,所述第七数量可以是10000。
为了使样本信息更加准确,可以保证第三训练样本的图像满足一定的尺度比例。例如,可以限制宽高比例,如:1:0.85;还可以将第一训练样本的图像的大小固定,如,采用34*29的大小,34、29代表像素个数。
头肩分类器的训练过程可以包括多轮训练过程,例如,可以训练5轮。第一轮训练可以是从不包含所述人体头肩区域的图像中,选择第八数量的负样本,所述第八数量小于或等于第七数量。之后的每一轮的训练结束后,利用测试样本,测试该轮训练得到的头肩分类器;将分类错误的图像作为新增样本加入到负样本中,第八数量增加相应的数量。经过多轮训练后,可以获得分类效果更高的头肩分类器。
206:利用每一个人体头肩的候选区域,利用包围盒坐标估计算法获取人体所在的包围区域,确定所述包围区域为人体的候选区域;
207:从所述人体的候选区域中,选择人体的最优候选区域,作为所述人体的目标区域;
可以使用目标检测算法,从所述人体的候选区域中,选择人体的最优候选区域。所述目标检测算法可以是DPM目标检测算法,则从所述人体的候选区域中,选择人体的最优候选区域,作为所述人体的目标区域具体可以包括:
将每一个候选区域与人体模型进行匹配,并选择最匹配的一个候选区域作为人体的最优目标区域;所述人体模型是利用第四训练样本训练预先训练获得,所述第四训练样本包括包含所述人体的正样本和不包含所述人体的负样本;所述人体模型包括一个主模型和多个子模型。
优选地,所述人体模型是由一个主模型和多个子模型构成的。所述主模型是人体的理想模板。每一个子模型代表了人体的一个鲁棒的特征部位(如,头肩区域)在人体中的理想位置。所述多个子模型可以是6个子模型。如图3所示,为DPM算法中人体模型以及人体子模型的示意图。
所述将每一个候选区域与人体模型进行匹配,并选择最匹配的一个候选区域作为人体的最优目标区域可以包括:
将所述人体的每一个候选区域划分获得多个人体子区域;
优选地,所述候选区域的多个人体子区域与所述人体模型的多个子区域个个数相等,且位置相互匹配,一一对应。
计算所述人体的每一个候选区域与人体模型的主模型的第一匹配分数;
优选地,计算所述人体的每一个候选区域与人体模型的第一匹配分数可以是计算所述人体的每一个候选区域与人体模型的主模型的匹配分数,作为第一匹配分数。
计算所述人体的每一个候选区域中的每一个人体子区域,与所述人体模型中对应子模型的第二匹配分数;
优选地,所述第二匹配分数是所述候选区域中的每一个人体子区域,偏离所述人体模型中对应子模型代表的理想位置的形变花费,偏离越远,所述第二匹配分数越低。
将所述人体的每一个候选区域的多个人体子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
将所述人体的每一个候选区域对应的第一匹配分数以及第三四匹配分数进行相加,获得第四匹配分数。
所述第四匹配分数可以使用以下的公式计算得到:
其中,表示第一匹配分数,表示第i个人体子区域对应的第二匹配分数,表示第三匹配分数,score(x0,y0,l0)表示第四匹配分数;(x0,y0)表示根滤波器左上角在根特征图上的坐标(根滤波器可以是人体模型,根特征图可以是候选区域,需要用根滤波器在根特征图上滑窗),2(x0,y0)+vi表示根滤波器中部件(人体子模型)的坐标(该坐标是某一部件在部件特征图上的坐标,部件特征图的分辨率是根特征图的2倍,因此乘2,vi是部件的偏移,比如从左上角偏移到头的位置,或从左上角偏移到胳膊的位置);b表示为为了对齐各个部分而设的根偏移。
选择所述第四匹配分数最高的一个候选区域,作为人体的最优目标区域。
208:提取所述目标区域的三通道颜色直方图。
209:利用条件随机场算法以及所述目标区域的颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
本申请实施例中,结合了一个具体的应用场景通过获取图像中人出现的准确区域,再从该区域中提取人体衣物的颜色特征。可以提高提取的人体衣物的颜色特征的准确度。
如图4所示,为本申请提供的一种颜色特征提取系统的一个实施例的结构示意图,该系统可以包括以下几个模块:
第一提取模块401:用于提取待处理图像中目标物体的特征部位所在的候选区域;
第一确定模块402:用于利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;
优选地,所述第一确定模块可以包括:
第一确定单元,用于利用每一个特征部位的候选区域,利用包围盒算法获取所述目标物体所在的包围区域,确定所述包围区域为目标物体的候选区域。
第一选择模块403:用于从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;
第二提取模块404:用于提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。
优选地,所述第二提取模块可以包括:
第三提取单元,用于提取所述目标区域的三通道颜色直方图;
第二选择单元,用于利用条件随机场算法以及三通道颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
优选地,所述第二选择单元具体可以用于,将所述目标区域的三通道颜色直方图作为观测颜色特征,输入所述条件随机场的概率公式:
其中,i表示观测序列的第i个位置,tk表示对观测颜色特征的标记位置i-1与i之间的转移特征函数,sl表示观测颜色特征i位置的状态特征函数,λk和μl表示对应权值,可以通过最大似然估计得到。x表示先验观测颜色特征,y表示后验标注颜色特征,所述条件随机场的概率公式取得概率最大值时的后验标注颜色特征,即为所述待处理图像的颜色特征。
在上述实施例中,可以提高获取目标物体所在目标区域的鲁棒性,并且提高获取目标物体所在目标区域的精确度,从而提高了提取的颜色特征的准确度,降低了颜色特征出现错误的概率。
作为又一个实施例,为了进一步提高颜色特征的准确度,所述第一提取模块可以包括:
第一构建单元,用于构建待处理图像的金字塔特征图像;
第二构建单元,用于构建每一个金字塔特征图像的积分通道特征图像;
第一提取单元,用于针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
第二提取单元,用于从所述候选窗口中提取多个矩形候选框;
第一分类单元,用于利用分类器,从所述多个矩形候选框中,选择包含所述目标物体的特征部位的候选区域;所述分类器是利用第一训练样本预先训练获得,所述第一训练样本包括包含所述目标物体特征部位的正样本和不包含所述目标物体特征部位的负样本。
在本实施例中,由于多个矩形候选框只包括目标物体的特征部位,从而使每一个候选框占用较小的内存,在计算过程中,内存越小计算速度越快,也不容易出现计算误差,从而使用此种方式可以快速且精确地排除大量的背景信息,提高了提取的目标物体候选区域的准确度,从而进一步提高了颜色特征的准确度。
作为又一个实施例,为了提高获得的目标区域的精确度,可以使用目标检测算法,提取最优的候选区域。所述目标检测算法可以是DPM目标检测算法,则第一选择模块可以包括:
第一选择单元,用于将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域;所述物体模型是利用第二训练样本训练预先训练获得,所述第二训练样本包括包含所述目标物体的正样本和不包含所述目标物体的负样本;所述物体模型包括一个主模型和多个子模型。
优选地,所述第一选择单元包括:
第一划分子单元,用于将所述目标物体的每一个候选区域划分获得多个子区域;
第一计算子单元,用于计算所述目标物体的每一个候选区域与物体模型的主模型的第一匹配分数;
第二计算子单元,用于计算所述目标物体的每一个候选区域中的每一个子区域,与所述物体模型中对应子模型的第二匹配分数;
第三计算子单元,用于将所述目标物体的每一个候选区域的多个子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
第四计算子单元,用于将所述目标物体的每一个候选区域对应的第一匹配分数以及第三匹配分数进行相加,获得第四匹配分数。
第一选择子单元,用于选择第四匹配分数最高的一个候选区域,作为目标物体的最优目标区域。
优选地,所述第四匹配分数具体可以用以下的公式进行计算:
其中,表示第一匹配分数,表示第i个子区域对应的第二匹配分数,表示第三匹配分数,score(x0,y0,l0)表示第四匹配分数;(x0,y0)表示根滤波器左上角在根特征图上的坐标(根滤波器可以是主模型,根特征图可以是候选区域,需要用根滤波器在根特征图上滑窗),2(x0,y0)+vi表示根滤波器中部件(子模型)的坐标(该坐标是某一部件在部件特征图上的坐标,部件特征图的分辨率是根特征图的2倍,因此乘2,vi是部件的偏移,比如从左上角偏移到头的位置,或从左上角偏移到胳膊的位置);b表示为为了对齐各个部分而设的根偏移。
作为又一个实施例,为了进一步提高提取的颜色特征的准确度,所述第二提取模块可以包括:
第四提取单元,用于提取所述目标区域中每一个子区域的三通道颜色直方图;
第三选择单元,用于利用条件随机场算法以及所述目标区域中每一个子区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的每一个子区域的后验标注颜色特征;
第一统计单元,用于将所述每一个子区域的后验标注颜色特征进行统计,作为所述待处理图像的颜色特征。
在本申请实施例中,采用了获取目标物体在一张图像中出现的最优目标区域的方法。可以准确地获取目标区域出现的位置,再进行颜色特征提取,提高了颜色特征提取的针对性,从而进一步提高了提取的颜色特征的准确性。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。此外,“耦接”一词在此包含任何直接及间接的电性耦接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表所述第一装置可直接电性耦接于所述第二装置,或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式,然所述描述乃以说明本申请的一般原则为目的,并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
上述说明示出并描述了本申请的若干优选实施例,但如前所述,应当理解本申请并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述申请构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围,则都应在本申请所附权利要求的保护范围内。

Claims (12)

1.一种颜色特征提取方法,其特征在于,所述方法包括:
提取待处理图像中目标物体的特征部位所在的候选区域;
利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;
从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;
提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。
2.根据权利要求1所述的方法,其特征在于,所述提取待处理图像中目标物体的特征部位所在的候选区域包括:
构建待处理图像的金字塔特征图像;
构建每一个金字塔特征图像的积分通道特征图像;
针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
从所述候选窗口中提取多个矩形候选框;
利用分类器,从所述多个矩形候选框中,选择包含所述目标物体的特征部位的候选区域;所述分类器是利用第一训练样本预先训练获得,所述第一训练样本包括包含所述目标物体特征部位的正样本和不包含所述目标物体特征部位的负样本。
3.根据权利要求1所述的方法,其特征在于,所述利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域包括:
利用每一个特征部位的候选区域,利用包围盒算法获取所述目标物体所在的包围区域,确定所述包围区域为目标物体的候选区域。
4.根据权利要求1所述的方法,其特征在于,所述从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域包括:
将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域;所述物体模型是利用第二训练样本训练预先训练获得,所述第二训练样本包括包含所述目标物体的正样本和不包含所述目标物体的负样本;所述物体模型包括一个主模型和多个子模型。
5.根据权利要求4所述的方法,其特征在于,所述将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域,作为目标物体的最优目标区域包括:
将所述目标物体的每一个候选区域划分获得多个子区域;
计算所述目标物体的每一个候选区域与物体模型的主模型的第一匹配分数;
计算所述目标物体的每一个候选区域中的每一个子区域,与所述物体模型中对应子模型的第二匹配分数;
将所述目标物体的每一个候选区域的多个子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
将所述目标物体的每一个候选区域对应的第一匹配分数以及第三匹配分数进行相加,获得第四匹配分数;
选择所述第四匹配分数最高的一个候选区域,作为目标物体的最优目标区域。
6.根据权利要求1所述的方法,其特征在于,所述提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征包括:
提取所述目标区域的三通道颜色直方图;
利用条件随机场算法以及所述目标区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
7.一种颜色提取系统,其特征在于,所述系统包括:
第一提取模块,用于提取待处理图像中目标物体的特征部位所在的候选区域;
第一确定模块,用于利用所述特征部位的每一个候选区域,确定所述目标物体的候选区域;
第一选择模块,用于从所述目标物体的候选区域中,选择目标物体的最优候选区域,作为所述目标物体的目标区域;
第二提取模块,用于提取所述目标区域的颜色特征,作为所述待处理图像的颜色特征。
8.根据权利要求7所述的系统,其特征在于,所述第一提取模块包括:
第一构建单元,用于构建待处理图像的金字塔特征图像;
第二构建单元,用于构建每一个金字塔特征图像的积分通道特征图像;
第一提取单元,用于针对每一个金字塔特征图像的每一个积分通道特征图像,在所述积分通道特征图像上进行窗口滑动,提取候选窗口;
第二提取单元,用于从所述候选窗口中提取多个矩形候选框;
第一分类单元,用于利用分类器,从所述多个矩形候选框中,选择包含所述目标物体的特征部位的候选区域;所述分类器是利用第一训练样本预先训练获得,所述第一训练样本包括包含所述目标物体特征部位的正样本和不包含所述目标物体特征部位的负样本。
9.根据权利要求7所述的系统,其特征在于,所述第一确定模块包括:
第一确定单元,用于利用每一个特征部位的候选区域,利用包围盒算法获取所述目标物体所在的包围区域,确定所述包围区域为目标物体的候选区域。
10.根据权利要求7所述的系统,其特征在于,所述第一选择模块包括:
第一选择单元,用于将每一个候选区域与物体模型进行匹配,并选择最匹配的一个候选区域作为目标物体的最优目标区域;所述物体模型是利用第二训练样本训练预先训练获得,所述第二训练样本包括包含所述目标物体的正样本和不包含所述目标物体的负样本;所述物体模型包括一个主模型和多个子模型。
11.根据权利要求10所述的系统,其特征在于,所述第一选择单元包括:
第一划分子单元,用于将所述目标物体的每一个候选区域划分获得多个子区域;
第一计算子单元,用于计算所述目标物体的每一个候选区域与物体模型的主模型的第一匹配分数;
第二计算子单元,用于计算所述目标物体的每一个候选区域中的每一个子区域,与所述物体模型中对应子模型的第二匹配分数;
第三计算子单元,用于将所述目标物体的每一个候选区域的多个子区域对应的第二匹配分数相加,获得每一个候选区域对应的第三匹配分数;
第四计算子单元,用于将所述目标物体的每一个候选区域对应的第一匹配分数以及第三匹配分数进行相加,获得第四匹配分数。
第一选择子单元,用于选择第四匹配分数最高的一个候选区域,作为目标物体的最优目标区域。
12.根据权利要求7所述的系统,其特征在于,所述第二提取模块包括:
第三提取单元,用于提取所述目标区域的三通道颜色直方图;
第二选择单元,用于利用条件随机场算法以及所述目标区域的三通道颜色直方图,计算在条件随机场中概率最大时选取的后验标注颜色特征,作为所述待处理图像的颜色特征。
CN201610499736.7A 2016-06-29 2016-06-29 颜色特征提取方法及系统 Active CN107545268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610499736.7A CN107545268B (zh) 2016-06-29 2016-06-29 颜色特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610499736.7A CN107545268B (zh) 2016-06-29 2016-06-29 颜色特征提取方法及系统

Publications (2)

Publication Number Publication Date
CN107545268A true CN107545268A (zh) 2018-01-05
CN107545268B CN107545268B (zh) 2020-07-03

Family

ID=60965969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610499736.7A Active CN107545268B (zh) 2016-06-29 2016-06-29 颜色特征提取方法及系统

Country Status (1)

Country Link
CN (1) CN107545268B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN104850844A (zh) * 2015-05-27 2015-08-19 成都新舟锐视科技有限公司 一种基于快速构建图像特征金字塔的行人检测方法
US9158989B1 (en) * 2014-05-08 2015-10-13 Tandent Vision Science, Inc. Color pure scale-spaced pyramid arrangement for use in an image segregation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
US9158989B1 (en) * 2014-05-08 2015-10-13 Tandent Vision Science, Inc. Color pure scale-spaced pyramid arrangement for use in an image segregation
CN104850844A (zh) * 2015-05-27 2015-08-19 成都新舟锐视科技有限公司 一种基于快速构建图像特征金字塔的行人检测方法

Also Published As

Publication number Publication date
CN107545268B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US9824294B2 (en) Saliency information acquisition device and saliency information acquisition method
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN108549870B (zh) 一种对物品陈列进行鉴别的方法及装置
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111860494B (zh) 图像目标检测的优化方法、装置、电子设备和存储介质
CN105740780B (zh) 人脸活体检测的方法和装置
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
WO2015161776A1 (en) Hand motion identification method and apparatus
CN105096307B (zh) 在成对的立体图像中检测物体的方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN104463240B (zh) 一种仪表定位方法及装置
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN110930384A (zh) 基于密度信息的人群计数方法、装置、设备以及介质
CN107862680A (zh) 一种基于相关滤波器的目标跟踪优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180105

Assignee: Apple R&D (Beijing) Co., Ltd.

Assignor: BEIJING MOSHANGHUA TECHNOLOGY CO., LTD.

Contract record no.: 2019990000054

Denomination of invention: Color feature extraction method and system

License type: Exclusive License

Record date: 20190211

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant