[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101853389A - 多类目标的检测装置及检测方法 - Google Patents

多类目标的检测装置及检测方法 Download PDF

Info

Publication number
CN101853389A
CN101853389A CN200910132668A CN200910132668A CN101853389A CN 101853389 A CN101853389 A CN 101853389A CN 200910132668 A CN200910132668 A CN 200910132668A CN 200910132668 A CN200910132668 A CN 200910132668A CN 101853389 A CN101853389 A CN 101853389A
Authority
CN
China
Prior art keywords
classifier
classification
data
tested
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910132668A
Other languages
English (en)
Inventor
梅树起
吴伟国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN200910132668A priority Critical patent/CN101853389A/zh
Priority to JP2012502431A priority patent/JP5500242B2/ja
Priority to EP10758018A priority patent/EP2416278A1/en
Priority to PCT/CN2010/071193 priority patent/WO2010111916A1/zh
Priority to US13/257,617 priority patent/US8843424B2/en
Publication of CN101853389A publication Critical patent/CN101853389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及多类目标的检测装置及其检测方法，其中检测装置包括：输入单元，被配置成输入待检测数据；联合分类器，其内部包含多个可处理多个类别目标数据的强分类器，其中，每个强分类器由一组弱分类器相加得到，每个弱分类器使用一个特征对待检测数据进行弱分类；判别单元，被配置成根据多个强分类器的分类结果，对待检测数据属于哪个类别的目标数据进行判别，所述联合分类器内部包含共享特征列表，其中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。

Description

多类目标的检测装置及检测方法
技术领域
本发明涉及目标检测技术。尤其涉及用于对多个类别的目标数据进行检测的检测装置及其检测方法。
背景技术
运用机器学习方法对图像或其它待检测数据进行目标数据的检测显得越来越重要。尤其是对图像中的物体检测已成为其中一个重要分支。
同一类物体受光照、视角、姿态等多重因素的影响在图像中可能产生出差异巨大的状态，这给图像中的物体检测技术带来很大困难。同一类物体因而可能会被划分为多个子类进行处理，但如何既有效利用多个子类之间的共性而又能准确区分其差别仍然是一个需要进一步研究的课题。
对多类图像物体检测技术来说，文献【1】提出了一种特征共享技术，通过将多类物体的分类器进行联合训练，在多类之间尽可能共享特征，以达到减少运算成本的目的。单纯的特征共享多类联合训练对减少运算成本十分有效，取得了良好的效果，但其效率较低，且由于共享特征的同时也共享弱分类器导致在强分类器的后段，特征的共享越来越困难。文献【2】在此基础上进一步提出了一种向量Boosting树算法来检测图像中呈现不同视角和不同姿态的人脸。但同样文献【2】所提算法强制在各类之间进行特征共享，这使得当多类中的某一类不能较好的与其他各类共享特征时，强制的特征共享方式给分类器的进一步训练带来了困难。
参考文献
[1]A.Torralba，K.P.Murphy，and W.T.Freeman.Sharing Features：Efficient Boosting Procedures for Multiclass Object Detection.CVPR2004.
[2]C.Huang，H.Ai，Y.Li，and S.Lao.Vector Boosting for RotationInvariant Multi-View Face Detection.ICCV 2005.
发明内容
本发明的目的是提供一种区别于以上现有技术的、用于对多个类别的目标数据进行检测的检测装置及其检测方法。
根据本发明的一个方面，提供了一种用于对多个类别的目标数据进行检测的检测装置的训练方法，包括：
确定所述多个类别中进行特征共享的最优特征共享样本类别集合，并通过特征遍历为其挑选最优特征；
使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别构建弱分类器；以及
通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述多个类别分别构建一组弱分类器，获得包括能处理所述多个类别的相应多个强分类器的检测装置。
根据本发明的用于对多类目标数据进行检测的检测装置的训练方法使用多类目标的样本进行训练，通过确定所述多个类别中在哪些类别之间进行特征共享误差最小来获得特征共享样本类别集合，使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别构建弱分类器，由此构建包含弱分类器的检测装置。
根据以上训练方法获得了用于对多个类别目标数据进行检测的检测装置和检测方法，其中检测装置包括：输入单元，被配置成输入待检测数据；联合分类器，包括数量与所述类别数量相对应并用于分别检测对应类别的目标数据的强分类器，其中，每个所述强分类器都由一组弱分类器相加得到，每个弱分类器使用一个特征对所述待检测数据进行弱分类；判别单元，被配置成根据所述多个强分类器的分类结果，对所述待检测数据属于哪个类别的目标数据进行判别，其中所述联合分类器内包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。这样，在针对各类目标的强分类器之间共享特征以减少计算成本，但各类之间不共享分类器以体现类间差异。
根据本发明的另一个方面，提供了一种用于对r个类别的目标数据进行检测的检测装置的训练方法，其中，所述r个类别可按预定相似性标准由细到粗被逐级合并为预定多层结构，并且所述r个类别作为划分最细的类别设置在最底层，r为大于1的自然数，所述训练方法包括：
按照由粗到细的策略从最顶层类别开始训练相应的级分类器，每个级分类器包括具有与所针对类别数量相对应的数量的强分类器，所述各级分类器串联形成所述检测装置，
其中，针对其中一级准备检测m个类别的级分类器的训练包括：
为该级分类器准备处理的m个类别分别准备正样本集和负样本集，其中1＜m≤r；
确定所述m个类别中进行特征共享的最优类别集合，并通过特征遍历为其挑选最优特征；
使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别构建弱分类器；以及
通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述m个类别分别构建一组弱分类器，获得包括可处理所述m个类别的m个强分类器的级分类器。
据本发明第二个方面的用于对多个(r个)类别目标数据进行检测的检测装置及其检测方法，其中，所述多个类别按相似性标准被逐级合并为预定多层结构，并且所述多个类别作为划分最细的类别设置在最底层，所述检测装置包括：
输入单元，被配置成输入待检测数据；以及
级联分类器，所述级联分类器包括由多个串联的级分类器，所述多个级分类器被配置成按照由粗到细的策略对所述预定多层结构中的各层类别进行分类处理，并且每个级分类器都包括数量与所处理类别数量相对应的强分类器，其中，每个所述强分类器包括一组弱分类器，每个弱分类器使用一个特征对所述待检测数据进行弱分类，
其中每个所述级分类器包含一个共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
类似地，根据本发明第二个方面，作为级联式分类器的检测装置在各类目标的强分类器之间共享特征以减少计算成本，但各类之间不共享分类器以体现类间差异。同时为有效处理多类目标，在训练各级分类器的过程中按照由粗到细的原则先将多个类别合并处理，而后逐渐拆分类别做细化处理。
附图说明
结合附图，通过参考下列详细的示例性实施例的描述，将会更好地理解本发明本身、优选的实施方式以及本发明的目标和优点。
图1示出了根据本发明第一实施例的用于对多类目标数据进行检测的检测装置的训练方法。
图2示出了根据本发明第一实施例的训练方法所使用的Haar-like特征原型。
图3a和图3b分别示出了弱分类器和强分类器的结构。
图4示出了根据本发明第一实施例的训练方法所获得的检测装置的分类器。
图5a和5b分别列举了使用类别树结构CT表示训练过程中的样本类别变化。
图6示出了根据本发明第三实施例的训练方法。
图7示出了根据本发明第二或第三实施例的训练方法所获得的检测装置的分类器。
图8示出了根据本发明的检测装置检测图像或视频中预定多类目标的流程。
图9是示出其中实现本发明的计算机的示例性结构的框图。
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
第一实施例的训练方法
第一实施例以多类汽车(轿车、巴士和卡车)为待检测的目标。应了解，本发明的实施例并不限于对图像和/或视频中的汽车进行检测，还可以对图像和/或视频中的其它物体(如多角度的人脸)、甚至可对对实时网络数据或主机数据进行入侵分类等等进行检测。
图1示出了根据本发明第一实施例的用于对多类目标数据进行检测的检测装置的训练方法100。
该方法在步骤S101开始，首先为所述多个类别分别准备正样本集和负样本集。本实施例中分别为三类汽车(轿车、巴士和卡车)准备一定数量的正样本集和负样本集，其正样本集分别为三类汽车(轿车、巴士和卡车)正面视角的相同尺寸的汽车图像集，尺寸统一为32×32(像素)；其负样本集从背景图像集(一组不包含目标物体的图像，尺寸不做任何要求)中抽样得到，尺寸统一缩放到32×32(像素)。
同时准备训练特征池。将Haar-like特征原形应用于例如32×32(像素)的图像，得到数十万具体的训练特征。但应了解本发明的实施例并不限定所使用特征的具体种类，例如可以是Haar-like特征，HOG(梯度方位直方图)特征，LBP(局部二值模式)特征或其他特征。
在此，图2示出了所使用的Haar-like特征原型。Haar-like特征为定义在图像中的一个矩形，包括分别在图2中以白色和黑色表示的两部分，矩形的方位分为直立和45度倾斜两种。Haar-like特征原型具有四个参数：矩形在图像中的位置(x，y)和矩形的尺寸(宽度w和高度h)，随着矩形的位置、尺寸和宽高比的变化，可生成数以万计的具体Haar-like特征作用于图像。Haar-like特征的取值为一标量，定义白色区域内所有像素的灰度值总和为Sum(W)，黑色区域内为Sum(B)，则Haar-like特征值由公式featurei＝Sum(W)-Sum(B)计算。
从图1的步骤S102开始训练。确定所述多个类别中进行特征共享的最优特征共享样本类别集合，并通过特征遍历为其挑选最优特征。例如，以多个待选训练特征为基础，通过使用前向顺序选择法等方法确定所述多个类别(在此为3个类别)中在哪些类别之间进行特征共享是误差最小的，选择由所确定的类别组成的特征共享样本类别集合S，并通过特征遍历选中相应的训练特征。
在确定特征共享样本类别集合S及相应的所选最优特征后，使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别构建弱分类器(图1中步骤S103)。弱分类器的结构如图3a所示，在本实施例中使用决策树作为弱分类器，每个弱分类器使用一个Haar-like特征构建，根据输入的特征值与阈值的关系分类器有两个不同的输出。
图1的步骤S104，通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述多个类别(在此3个类别)分别构建一组弱分类器，获得包括能处理所述多个类别的相应多个强分类器的检测装置。针对每一类别的强分类器(H(Ci)分类器)的结构如图3b所示，其输出为+1或-1并且其阈值Θ可以根据需要进行调节。
弱分类器h(Ci)使用的这些特征来自于分类器的特征列表(特征组)。分类器的训练过程就是寻找各H(Ci)分类器的过程，也就是对每个类别搜索多个弱分类器h(Ci)的过程，最终通过迭代搜索各个弱分类器所使用的特征的过程，即特征挑选过程。此过程最后得到一组共享特征fi。
迭代的步骤可以如本领域技术人员所了解指定迭代次数T，通过调整样本权重开始下一次迭代分别为所述多个类别(在此3个类别)再构建弱分类器，在满足迭代次数T之后，获得包括所有弱分类器的检测装置，结束流程(步骤S105)。
根据本发明，优选地可以采用训练终止判断条件来进行迭代，对各个类别的分类器H(Ci)分别设定训练所要达到的期望性能，如果某个类别在训练过程中达到了其期望性能，则这个类别将退出该分类器的H(Ci)联合训练过程。例如，对于所有属于当前特征共享样本类别集合S的类别(Ci∈S)测试误检率f(Ci)＝NFANTotal(NFA为该分类器将负样本集中样本误检为正样本的数量，NTotal为负样本的总数量)，如果f(Ci)＜fi则类别Ci已经满足训练终止条件，退出该分类器的训练；如果所有样本类别都满足训练终止条件，则结束该分类器的训练。而如果有部分样本不满足训练条件，则对于属于S的Ci(Ci∈S)，则更新样本权重：
Figure B2009101326680D00061
对
Figure B2009101326680D00062
则保持样本权重不变；同时使所有样本权重归一化使得
Figure B2009101326680D00063
进行下一次迭代。
根据本发明的第一实施例，在对分类器的训练过程中，使用前向顺序选择法来确定在参与训练的所有类别中哪些类别之间进行特征共享是整体误差最小的，即由哪些类别组成一个特征共享样本类别集合S进行特征共享是最优的，同时在特征库中挑选出对集合S内的类别来说分类性能最优的特征，然后对S中的每个类别使用最优特征分别构建弱分类器。然而，本发明并不限于前向顺序选择法，而是可以采用其它的顺序选择法(例如后向顺序选择法)来选择由所确定的类别组成的特征共享样本类别集合。
根据第一实施例的检测装置和检测方法
在第一实施例中对每个类别都训练一个强分类器，其中所有强分类器的训练是联合进行的，各强分类器中的弱分类器所使用的特征在多类之间进行共享，但各个弱分类器的训练在各类内部分别独立进行；并不限定特征被所有类别共享，某个特征有可能被所有类别共享，也可能只被某些类别共享。
根据本发明第一实施例的训练方法所获得的检测装置包括被配置成输入待检测数据的输入单元、包括多个强分类器的联合分类器以及判别单元，判别单元被配置成根据多个强分类器的分类结果，对所述待检测数据属于哪个类别的目标数据进行判别。
其中多个强分类器所组成的联合分类器如图4所示，包括m个数量与所述类别数量m相对应并用于分别检测对应类别的目标数据(在此实施例中m＝3)的强分类器(在第一实施例中是Boosting分类器H(Ci＝∑hj(Ci)))，其中每个强分类器包括一个或更多个弱分类器(hj(Ci))，其中，每个所述强分类器都由一组弱分类器相加得到，每个弱分类器使用一个特征对所述待检测数据进行弱分类；其中联合分类器包含共享特征列表(即共享特征组)，共享特征列表中的每个特征(f1～fn)被分别属于不同强分类器的一个或多个弱分类器共享使用(例如f3并不为强分类器H(C1)和强分类器H(C3)所使用)；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。这样，在针对各类目标的强分类器之间共享特征以减少计算成本，但各类之间不共享分类器以体现类间差异。
在该检测装置内部，待检测数据(例如样本图像)分别被所有类别的强分类器进行处理并被判别单元进行判别，因而允许多于一个强分类器的输出被判断为正，而不是规定只有一个判断为正；不同类别的强分类器之间没有互斥关系，某个待检测数据可能被判别为多个类别的目标数据。只要有一个强分类器的输出被判别单元判其为正，则该检测装置的输出为+1，否则输出为-1。
第二实施例
根据本发明的第二实施例，将用于检测多类目标数据的检测装置设计成由多个级分类器串行联结的级联结构(Cascade)的分类器。为此，首先将训练级联分类器的各级分类器(SCk)所使用的样本类别人为设计为预定多层结构(本发明中的第一多层结构)。将划分最细的类别(例如r个类别，r为大于1的自然数)设置在最底层，然后根据预定相似性标准将这些类别合并为较高一层的较少的几个较大的类，而后再逐级次合并至最高层的例如一个大类为止。
图5a和5b示出了使用类别树结构CT表示训练过程中的样本类别变化。图5a中，共有7类物体的样本参与训练，将这7类设置在树的最底层Level3并称这7类为“叶子类”
Figure B2009101326680D00081
然后根据某种相似性标准将7类样本中的某些类合并得到树的较高层Level2的3类
Figure B2009101326680D00082
最后将Level2的3类合并为最高层Level1的1类
Figure B2009101326680D00083
在训练中使用样本时从CT的Level1开始先使用较高层的样本类，即分类器训练的早期目标是整体上区分目标物体和非目标物体；随着训练的进行当整体区分变得困难时再进行样本的类别拆分使用CT的Level2的3类样本，最后使用CT的7个叶子类的样本。图5b仍针对轿车、卡车和巴士3类，此3类为CT的“叶子类”，三类合并后为CT的根节点类
Figure B2009101326680D00084
相应的训练将从
Figure B2009101326680D00085
开始然后适时拆分为3个叶子类
Figure B2009101326680D00086
当然在将汽车分为卡车、轿车、巴士等等多个类别后，还可每个类别再继续划分为更细致的多个子类。
根据本发明的第二实施例，用于对r个类别的目标数据进行检测的检测装置的训练方法，包括：按照由粗到细的策略从最顶层类别开始训练相应的级分类器，每个级分类器包括具有与所针对类别数量相对应的数量的强分类器，所述各级分类器串联形成所述检测装置。
其中，针对其中一级准备检测m个类别的级分类器的训练包括：
为该级分类器准备处理的m个类别分别准备正样本集和负样本集，其中1＜m≤r；
确定所述m个类别中进行特征共享的最优类别集合，并通过特征遍历为其挑选最优特征；
使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别构建弱分类器；以及
通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述m个类别分别构建一组弱分类器，获得包括可处理所述m个类别的m个强分类器的级分类器。
可以理解，级联分类器的某一级分类器SCk是针对此级分类器所要处理的m类样本训练得到的，包含m个H(Ci)分类器，分别对应m类样本。同样，其中每一个强分类器H(Ci)是由多个弱分类器h(Ci)相加得到的。H(Ci)分类器的结构如图3b所示，以决策树为例的弱分类器h(Ci)如图3a所示。
弱分类器h(Ci)使用的这些特征来自于级分类器SCk的一组共享特征fj。级分类器SCk的训练过程就是寻找各H(Ci)分类器的过程，也就是对每个类别搜索多个弱分类器h(Ci)的过程，最终就是搜索各个弱分类器所使用的特征的过程，即特征挑选过程，由此得到所述共享特征组fi。
与第一实施例类似，共享特征组中的任意一个特征都可能被多个类别用于构建弱分类器，即特征被多类共享；但弱分类器的参数根据各类的数据分别计算得到，即弱分类器并不在多类间共享。
如上所述，在训练中，先使用较高层的样本类别进行训练，并设定样本类别的拆分标准；随着训练的进行，当这个标准得到满足时，将现有类别拆分为较低层的更细致的样本类别继续训练，直至最后拆分至最底层。
第二实施例所采用的“设定的样本类别拆分标准”可以是有监督地为各级指定子类划分，进行强制的人为样本类别拆分。例如为最顶层指定第一级分类器，为较高层指定第二、第三级分类器等等。也可以采用无监督的自动产生子类并延续训练的方法。
可替代地，第二实施例优选以训练集内的误差作为样本类别拆分的判断标准。即在训练正常进行时，训练集内误差持续减小，当集内误差难以继续降低时，说明当前使用的某些样本类别的类内差异较大阻碍了训练的继续，应当进行样本类别拆分。在这种情况下，由于在训练除针对最底层之外的其他各层类别的各级分类器的过程可能会拆分样本，因此尽管训练时是按照由粗到细的策略针对预定多层结构中的每一层类别分别训练一个或多个相应的级分类器，但是例如当类内差异很大时针对某一层类别、特别是针对最高层类别有可能并没有训练出对应的级分类器。训练完成后各级分类器实际处理的多层结构类别层次(本发明中的第二多层结构)可能与事先人为定义的预定多层结构(本发明中的第一多层结构)有所区别。
具体地，针对准备处理除最底层类别之外的其他各层类别的任意一级分类器(即1≤m＜r)，则在每次迭代过程中在为所述类别构建弱分类器后进行有效性度量，以判断是否进行样本类别拆分。
所述进行有效性度量包括：
将由目前所构建弱分类器组成的强分类器的阈值设为零，并测试所述强分类器对相应类别的正负样本的分类误差；
判断所述分类误差是否随着逐个迭代过程逐渐降低；和
如果判断所述分类误差不再随着逐个迭代过程逐渐降低、或者降低缓慢，或者发生震荡，则退出该级分类器的训练，并且将样本类别按从粗到细拆分成下一层样品类别后重新开始该级分类器的训练。
如上所述，所述预定多层结构类别的最高层可以是任意数量的类别，但通常具有1个类别。根据第二实施例，针对用于检测所述1个类别的目标数据的级分类器的训练包括：准备正样本集和负样本集；对于所述多个待选训练特征训练弱分类器，选择具有最小分类误差的弱分类器；以及通过迭代构建弱分类器，获得由所获得的弱分类器构成的第一级分类器，通常用于区分目标图像和非目标图像。同样，迭代的次数可以预定，也可以通过采用训练终止判断条件来自动判定。
类似地，针对其他任意一级分类器迭代训练分类器时，其迭代的次数都可以预定，也可以通过采用训练终止判断条件来自动判定。针对训练终止判断条件的描述如第一实施例中所述，在此不再赘述。
不仅针对任意一级分类器可以设定训练终止判断条件，还可以整体上对目标各类分别设定其期望训练性能(例如针对最底层类别分别设置总误检率Fi)，如果某个类别的训练已经达到了期望性能，则这个类别不再参与后续的各级分类器的训练。
第三实施例
第三实施例以轿车、巴士和卡车作为待检测的目标，描述了更详细的对级联分类器的分类(训练)方法。
首先，准备三类正样本集(汽车图像)P(Ci)(i＝1，2，3)分别对应轿车、巴士和卡车，将三类正样本合并为一类正样本集P(C0)，样本类别树的结构如图5b所示；训练从P(Ci)(i＝0)开始，当需要进行正样本类别拆分时将P(Ci)(i＝0)拆分为P(Ci)(i＝1，2，3)；并设定所有各类的期望训练目标：检测率Di和总误检率Fi；
其次准备特征池，将例如Haar-like特征原形应用于32×32(像素)的图像，得到数十万具体特征。
然后逐级训练各级分类器SC1至SCn。如图6所示，尤其示出了训练第k级分类器SCk(k＝1，2，3，...，n)的步骤：
在步骤S601，针对不同的类分别准备正样本集
Figure B2009101326680D00111
i对应本级所使用的正样本类别(一类或三类)，使用前k-1级分类器对正样本集P(Ci)进行筛选，通过去除判别为-1的样本得到当前正样本集
Figure B2009101326680D00112
为每个正样本赋予标记
Figure B2009101326680D00113
同样在步骤S601，对应各正样本集分别准备负样本集
Figure B2009101326680D00115
可以通过在背景图象中按照某种顺序截取与正样本图像尺寸相同的子图片，为各类准备负样本集
Figure B2009101326680D00116
优选地，针对从第二级分类器开始的各级分类器，为相关类别Ci准备负样本集包括：使用前面所有的已有级分类器中的与Ci相关的强分类器组成的级联分类器，在背景图像中做窗口遍历搜索，将误判为正样本的窗口图像添加到Ci的负样本集中。负样本的数量可以根据实际需要确定，例如可以规定某个类别的负样本的数量与其正样本的样本数目成固定比例。为每个负样本赋予标记
Figure B2009101326680D00118
在此可以整体上对各个样本类别分别设定其期望训练性能。例如定义最底层类别Ci的当前误检率为
Figure B2009101326680D00119
(Nneg为搜索得到的负样本数量，Nwin为搜索过的所有窗口图像的数目)，如果类别Ci的误检率
Figure B2009101326680D001110
已经小于期望总误检率Fi，则类别Ci不再参与后续训练。如果所有类别的误检率都小于其总误检率，则退出全部训练过程。
同样在步骤S601，为每个样本设定权重
Figure B2009101326680D001111
(初始权重为1/M)，M为样本总数。
在步骤S601还可以设定级分类器的退出条件，例如指定T次迭代次数，在此是对各类目标设置期望最小检测率di和期望最大误检率fi。
从步骤S602开始挑选特征，对每个类别搜索多个弱分类器h(Ci)的过程，最终通过迭代搜索各个弱分类器所使用的特征。
设定t＝0，1，...，进行第t个特征的挑选
a)在步骤S602，搜索最优的特征共享样本类别集合S(在此例如使用前向顺序选择法确定是哪些类别而不一定是所有类别共享该t个特征)：
i.对于所有
Figure B2009101326680D00121
和
Figure B2009101326680D00122
计算当第Ci类不参与特征共享时所引入的误差
Figure B2009101326680D00123
对所有各类独立进行弱分类器训练，即在特征池中挑选一个特征能对当前类的正负样本集做误差最小划分；记录各类所挑选出的最优特征
Figure B2009101326680D00124
及其分类误差
Figure B2009101326680D00125
对所有类别计算：
Figure B2009101326680D00126
(
Figure B2009101326680D00127
当不参与时的误差)，取
Figure B2009101326680D00128
(使
Figure B2009101326680D00129
达到最小值时的Ci的取值)为优先进入特征共享样本类别集合候选S的第一类，得到特征共享样本类别集合候选S1；
将
Figure B2009101326680D001210
分别与其他各类组合，进行两类联合弱分类器训练，记录各种组合下挑选出的最优特征
Figure B2009101326680D001211
以及分类误差
Figure B2009101326680D001212
对所有组合计算
Figure B2009101326680D001213
取
Figure B2009101326680D001214
作为特征共享样本类别集合候选S的第二类，得到特征共享样本类别集合候选S2。
以此类推，直到处理完所有类；
在以上所得的所有Sx中，取特征共享误差最小的集合作为特征共享样本类别集合S，即
Figure B2009101326680D001215
记录相应的
Figure B2009101326680D001216
为最优特征
Figure B2009101326680D001217
b)在步骤S603，使用
Figure B2009101326680D001218
为S中的所有各类构建决策树弱分类器
Figure B2009101326680D001219
其结构如图3a所示；
c)在步骤S604，为特征共享样本类别集合S中的所有样本类别更新Hi(Ci)分类器：
Figure B2009101326680D001220
并根据期望最小检测率di确定Hi(Ci)分类器的阈值Θt(Ci)(即在当前阈值下，分类器在当前正样本集的检测率为di)；
d)在步骤S605，为特征共享样本类别集合S中各类样本的训练有效性度量：例如通过设置各类样本的Hi(Ci)分类器的阈值为零，测试此时的Hi(Ci)分类器对各类内部的正负样本的分类误差，并在步骤S606判断该误差是否随着训练逐渐降低。如果这个误差不再降低、或者降低缓慢、或者发生震荡，则退出第k级分类器SCk的训练并将样本类别按从粗到细拆分成下一层样品类别(例如按图5b所示进行拆分)后重新开始第k级分类器SCk的训练(见步骤S607)；
e)在步骤S608，若步骤S606的判断结果为否，则进行训练终止判断。在此采用期望最大误检率fi进行判断。具体地，对所有属于特征共享样本类别集合S的类别(Ci∈S)测试误检率f(Ci)＝NFA/NTotal(NFA为分类器将负样本集中样本误检为正样本的数量，NTotal为负样本的总数量)，如果f(Ci)＜fi则类别Ci已经满足训练终止条件，退出第k级分类器的训练；如果所有样本类别都满足训练终止条件，则结束第k级分类器的训练，通过更新样本集合Ci：(Pi，Ni)进行下一级训练(见步骤S609和S610)。
f)在步骤S611，对属于S的Ci(Ci∈S)，则更新样本权重：
Figure B2009101326680D00131
对则保持样本权重不变；同时使所有样本权重归一化使得重新开始下一次迭代。
应了解，前几级分类器SCk(k＝1，2，3，...，n)、尤其是第1级分类器SC1如果仅对1个类别进行判别，则对于该级分类器的特征挑选则无需使用例如前向顺序选择法等来搜索特征共享样本类别集合S。而对于后几级分类器SCk如果已针对最底层的样品类别进行训练，则无需有效性度量来判断是否需要样本类别拆分。
另外，应了解对检测装置的训练并不限定具体的Boosting算法，而可以是Gentle-Boosting，Real-Boosting等等其它算法。
根据第二和第三实施例的检测装置和检测方法
根据本发明第二或第三实施例的训练方法所获得的检测装置包括：输入单元，被配置成输入待检测数据；以及级联分类器。其中级联分类器如图7所示，包括由多个(n个)串联的级分类器。
在此所述多个(r个)类别可按相似性标准被逐级合并为预定多层结构，并且所述多个类别作为划分最细的类别设置在最底层，相应地，所述多个级分类器被配置成按照由粗到细的策略对所述预定多层结构中的各层类别进行分类处理，并且每个级分类器都包括数量与所处理类别数量相对应的强分类器。
每个所述强分类器包括一组弱分类器，每个弱分类器使用一个特征对所述待检测数据进行弱分类，其中每个所述级分类器包含一个共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
根据第二或第三实施例的检测装置其整体上看是由多个“级分类器”SC串行联结的一个级联结构分类器，但它是为多个类别物体的同时检测设计的，在每个级分类器内部多个类别的强分类器被共享特征列表(即共享特征组)结合在一起。
以第三实施例的检测装置为例，待检测数据逐次输入级联分类器的各级分类器。
其中，当待检测数据进入某级分类器时，依次被此级所包含的m个强分类器判别，如果某个强分类器输出+1，则此强分类器判别其为属于相应类别的目标，称为被此强分类器通过，否则输出-1，判别为非对应类别的目标，称为被此强分类器拒绝。
其中，所述判别过程如下：计算当前级分类器的特征列表中的所有有效特征的值；对此级的m个强分类器，依次按照对特征列表中各特征的共享情况，根据计算已得的特征值确定各个弱分类器的输出，并相加得到最终的强分类器的输出。
所述判别过程中，如果待检测数据被某个用于检测类别Ci的强分类器拒绝的情况下，则后续级分类器中的用于检测类别Ci和其子类的相应强分类器不再对所述输入的待检测数据继续判别，此时称所述待检测数据被类别Ci所对应的叶子层类别拒绝。
所述判别过程中，各级分类器的特征列表中只与所述不再参与判别过程的各强分类器相关的特征视为无效特征，不再参与计算，以节省计算成本。
所述判别过程中，如果待检测数据被所有叶子层类别拒绝，则中止判别过程，称此待检测数据为非目标数据。所述判别过程的最后，如果待检测数据被最后一级分类器的某个强分类器通过，则判别此待检测数据为具有所述强分类器所对应的目标类别属性，如果待检测数据被最后一级的多个强分类器通过，则判别此待检测数据具有相应的多重目标类别属性。
根据本发明的检测装置可对各种多类目标数据进行检测，而在输入的图像或视频中对多个类别的预定目标进行检测的情况下，根据本发明的检测装置还可包括：被配置成对待检测图像或视频进行窗口遍历的窗口遍历部件、和后处理部件，后处理部件被配置成将所述窗口遍历部件产生的窗口进行合并，并使用预定阈值对合并窗口进行过滤，以获得最终的检测结果。
图8示出了根据本发明的检测装置检测图像或视频中预定多类目标的流程。
窗口遍历过程810：对任意给定的待检测图像(步骤S811)或从待检测视频中截取的图像，使用矩形窗口进行图像遍历(步骤S812)，在步骤S813依次得到窗口图像(其中遍历的顺序和方式任意，可以是从左到右、从上到下的，也可以是从右到左，从下到上的；遍历时窗口平移的步长任意，可以是逐像素的，也可以是隔多个像素的，或者与当前窗口的尺寸成比例关系)。
在遍历时，依次对扫描过程中得到的每个窗口应用所述级联分类器，使用训练所得的分类器中的特征通过对窗口图像进行特征计算(步骤S814)并应用所述分类器进行分类(步骤S815)。如果级联分类器判别此窗口图像为目标类别(具有一种以上的目标类别属性)，则记录此窗口在原始图像中的位置和尺寸，以及其所具有的所有目标类别属性(步骤S816)。窗口遍历结束后，按照一定的比例因子将图像缩小，重新进行上述窗口遍历和窗口图像判定过程。重复以上过程，直到当图像缩小到窗口遍历无法进行(图像的高度小于窗口高度，或图像的宽度小于窗口宽度)为止(见步骤S817和S818)。将所有正响应窗口按照其对应的图像与原图像的尺寸比例因子映射到原图像，得到所有正响应在原图像中的位置和尺寸。
遍历图像时除了采用以上的模式WinScanMode1(即选择固定尺寸的窗口遍历图像，遍历结束后，按一定比例缩小或放大图像的尺寸，使用固定尺寸的窗口重新遍历图像)，还可采用模式WinScanMode2，其中保持图像的尺寸不变，选择第一次遍历时窗口的尺寸，当遍历结束后，按一定比例缩小或放大窗口的尺寸，重新遍历原图像。
对每个窗口图像使用训练所得级联式分类器进行判别后，如果分类结果为+1，则：如果选择WinScanMode1，记录当前窗口的尺寸和位置，并按照缩放图像的比例将当前窗口的尺寸和位置映射回原图像坐标空间，得到当前响应在原图像中的位置和尺寸；如果选择WinScanMode2，则直接记录当前窗口的尺寸和位置。
后处理流程820由后处理部件执行，包括：步骤S821窗口合并以便合并相邻的正响应结果和步骤S822阈值过滤以便舍弃弱响应，并将经过窗口合并和阈值过滤后剩余的合并结果作为最终的检测结果(步骤S830)。
具体地，在图像中的同一目标(汽车)附近会产生多重响应，将邻近的多重响应合并为一个输出响应。
首先，所述合并过程定义“临近”为具有相邻的窗口中心位置、相近的尺寸比例和相同的目标类别属性，然后计算临近的一簇目标窗口的平均中心位置、平均窗口尺寸，并将合并的窗口的数量作为合并结果的置信度，
其次，所述合并过程对合并后的位置中心相邻和尺寸相近的合并结果进行目标属性合并，即如果图像中某个位置附近有多个具有不同目标属性的合并结果，统计各个目标属性的数量，取数量最大的目标属性为最终目标属性，取各个目标属性的置信度的和为最终合并结果的置信度，
所述合并过程结束后，当合并窗口的置信度大于或等于预设置信度阈值时，接受此合并结果，否则舍弃此合并结果。
技术效果
1、根据本发明的各个实施例，多类目标的分类器之间进行特征共享，但与共享特征相关的弱分类器在各类内部单独构建的方式，使得各类目标间的差异得以有效区分，提高了训练的收敛速度，同时也提高了联合分类器对各类目标间的区分性能。不硬性规定特征在所有类别中进行共享的方式减少了不必要的运算。
2、根据本发明的各个实施例，多类分类器间的特征共享减少了多类分类器的特征计算成本。
例如在本发明的第三实施例中，给定三类汽车(轿车、卡车和巴士)的样本共17000个，分别训练三个并行的级联分类器和一个特征共享的联合分类器，训练所得分类器使用Haar-like特征的数量如下表所示：
由上表可见本发明实施例的方法可以大大减少所使用特征的数量。
设定开放汽车测试集(集内样本未参与训练，包含三类汽车样本共2264个)和背景图像测试集(尺寸不统一，提供窗口图像约5300000个)。并行使用三类汽车的级联分类器处理以上测试集，然后使用特征共享的联合分类器处理以上测试集，测试结果如下表所示：
  检测率   汽车测试集处理时间   误检率   背景图像处理时间
  并行分类器   90.86％   0.110s   1.27e-5   72.399s
  联合分类器   91.43％   0.102s   2.87e-5   45.980s
由上表可见，两种方案具有类似的分类性能，但联合分类器具有更高的检测效率。分类器所用特征的计算越复杂，联合分类器的检测效率优势就越明显。
3、根据本发明的第二和第三实施例，联合分类器既要区分(多类)目标图像与非目标图像，又要尽力体现各目标类别间的差异。由粗到精的多层次样本类别使用方式使得联合分类器优先体现目标与非目标之间的整体差异，而后考虑目标类别间的差异，进一步提高了检测的效率。
4、根据本发明的第二和第三实施例，在多类联合训练时，各类独立使用负样本集的方式便于特征共享式的分类器采用Cascade结构形式以获得更高的检测效率。
其他实施例
另外，还应该指出的是，上述系列处理和装置也可以通过软件和固件实现。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所示的通用计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等等时所需的数据。
CPU 901、ROM 902和RAM 903经由总线904彼此连接。输入/输出接口905也连接到总线904。
下述部件连接到输入/输出接口905：输入部分906，包括键盘、鼠标等等；输出部分907，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分908，包括硬盘等等；和通信部分909，包括网络接口卡比如LAN卡、调制解调器等等。通信部分909经由网络比如因特网执行通信处理。
根据需要，驱动器910也连接到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
以上描述了本发明的优选实施方式。本领域的普通技术人员知道，本发明的保护范围不限于这里所公开的具体细节，而可以具有在本发明的精神实质范围内的各种变化和等效方案。

Claims (20)

1.一种用于对多个类别目标数据进行检测的检测装置，包括：
输入单元，被配置成输入待检测数据；
联合分类器，其内部包含数量与所述类别数量相对应并用于分别检测对应类别的目标数据的强分类器，其中，每个所述强分类器都由一组弱分类器相加得到，每个弱分类器使用一个特征对所述待检测数据进行弱分类；以及
判别单元，被配置成根据所述多个强分类器的分类结果，对所述待检测数据属于哪个类别的目标数据进行判别，
其中所述联合分类器内包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
2.一种用于对多个类别目标数据进行检测的检测装置，其中，所述多个类别按相似性标准被逐级合并为预定多层结构，并且所述多个类别作为划分最细的类别设置在最底层，所述检测装置包括：
输入单元，被配置成输入待检测数据；及
级联分类器，所述级联分类器包括多个串联的级分类器，所述多个级分类器被配置成按照由粗到细的策略对所述预定多层结构中的各层类别分别进行分类处理，并且每个级分类器都包括数量与所处理类别数量相对应的强分类器，其中，每个所述强分类器包括一组弱分类器，每个弱分类器使用一个特征对所述待检测数据进行弱分类，
其中每个所述级分类器包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
3.根据权利要求2所述的检测装置，其中，每个所述级分类器还被配置成：针对输入的待检测数据，计算其共享特征列表中的各有效特征的特征值；以及，针对所述级分类器中的各个强分类器，根据针对强分类器所使用的特征查询已计算所得的特征值列表从而确定所述强分类器的各个弱分类器的输出，并相加得到最终的强分类器的输出。
4.根据权利要求2所述的检测装置，其中，所述级联分类器被配置成：使输入的待检测数据依次被各个级分类器中的各个强分类器判别，并且在输入的待检测数据被其中一个用于检测类别Ci的强分类器判别为非目标数据的情况下，则后续的各级分类器中的用于检测类别Ci和/或其子类的相应强分类器不再对所述输入的待检测数据继续判别。
5.根据权利要求4所述的检测装置，其中，所述级联分类器被配置成：针对每个所述级分类器，判断其共享特征列表中是否存在只与所述不再参与判别过程的各强分类器相关的特征，如果有则标记该特征为无效特征，不再计算其特征值。
6.根据权利要求2所述的检测装置，其中，所述级联分类器被配置成：如果待检测数据被任意一级级分类器中的所有强分类器拒绝，则中止分类处理；并且将所述待检测数据判别为非目标数据。
7.根据权利要求2所述的检测装置，其中，所述多个级分类器中的最后一级级分类器还包括判别单元，该判别单元被配置成：如果待检测数据被某个强分类器通过，则判别所述待检测数据为具有所述强分类器所对应的目标类别属性；如果待检测数据被所述最后一级级分类器的多个强分类器通过，则判别此待检测数据具有相应的多重目标类别属性。
8.根据权利要求2所述的检测装置，用于在输入的图像或视频中对多个类别的预定目标进行检测，其中还包括：被配置成对待检测图像或从待检测视频中截取的图像进行窗口遍历的窗口遍历部件，
所述级联分类器被配置成对所述窗口遍历部件获取的窗口图像进行分类处理，并且在判别窗口图像为目标类别的情况下，记录所述窗口在原始图像中的位置和尺寸及其具有的所有目标类别属性。
9.根据权利要求8所述的检测装置，其中还包括后处理部件，被配置成将所述窗口遍历部件产生的具有目标类别属性的窗口进行局部临近合并。
10.根据权利要求9所述的检测装置，其中所述后处理部件被进一步配置成：
针对具有相邻的窗口中心位置、相近的尺寸比例和相同的目标类别属性的窗口，计算临近的一簇目标窗口的平均中心位置、平均窗口尺寸，并将合并的窗口的数量作为合并结果的置信度；
对合并后的位置中心相邻和尺寸相近的合并结果进行目标属性合并，即如果所述图像中某个位置附近有多个具有不同目标属性的合并结果，则统计各个目标属性的置信度总和，取置信度总和最大的目标属性为最终目标属性，并取各个目标属性的置信度总和的和为最终合并结果的置信度，
当所述最终合并结果的置信度大于或等于预设置信度阈值时，接受所述最终合并结果，否则舍弃所述最终合并结果。
11.一种用于对多个类别目标数据进行检测的检测方法，包括：
输入待检测数据；
使用包括多个强分类器的联合分类器对所述待检测数据进行分类，其中所述强分类器具有与所述类别数量相对应的数量并分别用于检测对应类别的目标数据，所述联合分类器内包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值；以及
根据所述多个强分类器各自的分类结果，对所述待检测数据属于哪个类别的目标数据进行判别。
12.一种用于对多个类别目标数据进行检测的检测方法，其中，所述多个类别按相似性标准被逐级合并为预定多层结构，并且所述多个类别作为划分最细的类别设置在最底层，所述检测方法包括：
输入待检测数据；以及
使用包括多个串联的级分类器的级联分类器对所述待检测数据进行分类，其中所述多个级分类器按照由粗到细的策略对所述预定多层结构中的各层类别分别进行分类处理，并且每个级分类器都包括数量与所处理类别数量相对应的强分类器，
所述使用级联分类器进行分类的步骤包括：使输入的待检测数据依次被各个级分类器中的各个强分类器判别，其中每个所述级分类器包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用，使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
13.根据权利要求12所述的检测方法，其中，所述使输入的待检测数据依次被各个级分类器中的各个强分类器判别的步骤包括：
针对输入的待检测数据，计算所述级分类器的共享特征列表中的各有效特征的特征值；以及，针对所述级分类器中的各个强分类器，根据针对强分类器所使用的特征查询已计算所得的特征值列表从而确定此强分类器的各个弱分类器的输出，并相加得到最终的强分类器的输出。
14.根据权利要求12所述的检测方法，其中，所述使输入的待检测数据依次被各个级分类器中的各个强分类器判别的步骤包括：在输入的待检测数据被其中一个用于检测类别Ci的强分类器判别为非目标数据的情况下，则后续的各级分类器中的用于检测类别Ci和/或其子类的相应强分类器不再对所述输入的待检测数据继续判别。
15.根据权利要求14所述的检测方法，其中，使输入的待检测数据依次被各个级分类器中的各个强分类器判别的步骤包括：判断所述级分类器的共享特征列表中是否存在只与所述不再参与判别过程的各强分类器相关的特征，如果有则标记该特征为无效特征，不再计算其特征值。
16.根据权利要求12所述的检测方法，其中，所述使用级联分类器进行分类的步骤还包括：如果待检测数据被任意一级级分类器中的所有强分类器拒绝，则中止分类处理；并且将所述待检测数据判别为非目标数据。
17.根据权利要求12所述的检测方法，其中，在使用最后一级级分类器进行分类处理后，还包括：
如果待检测数据被某个强分类器通过，则判别所述待检测数据为具有所述强分类器所对应的目标类别属性；如果待检测数据被所述最后一级级分类器的多个强分类器通过，则判别此待检测数据具有相应的多重目标类别属性。
18.根据权利要求12所述的检测方法，用于在输入的图像或视频中对多个类别的预定目标进行检测，其中还包括：对待检测图像或从待检测视频中截取的图像进行窗口遍历，
使用所述级联分类器对所述待检测数据进行分类的步骤包括：使用所述级联分类器对所述窗口遍历所获取的窗口图像进行分类处理，并且在判别窗口图像为目标类别的情况下，记录所述窗口在原始图像中的位置和尺寸及其具有的所有目标类别属性。
19.根据权利要求18所述的检测方法，其中还包括：将所述窗口遍历部件产生的具有目标类别属性的窗口进行局部临近合并。
20.根据权利要求19所述的检测方法，其中所述局部临近合并步骤包括：
针对具有相邻的窗口中心位置、相近的尺寸比例和相同的目标类别属性的窗口，计算临近的一簇目标窗口的平均中心位置、平均窗口尺寸，并将合并的窗口的数量作为合并结果的置信度；
对合并后的位置中心相邻和尺寸相近的合并结果进行目标属性合并，即如果所述图像中某个位置附近有多个具有不同目标属性的合并结果，则统计各个目标属性的置信度总和，取置信度总和最大的目标属性为最终目标属性，并取各个目标属性的置信度总和的和为最终合并结果的置信度，
当所述最终合并结果的置信度大于或等于预设置信度阈值时，接受所述最终合并结果，否则舍弃所述最终合并结果。
CN200910132668A 2009-04-01 2009-04-01 多类目标的检测装置及检测方法 Pending CN101853389A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN200910132668A CN101853389A (zh) 2009-04-01 2009-04-01 多类目标的检测装置及检测方法
JP2012502431A JP5500242B2 (ja) 2009-04-01 2010-03-23 複数クラスの目標の検出装置および検出方法
EP10758018A EP2416278A1 (en) 2009-04-01 2010-03-23 Device and method for multiclass object detection
PCT/CN2010/071193 WO2010111916A1 (zh) 2009-04-01 2010-03-23 多类目标的检测装置及检测方法
US13/257,617 US8843424B2 (en) 2009-04-01 2010-03-23 Device and method for multiclass object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910132668A CN101853389A (zh) 2009-04-01 2009-04-01 多类目标的检测装置及检测方法

Publications (1)

Publication Number Publication Date
CN101853389A true CN101853389A (zh) 2010-10-06

Family

ID=42804869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910132668A Pending CN101853389A (zh) 2009-04-01 2009-04-01 多类目标的检测装置及检测方法

Country Status (5)

Country Link
US (1) US8843424B2 (zh)
EP (1) EP2416278A1 (zh)
JP (1) JP5500242B2 (zh)
CN (1) CN101853389A (zh)
WO (1) WO2010111916A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799889A (zh) * 2011-05-23 2012-11-28 索尼公司 学习装置、学习方法和程序
CN102855500A (zh) * 2011-06-27 2013-01-02 东南大学 一种基于Haar和HoG特征的前车检测方法
CN104809435A (zh) * 2015-04-22 2015-07-29 上海交通大学 一种基于视觉一致性约束的图像目标分类方法
CN105718937A (zh) * 2014-12-03 2016-06-29 财团法人资讯工业策进会 多类别对象分类方法及系统
CN105723419A (zh) * 2013-11-19 2016-06-29 哈曼国际工业有限公司 对象追踪
CN106446832A (zh) * 2016-09-27 2017-02-22 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
CN106951899A (zh) * 2017-02-24 2017-07-14 李刚毅 基于图像识别的异常检测方法
CN107273910A (zh) * 2016-04-01 2017-10-20 斯特拉德视觉公司 过滤器学习方法及利用过滤器检测测试图像中的对象的方法、学习装置及对象识别支持装置
CN107341428A (zh) * 2016-04-28 2017-11-10 财团法人车辆研究测试中心 影像辨识系统及自适应学习方法
CN107924493A (zh) * 2015-08-20 2018-04-17 三菱电机株式会社 学习装置和学习识别系统
CN108072909A (zh) * 2016-11-17 2018-05-25 富士通株式会社 物品检测方法、装置和系统
CN108388919A (zh) * 2018-02-28 2018-08-10 大唐高鸿信息通信研究院（义乌）有限公司 车载短距离通信网安全特征的识别和预警方法
CN108931540A (zh) * 2017-05-27 2018-12-04 富士通株式会社 物品检测装置
CN109308480A (zh) * 2017-07-27 2019-02-05 高德软件有限公司 一种图像分类方法及装置
CN109359683A (zh) * 2018-10-15 2019-02-19 百度在线网络技术（北京）有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN109961079A (zh) * 2017-12-25 2019-07-02 北京君正集成电路股份有限公司 图像检测方法及装置
CN110163183A (zh) * 2019-05-30 2019-08-23 北京旷视科技有限公司 目标检测算法的评估方法、装置、计算机设备和存储介质
CN110414541A (zh) * 2018-04-26 2019-11-05 京东方科技集团股份有限公司 用于识别物体的方法、设备和计算机可读存储介质
CN110533058A (zh) * 2018-05-24 2019-12-03 株式会社捷太格特 信息处理方法、信息处理装置及程序
CN111783876A (zh) * 2020-06-30 2020-10-16 西安全志科技有限公司 自适应智能检测电路及图像智能检测方法
CN113673576A (zh) * 2021-07-26 2021-11-19 浙江大华技术股份有限公司 图像检测方法、终端及其计算机可读存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
JP5707570B2 (ja) * 2010-03-16 2015-04-30 パナソニックＩｐマネジメント株式会社 物体識別装置、物体識別方法、及び、物体識別装置の学習方法
US8447139B2 (en) * 2010-04-13 2013-05-21 International Business Machines Corporation Object recognition using Haar features and histograms of oriented gradients
CN102411716A (zh) * 2010-09-21 2012-04-11 索尼公司 目标检测和分类方法和装置
CA2827122A1 (en) 2011-02-11 2012-08-16 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods, systems, and media for determining carotid intima-media thickness
US9684957B2 (en) 2011-02-11 2017-06-20 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University Systems methods, and media for detecting an anatomical object in a medical device image using a multi-stage classifier
US9330336B2 (en) * 2011-09-16 2016-05-03 Arizona Board of Regents, a body corporate of the State of Arizona, acting for and on behalf of, Arizona State University Systems, methods, and media for on-line boosting of a classifier
US8649613B1 (en) * 2011-11-03 2014-02-11 Google Inc. Multiple-instance-learning-based video classification
WO2013116865A1 (en) 2012-02-02 2013-08-08 Arizona Board Of Regents, For And On Behalf Of, Arizona State University Systems, methods, and media for updating a classifier
US9603554B2 (en) 2012-02-03 2017-03-28 The Arizona Board Of Regents Systems, methods, and media for monitoring the condition of a patient's heart
JP5780979B2 (ja) * 2012-02-17 2015-09-16 株式会社東芝 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
US9443137B2 (en) * 2012-05-08 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting body parts
US9449381B2 (en) 2012-09-10 2016-09-20 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University Methods, systems, and media for generating and analyzing medical images having elongated structures
CN103150903B (zh) * 2013-02-07 2014-10-29 中国科学院自动化研究所 一种自适应学习的视频车辆检测方法
US9594983B2 (en) * 2013-08-02 2017-03-14 Digimarc Corporation Learning systems and methods
WO2015142325A1 (en) * 2014-03-19 2015-09-24 Empire Technology Development Llc Streaming analytics
KR102445468B1 (ko) 2014-09-26 2022-09-19 삼성전자주식회사 부스트 풀링 뉴럴 네트워크 기반의 데이터 분류 장치 및 그 데이터 분류 장치를 위한 뉴럴 네트워크 학습 방법
CN106295666B (zh) * 2015-05-14 2020-03-03 佳能株式会社 获取分类器、检测对象的方法和装置及图像处理设备
US10157467B2 (en) 2015-08-07 2018-12-18 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting central pulmonary embolism in CT pulmonary angiography images
US10180782B2 (en) * 2015-08-20 2019-01-15 Intel Corporation Fast image object detector
US9600717B1 (en) * 2016-02-25 2017-03-21 Zepp Labs, Inc. Real-time single-view action recognition based on key pose analysis for sports videos
US10776912B2 (en) 2016-03-09 2020-09-15 Agency For Science, Technology And Research Self-determining inspection method for automated optical wire bond inspection
CN107180244B (zh) * 2016-03-10 2020-10-23 北京君正集成电路股份有限公司 一种基于级联分类器的图像检测方法及装置
CN110163033B (zh) * 2018-02-13 2022-04-22 京东方科技集团股份有限公司 正样本获取方法、行人检测模型生成方法和行人检测方法
CN109190455B (zh) * 2018-07-18 2021-08-13 东南大学 基于高斯混合和自回归滑动平均模型的黑烟车识别方法
TW202018727A (zh) * 2018-11-09 2020-05-16 財團法人工業技術研究院 整體式學習預測方法與系統
US11720621B2 (en) * 2019-03-18 2023-08-08 Apple Inc. Systems and methods for naming objects based on object content
US11120273B2 (en) * 2019-06-21 2021-09-14 Gfycat, Inc. Adaptive content classification of a video content item
US11132577B2 (en) * 2019-07-17 2021-09-28 Cognizant Technology Solutions India Pvt. Ltd System and a method for efficient image recognition
CN111144478B (zh) * 2019-12-25 2022-06-14 电子科技大学 一种穿帮镜头的自动检测方法
CN111598833B (zh) * 2020-04-01 2023-05-26 江汉大学 一种目标样本瑕疵检测的方法、装置及电子设备
US20220301291A1 (en) * 2020-05-29 2022-09-22 National Technology & Engineering Solutions Of Sandia, Llc Uncertainty-refined image segmentation under domain shift
US11379991B2 (en) * 2020-05-29 2022-07-05 National Technology & Engineering Solutions Of Sandia, Llc Uncertainty-refined image segmentation under domain shift
CN112508062B (zh) * 2020-11-20 2024-07-26 普联国际有限公司 一种开集数据的分类方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424960B1 (en) * 1999-10-14 2002-07-23 The Salk Institute For Biological Studies Unsupervised adaptation and classification of multiple classes and sources in blind signal separation
US20050249401A1 (en) * 2004-05-10 2005-11-10 Claus Bahlmann Method for combining boosted classifiers for efficient multi-class object detection
US20070086660A1 (en) * 2005-10-09 2007-04-19 Haizhou Ai Apparatus and method for detecting a particular subject
US20070154079A1 (en) * 2005-12-16 2007-07-05 Chao He Media validation
CN101315670A (zh) * 2007-06-01 2008-12-03 清华大学 特定被摄体检测装置及其学习装置和学习方法
US20090034813A1 (en) * 2007-08-02 2009-02-05 Siemens Medical Solutions Usa, Inc. Joint Detection and Localization of Multiple Anatomical Landmarks Through Learning

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675711A (en) * 1994-05-13 1997-10-07 International Business Machines Corporation Adaptive statistical regression and classification of data strings, with application to the generic detection of computer viruses
EP1049030A1 (en) * 1999-04-28 2000-11-02 SER Systeme AG Produkte und Anwendungen der Datenverarbeitung Classification method and apparatus
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US20050114313A1 (en) * 2003-11-26 2005-05-26 Campbell Christopher S. System and method for retrieving documents or sub-documents based on examples
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
JP4667912B2 (ja) * 2005-03-09 2011-04-13 富士フイルム株式会社 判別器生成装置、判別器生成方法およびそのプログラム
US20070077987A1 (en) * 2005-05-03 2007-04-05 Tangam Gaming Technology Inc. Gaming object recognition
EP1938249A2 (en) * 2005-09-02 2008-07-02 Blindsight, Inc. A system and method for detecting text in real-world color images
US7756313B2 (en) * 2005-11-14 2010-07-13 Siemens Medical Solutions Usa, Inc. System and method for computer aided detection via asymmetric cascade of sparse linear classifiers
JP4221430B2 (ja) * 2006-09-06 2009-02-12 株式会社東芝 識別器及びその方法
US7840059B2 (en) * 2006-09-21 2010-11-23 Microsoft Corporation Object recognition using textons and shape filters
US7756799B2 (en) * 2006-10-27 2010-07-13 Hewlett-Packard Development Company, L.P. Feature selection based on partial ordered set of classifiers
US7962428B2 (en) * 2006-11-30 2011-06-14 Siemens Medical Solutions Usa, Inc. System and method for joint optimization of cascaded classifiers for computer aided detection
US8031961B2 (en) * 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US20090161912A1 (en) * 2007-12-21 2009-06-25 Raviv Yatom method for object detection
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
CN102147851B (zh) * 2010-02-08 2014-06-04 株式会社理光 多角度特定物体判断设备及多角度特定物体判断方法
US8401250B2 (en) * 2010-02-19 2013-03-19 MindTree Limited Detecting objects of interest in still images
JP2011181016A (ja) * 2010-03-04 2011-09-15 Fujifilm Corp 判別器生成装置および方法並びにプログラム
JP5394959B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 判別器生成装置および方法並びにプログラム
US8879800B2 (en) * 2011-06-15 2014-11-04 Honeywell International Inc. Quality driven image processing for ocular recognition system
EP2774080A4 (en) * 2011-11-01 2015-07-29 Intel Corp OBJECT DETECTION BY MEANS OF EXTENDED SURFFUNCTIONS

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424960B1 (en) * 1999-10-14 2002-07-23 The Salk Institute For Biological Studies Unsupervised adaptation and classification of multiple classes and sources in blind signal separation
US20050249401A1 (en) * 2004-05-10 2005-11-10 Claus Bahlmann Method for combining boosted classifiers for efficient multi-class object detection
US20070086660A1 (en) * 2005-10-09 2007-04-19 Haizhou Ai Apparatus and method for detecting a particular subject
CN1952954A (zh) * 2005-10-09 2007-04-25 欧姆龙株式会社 特定被摄体检测装置及方法
US20070154079A1 (en) * 2005-12-16 2007-07-05 Chao He Media validation
CN101315670A (zh) * 2007-06-01 2008-12-03 清华大学 特定被摄体检测装置及其学习装置和学习方法
US20090034813A1 (en) * 2007-08-02 2009-02-05 Siemens Medical Solutions Usa, Inc. Joint Detection and Localization of Multiple Anatomical Landmarks Through Learning

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799889A (zh) * 2011-05-23 2012-11-28 索尼公司 学习装置、学习方法和程序
CN102855500A (zh) * 2011-06-27 2013-01-02 东南大学 一种基于Haar和HoG特征的前车检测方法
CN105723419A (zh) * 2013-11-19 2016-06-29 哈曼国际工业有限公司 对象追踪
CN105723419B (zh) * 2013-11-19 2019-07-23 哈曼国际工业有限公司 对象追踪
CN105718937A (zh) * 2014-12-03 2016-06-29 财团法人资讯工业策进会 多类别对象分类方法及系统
CN105718937B (zh) * 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及系统
CN104809435A (zh) * 2015-04-22 2015-07-29 上海交通大学 一种基于视觉一致性约束的图像目标分类方法
CN104809435B (zh) * 2015-04-22 2018-01-19 上海交通大学 一种基于视觉一致性约束的图像目标分类方法
CN107924493A (zh) * 2015-08-20 2018-04-17 三菱电机株式会社 学习装置和学习识别系统
CN107273910A (zh) * 2016-04-01 2017-10-20 斯特拉德视觉公司 过滤器学习方法及利用过滤器检测测试图像中的对象的方法、学习装置及对象识别支持装置
CN107341428A (zh) * 2016-04-28 2017-11-10 财团法人车辆研究测试中心 影像辨识系统及自适应学习方法
CN106446832B (zh) * 2016-09-27 2020-01-10 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
CN106446832A (zh) * 2016-09-27 2017-02-22 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
CN108072909A (zh) * 2016-11-17 2018-05-25 富士通株式会社 物品检测方法、装置和系统
CN106951899A (zh) * 2017-02-24 2017-07-14 李刚毅 基于图像识别的异常检测方法
CN108931540A (zh) * 2017-05-27 2018-12-04 富士通株式会社 物品检测装置
CN109308480A (zh) * 2017-07-27 2019-02-05 高德软件有限公司 一种图像分类方法及装置
CN109961079A (zh) * 2017-12-25 2019-07-02 北京君正集成电路股份有限公司 图像检测方法及装置
CN108388919A (zh) * 2018-02-28 2018-08-10 大唐高鸿信息通信研究院（义乌）有限公司 车载短距离通信网安全特征的识别和预警方法
CN108388919B (zh) * 2018-02-28 2021-08-10 大唐高鸿信息通信(义乌)有限公司 车载短距离通信网安全特征的识别和预警方法
US11093800B2 (en) 2018-04-26 2021-08-17 Boe Technology Group Co., Ltd. Method and device for identifying object and computer readable storage medium
CN110414541A (zh) * 2018-04-26 2019-11-05 京东方科技集团股份有限公司 用于识别物体的方法、设备和计算机可读存储介质
CN110414541B (zh) * 2018-04-26 2022-09-09 京东方科技集团股份有限公司 用于识别物体的方法、设备和计算机可读存储介质
CN110533058A (zh) * 2018-05-24 2019-12-03 株式会社捷太格特 信息处理方法、信息处理装置及程序
CN109359683B (zh) * 2018-10-15 2021-07-27 百度在线网络技术（北京）有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN109359683A (zh) * 2018-10-15 2019-02-19 百度在线网络技术（北京）有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN110163183A (zh) * 2019-05-30 2019-08-23 北京旷视科技有限公司 目标检测算法的评估方法、装置、计算机设备和存储介质
CN111783876A (zh) * 2020-06-30 2020-10-16 西安全志科技有限公司 自适应智能检测电路及图像智能检测方法
CN111783876B (zh) * 2020-06-30 2023-10-20 西安全志科技有限公司 自适应智能检测电路及图像智能检测方法
CN113673576A (zh) * 2021-07-26 2021-11-19 浙江大华技术股份有限公司 图像检测方法、终端及其计算机可读存储介质

Also Published As

Publication number Publication date
US8843424B2 (en) 2014-09-23
US20120089545A1 (en) 2012-04-12
JP5500242B2 (ja) 2014-05-21
EP2416278A1 (en) 2012-02-08
JP2012523027A (ja) 2012-09-27
WO2010111916A1 (zh) 2010-10-07

Similar Documents

Publication Publication Date Title
CN101853389A (zh) 多类目标的检测装置及检测方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
CN109952614B (zh) 生物粒子的分类系统和方法
CN101872477B (zh) 检测图像中的对象的方法、装置，及包括该装置的系统
Liu et al. Robust graph mode seeking by graph shift
CN108898479B (zh) 信用评价模型的构建方法及装置
CN105354578B (zh) 一种多目标物体图像匹配方法
CN102208038A (zh) 基于视觉词典的图像分类方法
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN110188763B (zh) 一种基于改进图模型的图像显著性检测方法
CN103020582A (zh) 计算机通过视频图像识别车辆类型的方法
CN106156374A (zh) 一种基于视觉词典优化和查询扩展的图像检索方法
Amelio et al. A genetic algorithm for color image segmentation
CN110689091A (zh) 弱监督细粒度物体分类方法
CN106228554A (zh) 基于多属性约简的模糊粗糙集煤粉尘图像分割方法
CN105809113A (zh) 三维人脸识别方法及应用其的数据处理装置
US10915729B2 (en) Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification
CN113158777B (zh) 质量评分方法、质量评分模型的训练方法及相关装置
Kosarevych et al. Image segmentation based on the evaluation of the tendency of image elements to form clusters with the help of point field characteristics
CN102902976A (zh) 一种基于目标及其空间关系特性的图像场景分类方法
CN108154172B (zh) 基于三支决策的图像识别方法
CN101996326A (zh) 多类目标的检测装置及检测方法
Montagner et al. Staff removal using image operator learning
CN106980878B (zh) 三维模型几何风格的确定方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20101006