JP5500242B2 - 複数クラスの目標の検出装置および検出方法 - Google Patents

Description

本発明は、目標の検出技術に関し、特に、複数クラスの目標データに対して検出を行うための検出装置およびその検出方法に関する。

機械学習方法を利用して画像およびその他の検出待ちデータに対して目標データの検出を行うことが、ますます重要になっている。特に、画像中の物体に対する検出は、すでに一つの重要な分野になっている。

同じクラスの物体でも、光の照射、視角、姿勢等の多くの要因による影響で、画像において大きな差異が発生している可能性があり、画像中の物体に対する検出の技術における大きな困難となっている。これにより、同じクラスの物体が複数のサブクラスに分けられて処理可能になるが、どのようにすれば複数のサブクラスの間の共通性を効率的に利用してその差異を正確に区別できるかということは、依然として更なる研究を要する課題である。

複数のクラスの画像物体の検出技術には、非特許文献１に提案された、複数のクラスの物体の分類器に対して統合訓練を行い、複数のクラスの間で特徴をできるだけ共有することによって、演算コストの低減の目的を達成する特徴共有技術がある。単純な特徴共有の複数のクラス統合訓練は、演算コストの低減に非常に有効であり良好な効果が得られたが、その効率は低い。また、特徴と共に弱分類器を共有するため、強分類器の後段において特徴の共有がますます困難になってしまう。非特許文献２には、これをもとに、さらに、画像において異なる視角や姿態が現れた顔を検出するベクトルBoosting木アルゴリズムを提案した。しかし、非特許文献２に提案されたアルゴリズムは、各クラスの間で特徴共有を強制する。これにより、複数のクラスのうち、あるクラスがその他の各クラスと良好に特徴共有することができない場合、強制的に特徴を共有する方式により分類器に対する更なる訓練が困難になる。

"Sharing Features：Efficient Boosting Procedures for Multiclass Object Detection"，A.Torralba，K.P.Murphy，and W.T.Freeman，CVPR 2004 "Vector Boosting for Rotation Invariant Multi-View Face Detection"，C.Huang，H.Ai，Y.Li，and S. Lao，ICCV 2005

本発明の目的は、上記の既存技術と異なる、複数のクラスの目標データに対して検出を行う検出装置およびその検出方法を提供することである。

本発明の一つの側面によれば、複数のクラスの目標データに対して検出を行う検出装置の訓練方法が提供され、上記訓練方法は、
上記複数のクラスのうち、特徴共有を行う最適特徴共有サンプルクラス集合を特定し、特徴トラバースにより最適特徴を選出し、
上記選出された最適特徴を使用して、上記最適特徴共有サンプルクラス集合における各クラスのそれぞれに対して弱分類器を構築し、
最適特徴の選出を反復に行うことにより現在ステージの強分類器の特徴リストを取得し、同時に、上記複数のクラスのそれぞれに対して一組の弱分類器を構築し、上記複数のクラスを処理可能な相応の複数の強分類器を含む検出装置を取得することを含む。

本発明による、複数のクラスの目標データに対して検出を行う検出装置の訓練方法は、複数のクラスの目標のサンプルで訓練を行い、上記複数のクラスのうち、どれらのクラスの間で特徴共有すれば誤差が最小になるかということを特定して、特徴共有サンプルクラス集合を取得し、上記選出された最適特徴を使用して上記最適特徴共有サンプルクラス集合のうちの各クラスのそれぞれに対して弱分類器を構築し、これにより弱分類器を含む検出装置を構築する。

上記の訓練方法により、複数のクラスの目標データに対して検出を行う検出装置および検出方法が取得された。検出装置は、検出待ちデータを入力するように配置される入力ユニットと、上記クラスの数に対応する数の強分類器であって、対応するクラスの目標データをそれぞれ検出する強分類器が含まれ、上記強分類器のそれぞれは、一組の弱分類器を加算することにより得られ、弱分類器のそれぞれは、一つの特徴を使用して上記検出待ちデータに対して弱い分類を行う組合せ分類器と、を備え、上記組合せ分類器内に共有特徴リストが含まれ、上記共有特徴リストにおける各特徴のそれぞれは、異なる強分類器にそれぞれ属する１または複数の弱分類器に共有使用され、同一の特徴を使用する、それぞれ異なる強分類器に属する弱分類器は、互いに異なるパラメータ値を有する。このように、各クラスの目標に対する強分器の間で特徴を共有して演算コストを減少するが、各クラスの間で分類器を共有せずにクラスの間の差異を体現する。

本発明の別の一つの側面によれば、ｒ個のクラスの目標データに対して検出を行う検出装置の訓練方法が提供され、上記ｒ個のクラスは、所定の相似性標準に従って、精から粗へステージごとに所定の多階層構造に併合可能であり、上記ｒ個のクラスは、最も細かく区分されたクラスとして最下位層に設置され、ｒは１より大きい自然数であり、上記訓練方法は、
粗から細へのポリシーに従って最上位層から相応するステージ分類器を訓練し始め、各ステージ分類器は、対象となるクラスの数に対応する数の強分類器を有し、上記各ステージ分類器が直列連結されることにより上記検出装置を形成することを含み、
一ステージのｍ個のクラスを検出するステージ分類器に対する訓練は、
当該ステージ分類器が処理するｍ個のクラスのそれぞれに、正サンプル集合と負サンプル集合とを用意し（１＜ｍ≦ｒ）、
上記ｍ個のクラスのうち、特徴共有を行う最適クラス集合を特定し、特徴トラバースにより最適特徴を選出し、
選出された最適特徴を使用して、上記最適特徴共有サンプルクラス集合のうちの各クラスのそれぞれに、弱分類器を構築し、
最適特徴の選出を反復に行うことにより、現在ステージの強分類器の特徴リストを取得し、同時に上記ｍ個のクラスのそれぞれに一組の弱分類器を構築して、上記ｍ個のクラスを処理可能なｍ個の強分類器を含むステージ分類器を取得することを含む。

本発明の第２の側面による、複数（ｒ個）のクラス目標データに対して検出を行う検出装置およびその検出方法によれば、上記複数のクラスが相似性標準に従ってステージごとに所定の多階層構造に併合されるとともに、上記複数のクラスが最も細かく区分されたクラスとして最下位層に設置され、上記検出装置は、
検出待ちデータを入力するように配置される入力ユニットと、
複数の直列連結されたステージ分類器を備え、上記複数のステージ分類器が、粗から細へのポリシーに従って上記所定の多階層構造における各層クラスのそれぞれに対して分類処理を行うように配置され、かつステージ分類器のそれぞれが処理されるクラスの数と対応する数の強分類器を備え、上記強分類器のそれぞれが一組の弱分類器を含み、弱分類器のそれぞれが一つの特徴を使用して上記検出待ちデータに対して弱い分類を行うカスケード分類器と、を備え、
上記ステージ分類器のそれぞれは一つの共有特徴リストを含み、上記共有特徴リストにおける各特徴のそれぞれは、異なる強分類器にそれぞれ属する１または複数の弱分類器に共有使用され、同一の特徴を使用する、それぞれ異なる強分類器に属する弱分類器は、互いに異なるパラメータ値を有する。

同様に、本発明の第２の側面によれば、カスケード分類器である検出装置は、各クラスの目標の強分類器の間で特徴を共有して演算コストを削減するが、各クラスの間で分類器を共有せずにクラス間の差異を体現させる。同時に、複数のクラスの目標を効率に処理するために、各ステージ分類器を訓練する過程において、粗から細への原則に従って、複数のクラスを先に併合処理した後に、次第にクラスを分解して精細化処理を行う。

図面を結合しながら、以下の例示的な具体実施例の説明を参照することにより、本発明自体、好適な実施形態および本発明の目標および利点がより明らかになる。

本発明の第１の実施例による複数のクラスの目標データに対して検出を行う検出装置の訓練方法を示す図である。 本発明の第１の実施例による訓練方法に使用されたHaar-like特徴のプロトタイプを示す図である。 弱分類器および強分類器の構成を示す図である。 弱分類器および強分類器の構成を示す図である。 本発明の第１の実施例による訓練方法により得られた検出装置の分類器を示す図である。 クラス木構造ＣＴで訓練過程中のサンプルクラスの変化を示す図である。 クラス木構造ＣＴで訓練過程中のサンプルクラスの変化を示す図である。 本発明の第３の実施例による訓練方法を示す図である。 本発明の第２または第３の実施例による訓練方法により得られた検出装置の分類器を示す図である。 本発明による検出装置が画像または動画における所定の複数のクラスの目標を検出する手順を示す図である。 本発明を実現するコンピュータの例示的な構造を示すブロック図である。

以下に、図面を結合しながら本発明を詳細に説明する。なお、説明される実施例は、本発明に対する理解を容易にさせるものであって、それに対して何らの限定作用をするわけではない。

第１の実施例の訓練方法
第１の実施例において、複数のクラスの自動車（セダン、バスおよびトラック）を検出待ち目標とする。本発明の実施例は、画像および／または動画中の自動車に対する検出に限定されず、画像および／または動画中のその他の物体（例えば、多角度の人顔）ひいてはリアルタイムネットワークデータまたはホストデータに対する侵入分類等に対して検出を行ってもよい。

図１は、本発明の第１の実施例による複数のクラスの目標データに対して検出を行う検出装置の訓練方法１００を示す。

この方法は、ステップＳ１０１からスタートする。まず、上記複数のクラスのそれぞれに、正サンプル集合と負サンプル集合とを用意しておく。本実施例では、３クラスの自動車（セダン、バスおよびトラック）のそれぞれに所定の数の正サンプル集合と負サンプル集合とを用意しておく。その正サンプル集合は、３クラスの自動車（セダン、バスおよびトラック）のそれぞれの正面視角におけるサイズ同一の自動車画像集合であり、そのサイズが３２×３２（ピクセル）として統一される。その負サンプル集合は、背景画像集合（一組の目標物体が含まれていない画像であり、サイズに対する要求が一切なし）からサンプリングされたものであり、そのサイズが３２×３２（ピクセル）まで統一して拡縮される。

同時に訓練特徴プールを用意する。Haar-like特徴のプロトタイプ、例えば３２×３２（ピクセル）の画像に応用して数十万の具体的な訓練特徴を取得する。ただし、本発明の実施例では、使用される特徴の具体的なクラスが限定されないことが理解されるべきである。例えば、Haar-like特徴、ＨＯＧ（勾配方位ヒストグラム）特徴、ＬＢＰ（局所バイナリパターン）特徴またはその他の特徴であってもよい。

ここで、図２は、使用されるHaar-like特徴のプロトタイプを示す。Haar-like特徴は、画像において定義された一つの矩形であって、図２にそれぞれ白色および黒色で示された二つの部分を含む矩形であり、矩形の方位が直立と４５度の傾斜とに分けられる。Haar-like特徴のプロトタイプは、矩形の画像における位置（ｘ，ｙ）と矩形のサイズ（幅ｗおよび高さｈ）という四つのパラメータを有する。矩形の位置、サイズおよび幅高比の変化に従って、数万程の具体的なHaar-like特徴を生成して画像に作用することができる。Haar-like特徴の値はスカラであり、白色領域内のすべてのピクセルの階調値の総和をSum(W)とし、黒色領域内のすべてのピクセルの階調値の総和をSum(B)とすると、Haar-like特徴の値は、公式feature_i=Sum(W)-Sum(B)により算出される。

図１のステップＳ１０２から訓練を開始する。上記複数のクラスのうち、特徴共有を行う最適特徴共有サンプルクラス集合を特定し、特徴のトラバースによって最適特徴を選出する。例えば、複数の選択待ち訓練特徴を基に、順方向選択（前向順序選択）等の方法を利用することにより、上記複数のクラス（ここでは３つのクラス）のうち、どのクラスの間で特徴が共有されて誤差が最小になるかということを特定し、特定されたクラスからなる特徴共有サンプルクラス集合Ｓを選択し、特徴のトラバースによって相応する訓練特徴を選出する。

特徴共有サンプルクラス集合Ｓおよび相応する選択された最適特徴が特定された後に、上記選出された最適特徴を使用して上記最適特徴共有サンプルクラス集合のうちの各クラスに対してそれぞれ弱分類器を構築する（図１のステップＳ１０３）。弱分類器の構造は図３ａに示される。本実施例では、決定木を弱分類器とし、各弱分類器は、一つのHaar-like特徴を用いて構築され、入力された特徴値と閾値との関係によって二つの異なる出力がある。

図１のステップＳ１０４において、最適特徴の選出を反復して行うことにより、現在のステージの強分類器の特徴リストを取得し、同時に上記複数のクラス（ここでは３つのクラス）のそれぞれに対して一組の弱分類器を構築し、上記複数のクラスを処理可能な相応する複数の強分類器を含む検出装置を取得する。各クラスに対応する強分類器（H(C_i)分類器）の構造は、図３ｂに示すように、その出力が＋１または−１であり、かつその閾値Θは必要に応じて調節可能である。

弱分類器h(Ci)が使用するこれらの特徴は、分類器の特徴リスト（特徴セット）からのものである。分類器の訓練過程は、各H(C_i)分類器を探す過程、すなわち各クラスに対して複数の弱分類器h(Ci)を探索する過程、最終的に各弱分類器に使用される特徴を反復に探索する過程、すなわち特徴選出過程である。この過程において、最終的に一組の共有特徴f_jを取得する。

反復のステップは、当業者に周知であるようになされうる。すなわち、反復回数Ｔを指定し、サンプル重みを調整することで次回の反復を開始して上記複数のクラス（ここでは３つのクラス）のそれぞれに対して弱分類器を再構築し、反復回数Ｔが満足された後に、すべての弱分類器を含む検出装置を取得し、フローを終了する（ステップＳ１０５）。

本発明によれば、好ましくは、訓練終了判定条件を採用して反復を行ってもよい。各クラスの分類器H(C_i)のそれぞれに対して訓練による所望の性能を設定し、あるクラスが訓練過程においてその所望の性能に到達すれば、このクラスは当該分類器のH(C_i)統合訓練過程から退出する。例えば、現在の特徴共有サンプルクラス集合Ｓに属する全てのクラス（C_i∈S）に対して誤り検出率f(C_i)=N_FA/N_Total（N_FAは、当該分類器により負サンプル集合のうちのサンプルが正サンプルとして誤検出された数であり、N_Totalは、負サンプルの総数）を検定し、f(C_i)＜f_iであれば、クラスＣ_ｉは既に訓練終了条件を満足したものとし、当該分類器の訓練から退出する。すべてのサンプルクラスが訓練終了条件を満足すれば、当該分類器の訓練を終了する。一部のサンプルが訓練条件を満足しない場合、Ｓに属するC_i（C_i∈S）に対しては、サンプル重みを

のように更新し、

に対してはサンプル重みをそのまま保持し、同時にすべてのサンプル重みを

になるように正規化して次回の反復を行う。

本発明の第１の実施例によれば、分類器に対する訓練過程において、順方向選択法を使用して、訓練に参加するすべてのクラスのうち、どのクラスの間で特徴が共有されて全体の誤差が最小になるか、すなわち、どのクラスにより一つの特徴共有サンプルクラス集合Ｓを構成して特徴共有することが最適になるかということを特定する。同時に、特徴ベースで集合Ｓ内のクラスにとって分類性能が最適となる特徴を選出した後に、最適特徴を用いてＳのうちのクラスのそれぞれに弱分類器を構築する。ただし、本発明は、順方向選択法に限定されず、その他の方向選択（例えば逆方向選択法）を採用して、特定されたクラスからなる特徴共有サンプルクラス集合を選択してもよい。

第１の実施例による検出装置および検出方法
第１の実施例では、クラス毎に一つの強分類器を訓練する。すべての強分類器の訓練は統合して行われ、各強分類器における弱分類器が使用する特徴は、複数のクラスの間で共有されるが、各弱分類器の訓練は、各クラスの内部においてそれぞれ独立に行われる。特徴は、すべてのクラスに共有されることには限定されず、ある特徴は、すべてのクラスに共有されてもよいし、幾つかのクラスに共有されてもよい。

本発明の第１の実施例の訓練方法により取得された検出装置は、検出待ちデータを入力するように配置される入力ユニットと、複数の強分類器を含む組合せ分類器と、判定ユニットとを備える。判定ユニットは、複数の強分類器による分類結果に基づいて、上記検出待ちデータがどのクラスの目標データに属するかを判定するように配置される。当業者には理解されるように、実際の応用では、判定ユニットの具体的な判定基準および方式を柔軟に設置してもよく、あるいは判定ユニットを設置せずに組合せ分類器による分類結果を直接に取得してもよく、上記の両者ともが本発明の要旨および範囲内に含まれる。

図４に示されるように、複数の強分類器からなる組合せ分類器は、上記クラスの数ｍに対応するｍ個の、対応するクラスの目標データをそれぞれ検出するための（本実施例においてｍ＝３）強分類器（第１の実施例のではBoosting分類器H(Ci=Σhj(Ci))である）を含み、各強分類器のそれぞれが一つまたはそれ以上の弱分類器（hj(Ci)）を含み、各上記強分類器のそれぞれが一組の弱分類器の加算により得られたものであり、各弱分類器のそれぞれが一つの特徴を使用して上記検出待ちデータに対して弱い分類を行う。組合せ分類器は、共有特徴リスト（すなわち共有特徴セット）を含み、共有特徴リストにおける各特徴（f₁〜f_n）がそれぞれ異なる強分類器に属する１または複数の弱分類器に共有で使用される（例えば、f₃が強分類器H(C₁)および強分類器H(C₃)に使用されない）。同じ特徴を使用する、異なる強分類器に属する弱分類器は、互いに異なるパラメータの値を有する。このように、演算コストを減少させるために各クラスの目標に対する強分類器の間で特徴を共有したが、クラス間の差異を体現するために、各クラス間で分類器は共有されない。

この検出装置の内部において、検出待ちデータ（例えば、サンプル画像）がそれぞれすべてのクラスの強分類器により処理され、判定ユニットにより判定される。従って、一つの強分類器のみではなく、１よりも多い強分類器の出力が正と判断されることがありうる。異なるクラスの強分類器の間に相互排他的な関係はなく、ある検出待ちデータは、複数のクラスの目標データとして判断される可能性がある。１つの強分類器の出力さえ判断ユニットにより正と判断されれば、検出装置の出力は＋１となり、そうでなければ、出力は−１となる。

第２の実施例
本発明の第２の実施例によれば、複数のクラスの目標データを検出するための検出装置は、複数のステージ分類器により直列連結されたカスケード構造（Cascade）の分類器に設計される。そのため、まず、カスケード分類器を訓練する各ステージ分類器（ＳＣ_ｋ）に使用されるサンプルクラスを、人為的に所定の多階層構造（本発明における第１の多階層構造）として設計する。最も細かく区分されたクラス（例えば、ｒ個のクラス、ｒは１より大きい自然数）を最下位層に設置し、次に所定の相似性標準により、これらのクラスを一つ上位の階層におけるより少ない幾つかの大きいクラスに併合し、その後、最上位層の例えば一つの大きいクラスになるまで順次併合する。

図５ａおよび５ｂは、クラス木構造ＣＴを利用して訓練過程中のサンプルクラスの変化を示す。図５ａにおいて、合計で７クラスの物体のサンプルが訓練に参加し、これらの７クラスを、木の最下位層Level３に設置し、「葉のクラス」C_i ^L3と称す。次に、ある相似性標準に基づいて、７クラスのサンプルのうちの幾つかのクラスを併合して木のより上位の層Level２における３クラスのC_i ^L2を取得する。最後に、Level２の３クラスを最上位層Level１の１クラスC₀ ^L1として併合する。訓練中にサンプルを使用する場合、ＣＴのLevel１から始めて、より上位の層におけるサンプルクラスを先に使用する、すなわち、分類器訓練の早期の目標は、全体的に目標物体と非目標物体とを区別することである。訓練の進行に従って全体的な区別が困難になった場合に、サンプルのクラスの分解を行ってＣＴのLevel２の３クラスのサンプルを使用する。最後に、ＣＴの７個の葉のクラスのサンプルを使用する。図５ｂは、なおもセダン、トラックおよびバスの３クラスに対するものである。この３クラスは、ＣＴの「葉のクラス」であって、併合されてＣＴのルートノードクラスC₀ ^L1になる。相応する訓練は、C₀ ^L1から始めて、適時に３個の葉のクラスC_i ^L2に分解される。勿論、自動車をトラック、セダン、バス等の複数のクラスに分解した後に、各クラスをさらにより細かい複数のサブクラスに継続的に区分してもよい。

本発明の第２の実施例によれば、ｒ個のクラスの目標データに対して検出を行う検出装置の訓練方法は、粗から細へのポリシーに従って最上位層のクラスから相応するステージ分類器を訓練し始め、各ステージ分類器は対象となるクラスの数に対応する数の強分類器を含み、上記各ステージ分類器が直列連結されて上記検出装置を形成する。ここで、１つのステージでｍ個のクラスを検出するステージ分類器に対する訓練は、
当該ステージ分類器が処理するｍ個のクラスのそれぞれに、正サンプル集合と負サンプル集合とを用意し（１＜ｍ≦ｒ）、
上記ｍ個のクラスのうち、特徴共有を行う最適クラス集合を特定し、特徴トラバースにより最適特徴を選出し、
選出された最適特徴を使用して、上記最適特徴を共有するサンプルクラス集合のうちの各クラスについて弱分類器を構築し、
最適特徴の選出を反復して行うことにより、現在のステージの強分類器の特徴リストを取得し、同時に上記ｍ個のクラスのそれぞれに一組の弱分類器を構築して、上記ｍ個のクラスを処理可能なｍ個の強分類器を含むステージ分類器を取得すること、を含む。

以上からわかるように、カスケード分類器のあるステージ分類器SC_kは、このステージ分類器が処理するｍクラスのサンプルに対して訓練を行って得られたものであり、ｍ個のH(C_i)分類器を含み、それぞれｍクラスのサンプルに対応する。同様に、各強分類器H(C_i)のそれぞれは、複数の弱分類器h(C_i)が加算されることにより得られたものである。H(C_i)分類器の構造は図３ｂに示され、決定木を例とする弱分類器h(C_i)は図３ａに示される。

弱分類器h(C_i)に使用されるこれらの特徴は、ステージ分類器SC_kの一組の共有特徴f_jからのものである。ステージ分類器SC_kの訓練過程は、各H(C_i)分類器を探す過程、つまり、各クラスに対して複数の弱分類器h(C_i)を探索する過程であり、最終的には、各弱分類器に使用される特徴を探索する過程、すなわち特徴選出過程であり、これにより上記の共有特徴セットf_jが取得される。

第１の実施例と同様に、共有特徴セットのうちの特徴の何れかは、複数のクラスに使用されて弱分類器を構築する可能性がある。つまり、特徴が複数のクラスに共有される。しかし、弱分類器のパラメータは、各クラスのデータに基づいてそれぞれ算出される。つまり、弱分類器は複数のクラスの間で共有されない。

以上のように、訓練では、まずより上位の層におけるサンプルクラスを使用して訓練を行い、サンプルクラスの分解標準を設定する。訓練の進行に従って、この標準が満足された場合に、最下位層まで既存クラスをより下位の層におけるより細かいサンプルクラスに分解して訓練を継続する。

第２の実施例に採用された「設定されたサンプルクラス分解標準」は、教師ありで各ステージにサブクラス区分を指定し、人為的なサンプルクラス分解を強制的に行うことであってもよい。例えば、最上位層に第１のステージ分類器を指定し、より上位の層に第２、第３のステージ分類器を指定するなど。教師なしで自動的にサブクラスを生成し、かつ訓練を継続する方法を採用してもよい。

代替的に、第２の実施例において、好ましくは、訓練集合内の誤差をサンプルクラス分解の判断標準としてもよい。すなわち、訓練が正常に進行している場合に、訓練集合内の誤差が継続的に減少し、集合内の誤差が継続的に減少することが難しくなったとき、現在使用される幾つかのサンプルクラスのクラス内の差異が大きくて訓練の継続を妨げていると考えられるため、サンプルクラス分解を行う必要がある。この場合、最下位層以外の他の各層クラスに対する各ステージ分類器の訓練過程において、サンプルを分解する可能性があるため、訓練時に粗から細へのポリシーに従って所定の多階層構造における各層のクラスのそれぞれに、１または複数の相応するステージ分類器を訓練しても、例えば、クラス内の差異が非常に大きい場合は、ある層のクラス、特に最上位層クラスに対して、対応するステージ分類器が訓練により得られない可能性がある。訓練が完成した後に、各ステージ分類器により実際に処理された多階層構造クラス層（本発明中の第２の多階層構造）は、事前に人為的に定義された所定の多階層構造（本発明の第１の多階層構造）とは異なる可能性がある。

具体的には、最下位層クラス以外のその他の各層クラスを処理する任意のステージ分類器（すなわち、１≦ｍ＜ｒ）に対して、毎回の反復過程において上記クラスに弱分類器を構築した後に、有効性測定を行ってサンプルクラス分解を行うか否かを判断する。上記の有効性測定は、
現在の構築された弱分類器からなる強分類器の閾値をゼロに設定し、上記強分類器の相応するクラスの正、負サンプルに対する分類誤差を測定し、
上記分類誤差が、逐次の反復過程に従って低下するか否かを判断し、
上記の分類誤差は、逐次の反復過程に従って低下しなくなり、低下が遅くなり、または振動が発生したと判断された場合に、当該ステージ分類器の訓練から退出するとともに、サンプルクラスを粗から細へと一つ下位のサンプルクラスに分解した後に、当該ステージ分類器の訓練を再開すること、を含む。

以上のように、上記所定の多階層構造クラスの最上位層は、任意の数のクラスであってもよいが、一般的には１つのクラスを有する。第２の実施例によれば、上記１つのクラスの目標データを検出するステージ分類器に対する訓練は、正サンプル集合と負サンプル集合とを用意し、上記複数の選択待ち訓練特徴に対して弱分類器を訓練して最小の分類誤差を有する弱分類器を選択し、反復処理により弱分類器を構築して、取得された弱分類器からなる、一般的に目標画像と非目標画像とを区別する第１のステージ分類器を取得することを含む。同様に、反復の回数は、予め設定されても良く、訓練終了判断条件を採用して自動的に判定されてもよい。

同様に、その他の任意のステージ分類器に対して分類器を反復して訓練するときに、その反復回数は予め設定されても良く、訓練終了判断条件を採用して自動的に判定されてもよい。訓練終了判断条件については、第１の実施例に説明されたものと同じであるため、ここでは重複して説明しない。

任意のステージ分類器に対して訓練終了判断条件を設定することが可能であるだけではなく、全体的に目標の各クラスに対して所望の訓練性能をそれぞれ設定することも可能である（例えば、最下位層クラスに対して総誤り検出率Ｆ_ｉをそれぞれ設定する）。あるクラスの訓練がすでに所望の性能に到達した場合、このクラスは後続の各ステージ分類器の訓練には参加しない。

第３の実施例
第３の実施例では、セダン、バスおよびトラックを検出待ち目標として、カスケード分類器の分類（訓練）方法をさらに詳しく説明する。

まず、それぞれがセダン、バスとトラックに対応する３クラスの正サンプル集合（自動車画像）P(C_i)（ｉ＝１，２，３）を用意し、３クラスの正サンプルを一つのクラスの正サンプル集合P(C₀)に併合する。サンプルクラス木の構造を図５ｂに示す。訓練は、P(Ci)（ｉ＝０）から開始し、正サンプルクラス分解を行う必要があるときに、P(Ci)（ｉ＝０）を、P(C_i)（ｉ＝１，２，３）に分解する。そして、すべての各クラスの所望の訓練目標、すなわち検出率D_iおよび総誤り検出率F_iを設定する。

次に、特徴プールを用意する。例えばHaar-like特徴のプロトタイプを３２×３２（ピクセル）の画像に応用して数十万ほどの具体的な特徴を取得する。

その後、ステージごとに、各ステージ分類器SC₁をSC_nまで訓練する。図６に示されるのは、第ｋのステージ分類器SC_k（ｋ＝１，２，３，…，ｎ）を訓練するステップである。

ステップＳ６０１において、異なるクラスに対して、それぞれ正サンプル集合P_k ^Ciを用意しておく。ｉは、本ステージに使用される正サンプルクラス（１クラスまたは３クラス）に対応する。正サンプル集合P(C_i)に対して前のｋ−１ステージの分類器を使用して選別を行い、−１と判定されたサンプルを取り除くことによって現在の正サンプル集合P_k ^Ciを取得する。正サンプルごとに標記z_j ^Ci＝＋１を付与する。
同ステップＳ６０１において、各正サンプル集合P_k ^Ciに対応して、負サンプル集合N_k ^Ciをそれぞれ用意しておく。背景画像において、ある順序に従って正サンプル画像と同じサイズを有する子図片を切り取ることによって、各クラスに負サンプル集合N_k ^Ciを用意することができる。
好ましくは、第２のステージ分類器からの各ステージ分類器に対して相関クラスC_iに負サンプル集合を用意することは、前に既存した全てのステージ分類器のうち、C_iと相関する強分類器からなるカスケード分類器を使用して、背景画像においてウインドウトラバース探索を行い、正サンプルとして誤判断されたウインドウ画像をC_iの負サンプル集合N_k ^Ciに追加することである。負サンプルの数は、実際の必要に応じて特定することができ、例えば、あるクラスの負サンプルの数とその正サンプルのサンプル数とが所定の比率となることを規定することができる。負サンプルごとに標記z_j ^Ci＝−１を付与する。
ここで、全体的に各サンプルクラスのそれぞれに所望の訓練性能を設定することができる。例えば、最下位層クラスC_iの現在の誤り検出率をF_Ci＝N_neg／N_win（N_negは検出された負サンプルの数、N_winは探索されたすべてのウインドウ画像の数である）として定義し、クラスC_iの誤り検出率F_Ciが既に所望の総誤り検出率F_iよりも小さい場合には、クラスC_iは後続の訓練に参加しない。すべてのクラスの誤り検出率がその総誤り検出率よりも小さい場合には、すべての訓練過程から退出する。
同ステップＳ６０１において、サンプルごとに重みw_j ^Ci＝１／Ｍ（初期の重みが１／Ｍである）を設定する。Ｍはサンプルの総数である。
ステップＳ６０１において、ステージ分類器の退出条件を設定するしてもよく、例えば、Ｔ回の反復回数を指定する。ここでは、各クラス目標に対して所望の最小検出率d_iと所望の最大誤検出率f_iとを設定する。

ステップＳ６０２から特徴選出を開始し、各クラスに対して複数の弱分類器h(Ci)を探索する過程により、最終的に各弱分類器によって繰返し使用される特徴を探索する。
ｔ＝０，１，…を設定し、ｔ個の特徴の選出を行う。
ａ） ステップＳ６０２において、最適な特徴共有サンプルクラス集合Ｓを探索し（ここで、例えば、順方向選択を利用して、すべてのクラスとは限らず、どのクラスが当該ｔ個の特徴を共有するかを特定する）、
ｉ． すべてのP_k ^CiおよびN_k ^Ciに対して、クラスC_iが特徴共有に参加しない時に、取り入れた誤差

を算出し、
すべてのクラスに対してそれぞれ独立的に弱分類器の訓練を行い、すなわち、特徴プールから現在のクラスの正負サンプル集合に対して誤差最小の区分が可能な１つの特徴を選出し、各クラスにより選出された最適特徴f_t ^Ciとその分類誤差e_t ^Ciとを記録し、すべてのクラスに対して、

という計算を行い、

を特徴共有サンプルクラス集合候補Ｓに優先的に入る第１のクラスとし、特徴共有サンプルクラス集合候補S₁を取得し、
C₁ ^*を他の各クラスとそれぞれ組み合わせ、２クラス統合弱分類器訓練を行い、各組み合わせで選出された

という計算を行い、

を特徴共有サンプルクラス集合候補Ｓの第２のクラスとし、特徴共有サンプルクラス集合候補Ｓ_２を取得する。
すべてのクラスの処理が完成するまで、上記の処理を繰返す。
上記のように取得したすべてのS_xにおいて、特徴共有誤差が最小の集合を特徴共有サンプルクラス集合Ｓとする。つまり、

となる。相応するf_t ^Sxを最適特徴f_t ^*として記録する。
ｂ） ステップＳ６０３において、f_t ^*を使用してＳにおけるすべてのクラスに決定木弱分類器h(f_t ^*,C_ｉ)を構築する。その構造は図３ａに示される。
ｃ） ステップＳ６０４において、H_t(C_i)＝H_t-1(C_i)＋h(f_t ^*,C_i)のように、特徴共有サンプルクラス集合Ｓのうちのすべてのサンプルクラスに対してH_t(C_i)分類器を更新し、所望の最小検出率d_iに基づいてH_t(C_i)分類器の閾値Θ_t(C_i)を特定し（つまり、現在の閾値の場合に、分類器の現在の正サンプル集合における検出率がd_iである）、
ｄ） ステップＳ６０５において、特徴共有サンプルクラス集合Ｓのうちの各クラスのサンプルの訓練に対して有効性測定を行う。例えば、各クラスのサンプルのH_t(C_i)分類器の閾値をゼロに設定することによって、このときのH_t(C_i)分類器の各クラス内部の正負サンプルに対する分類誤差を検定し、ステップＳ６０６において当該誤差が訓練の進行に従って減少していくか否かを判断する。この誤差が減少しなくなり、減少が遅くなり、または振動する場合に、第ｋのステージ分類器SC_kの訓練から退出し、サンプルクラスを粗から細への階層の１つの下位におけるサンプルクラスに分解し（例えば、図５ｂに示されるように分解を行う）、その後に第ｋのステージ分類器の訓練を新たに開始する（ステップＳ６０７を参照）。
ｅ） ステップＳ６０６での判断結果が「いいえ」である場合、ステップＳ６０８において、訓練終了判断を行う。ここで、所望の最大の誤検出率f_iを用いて判断を行う。具体的には、特徴共有サンプルクラス集合Ｓに属するすべてのクラス（C_i∈S）に対して、誤り検出率f(C_i)＝N_FA/N_Total（N_FAは負サンプル集合のうちのサンプルが分類器により正サンプルとして誤検出された数、N_Totalは負サンプルの総数）を検定し、f(C_i)＜f_iであれば、クラスC_iが既に訓練終了条件を満足したものとし、第ｋのステージ分類器の訓練から退出し、すべてのサンプルクラスが訓練終了条件を満足すれば、第ｋのステージ分類器の訓練を終了し、サンプル集合C_i:(P_i,N_i)を更新することにより次のステージの訓練を行う（ステップＳ６０９とＳ６１０とを参照）。
ｆ） ステップＳ６１１において、Ｓに属するC_i（C_i∈S）に対して、サンプル重みを

のように更新し、

の場合、サンプル重みをそのまま保持する。同時に、すべてのサンプル重みを

になるように正規化させ、次回の反復を新たに開始する。

理解すべきなのは、前の幾つかのステージ分類器SC_k（ｋ＝１，２，３，…，ｎ）、特に第１のステージ分類器SC₁が一つのクラスのみに対して判定を行う場合、当該ステージ分類器に対する特徴選別は、例えば順方向選択などを使用して特徴共有サンプルクラス集合Ｓを探索する必要がない。一方、後の幾つかのステージ分類器SC_kについて、既に最下位層のサンプルクラスに対して訓練を行った場合に、有効性測定によってサンプルクラス分解が必要か否かを判断しなくてよい。

また、検出装置に対する訓練は、具体的なBoostingアルゴリズムに限定されず、Gentle-Boosting、Real-Boosting等の他のアルゴリズムであってもよいことは、理解すべきである。

第２および第３の実施例による検出装置および検出方法
本発明の第２または第３の実施例による訓練方法により取得された検出装置は、検出待ちデータを入力するように配置される入力ユニットと、カスケード分類器とを含む。カスケード分類器は、図７に示されるように、複数（ｎ個）の直列連結されるステージ分類器を含む。

ここで、上記複数（ｒ個）のクラスは、相似性標準に従ってステージごとに所定の多階層構造に併合可能であり、また上記複数のクラスは、最も細かく区分されたクラスとして最下位層に設置される。それに対して、上記複数のステージ分類器は、粗から細へのポリシーに従って、上記所定の多階層構造における各層のクラスに対して分類処理を行うように配置され、また各ステージ分類器のそれぞれは、処理するクラスの数に対応する数の強分類器を含む。

上記各強分類器のそれぞれは、一組の弱分類器を含む。各弱分類器は、一つの特徴を使用して上記検出待ちデータに対して弱い分類を行う。なお、上記各ステージ分類器のそれぞれは、一つの共有特徴リストを含み、上記共有特徴リストのうちの各特徴はそれぞれ異なる強分類器に属する１または複数の弱分類器に共有使用される。同じ特徴を使用する、異なる強分類器に属する弱分類器は、互いに異なるパラメータ値を有する。

第２または第３の実施例による検出装置は、全体から見ると、複数の「ステージ分類器」ＳＣにより直列連結された一つのカスケード構造の分類器であるが、複数のクラスの物体の同時検出について設計されたものであり、各ステージ分類器内部において、複数のクラスの強分類器が共有特徴リスト（すなわち、共有特徴セット）により結合される。

第３の実施例の検出装置を例とすると、検出待ちデータが順にカスケード分類器の各ステージ分類器に入力される。

検出待ちデータは、あるステージ分類器に入るときに、順に当該ステージに含まれたｍ個の強分類器により判定される。ある強分類器が＋１を出力した場合、当該強分類器により相応クラスの目標に該当すると判定され、この強分類器を通過すると呼ばれる。そうではなく−１を出力した場合、相応クラスの目標に該当しないと判定され、この強分類器に拒否されると呼ばれる。

上記判定過程は、現在のステージの分類器の特徴リストのうちのすべての有効特徴の値を算出し、このステージのｍ個の強分類器に対して、特徴リスト中の各特徴に対する共有の状態に従って、算出された特徴値に基づいて各弱分類器の出力を順に特定して相加して最終の強分類器の出力を取得することを含む。

上記判定過程において、検出待ちデータがクラスC_iを検出するためのある強分類器に拒否された場合、後続のステージの分類器において、クラスC_iとそのサブクラスとを検出する相応する強分類器は、上記入力された検出待ちデータに対して引き続き判定をすることがない。このとき、上記検出待ちデータは、クラスC_iに対応する葉の層クラスに拒否されたと呼ばれる。

上記判定過程において、各ステージ分類器の特徴リストのうち、上記の判定過程に参加しなくなる各強分類器のみに関係する特徴は、無効特徴とみなされ、演算コストを節約するために計算に参加しなくなる。
上記判定過程において、検出待ちデータがすべての葉の層クラスに拒否されると、判定過程を中止し、この検出待ちデータは非目標データと呼ばれる。上記判定過程の最後に、検出待ちデータが最後のステージ分類器におけるある強分類器に通過されると、この検出待ちデータが上記強分類器に対応する目標クラス属性を有すると判定され、検出待ちデータが最後のステージ分類器における複数の強分類器に通過されると、この検出待ちデータが相応する多重目標クラス属性を有すると判定される。

本発明による検出装置は、各種の複数のクラスの目標データに対して検出を行うことができる。入力された画像または動画において複数のクラスの所定の目標に対して検出を行う場合に、本発明による検出装置はさらに、検出待ち画像または動画に対してウインドウトラバースを行うように配置されるウインドウトラバース部と、上記ウインドウトラバース部が生成したウインドウを併合し、所定の閾値を利用して併合されたウインドウをフィルタリングして最終の検出結果を取得するように配置される後処理部とを備える。

図８は、本発明による検出装置が画像または動画における所定の複数のクラスの目標を検出する手順を示した。

ウインドウトラバース過程８１０において、任意に与えられた検出待ち画像（ステップＳ８１１）、または検出待ち動画から切り取られた画像に対して、矩形ウインドウを使用して画像トラバースを行い（ステップＳ８１２）、ステップＳ８１３において順にウインドウ画像を取得する（トラバースの順序および方式が任意であり、左から右へ、上から下への順序であっても良く、右から左へ、下から上への順序であってもよい。トラバースする時に、ウインドウの平行移動のステップ幅は任意であり、ピクセルごとに行っても良く、複数のピクセルおきに行っても良く、或は、現在のウインドウのサイズに比例してもよい）。

トラバースする時に、走査過程において得られた各ウインドウに対して順に上記カスケード分類器を応用し、訓練により得られた分類器における特徴を使用してウインドウ画像に対して特徴算出を行い（ステップＳ８１４）、上記分類器を応用して分類を行う（ステップＳ８１５）。カスケード分類器は、このウインドウ画像が目標クラスであると判定すると（１つ以上の目標クラス属性を有する）、このウインドウの原始画像における位置とサイズ、および具備するすべての目標クラス属性を記録する（ステップＳ８１６）。ウインドウトラバースが終了した後に、一定の比率因子に従って画像を縮小し、上記ウインドウトラバースとウインドウ画像判定の過程を再び行う。画像がウインドウトラバースできなくなる（画像の高さがウインドウの高さより小さい、または画像の幅がウインドウの幅より小さい）程に縮小するまで、以上の過程を繰り返す（ステップＳ８１７およびＳ８１８を参照）。すべての正応答ウインドウをその対応する画像と原画像とのサイズ比率因子に従って原画像にマッピングし、すべての正応答の原画像における位置およびサイズを取得する。

画像をトラバースする時に、以上のモード、すなわちWinScanMode1（すなわち、サイズの固定したウインドウを選択して画像をトラバースし、トラバース終了後に、一定の比率に従って画像のサイズを縮小または拡大し、サイズの固定したウインドウを使用して画像を新たにトラバースする）のほかに、モードWinScanMode2を採用してもよい。当該モードにおいて、画像のサイズをそのまま保持し、初回のトラバース時のウインドウのサイズを選択し、トラバース終了後に、一定の比率に従って画像のサイズを縮小または拡大し、原画像を新たにトラバースする。

各ウインドウ画像に対して、訓練により得られたカスケード分類器を使用して判定を行った後に、分類結果が＋１の場合、WinScanMode1が選択されると、現在のウインドウのサイズと位置を記録し、画像のズーム比率に従って現在のウインドウのサイズと位置とを原画像の座標空間にマッピングし、現在の応答の原画像における位置およびサイズを取得する。WinScanMode2が選択されると、現在のウインドウのサイズおよび位置を直接に記録する。

後処理手順８２０は、後処理部により実行されるものであって、隣接した正応答結果を併合するためのウインドウ併合ステップＳ８２１と、弱い応答を取り除くための閾値フィルタリングステップＳ８２２とを含む。そして、ウインドウ併合され、かつ閾値フィルタリングされた後に残された併合結果を最終の検出結果とする（ステップＳ８３０）。
具体的には、画像における同一の目標（自動車）の付近において多重応答を発生する場合に、近接する多重応答を一つの出力応答に併合する。
まず、上記併合過程において、“近接”を、隣接したウインドウ中心位置、近いサイズ比率および同一の目標クラス属性を有する、と定義し、その後に近接した一群の目標ウインドウの平均中心位置、平均ウインドウサイズを算出し、併合されたウインドウの数を併合結果の確信度とする。
次に、上記併合過程において、併合後の、位置中心が隣接し、およびサイズが近い併合結果に対して目標属性の併合を行い、すなわち、画像におけるある位置の付近において複数の異なる目標属性を有する併合結果があれば、各目標属性の数を統計し、数の最も多い目標属性を最終目標属性とし、各目標属性の確信度の和を最終の併合結果の確信度とする。
上記併合過程が終了した後に、併合ウインドウの確信度が予め設置された確信度の閾値よりも大きい、または等しい時にこの併合結果を受け入れ、そうでなければ、この併合結果を破棄する。

技術効果
１．本発明の各実施例によれば、複数のクラスの目標の分類器の間で特徴共有を行うが、共有特徴に関係する弱分類器が各クラス内部において単独に構築された方式により、各クラスの目標の間の差異が効率的に区分され、訓練の収束速度が向上すると共に、組合せ分類器の各クラスの目標間に対する区分性能が向上する。特徴がすべてのクラスにおいて共有されることを強制的に規定しないやり方により、必要のない演算が削減される。
２．本発明の各実施例によれば、複数のクラスの分類器の間での特徴共有により、複数のクラスの分類器の特徴の計算コストが削減される。
例えば、本発明の第３の実施例において、３クラスの自動車（セダン、トラックおよびバス）のサンプルを合計１７０００個与え、３つの並行するカスケード分類器と１つの特徴共有の組合せ分類器とをそれぞれ訓練した。訓練により得られた分類器に使用されるHaar-like特徴の数を、以下の表に示す。

上記の表からわかるように、本発明の実施例の方法により、使用される特徴の数が大幅に減少した。
自動車テスト集合（集合内のサンプルは訓練に参加しておらず、３クラスの自動車のサンプルを合計２２６４個含む）および背景画像テスト集合（サイズが統一されておらず、ウインドウ画像が約５３０００００個提供される）を開放することを設定する。３クラスの自動車のカスケード分類器を並行に使用して以上のテスト集合を処理し、その後に特徴共有の組合せ分類器を使用して上記のテスト集合を処理した。テスト結果を以下の表に示す。

上記の表からわかるように、２つの方法が類似する分類性能を有するが、組合せ分類器の方がより高い検出効率を有する。分類器に使用される特徴の計算が複雑になるほど、組合せ分類器の検出効率の有利性が明らかになる。
３．本発明の第２および第３の実施例によれば、組合せ分類器は、（複数のクラス）目標画像と非目標画像とを区別すると共に、各目標クラスの間の差異を可能な限り体現させる。粗から細への多階層サンプルクラスの使用方式により、組合せ分類器に目標と非目標との全体的な差異を優先的に体現させ、次に目標クラス間の差異が考慮され、さらに検出の効率を向上させる。
４．本発明の第２および第３の実施例によれば、複数のクラスの統合訓練を行う時に、各クラスが独立に負サンプル集合を使用する方式により、特徴共有型の分類器がCascade構造形式を採用してより高い検出効率を取得することに有利である。

その他の実施形態
なお、上記の一連の処理および装置は、ソフトウェアおよびファームウェアにより実現可能である。ソフトウェアまたはファームウェアにより実現される場合、記憶媒体またはネットワークから専用ハードウェア構造を有するコンピュータ、例えば、図９に示された汎用コンピュータ９００に当該ソフトウェアを構成するプログラムをインストールする。当該コンピュータは、各種のプログラムがインストールされたときに、各種機能の実行等が可能である。

図９において、中央処理ユニット（ＣＰＵ）９０１は、リードオンリーメモリ（ＲＯＭ）９０２に記憶されたプログラム、または記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムに基づいて、各種の処理を実行する。ＲＡＭ９０３では、必要に応じて、ＣＰＵ９０１が各種の処理等を実行するときに必要とされるデータも記憶される。

ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３は、バス９０４を経由して互いに接続される。入力／出力インターフェース９０５もバス９０４に接続される。

キーボード、マウス等を含む入力部９０６と、陰極射線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等のようなディスプレイおよびスピーカ等を含む出力部９０７と、ハードディスク等を含む記憶部９０８と、ＬＡＮカードのようなネットワークインターフェースカード、モデム等を含む通信部９０９とが入力/出力インターフェース９０５に接続される。通信部９０９はネットワーク、例えばインターネットを経由して通信処理を実行する。

必要に応じて、ドライバ９１０も入力/出力インターフェース９０５に接続される。リムーバブルメディア９１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が必要に応じてドライバ９１０に取り付けられ、これによりその中から読み出されたコンピュータプログラムが必要に応じて記憶部９０８にインストールされる。

ソフトウェアにより上記の一連の処理を実現する場合は、ネットワーク、例えばインターネット、または記憶媒体、例えばリムーバブルメディア９１１からソフトウェアを構成するプログラムをインストールする。

このような記憶媒体は、図９に示されたような、その中にプログラムが記憶されているものであって、デバイスから離れて提供されてユーザにプログラムを提供する取り外し可能な媒体９１１に限定されないことを、当業者は理解するであろう。取り外し可能な媒体９１１の例として、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）やディジタルヴァーサタイルディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）を含む）および半導体メモリを含む。または、記憶媒体はＲＯＭ９０２、メモリ部９０８に含まれるハードディスクなどであってもよい。その中にプログラムが記憶されており、かつそれらを含むデバイスと一緒にユーザに提供される。

以上に、本発明の好適な実施形態を説明した。本発明の保護範囲は、ここで開示された具体細部に限定されず、本発明の要旨の範囲内の各種の変化および効果均等の方案を含むことは、当業者にとって明らかである。

Claims (20)

1. 複数のクラスの目標データに対して検出を行う検出装置であって、
   検出待ちデータを入力するように配置される入力ユニットと、
   数が前記クラスの数に対応し、対応するクラスの目標データをそれぞれ検出する強分類器が内部に含まれ、前記強分類器のそれぞれは一組の弱分類器を相加することにより得られ、弱分類器のそれぞれは１つの特徴を使用して前記検出待ちデータに対して弱い分類を行う組合せ分類器と、を備え、
   前記組合せ分類器は共有特徴リストを内包し、前記共有特徴リストにおける各特徴のそれぞれは異なる強分類器にそれぞれ属する１または複数の弱分類器に共有使用され、
   同一の特徴を使用しそれぞれ異なる強分類器に属する弱分類器は互いに異なるパラメータ値を有し、
   前記弱分類器は複数のクラスの間で共有されない、検出装置。
2. 前記複数の強分類器による分類結果に基づいて、前記検出待ちデータがどのクラスの目標データに該当するかを判定するように配置される判定ユニットをさらに備える、請求項１に記載の検出装置。
3. 複数のクラスの目標データに対して検出を行う検出装置であって、前記複数のクラスが相似性標準に従ってステージごとに所定の多階層構造に併合され、かつ前記複数のクラスが最も細かく区分されたクラスとして最下位層に設置され、前記検出装置は、
   検出待ちデータを入力するように配置される入力ユニットと、
   複数の直列連結されたステージ分類器を備え、前記複数のステージ分類器は粗から細へのポリシーに従って前記所定の多階層構造における各層クラスのそれぞれに対して分類処理を行うように配置され、かつステージ分類器のそれぞれが処理されるクラスの数と対応する数の強分類器を備え、前記強分類器のそれぞれが一組の弱分類器を含み、弱分類器のそれぞれが１つの特徴を使用して前記検出待ちデータに対して弱い分類を行うカスケード分類器と、を備え、
   前記ステージ分類器のそれぞれは共有特徴リストを含み、前記共有特徴リストにおける各特徴のそれぞれは異なる強分類器にそれぞれ属する１または複数の弱分類器に共有使用され、同一の特徴を使用しそれぞれ異なる強分類器に属する弱分類器は互いに異なるパラメータ値を有し、
   前記弱分類器は複数のクラスの間で共有されない検出装置。
4. 前記ステージ分類器のそれぞれは、入力された検出待ちデータに対してその共有特徴リストにおける各有効特徴の特徴値を算出し、かつ前記ステージ分類器における各強分類器に対して、強分類器に対して使用された特徴に基づいて計算された特徴値リストを照合して前記強分類器の各弱分類器の出力を特定し相加して最終の強分類器の出力を取得するように配置される、請求項３に記載の検出装置。
5. 前記カスケード分類器は、入力された検出待ちデータを、順に各ステージ分類器における各強分類器に判定させ、入力された検出待ちデータがクラスC_iを検出する一つの強分類器により非目標データと判定された場合に、後続の各ステージ分類器におけるクラスC_iおよび／またはそのサブクラスを検出する相応の強分類器が前記入力された検出待ちデータに対する判定を継続しないように配置される、請求項３に記載の検出装置。
6. 前記カスケード分類器は、前記ステージ分類器のそれぞれに対して、その共有特徴リストのうち判定過程に参加しなくなる各強分類器のみに関係する特徴が存在するか否かを判定し、存在すれば、当該特徴を無効特徴として標記し、その特徴値を算出しないように配置される、請求項５に記載の検出装置。
7. 前記カスケード分類器は、検出待ちデータが任意のステージのステージ分類器における全ての強分類器に拒否された場合、分類処理を中止するとともに、前記検出待ちデータを非目標データとして判定するように配置される、請求項３に記載の検出装置。
8. 前記複数のステージ分類器における最後のステージのステージ分類器は、さらに、検出待ちデータがある強分類器を通過した場合、前記検出待ちデータが前記強分類器に対応する目標クラス属性を有すると判定し、検出待ちデータが最後のステージのステージ分類器において複数の強分類器に通過した場合、当該検出待ちデータが相応する多重目標クラス属性を有すると判定するように配置される判定ユニットを備える、請求項３に記載の検出装置。
9. 入力された画像または動画において複数のクラスの所定目標に対して検出を行う検出装置であり、
   検出待ち画像または検出待ち動画から切り取られた画像に対してウインドウトラバースを行うように配置されるウインドウトラバース部をさらに備え、
   前記カスケード分類器は、前記ウインドウトラバース部により取得されたウインドウ画像に対して分類処理を行い、ウインドウ画像が目標クラスであると判定された場合に、前記ウインドウの、原画像における位置とサイズ、および具備するすべての目標クラス属性を記録するように配置される請求項３に記載の検出装置。
10. 複数のクラスの目標データに対して検出を行う検出方法であって、
    検出待ちデータを入力すること、および
    複数の強分類器を含む組合せ分類器を使用して前記検出待ちデータに対して分類を行い、前記強分類器は数が前記クラスの数に対応し、かつそれぞれ対応するクラスの目標データに対して検出を行い、前記組合せ分類器内に共有特徴リストが含まれ、前記共有特徴リストのうちの各特徴がそれぞれ異なる強分類器に属する１または複数の弱分類器に共有使用され、同じ特徴を使用しそれぞれ異なる強分類器に属する弱分類器は互いに異なるパラメータ値を有することを含み、
    前記弱分類器は複数のクラスの間で共有されない検出方法。
11. 前記複数の強分類器のそれぞれの分類結果に基づいて、前記検出待ちデータがどのクラスの目標データに該当するかを判定することをさらに含む、請求項１０に記載の検出方法。
12. 複数のクラスの目標データに対して検出を行う検出方法であって、前記複数のクラスが相似性標準に従ってステージごとに所定の多階層構造に併合され、かつ前記複数のクラスが最も細かく区分されたクラスとして最下位層に設置され、前記検出方法は、
    検出待ちデータを入力すること、
    複数の直列連結されたステージ分類器を含むカスケード分類器を使用して前記検出待ちデータに対して分類を行い、前記複数のステージ分類器が粗から細へのポリシーに従って、前記所定の多階層構造における各層クラスのそれぞれに対して分類処理を行い、各ステージ分類器のそれぞれが処理されるクラスの数に対応する数の強分類器を含むこと、
    前記カスケード分類器を使用して分類を行う段階は、入力された検出待ちデータを順に各ステージ分類器における各強分類器に判定させ、前記ステージ分類器のそれぞれは共有特徴リストを含み、前記共有特徴リストのうちの各特徴はそれぞれ異なる強分類器に属する１または複数の弱分類器に共有使用され、同じ特徴を使用しそれぞれ異なる強分類器に属する弱分類器は互いに異なるパラメータ値を有することを含み、
    前記弱分類器は複数のクラスの間で共有されない検出方法。
13. 前記入力された検出待ちデータを順に各ステージ分類器における各強分類器に判定させる段階は、
    入力された検出待ちデータに対して前記ステージ分類器の共有特徴リストのうちの各有効特徴の特徴値を算出し、前記ステージ分類器における各強分類器に対して強分類器に対して使用される特徴に基づいて算出された特徴値リストを照合して当該強分類器の各弱分類器の出力を特定し相加して最終の強分類器の出力を取得することを含む、請求項１２に記載の検出方法。
14. 前記入力された検出待ちデータを順に各ステージ分類器における各強分類器に判定させる段階は、
    入力された検出待ちデータが、クラスC_iを検出する一つの強分類器により非目標データと判定された場合に、後続の各ステージ分類器におけるクラスC_iおよび／またはそのサブクラスを検出する相応の強分類器が前記入力された検出待ちデータに対する判定を継続しないことを含む、請求項１２に記載の検出方法。
15. 前記入力された検出待ちデータを順に各ステージ分類器における各強分類器に判定させる段階は、
    前記ステージ分類器の共有特徴リストのうち、判定過程に参加しなくなる各強分類器のみに関係する特徴が存在するか否かを判定し、存在すれば、当該特徴を無効特徴として標記し、その特徴値を算出しないことを含む、請求項１４に記載の検出方法。
16. 前記カスケード分類器を使用して分類を行う段階は、さらに
    検出待ちデータが、任意のステージのステージ分類器における全ての強分類器に拒否された場合、分類処理を中止するとともに、前記検出待ちデータを非目標データとして判定することを含む、請求項１２に記載の検出方法。
17. 最後のステージのステージ分類器を使用して分類処理を行った後に、さらに、
    検出待ちデータがある強分類器を通過した場合、前記検出待ちデータが前記強分類器に対応する目標クラス属性を有すると判定し、検出待ちデータが最後のステージのステージ分類器における複数の強分類器を通過した場合、当該検出待ちデータが相応する多重目標クラス属性を有すると判定することを含む、請求項１２に記載の検出方法。
18. 入力された画像または動画において複数のクラスの所定目標に対して検出を行う検出方法であり、
    検出待ち画像、または検出待ち動画から切り取られた画像に対してウインドウトラバースを行うことをさらに含み、
    前記カスケード分類器を使用して前記検出待ちデータに対して分類を行う段階は、
    前記カスケード分類器を使用して前記ウインドウトラバースにより取得されたウインドウ画像に対して分類処理を行い、ウインドウ画像が目標クラスであると判定された場合に、前記ウインドウの、原画像における位置とサイズ、および具備するすべての目標クラス属性を記録することを含む、請求項１２に記載の検出方法。
19. 前記ウインドウトラバースにより生成された、目標クラス属性を有するウインドウを局所近接併合することをさらに含む請求項１８に記載の検出方法。
20. 前記局所近接併合する段階は、
    隣接したウインドウ中心位置、互いに近いサイズ比率および同じ目標クラス属性を有するウインドウに対して、近接した一群の目標ウインドウの平均中心位置、平均ウインドウサイズを算出し、併合されたウインドウの数を併合結果の確信度とし、
    併合された、中心位置が隣接し、近いサイズの併合結果に対して目標属性併合を行い、すなわち、前記画像におけるある位置の付近に異なる目標属性を有する複数の併合結果があれば、各目標属性の確信度の総和を統計し、確信度の総和が最大となる目標属性を最終の目標属性とし、各目標属性の確信度の総和の和を最終の併合結果の確信度とし、
    前記最終の併合結果の確信度が所定の確信度の閾値より大きい、または等しい場合に、前記最終の併合結果を受け入れ、そうでなければ前記最終の併合結果を破棄することを含む、請求項１９に記載の検出方法。
    

Images