[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5890825B2 - オブジェクト検出方法、オブジェクト検出装置及び撮像装置 - Google Patents

オブジェクト検出方法、オブジェクト検出装置及び撮像装置 Download PDF

Info

Publication number
JP5890825B2
JP5890825B2 JP2013260667A JP2013260667A JP5890825B2 JP 5890825 B2 JP5890825 B2 JP 5890825B2 JP 2013260667 A JP2013260667 A JP 2013260667A JP 2013260667 A JP2013260667 A JP 2013260667A JP 5890825 B2 JP5890825 B2 JP 5890825B2
Authority
JP
Japan
Prior art keywords
component
classifier
query object
detected
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013260667A
Other languages
English (en)
Other versions
JP2014130583A (ja
Inventor
ジャン ヤン
ジャン ヤン
ズー リーフェン
ズー リーフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2014130583A publication Critical patent/JP2014130583A/ja
Application granted granted Critical
Publication of JP5890825B2 publication Critical patent/JP5890825B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、オブジェクト検出方法、オブジェクト検出装置、並びにオブジェクト検出装置を備える撮像装置に関する。
画像内の視覚オブジェクトの解析は、オブジェクト認識、画像検索及び画像登録等の処理において重要である。そのような処理は、監視(防犯のため)、映像科学捜査、並びにコンピュータ支援診断のための医療画像解析等の多くの応用分野に関係する。特に、オブジェクト認識は、実世界関連システムの開発に対する要求の高まりにより注目されている。
従来のオブジェクト認識方法では、学習/訓練に基づく分類器が使用されるため、分類器パラメータの学習/訓練処理が不可欠である。しかし、1つのオブジェクト(例えば、犬)の特定のサンプルを使用する学習/訓練処理により取得される分類器では、別のオブジェクト(例えば、猫)に対して適切な性能が得られない場合がある。分類器が他のオブジェクトに対して適切な性能を得られるようにするためには、1つのオブジェクトに対する分類器から他のオブジェクトに対する分類器に変更するために、他のオブジェクトの特定のサンプルを使用する別の学習/訓練処理が新規に実行される必要がある。これは、融通性に欠け且つ時間がかかる。
上記の問題を解決する1つの方法は、特定の種類のオブジェクト(犬及び猫の双方を含むペット等)に対する一般的な分類器を訓練することであるが、そのような一般的な分類器は、精度を低下させ、ユーザが関心を有さないオブジェクトを検出する。例えばユーザが画像内の犬のみを検出したい場合でも、猫が画像から更に検出される。
上記の方法を解決する別の方法は、米国特許出願公開第2010/014721A1号明細書、並びに米国特許第7,558,408B1号公報、第7,555,148B1号公報及び第7,551,755B1号公報において説明される。これらの特許文献において開示される方法は、最初に一種類のオブジェクトに対する一般的な分類器(例えば、ペットに対する分類器)を使用して画像内の候補オブジェクトの位置を特定した後、特定の分類器(例えば、猫に対する分類器)を使用して候補オブジェクトが正確な注目オブジェクトであるか判断することである。本方法は、カメラにおいて使用されてきた。本方法によると、複数の特定の分類器(例えば、猫に対する分類器、1匹の犬に対する分類器及び別の犬に対する分類器)がユーザにより事前に登録され、ユーザは、写真を撮影する前に、特定の分類器の中から焦点を合わせるオブジェクトに対する分類器を選択する。カメラは、ファインダに表示される画像から検出されたオブジェクトに自動的に焦点を合わせるように構成される。
しかし、本発明者は、検出可能な特定のオブジェクトが依然として制限され且つユーザにより事前に登録された特定のオブジェクトのみが検出可能であるため、上記の特許文献において開示される方法も十分ではないことに気付いた。
通常、オブジェクト検出技術には2つのステップ、すなわち、訓練ステップ及び検出ステップが含まれる。訓練ステップにおいて、分類器は、オブジェクトの1つ以上のサンプルを使用して訓練することにより取得される。その後、検出ステップにおいて、そのように取得された分類器は、オブジェクトを検出するために使用される。安定した正確な分類器を取得するためには、通常は大量のサンプルが訓練のために必要であるが、大量のサンプルにより計算量が増加し、訓練に時間がかかる。分類器をリアルタイムで訓練する必要がある場合又は計算能力が制限される(組み込みシステムの適用等で)場合、従来技術は要件を満たさない。それに対して、単純にサンプル数を減少することにより分類器の訓練時間を短縮しようとする場合、そのような訓練により取得された分類器の安定性は不十分であり、オブジェクトの姿勢、照明条件又は画角等の要因から受ける影響が大きくなる。
従って、本発明により解決される技術的問題のうちの1つは、種々のオブジェクトに対して融通性を有し且つ正確であるオブジェクト検出の新規技術を提供することである。更に、この新規技術は許容可能な効率を有することが更に予想される。
上記の技術的問題のうちの少なくとも1つを解決するために、本発明は、特定のオブジェクトタイプに対する一般的なモデルを事前に格納する装置により実行されるオブジェクト検出方法、ここで、前記一般的なモデルは前記特定のオブジェクトタイプのオブジェクト内に同時に存在すると予想される複数の構成要素を記述するものである、を提供する。この方法は、各々が特定のオブジェクトタイプの同一のクエリオブジェクトを含む1つ以上のサンプル画像を受信するサンプル画像受信ステップと、一般的なモデル及び前記1つ以上のサンプル画像を使用して、前記クエリオブジェクトに固有の検出器を作成するオブジェクト検出器作成ステップと、作成された前記クエリオブジェクトに固有の検出器を使用して、目的画像から前記クエリオブジェクトを検出するオブジェクト検出ステップとを備えるオブジェクト検出方法を提供する。
更に、上記の技術的問題を解決するために、本発明は、特定のオブジェクトタイプに対する一般的なモデルを事前に格納するように構成された一般的なモデル格納ユニットと、ここで、前記一般的なモデルは前記特定のオブジェクトタイプのオブジェクト内に同時に存在すると予想される複数の構成要素を記述するものである、各々が特定のオブジェクトタイプの同一のクエリオブジェクトを含む1つ以上のサンプル画像を受信するように構成されたサンプル画像受信ユニットと、一般的なモデル及び前記1つ以上のサンプル画像を使用して前記クエリオブジェクトに固有の検出器を作成するように構成されたオブジェクト検出器作成ユニットと、作成された前記クエリオブジェクトに固有の検出器を使用して目的画像から前記クエリオブジェクトを検出するように構成されたオブジェクト検出ユニットとを備えるオブジェクト検出装置を提供する。
更に、本発明は、撮像光学系と、画像を形成するために撮影を実行するように構成された撮影ユニットと、ユーザがクエリオブジェクトを入力又は選択し且つ形成された画像内のクエリオブジェクトを検出できるようにするように構成される上述のオブジェクト検出装置と、検出されたクエリオブジェクトに従って撮影制御を実行するように構成された撮影制御ユニットとを備える撮像装置を提供する。
本発明に係る方法及び装置により、検出器の作成においてクエリオブジェクトを使用できるため、特定のオブジェクトタイプの種々のオブジェクトを非常に柔軟に且つ正確に検出できる。更に、検出器は事前にオフラインで格納された一般的なモデルから作成されるため、検出効率も高い。
更に詳細には、本明細書における開示は、特定のオブジェクトを検出するためのオフライン訓練及びオンラインクエリを組み合わせることにより機構を提供する。時間のかかる分類器訓練ステップは、事前にオフラインで1回のみ実行され、分類器はオンラインクエリステップの間に適合される。このように、オンライン計算モジュールに課される計算量は減少され、組み込みシステムでも動作をリアルタイムで実行できる。本発明のいくつかの実施形態によると、ユーザは検出対象のオブジェクトを入力(クエリ)し、システムに画像内のクエリされたオブジェクトを検出させる。更に、本発明のいくつかの実施形態によると、分類器はオフラインの段階の間に適切な量のサンプルを使用して訓練することにより取得されるため、オブジェクト検出は精度及びロバスト性が高く、更に、オブジェクトの相違に対する許容範囲が適切である。本発明の更なる特徴及び利点は、図面を参照して以下の説明を読むことにより明らかになるだろう。
本明細書の一部に組み込まれ且つそれを構成する添付の図面は、本発明の実施形態を図示し、説明と共に本発明の原理を説明するために用いられる。
本発明の実施形態を実現するコンピュータシステムの例示的なハードウェア構成を示すブロック図である。 本発明の一実施形態に係るオブジェクト検出方法を示すフローチャートである。 一般的なモデルのいくつかの例を示す図である。 ユーザがサンプル画像内の構成要素にラベル付けできるようにするユーザインタフェースの例を示す図である。 本発明の例示的な一実施形態に係るオブジェクト検出器作成ステップの例示的な処理を示すフローチャートである。 例示的な一実施形態に係る複数の構成要素の間の位置関係を含む一般的なモデルを示す図である。 例示的な一実施形態に係る構成要素分類器を生成するために一般的なモデルを使用する方法の例を示す図である。 例示的な一実施形態に係る構成要素分類器生成ステップの例示的な処理を示すフローチャートである。 別の例示的な実施形態に係る構成要素分類器を生成するために一般的なモデルを使用する方法の例を示す図である。 更に別の例示的な実施形態に係る構成要素分類器を生成するために一般的なモデルを使用する方法の例を示す図である。 この更に別の例示的な実施形態に係る構成要素分類器生成ステップの例示的な処理を示すフローチャートである。 例示的な一実施形態に係るオブジェクト検出ステップの例示的な処理を示すフローチャートである。 例示的な一実施形態に係る第1の検出サブステップ及び第2の検出サブステップの例示的な処理を示すフローチャートである。 例示的な一実施形態に係るオブジェクト検出装置の例示的な構成を示すブロック図である。 例示的な一実施形態に係る撮像装置の例示的な構成を示すブロック図である。
図面を参照して、本発明の実施形態を以下に詳細に説明する。
尚、図中、同様の図中符号及び文字は同様の項目を参照するため、1つの項目が1つの図面において定義された場合、後続の図面に対してそれを説明する必要はない。
図1は、本発明の実施形態を実現するコンピュータシステム1000のハードウェア構成を示すブロック図である。
図1に示すように、コンピュータシステムはコンピュータ1110を備える。コンピュータ1110は、処理装置(processing unit)1120、システムメモリ1130、固定不揮発性メモリインタフェース1140、取外し可能不揮発性メモリインタフェース1150、ユーザ入力インタフェース1160、ネットワークインタフェース1170、ビデオインタフェース1190及び出力周辺インタフェース1195を備え、これらはシステムバス1121を介して接続される。
システムメモリ1130は、ROM(読み出し専用メモリ)1131及びRAM(ランダムアクセスメモリ)1132を備える。BIOS(基本入出力システム)1133はROM1131に常駐する。オペレーティングシステム1134、アプリケーションプログラム1135、他のプログラムモジュール1136及び何らかのプログラムデータ1137はRAM1132に常駐する。
ハードディスク等の固定不揮発性メモリ1141は、固定不揮発性メモリインタフェース1140に接続される。固定不揮発性メモリ1141は、例えばオペレーティングシステム1144、アプリケーションプログラム1145、他のプログラムモジュール1146及び何らかのプログラムデータ1147を格納する。
フロッピドライブ1151及びCD−ROMドライブ1155等の取外し可能不揮発性メモリは、取外し可能不揮発性メモリインタフェース1150に接続される。例えば、フロッピディスク1152はフロッピドライブ1151に挿入され、CD(コンパクトディスク)1156はCD−ROMドライブ1155に挿入される。
マウス1161及びキーボード1162等の入力装置は、ユーザ入力インタフェース1160に接続される。
コンピュータ1110は、ネットワークインタフェース1170によりリモートコンピュータ1180に接続可能である。例えばネットワークインタフェース1170は、ローカルエリアネットワーク1171を介してリモートコンピュータ1180に接続される。あるいは、ネットワークインタフェース1170はモデム(変復調装置)1172に接続され、モデム1172はワイドエリアネットワーク1173を介してリモートコンピュータ1180に接続される。
リモートコンピュータ1180は、リモートアプリケーションプログラム1185を格納するハードディスク等のメモリ1181を備えてもよい。
ビデオインタフェース1190はモニタ1191に接続される。
出力周辺インタフェース1195は、プリンタ1196及びスピーカ1197に接続される。
図1に示すコンピュータシステムは例示にすぎず、本発明、その用途又は使用を限定することを意図しない。
図1に示すコンピュータシステムは、場合によっては1つ以上の不要な構成要素を除去するか又は1つ以上の更なる構成要素を追加して、スタンドアローンコンピュータ又は装置内の処理システムのどちらかとして実施形態のいずれかに対して実現される。例えばコンピュータシステムは、カメラに適切に内蔵されるコンピュータシステムに適合される。
図2は、実施形態に係るオブジェクト検出方法を示すフローチャートである。図2に示すオブジェクト検出方法において、特定のオブジェクトタイプのクエリオブジェクトが目的画像から検出される。
ステップS2100において、特定のオブジェクトタイプに対する一般的なモデルが事前にオフラインで格納される。この一般的なモデルは、特定のオブジェクトタイプのオブジェクトの一般的な特徴を記述する。更に詳細には、一般的なモデルは、特定のオブジェクトタイプの単一オブジェクト内に同時に存在すると予想される複数の構成要素を記述する。
図3a及び図3bは、一般的なモデルのいくつかの例を示す。図3aの例によると、特定のオブジェクトタイプは「哺乳動物の顔」であり、特定のオブジェクトタイプの単一オブジェクト内に同時に存在すると予想される複数の構成要素は、例えば「耳」、「目」、「鼻」、「口」及び「髪」である。図3bの例によると、特定のオブジェクトタイプは「車両の正面図」であり、特定のオブジェクトタイプの単一オブジェクト内に同時に存在すると予想される複数の構成要素は、例えば「フロントガラス」、「バックミラー」、「ヘッドライト」及び「ナンバープレート」である。
図3a及び図3bに示す一般的なモデルの例は、例示的に説明するためのものにすぎない。特定の用途に従って種々の一般的なモデルを設計できる。例えば特定のオブジェクトタイプを「人間の体」と定義することができ、一般的なモデルにより記述される複数の構成要素は、「腕」、「脚」、「頭」及び「胴体」を含むことができる。
実施形態によると、一般的なモデルは事前にオフラインで格納され、一般的なモデルは、クエリオブジェクトが特定のオブジェクトタイプである限り、オンラインで入力されるどんなクエリオブジェクトに対しても使用可能である。本明細書において、クエリオブジェクトは、目的画像から検出されるオブジェクトを意味する。特定のオブジェクトタイプが「哺乳動物の顔」である場合(図3aに示す例)、クエリオブジェクトは、例えば特定の猫の顔、特定の犬の顔又は特定の人物の顔等である。
ステップS2200において、1つ以上のサンプル画像の入力が受信される。前記1つ以上のサンプル画像の各々は、特定のオブジェクトタイプのオブジェクトである同一のクエリオブジェクトを含む。サンプル画像は、正規化されたサイズを有する画像である。
すなわち、サンプル画像は1つのみであっても複数(すなわち、2つ以上)であってもよい。複数のサンプル画像が存在する場合、サンプル画像は、特定のオブジェクトタイプである同一のクエリオブジェクトを含む異なる画像である。図3aに示す例の場合、クエリオブジェクトは、例えば特定の猫の顔であり、1つ以上のサンプル画像は、特定の猫の顔を含む1つ以上の画像である。
ステップS2300において、一般的なモデル及び前記1つ以上のサンプル画像を使用して、前記クエリオブジェクトに固有の検出器が作成される。
本ステップにおいて、サンプル画像において提示されたクエリオブジェクトは、一般的なモデルから検出器を作成するために使用される。検出器は、クエリオブジェクトを検出するために特に使用される検出器である。図3aに示す例の場合、検出器は、特定の猫の顔を特に検出するように、哺乳動物の顔の一般的なモデルと特定の猫の顔を含む1つ以上のサンプル画像とを使用して作成される。
ステップS2300は、クエリオブジェクトが入力された後にオンラインで実行される。
ステップS2400において、作成された前記クエリオブジェクトに固有の検出器を使用して、目的画像から前記クエリオブジェクトを検出する。目的画像は、画像ライブラリ等のデータベースからの画像であってもよく、カメラによりリアルタイムで撮影された画像であってもよく、あるいはビデオからのフレームであってもよい。目的画像は、正規化されたサイズを有する画像であってもよい。
実施形態の方法によると、特定の検出器がクエリオブジェクトを使用することにより一般的なモデルからオンラインで作成されるため、この方法は種々のオブジェクトに対して融通性を有し、事前に登録されたオブジェクトに限定されない。更に、一般的なモデルがオフラインで生成され且つ格納されるため、検出効率は許容可能なものとなる。
本発明の一実施形態によると、サンプル画像受信ステップS2200において、1つ以上のサンプル画像内の各構成要素のラベル付けが受信されるか又は生成される。
各構成要素のラベル付けをユーザにより実行することが可能である。この場合、ラベル付けを容易にするためにユーザインタフェースが提供される。
図4a及び図4bは、ユーザがサンプル画像内の構成要素にラベル付けできるようにするユーザインタフェースの例を示す。
図4aに示す例において、各構成要素を表すボタンが画面上に示される。ボタンを選択後、ユーザはサンプル画像内の対応する構成要素を指すか又は丸で囲む。例えばユーザは、構成要素「目」を選択し(図4aの構成要素ボタンの網掛けは、構成要素が選択されたことを意味する)、サンプル画像内の目の領域を丸で囲む(図4aにおいて、ユーザによりラベル付けされた丸を破線で示す)。
図4bに示す例において、各構成要素を表す丸が画面上に示され、ユーザは、サンプル画像内の対応する構成要素を囲むように丸をドラッグし且つサイズ変更する。図4bでは、片耳及び片目がユーザによりラベル付けされたことを示す。
図4a及び図4bはサンプル画像内の各構成要素のラベル付けのいくつかの例を示すが、本発明はそれらに限定されない。ユーザが介入せずにラベル付けを自動的に生成することも可能である。例えばサンプル画像内の各構成要素にラベル付けするために、一般的なモデル内の分類器を使用することができる。サンプル画像内の各構成要素にラベル付けするために、特定のオブジェクトタイプに対する他の検出器を更に使用することができる。更に、最初にラベル付けを自動的に実行し、その後、ユーザにより手動で調整することもできる。
更に、図4a及び図4bに示さないが、サンプル画像からのクエリオブジェクト全体(本例では、猫の顔)にラベル付けすることもできる。
ラベル付けされた各構成要素の位置及びサイズは受信され、後で使用するために格納される。レベル付けされたクエリオブジェクトの位置及びサイズも、後で使用するために格納される。
更に、ラベル付けされた画像領域は、後で使用するために対応する構成要素に対して格納される。
図5は、本発明の例示的な一実施形態に係るオブジェクト検出器作成ステップS2300の例示的な処理を示す。
図5に示すように、ステップS2300は、構成要素分類器生成を行うステップS2310及び構成要素分類器組み合わせを行うステップS2320を含む。
ステップS2310において、一般的なモデル内の各構成要素と前記1つ以上のサンプル画像においてラベル付けされた各構成要素との間のマッチングを使用して、前記クエリオブジェクトの各構成要素に固有の複数の構成要素分類器を生成する。
図3aに示す例を再度参照すると、マッチングは、図3aに示す構成要素(哺乳動物の目及び耳等)と図4a及び図4bに示す構成要素(特定の猫の目及び耳等)との間で実行され、マッチングの結果に従って、特定の猫の構成要素に固有の複数の構成要素分類器が生成される。例えば、特定の猫の目に固有の目の分類器が生成され、特定の猫の耳に固有の耳の分類器が生成される。
ステップS2320において、ステップS2310で各構成要素に対応して生成された構成要素分類器は組み合わされ、前記クエリオブジェクトに固有の検出器が作成される。
この場合、構成要素分類器を組み合わせる種々の方法を使用できる。
例えば組み合わせは、所定の数又は所定の割合(例えば、約60%)を上回る構成要素が複数の構成要素分類器により検出される場合にクエリオブジェクトが検出されると作成された前記クエリオブジェクトに固有の検出器が判断するように設計される(これは、候補画像領域が十分な構成要素を含む必要があることを意味する)。例えば全部で7つの構成要素(すなわち、2つの目、2つの耳、1つの口、1つの髪、及び、1つの鼻)が一般的なモデル内に存在する場合、組み合わせは、4つ以上の構成要素が対応する構成要素分類器により候補画像領域内で検出される場合にクエリオブジェクトが候補画像領域内で検出されるように設計される。
一般的なモデルは、複数の構成要素の間の位置関係を更に含むことができる。
図6は、例示的な一実施形態に係る複数の構成要素の間の位置関係を含む一般的なモデルを示す図である。
哺乳動物の顔を例として使用する場合、構成要素の間の位置関係は、例えば目が髪の下に存在すること、鼻が目の下に存在すること及び口が鼻の下に存在すること等である。
この場合、組み合わせは、所定の数又は所定の割合を上回る構成要素が複数の構成要素分類器により検出される(これは、候補画像領域が十分な構成要素を含む必要があることを意味する)のに加えて、検出された構成要素がそれらの間の位置関係を満たす(これは、検出された構成要素が所定の関係を満たす必要があることを意味する)場合にクエリオブジェクトが検出されると前記クエリオブジェクトに固有の検出器が判断するように設計される。そのような組み合わせによると、全ての構成要素が候補画像領域内でそれぞれ検出される場合であっても、関係が不適切である場合(例えば、一方の目が口の下に存在するか又は一方の耳が両目の間に存在する場合)、検出器はクエリオブジェクトが候補画像領域内で検出されると見なさない。
構成要素の間の位置関係を定義する方法、及び、2つの位置関係が互いに一致するかを判断する方法に対して、例えば部分モデル法(例えば、Pedro Felzenszwalb他の「A Discriminatively Trained, Multiscale, Deformable Part Model」、IEEE Conference on Computer Vision and Pattern Recognition、2008.CVPR 2008、2008年6月23日〜28日、1〜8ページを参照)、及び、グラフ相似測定法(例えば、Laura Zagerの「graph similarity and matching」、Thesis for Master of Science、Massachusetts Institute of Technology、2005年を参照)を使用できる。
組み合わせを定義する他の方法も使用できる。例えば、各構成要素分類器から取得された分類スコア(例えば、確率スコア又は信頼度スコア)の合計又は平均値を計算でき、検出器は、合計又は平均値が所定の閾値を上回る場合にクエリオブジェクトが検出されると判定する。すなわち、本明細書において、どんな組み合わせが設計され且つ使用されてもよい。
以下、一般的なモデル及び構成要素分類器生成ステップS2310のいくつかの例示的な実施形態を説明する。

図7は、例示的な一実施形態に係る構成要素分類器を生成するために一般的なモデルを使用する方法の例を示す。
例示的な本実施形態に係る一般的なモデルは複数の分類器グループを含み、複数の分類器グループの各々は複数の構成要素のうちの1つに対応する。複数の分類器グループの各々は、特定のオブジェクトタイプの対応する構成要素の複数の異なる特徴インスタンスを記述する複数の候補分類器を含む。例えば一般的なモデルは、図7に示すように、目に対する分類器グループ1及び耳に対する分類器グループ2を含む。図に示さないが、一般的なモデルは、鼻に対する分類器グループ3、髪に対する分類器グループ4及び口に対する分類器グループ5を更に含むことができる。本明細書において、異なる特徴インスタンスは、異なる外見を表す異なる特徴値を有する特徴を意味する。例えば異なる特徴インスタンスは、異なる色、異なる形状又は異なるテクスチャ等を含む。
例えば分類器グループ1を例とすると、分類器グループ1は、複数の候補分類器、すなわち、特定の人物の目に対応する候補分類器11、特定の猫の目に対応する候補分類器12、並びに特定の犬の目に対応する候補分類器13を含む。同様に、分類器グループ2は、複数の候補分類器、すなわち、特定の猫の耳に対応する候補分類器21、特定の犬の耳に対応する候補分類器22、並びに別の特定の犬の耳に対応する候補分類器23を含む。
各候補分類器は、対応する訓練サンプルを用いて事前にオフラインで訓練されることにより生成される。例えば目に対する候補分類器は、当該タイプの目の訓練サンプルを用いて事前にオフラインで訓練されることにより生成される。候補分類器を生成するために、多くの特徴及び訓練/学習法を使用できる。例えば既知のHOG特徴(Histgrams of Oriented Gradients:有向勾配のヒストグラム)及びSVM(Support Vector Machine:サポートベクトルマシン)法を使用できる。分類器の単純な例は、特徴空間における特徴点の座標として1つ以上の特徴(特徴アレイ)を含む特徴空間を定義し、入力画像に対する分類器により出力される分類スコアは、特徴空間における中心点(例えば、複数の訓練画像により生成された特徴アレイの静的モデルの平均値)と入力画像を記述する特徴点との間の距離dの関数f(d)として計算される。関数f(d)は特定の関数に限定されず、距離dの増加に伴って狭義に単調減少する関数であれば十分である。距離が計算される前に、各特徴を対応する特徴の分散で除算することにより各特徴を正規化するか、あるいは、特定の用途に従って各特徴に重み付けすることもできる。
目、鼻及び耳等の器官に対する候補分類器を生成する方法に対して、例えば、Nicolas Gourier Daniela Hall James L. Crowleyの「Facial Features Detection Robust to Pose, Illumination and Identity」 IEEE International Conference on Systems、Man and Cybernetics、2004年、617〜622ページ、vol.1、Nello Cristianini及びJohn Shawe−Taylorの「An Introduction to Support Vector Machines and other kernel−based learning methods」、Cambridge University Press、2000. ISBN 0−521−78019−5 ([2] SVM Book)、Corinna Cortes及びV. Vapnikの「Support−Vector Networks」、Machine Learning、20、273〜297ページ、1995年で提案される方法を使用できる。
上記において分類器のうちのいくつかを例として述べたが、分類器が入力として画像を有し且つ画像が構成要素を含む確率又は信頼度を示す分類スコアを出力する限り、全ての種類の分類器を使用できる。閾値は、分類器が閾値を上回る分類スコアを出力する場合に画像が構成要素を含むと分類器が判定するように設定される。
例示的な本実施形態では、構成要素分類器生成ステップS2310において、構成要素毎に、前記クエリオブジェクトの構成要素を記述するのに最適な候補分類器が当該構成要素に対する構成要素分類器として対応する分類器グループから選択される。
例えばサンプル画像が図4a又は図4bに示すサンプル画像である場合、クエリオブジェクト(サンプル画像内に示す猫)の目を記述するのに最適な候補分類器は候補分類器12(丸い猫の目)であり、候補分類器12が目に対する構成要素分類器として分類器グループ1から選択される。同様に、候補分類器21が耳に対する構成要素分類器として分類器グループ2から選択される。このように、分類器グループ毎に、クエリオブジェクト(本例では、特定の猫)の各構成要素を記述するのに最適な候補分類器が選択され、これらの最適な候補分類器はクエリオブジェクトに対する構成要素分類器であると見なされる。
図8は、例示的な一実施形態に係る構成要素分類器生成を行うステップS2310の例示的な処理を示すフローチャートである。
図8に示すように、構成要素分類器生成のステップS2310は、分類器スコア取得を行うステップS2311及び選択を行うステップS2312を含む。
ステップS2311において、各分類器グループ内の候補分類器毎に、各サンプル画像においてラベル付けされた対応する構成要素に候補分類器を適用することにより取得された分類スコアが合計又は平均され、候補分類器に対する分類器スコアが取得される。
図7に示す例の場合、2つのサンプル画像(第1のサンプル画像及び第2のサンプル画像)が存在し、候補分類器11により第1のサンプル画像及び第2のサンプル画像から取得された分類スコアはそれぞれ0.3及び0.2であり、候補分類器12により第1のサンプル画像及び第2のサンプル画像から取得された分類スコアはそれぞれ0.8及び0.7であり、候補分類器13により第1のサンプル画像及び第2のサンプル画像から取得された分類スコアはそれぞれ0.4及び0.5であったと定する。この場合、候補分類器に対する分類器スコアは分類スコアの平均で表され、候補分類器11に対する分類器スコアは(0.3+0.2)/2=0.25であり、候補分類器12に対する分類器スコアは(0.8+0.7)/2=0.75であり、候補分類器13に対する分類器スコアは(0.4+0.5)/2=0.45となる。
ステップS2312において、分類器グループ毎に、最も大きい分類器スコアを有する候補分類器がクエリオブジェクトの対応する構成要素を記述するのに「最適」であると見なされ、対応する構成要素に対する構成要素分類器として選択される。
図7に示す例の場合、候補分類器12が上記で計算されたように最も大きい分類器スコアを有するため、候補分類器12がクエリオブジェクトの目を記述するのに最適な構成要素分類器として選択される。
同様に、全ての構成要素は、サンプル画像を使用することにより対応する分類器グループから選択された1つの構成要素分類器を有し、これらの構成要素分類器を組み合わされて、クエリオブジェクトに固有の検出器になる。上述のように、組み合わせは必要に応じて又は適宜設計される。
例示的な本実施形態によると、候補分類器を含む一般的なモデルが事前にオフラインで用意されるため、新規のクエリオブジェクトを検出しようとする度に特定の分類器を生成する必要がなく、従って、検出効率が高い。更に、構成要素毎に複数の候補分類器が存在するため、方法は種々のオブジェクトに対して十分な融通性及び精度を有する。例えば各候補分類器を訓練するために4つの異なるオブジェクトが事前に使用される場合、N個の分類器グループの各々は4つの候補分類器を有し、これらの候補分類器を組み合わせることにより、理論上は4N種類の可能な検出器が一般的なモデルから生成される。
図9は、別の例示的な実施形態に係る構成要素分類器を生成するために一般的なモデルを使用する方法の例を示す。
例示的な本実施形態に係る一般的なモデルは、複数の構成要素にそれぞれ対応する複数の粗な分類器を含む。複数の粗な分類器の各々は、特定のオブジェクトタイプの対応する構成要素の対応する一般的な特徴を記述する。一般的な特徴は、色、形状、テクスチャ、ヒストグラムの特徴又はそれらの組み合わせ等を含む。一般的な特徴は、特定のタイプの全オブジェクトを記述するのに適した相対的に広い値の範囲を有する。例えば哺乳動物の目に対する粗な分類器において、目のアスペクト比(縦横比)は0.8〜2の範囲内(又は平均値が1.4であり且つ分散が0.6である統計モデル)であるように定義される。
例示的な本実施形態において、サンプル画像内の各構成要素に自動的にラベル付けするために、粗な分類器を使用できる。
例示的な本実施形態によると、構成要素分類器生成を行うステップS2310において、構成要素毎に、対応する粗な構成要素分類器により記述される対応する一般的な特徴は、前記クエリオブジェクトの構成要素に従って対応する特定の特徴に更に定義され(改善され)、それにより、対応する特定の特徴を記述する対応する構成要素分類器が対応する粗な分類器から生成される。
図9に示す例の場合、哺乳動物の目に対する一般的な特徴(例えば、0.8〜2のアスペクト比)は、図4a及び図4bに示す特定の猫に従って特定の特徴に更に定義される(改善される)。例えばアスペクト比が1である目をサンプル画像が示す場合、目に対する特定の特徴(目のアスペクト比)は、0.8〜2より特定する例えば0.8〜1.2(又は平均値が1であり且つ分散が平均値の20%である統計モデル)に改善される。別の例の場合、アスペクト比が1である目及びアスペクト比が1.2である目を2つのサンプル画像が示す場合、目に対する特定の特徴(目のアスペクト比)は、0.8〜2より特定する例えば0.9〜1.3(又は平均値が(1+1.2)/2であり且つ分散が(1.2−1)である統計モデル)に改善される。このように、この特定の特徴を有する構成要素分類器は粗な分類器から生成される。
それに加えて又はその代わりに、新規の特徴を追加することにより、一般的な特徴(特徴アレイ)を特定の特徴アレイに改善することができる。例えば目に対する一般的な特徴はアスペクト比の特徴のみを含み、色の特徴及びテクスチャの特徴を追加することにより、一般的な特徴を更に特定する特徴アレイに改善することができる。
同様に、全ての構成要素は、サンプル画像を使用することにより一般的なモデルの対応する粗な分類器から生成された1つの構成要素分類器を有し、これらの構成要素分類器が組み合わされて、クエリオブジェクトに固有の検出器になる。上述のように、組み合わせは必要に応じて又は適宜設計される。
図10は、更に別の例示的な実施形態に係る構成要素分類器を生成するために一般的なモデルを使用する方法の例を示す。
本実施形態に係る一般的なモデルは、複数の構成要素にそれぞれ対応する複数の不完全な分類器を含む。複数の不完全な分類器の各々は、判定されていない特徴パラメータを有する。
不完全な分類器は一般的な構造を有してもよいが、一般的な構造に対する1つ以上の特徴パラメータは判定されない。例えば分類器は、その特徴として色及びアスペクト比を有するが、中心値(統計モデルの平均値)並びに/又は色及びアスペクト比の分散はまだ判定されていない。
例示的な本実施形態によると、構成要素分類器生成を行うステップS2310において、構成要素毎に、対応する不完全な分類器の特徴パラメータが前記クエリオブジェクトの構成要素に従って判定され、それにより、特徴パラメータが判定された対応する構成要素分類器が対応する不完全な分類器から形成される。
図11は、この更に別の例示的な実施形態に係る構成要素分類器生成を行うステップの例示的な処理を示すフローチャートである。
図11に示すように、構成要素分類器生成を行うステップS2310は、特徴パラメータ計算を行うステップS2313及び組み合わせ計算を行うステップS2314を含む。
ステップS2313において、構成要素毎に、サンプル画像においてラベル付けされた構成要素に従って対応する不完全な分類器に対する特徴パラメータを判定することにより、1つ以上の各サンプル画像の構成要素に対する特徴パラメータが計算される。
ステップS2314において、構成要素毎に、1つ以上のサンプル画像の構成要素に対する特徴パラメータを組み合わせることにより、対応する構成要素分類器に対する特徴パラメータが計算される。
本明細書において、特徴パラメータを組み合わせることは、例えば特徴パラメータを平均することである。特徴パラメータを他の方法で組み合わせることもできる。複数の特徴パラメータを組み合わせることから他の値を取得することもできる。例えばサンプル画像からの特徴パラメータ=2と別のサンプル画像からの特徴パラメータ=4とを組み合わせることにより、平均値3及び分散2がクエリオブジェクトに対する特徴パラメータとして取得される。従って、組み合わせは何らかの特定の組み合わせに限定されない。
図10に示す例の場合、目に対する不完全な分類器は、色の特徴及び形状の特徴を含むモデルを含むが、モデルに対するパラメータはまだ判定されていない。例えば2つのサンプル画像が、アスペクト比が1であり且つRGB色が(50,150,200)である目、及びアスペクト比が1.2であり且つRGB色が(30,170,220)である目を示す場合、クエリオブジェクトの目のモデルの平均値(特徴空間の中心点)は、2つのサンプル画像のパラメータの平均であるアスペクト比1.1及びRGB色(40,160,210)として判定される。このように、判定されたパラメータを有する構成要素分類器が不完全な分類器から生成される。
同様に、全ての構成要素は、サンプル画像を使用することにより一般的なモデルの対応する不完全な分類器から生成された1つの構成要素分類器を有し、これらの構成要素分類器が組み合わされて、クエリオブジェクトに固有の検出器になる。上述のように、組み合わせは必要に応じて又は適宜設計される。
図12は、例示的な一実施形態に係るオブジェクト検出を行うステップS2400の例示的な処理を示すフローチャートである。
図12に示すように、ステップS2400は、候補画像領域判定を行うステップS2410、第1の検出を行うサブステップS2420及び第2の検出を行うサブステップS2430を含む。
ステップS2410において、スライディングウィンドウを使用することにより、候補画像領域が目的画像において判定される。スライディングウィンドウの初期サイズは、クエリオブジェクトを含むことができる可能な画像の最小サイズであるように判定され、特定の用途に従って判定される。
ステップS2420において、複数の構成要素のうちの少なくともいくつかが候補画像領域内に存在するかが検出される。例えばステップS2420において、ステップS2300で生成されたクエリオブジェクトに固有の検出器の構成要素分類器が候補画像領域内の構成要素を検出するために使用される。
その後、ステップS2430において、ステップS2420における検出結果に従って、クエリオブジェクトが候補画像領域内で検出されるかが判定される。
尚、クエリオブジェクトに固有の検出器がステップS2400においてクエリオブジェクトを検出するために使用されるため、ステップS2400における特定の検出方法はステップS2300における特定の検出器生成方法に対応する。従って、S2410〜S2430はステップS2400に対する例示的な処理を示すが、ステップS2300で生成されたクエリオブジェクトに固有の検出器が使用される限り、他の検出方法を使用することができる。
図13は、例示的な一実施形態に係る第1の検出を行うサブステップS2420及び第2の検出を行うサブステップS2430の例示的な処理を示すフローチャートである。
図13に示すように、ステップS2420は、分割を行うステップS2421及び構成要素検出を行うステップS2422を含む。
ステップS2421において、候補画像領域は複数の部分候補領域に分割される。部分候補領域のサイズは、候補画像領域のサイズ及び最大予想構成要素とクエリオブジェクトとの比率により判定され、特定の用途に従って判定される。例示的な一実施形態によると、ステップS2200において、構成要素に加えてクエリオブジェクト(本例では猫の顔)の位置及びサイズがラベル付けされ、最大予想構成要素とクエリオブジェクトとの比率はステップS2200で実行されたラベル付けから判定される。
ステップS2422において、複数の構成要素分類器の各々を使用して、対応する構成要素が存在する部分候補領域が1つ以上存在するかを検出する。更に詳細には、構成要素及び部分候補領域毎に、対応する構成要素分類器を使用することにより、構成要素が部分候補領域内に存在するかが検出される。どの部分候補領域がどの構成要素を含むと検出されたかに関する検出結果を格納することができる。
図13に示すように、ステップS2430は、ステップS2420における各構成要素に対する検出結果を組み合わせることにより、前記クエリオブジェクトが候補画像領域内で検出されるか否かを判定する組み合わせ判定を行うステップS2431を含む。
本明細書において、組み合わせは、クエリオブジェクトに固有の検出器が生成される際に使用される組み合わせに対応してもよい。
例えばステップS2431において、所定の数又は所定の割合を上回る構成要素が複数の構成要素分類器により検出される場合、クエリオブジェクトが候補画像領域内で検出されると判定される。
別の例の場合、ステップS2431において、所定の数又は所定の割合を上回る構成要素が複数の構成要素分類器により検出され且つ検出された構成要素がそれらの間の位置関係を満たす場合、クエリオブジェクトが候補画像領域内で検出されると判定される。この場合、構成要素検出ステップS2422は、部分候補領域が構成要素を含むと検出される場合に候補画像領域における構成要素の位置を判定する構成要素位置判定ステップを更に含む必要がある。構成要素の位置は、種々の方法で判定可能である。例えば構成要素の位置は、部分候補領域の位置に従って判定されるか、あるいは構成要素の中心(幾何学的中心又は重心)の座標を検出することにより判定される。
更に別の例の場合、複数の構成要素分類器により取得された分類スコアの加重和が所定の閾値を上回る場合にクエリオブジェクトが候補画像領域内で検出されるように組み合わせを設計することもできる。
構成要素分類器を組み合わせる種々の方法が検出器を生成するために使用されるため、各構成要素に対する検出結果を組み合わせる対応する方法が使用されてもよく、方法は例示した方法に限定されない。
図12に示すように、ステップS2400は、候補画像領域更新を行うステップS2440及びオブジェクト場所特定を行うステップS2450を更に含んでもよい。
所定の条件が満たされるか否かが判断される。所定の条件が満たされない場合、ステップS2440へ進み、候補画像領域が更新される。その後、ステップS2410へ戻り、候補画像領域判定のステップS2410、第1の検出のサブステップS2420及び第2の検出のサブステップS2430が更新された候補画像領域に対して実行される。
本明細書において、所定の条件は特定の用途に従って任意に定義される。例えば所定の条件は、候補画像領域が最大サイズ(例えば、目的画像のサイズ)に達していることである。別の例の場合、所定の条件は、十分な数の候補画像領域がクエリオブジェクトを含むものとして検出されていることである。
候補画像領域の更新は、スライディングウィンドウを移動することにより実行される。それに加えて、スライディングウィンドウが目的画像全体を横断した場合、スライディングウィンドウは初期位置に移動され且つサイズ変更される(例えば、サイズを所定量増分される)。
所定の条件が満たされる場合、ステップS2450へ進み、クエリオブジェクトが検出される候補画像領域に従って、クエリオブジェクトの場所が目的画像において判定される。
2つ以上の候補画像領域がクエリオブジェクトを含むと検出されることが可能である。この場合、クエリオブジェクトの場所(中心位置及びサイズ)は、例えばクエリオブジェクトを含むものと検出される複数の候補画像領域の中心位置及びサイズを平均することにより判定される。
図12を参照して説明する例示的な処理を用いる場合、クエリオブジェクトが検出される場合に目的画像におけるクエリオブジェクトの場所も判定される。
図14は、本発明の例示的な一実施形態に係るオブジェクト検出装置2000の例示的な構成を示すブロック図である。
オブジェクト検出装置2000は、一般的なモデルを事前にオフラインで格納するように構成された一般的なモデル格納ユニット2100と、ここで、一般的なモデルは特定のオブジェクトタイプの単一オブジェクト内に同時に存在すると予想される複数の構成要素を記述するものである;1つ以上のサンプル画像の入力を受信するように構成されたサンプル画像受信ユニット2200と、ここで、1つ以上のサンプル画像の各々は特定のオブジェクトタイプのオブジェクトである同一のクエリオブジェクトを含む;一般的なモデル及び前記1つ以上のサンプル画像を使用して前記クエリオブジェクトに固有の検出器を作成するように構成されたオブジェクト検出器作成ユニット2300と;作成された前記クエリオブジェクトに固有の検出器を使用して目的画像から前記クエリオブジェクトを検出するように構成されたオブジェクト検出ユニット2400とを備える。
ユニット2100、2200、2300及び2400はそれぞれ、ステップS2100、S2200、S2300及びS2400の処理を実行するように構成される。
例示的な一実施形態によると、サンプル画像受信ユニット2200は、1つ以上のサンプル画像内の各構成要素のラベル付けを受信するか又は生成するように更に構成される。この場合、オブジェクト検出器作成ユニット2300は、一般的なモデル内の各構成要素と前記1つ以上のサンプル画像においてラベル付けされた各構成要素との間のマッチングを使用して前記クエリオブジェクトの各構成要素に固有の複数の構成要素分類器を生成するように構成された構成要素分類器生成ユニット2310を備えてもよい。
オブジェクト検出器作成ユニット2300は、各構成要素に対応して生成された構成要素分類器の組み合わせにより前記クエリオブジェクトに固有の検出器を作成するように構成された構成要素分類器組み合わせユニット2320を更に備えてもよい。
本発明の例示的な一実施形態によると、オブジェクト検出ユニット2400は、スライディングウィンドウを使用して目的画像内の候補画像領域を判定するように構成された候補画像領域判定ユニット2410と、複数の構成要素のうちの少なくともいくつかが候補画像領域内に存在するかを検出するように構成された第1の検出サブユニット2420と、第1の検出サブユニットにおける検出結果に従ってクエリオブジェクトが候補画像領域内で検出されるかを判定するように構成された第2の検出サブユニット2430とを備えてもよい。
本発明の例示的な一実施形態によると、オブジェクト検出ユニット2400は、所定の条件が満たされない場合に候補画像領域を更新するように構成された候補画像領域更新ユニット2440と、更新された候補画像領域に対して機能する候補画像領域判定ユニット、第1の検出サブユニット及び第2の検出サブユニットと、クエリオブジェクトが検出される候補画像領域に従って目的画像における前記クエリオブジェクトの場所を判定するように構成されたオブジェクト場所特定ユニット2450とを更に備えてもよい。
いくつかの可能な実施形態によると、構成要素分類器生成ユニット2310は、ステップS2310において実行される処理(例えば、ステップS2311及びS2312における処理、あるいはステップS2313及びS2314における処理)を実行するように構成される。
例えば構成要素分類器生成ユニット2310は、各分類器グループ内の候補分類器毎に、各サンプル画像においてラベル付けされた対応する構成要素に候補分類器を適用することにより取得された分類スコアを合計又は平均して、候補分類器に対する分類器スコアを取得するように構成された分類器スコア取得ユニット2311と、分類器グループ毎に、最も大きい分類器スコアを有する候補分類器を対応する構成要素に対する構成要素分類器として選択するように構成された選択ユニット2312とを備えてもよい。
別の例の場合、構成要素分類器生成ユニット2310は、構成要素毎に、サンプル画像においてラベル付けされた構成要素に従って対応する不完全な分類器に対する特徴パラメータを判定することにより、1つ以上の各サンプル画像の構成要素に対する特徴パラメータを計算するように構成された特徴パラメータ計算ユニット2313と、構成要素毎に、1つ以上のサンプル画像の構成要素に対する特徴パラメータを組み合わせることにより、対応する構成要素分類器に対する特徴パラメータを計算するように構成された組み合わせ計算ユニット2314とを備える。
更に、第1の検出サブユニット2420は、ステップS2420において実行される処理(例えば、ステップS2421及びS2422における処理)を実行するように構成される。
例えば第1の検出サブユニット2420は、候補画像領域を複数の部分候補領域に分割するように構成された分割ユニット2421と、複数の構成要素分類器の各々を使用して、対応する構成要素が存在する部分候補領域が1つ以上存在するかを検出するように構成された構成要素検出ユニット2422とを備える。
更に、第2の検出サブユニット2430は、ステップS2430において実行される処理(例えば、ステップS2431における処理)を実行するように構成される。例えば第2の検出サブユニット2430は、第1の検出サブユニットにおける各構成要素に対する検出結果を組み合わせることにより、前記クエリオブジェクトが候補画像領域内で検出されるか否かを判定するように構成された組み合わせ判定ユニット2431を備える。
更に、組み合わせ判定ユニット2431は、所定の数又は所定の割合を上回る構成要素が複数の構成要素分類器により検出される場合にクエリオブジェクトが候補画像領域内で検出されると判定するように構成されたユニットを備える。
上述のユニット及び以下に説明するユニットは、本開示において説明する処理を実現する例示的且つ/又は好適なモジュールである。モジュールは、ハードウェアユニット(フィールドプログラマブルゲートアレイ、デジタル信号プロセッサ又は特定用途向け集積回路等)及び/又はソフトウェアモジュール(コンピュータ可読プログラム等)である。種々のステップを実現するモジュールの全てを上述したわけではない。しかし、特定の処理を実行するステップが存在する場合、同一の処理を実行する対応する機能モジュール又はユニット(ハードウェア及び/又はソフトウェアにより実現される)が存在する。説明したステップ及びそれらのステップに対応するユニットの全ての組み合わせによる技術的解決策は、それらが構成する技術的解決策が完全であり且つ適用可能である限り、本出願の開示に含まれる。
更に、種々のユニットで構成される上記の装置は、機能モジュールとしてコンピュータ等のハードウェア装置に組み込み可能である。当然、コンピュータは、これらの機能モジュールに加えて他のハードウェア又はソフトウェア構成要素を有する。
実施形態によると、一般的なモデルが事前にオフラインで生成され且つ格納されるため、新規のクエリオブジェクトを検出しようとする度に検出器に対するモデル全体を生成する必要がなく、従って、検出効率が向上される。更に、特定の検出器は、特定のクエリオブジェクトを使用することにより一般的なモデルからオンラインで作成されるため、方法は種々のオブジェクトに対して融通性を有し且つ正確であり、事前に登録されるオブジェクトに限定されない。
本発明は、多くの用途で使用可能である。本発明に係るオブジェクト検出装置2000は、例えば撮像装置に適用可能である。
図15は、例示的な一実施形態に係る撮像装置3000の例示的な構成を示すブロック図である。
図15に示すように、撮像装置3000は、例えば撮影用光学素子を含む写真光学系3100と、CCDセンサ又はCMOSセンサ等の撮影センサを含む画像を形成するために撮影を実行するように構成された撮影ユニット3200と、ユーザがクエリオブジェクトを入力又は選択し且つ形成された画像内のクエリオブジェクトを検出できるようにするように構成される上述のオブジェクト検出装置2000と、検出されたクエリオブジェクトに従って撮影制御を実行するように構成された撮影制御ユニット3300とを備える。
本発明の例示的な一実施形態によると、撮影制御は、クエリオブジェクトが検出される場合に撮影解像度を上げることを含む。このように、撮像装置は、取り込まれた画像内に特定のオブジェクトが存在しない場合、省エネモード(解像度が低い)で動作してもよい。
本発明の別の例示的な実施形態によると、撮影制御は、クエリオブジェクトが検出される場合に、写真光学系3100の焦点を検出されたクエリオブジェクトに合わせることを含む。このように、撮像装置3000は、注目オブジェクトに焦点を合わせるように構成される。
本発明の更に別の例示的な実施形態によると、撮影制御には、クエリオブジェクトが検出される場合に、形成される画像内にクエリオブジェクトが存在し続けるように写真光学系3100に検出されたクエリオブジェクトを追跡させ続けることを含む。例示的な本実施形態において、写真光学系3100は、写真光学系3100が撮影制御に従って自動的に回転できるようにする機械構造を用いて構成される。このように、撮像装置3000は、注目オブジェクトを追跡し続け、可能な限り多くの注目オブジェクトの画像を取得する。
本発明の方法及び装置を多くの方法で実行することができる。例えばソフトウェア、ハードウェア、ファームウェア又はそれらの何らかの組み合わせを介して本発明の方法及び装置を実行することができる。上述の方法のステップの順序は例示であることを意図するにすぎず、特に指示がない限り、本発明の方法のステップは特に上述された順序に限定されない。更に、いくつかの実施形態において、本発明は、本発明に係る方法を実現する機械可読命令を含む記録媒体に記録されたプログラムとして更に実現されてもよい。従って、本発明は、本発明に係る方法を実現するプログラムを格納する記録媒体を更に範囲に含む。
本発明のいくつかの特定の実施形態を例を用いて詳細に説明したが、上記の例は例示であることを意図するにすぎず、本発明の範囲を限定するものではないことが当業者には理解されるべきである。上記の実施形態は本発明の趣旨の範囲から逸脱せずに変更可能であることが当業者には理解されるべきである。本発明の範囲は、添付の特許請求の範囲により定義される。

Claims (17)

  1. 特定のオブジェクトタイプに対する複数の一般的なモデルを事前に格納する装置により実行されるオブジェクト検出方法であって、ここで、前記一般的なモデルのそれぞれは、前記特定のオブジェクトタイプに属するオブジェクトにおいて、同時に存在すると予想される複数種類の構成要素それぞれの分類器を有するものであり
    1つ以上のサンプル画像を受信するサンプル画像受信ステップと、ここで、前記1つ以上のサンプル画像の各々は前記特定のオブジェクトタイプに属し、且つ、同一のクエリオブジェクトを含む;
    前記一般的なモデル及び前記1つ以上のサンプル画像を使用して、前記クエリオブジェクトに固有の検出器を作成するオブジェクト検出器作成ステップと、
    前記作成された前記クエリオブジェクトに固有の検出器を使用して、目的画像から前記クエリオブジェクトを検出するオブジェクト検出ステップと備え
    前記サンプル画像受信ステップは、前記1つ以上のサンプル画像における、前記クエリオブジェクトの各構成要素を示すラベルを更に受信し、
    前記オブジェクト検出器作成ステップでは、
    前記1つ以上のサンプル画像において前記ラベルで規定される構成要素を、前記クエリオブジェクトを構成する複数種類の構成要素における着目構成要素と定義し、前記複数の一般的なモデルにおける、前記着目構成要素と同じ種類の構成要素を分類するための分類器で構成されるグループを着目グループと定義したとき、
    (1)前記1以上のサンプル画像における前記クエリオブジェクトの前記ラベルで特定される前記着目構成要素を、前記着目グループに属する分類器それぞれに適用して、各分類器の信頼度を示すスコアを求め、
    (2)前記着目グループにおける最も高いスコアとなった分類器を前記着目構成要素を分類するための構成要素分類器として決定し、
    (3)前記オブジェクトを構成する各構成要素それぞれに対して決定された構成要素分類器を組み合わせることで、前記クエリオブジェクトに固有の検出器を作成する
    ことを特徴とするオブジェクト検出方法。
  2. 前記オブジェクト検出器作成ステップでは、
    前記着目グループに属するそれぞれの分類器毎の、前記1つ以上のサンプル画像を適用した際の信頼度の合計又は信頼度の平均を前記各分類器の信頼度を示すスコアとして求める
    ことを特徴とする請求項に記載のオブジェクト検出方法。
  3. 前記一般的なモデルは、前記複数種類の構成要素にそれぞれ対応する一般的な特徴を記述する複数の粗な分類器を有する、ここで、前記複数の粗な分類器のそれぞれは前記特定のオブジェクトタイプの前記対応する構成要素に対応する一般的な特徴を記述する;
    前記オブジェクト検出器作成ステップにおいて、構成要素毎に、前記クエリオブジェクトの前記構成要素に従って前記粗な構成要素分類器により記述される前記対応する一般的な特徴を対応する特定の特徴に更に定義することにより、前記対応する特定の特徴を記述する対応する構成要素分類器が前記対応する粗な分類器から生成されることを特徴とする請求項に記載のオブジェクト検出方法。
  4. 前記一般的なモデルは、前記複数種類の構成要素にそれぞれ対応する複数の不完全な分類器を含む、ここで複数の不完全な分類器の各々は判定されていない特徴パラメータを有する、
    前記オブジェクト検出器作成ステップにおいて、構成要素毎に、前記クエリオブジェクトの前記構成要素に従って前記不完全な分類器の前記特徴パラメータを判定することにより、前記特徴パラメータが判定された対応する構成要素分類器が前記対応する不完全な分類器から形成されることを特徴とする請求項1に記載のオブジェクト検出方法。
  5. 前記オブジェクト検出器作成ステップは、
    構成要素毎に、前記サンプル画像においてラベル付けされた前記構成要素に従って前記不完全な分類器に対する前記特徴パラメータを判定することにより、前記1つ以上の各サンプル画像の前記構成要素に対する前記特徴パラメータを計算する特徴パラメータ計算ステップと、
    構成要素毎に、前記1つ以上のサンプル画像の前記構成要素に対する前記特徴パラメータを組み合わせることにより、前記対応する構成要素分類器に対する前記特徴パラメータを計算する組み合わせ計算ステップと、
    を備えることを特徴とする請求項に記載のオブジェクト検出方法。
  6. 前記一般的なモデルは、前記複数の構成要素の間の位置関係を更に含み、
    前記組み合わせは、所定の数又は所定の割合を上回る構成要素が前記複数の構成要素分類器により検出され且つ前記検出された構成要素がそれらの間の前記位置関係を満たす場合に前記クエリオブジェクトが検出されると前記クエリオブジェクトに固有の前記検出器が判断するような組み合わせであることを特徴とする請求項に記載のオブジェクト検出方法。
  7. 前記オブジェクト検出ステップは、
    スライディングウィンドウを使用して、前記目的画像内の候補画像領域を判定する候補画像領域判定ステップと、
    前記複数の構成要素のうちの少なくともいくつかが前記候補画像領域内に存在するかを検出する第1の検出サブステップと、
    前記第1の検出サブステップにおける前記検出結果に従って、前記クエリオブジェクトが前記候補画像領域内で検出されるかを判定する第2の検出サブステップと、
    を備えることを特徴とする請求項に記載のオブジェクト検出方法。
  8. 前記第1の検出サブステップは、
    前記候補画像領域を複数の部分候補領域に分割する分割ステップと、
    前記複数の構成要素分類器の各々を使用して、前記対応する構成要素が存在する前記部分候補領域が1つ以上存在するかを検出する構成要素検出ステップとを備え、
    前記第2の検出サブステップは、
    前記第1の検出サブステップにおける前記各構成要素に対する前記検出結果を組み合わせることにより、前記クエリオブジェクトが前記候補画像領域内で検出されるか否かを判定する組み合わせ判定ステップを備えることを特徴とする請求項に記載のオブジェクト検出方法。
  9. 前記組み合わせ判定ステップは、所定の数又は所定の割合を上回る構成要素が前記複数の構成要素分類器により検出される場合に前記クエリオブジェクトが前記候補画像領域内で検出されると判定することを含むことを特徴とする請求項に記載のオブジェクト検出方法。
  10. 前記一般的なモデルは、前記複数の構成要素の間の位置関係を更に含み、
    前記構成要素検出ステップは、部分候補領域が構成要素を含むと検出される場合に前記候補画像領域における前記構成要素の位置を判定する構成要素位置判定ステップを含み、
    前記組み合わせ判定ステップは、所定の数又は所定の割合を上回る構成要素が前記複数の構成要素分類器により検出され且つ前記検出された構成要素がそれらの間の前記位置関係を満たす場合に前記クエリオブジェクトが前記候補画像領域内で検出されると判定するステップを含むことを特徴とする請求項に記載のオブジェクト検出方法。
  11. 前記オブジェクト検出ステップは、
    所定の条件が満たされない場合に前記候補画像領域を更新し、前記更新された候補画像領域において、前記候補画像領域判定ステップ、前記第1の検出サブステップ及び前記第2の検出サブステップを実行する候補画像領域更新ステップと、
    前記クエリオブジェクトが検出される前記候補画像領域に従って、前記目的画像における前記クエリオブジェクトの場所を判定するオブジェクト場所特定ステップと、
    を更に備えることを特徴とする請求項に記載のオブジェクト検出方法。
  12. オブジェクト検出装置であって、
    特定のオブジェクトタイプに対する複数の一般的なモデルを事前に格納するように構成された一般的なモデル格納ユニットと、ここで、前記一般的なモデルのそれぞれは前記特定のオブジェクトタイプのオブジェクトにおいて、同時に存在すると予想される複数種類の構成要素それぞれの分類器を有するものであり、
    前記特定のオブジェクトタイプの同一のクエリオブジェクトを各々が含む1つ以上のサンプル画像を受信するように構成されたサンプル画像受信ユニットと、
    前記一般的なモデル及び前記1つ以上のサンプル画像を使用して前記クエリオブジェクトに固有の検出器を作成するように構成されたオブジェクト検出器作成ユニットと、
    前記作成された前記クエリオブジェクトに固有の検出器を使用して目的画像から前記クエリオブジェクトを検出するように構成されたオブジェクト検出ユニットと備え
    前記サンプル画像受信ユニットは、前記1つ以上のサンプル画像における、前記クエリオブジェクトの各構成要素を示すラベルを更に受信し、
    前記オブジェクト検出器作成ユニットは、
    前記1つ以上のサンプル画像において前記ラベルで規定される構成要素を、前記クエリオブジェクトを構成する複数種類の構成要素における着目構成要素と定義し、前記複数の一般的なモデルにおける、前記着目構成要素と同じ種類の構成要素を分類するための分類器で構成されるグループを着目グループと定義したとき、
    (1)前記1以上のサンプル画像における前記クエリオブジェクトの前記ラベルで特定される前記着目構成要素を、前記着目グループに属する分類器それぞれに適用して、各分類器の信頼度を示すスコアを求め、
    (2)前記着目グループにおける最も高いスコアとなった分類器を前記着目構成要素を分類するための構成要素分類器として決定し、
    (3)前記オブジェクトを構成する各構成要素それぞれに対して決定された構成要素分類器を組み合わせることで、前記クエリオブジェクトに固有の検出器を作成する
    ことを特徴とするオブジェクト検出装置。
  13. コンピュータにロードされ且つ前記コンピュータにより実行される場合に請求項1記載の方法の各ステップを前記コンピュータに実行さためのプログラムを格納したことを特徴とするンピュータ可読記憶媒体。
  14. 撮像光学系と、
    撮像して画像を形成する撮像ユニットと、
    ユーザがクエリオブジェクトを入力又は選択することを許容し、かつ、前記形成された画像内の前記クエリオブジェクトを検出できるようにするように構成される請求項12に記載のオブジェクト検出装置と、
    前記検出されたクエリオブジェクトに従って撮影制御を実行するように構成された撮影制御ユニットと、
    を備えることを特徴とする撮像装置。
  15. 前記撮影制御は、前記クエリオブジェクトが検出される場合に撮影解像度を上げることを含むことを特徴とする請求項14に記載の撮像装置。
  16. 前記撮影制御は、前記クエリオブジェクトが検出される場合に、前記撮像光学系の焦点を前記検出されたクエリオブジェクトに合わせることを含むことを特徴とする請求項14に記載の撮像装置。
  17. 前記撮影制御は、前記クエリオブジェクトが検出される場合に、前記形成される画像内に前記クエリオブジェクトが存在し続けるように前記撮像光学系に前記検出されたクエリオブジェクトを追跡させ続けることを含むことを特徴とする請求項14に記載の撮像装置。
JP2013260667A 2012-12-18 2013-12-17 オブジェクト検出方法、オブジェクト検出装置及び撮像装置 Expired - Fee Related JP5890825B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210550321.XA CN103870798B (zh) 2012-12-18 2012-12-18 对象检测方法、对象检测设备以及图像拾取设备
CN201210550321.X 2012-12-18

Publications (2)

Publication Number Publication Date
JP2014130583A JP2014130583A (ja) 2014-07-10
JP5890825B2 true JP5890825B2 (ja) 2016-03-22

Family

ID=50909317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013260667A Expired - Fee Related JP5890825B2 (ja) 2012-12-18 2013-12-17 オブジェクト検出方法、オブジェクト検出装置及び撮像装置

Country Status (3)

Country Link
US (1) US9171230B2 (ja)
JP (1) JP5890825B2 (ja)
CN (1) CN103870798B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965115B1 (en) * 2013-03-14 2015-02-24 Hrl Laboratories, Llc Adaptive multi-modal detection and fusion in videos via classification-based-learning
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
CN104159071A (zh) * 2014-07-11 2014-11-19 深圳瞭望通达科技有限公司 一种基于云服务的智能目标识别装置、系统及方法
JP6524475B2 (ja) * 2015-01-16 2019-06-05 株式会社レイトロン 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置
CN105989339B (zh) * 2015-02-16 2020-02-14 佳能株式会社 用于检测目标的方法和装置
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US9984314B2 (en) * 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
US10861184B1 (en) 2017-01-19 2020-12-08 X Development Llc Object pose neural network system
CN108804971A (zh) * 2017-04-26 2018-11-13 联想新视界(天津)科技有限公司 一种图像识别系统、增强现实显示设备和图像识别方法
US10540390B1 (en) * 2017-08-07 2020-01-21 Amazon Technologies, Inc. Image-based item identification
CN107909088B (zh) * 2017-09-27 2022-06-28 百度在线网络技术(北京)有限公司 获取训练样本的方法、装置、设备和计算机存储介质
CN107742536B (zh) * 2017-10-16 2021-04-06 成都黑杉科技有限公司 信息处理的方法及装置
US10740647B2 (en) 2018-03-14 2020-08-11 Adobe Inc. Detecting objects using a weakly supervised model
US10706525B2 (en) * 2018-05-22 2020-07-07 Midea Group Co. Ltd. Methods and systems for improved quality inspection
CN110019960A (zh) * 2018-09-05 2019-07-16 深圳市商汤科技有限公司 数据处理方法及装置、电子设备和存储介质
CN109407630B (zh) * 2018-09-21 2020-08-21 深圳新视智科技术有限公司 参数计算的方法、装置、终端及可读存储介质
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
CN110086986B (zh) * 2019-04-22 2020-08-28 北京电影学院 可自由旋转的影像显示同步控制方法及系统
CN110135483A (zh) * 2019-04-30 2019-08-16 北京百度网讯科技有限公司 训练图像识别模型的方法、装置及相关设备
CN110287934B (zh) * 2019-07-02 2022-12-02 北京搜狐互联网信息服务有限公司 一种对象检测方法、装置、客户端及服务器
US11302033B2 (en) 2019-07-22 2022-04-12 Adobe Inc. Classifying colors of objects in digital images
US11468550B2 (en) 2019-07-22 2022-10-11 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11107219B2 (en) 2019-07-22 2021-08-31 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11631234B2 (en) 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
US11468110B2 (en) 2020-02-25 2022-10-11 Adobe Inc. Utilizing natural language processing and multiple object detection models to automatically select objects in images
US11055566B1 (en) 2020-03-12 2021-07-06 Adobe Inc. Utilizing a large-scale object detector to automatically select objects in digital images
US11587234B2 (en) 2021-01-15 2023-02-21 Adobe Inc. Generating class-agnostic object masks in digital images
US11972569B2 (en) 2021-01-26 2024-04-30 Adobe Inc. Segmenting objects in digital images utilizing a multi-object segmentation model framework
CN113011503B (zh) * 2021-03-17 2021-11-23 彭黎文 一种电子设备的数据取证方法、存储介质及终端
WO2022239164A1 (ja) * 2021-05-12 2022-11-17 三菱電機株式会社 部品検索装置、部品検索プログラム及び部品検索方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7551755B1 (en) * 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7751602B2 (en) * 2004-11-18 2010-07-06 Mcgill University Systems and methods of classification utilizing intensity and spatial data
JP4525523B2 (ja) * 2005-08-23 2010-08-18 コニカミノルタホールディングス株式会社 認証システム、認証方法およびプログラム
US7657089B2 (en) * 2006-02-21 2010-02-02 Microsoft Corporation Automatic classification of photographs and graphics
US7680341B2 (en) * 2006-05-05 2010-03-16 Xerox Corporation Generic visual classification with gradient components-based dimensionality enhancement
WO2007129474A1 (ja) * 2006-05-10 2007-11-15 Nikon Corporation 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
JP4732311B2 (ja) 2006-11-29 2011-07-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4497236B2 (ja) * 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
JP5533662B2 (ja) * 2008-10-30 2014-06-25 コニカミノルタ株式会社 情報処理装置
JP2010136190A (ja) * 2008-12-05 2010-06-17 Nikon Corp 電子カメラ
JP2010146395A (ja) * 2008-12-19 2010-07-01 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
US8306265B2 (en) * 2009-01-12 2012-11-06 Eastman Kodak Company Detection of animate or inanimate objects
US8433140B2 (en) * 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation
JP5554987B2 (ja) 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
JP5739428B2 (ja) * 2010-08-04 2015-06-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP5510287B2 (ja) * 2010-11-22 2014-06-04 カシオ計算機株式会社 被写体検出装置、被写体検出方法及びプログラム
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置

Also Published As

Publication number Publication date
JP2014130583A (ja) 2014-07-10
CN103870798B (zh) 2017-05-24
US20140176752A1 (en) 2014-06-26
CN103870798A (zh) 2014-06-18
US9171230B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
JP5890825B2 (ja) オブジェクト検出方法、オブジェクト検出装置及び撮像装置
US10438059B2 (en) Image recognition method, image recognition apparatus, and recording medium
US20190095701A1 (en) Living-body detection method, device and storage medium
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
Barra et al. Web-shaped model for head pose estimation: An approach for best exemplar selection
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
KR102120864B1 (ko) 영상 처리 방법 및 장치
Panagopoulos et al. Illumination estimation and cast shadow detection through a higher-order graphical model
US8774498B2 (en) Modeling images as sets of weighted features
JP5618686B2 (ja) 視線検出装置、視線検出方法及びプログラム
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
Ali et al. A real-time deformable detector
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
US20120308124A1 (en) Method and System For Localizing Parts of an Object in an Image For Computer Vision Applications
JP2012038106A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2009059257A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JP6132996B1 (ja) 画像処理装置,画像処理方法,画像処理プログラム
CN106462774A (zh) 通过规范形状的对象摄取、系统和方法
Almadhor Deep learning based face detection algorithm for mobile applications
JP2011150626A (ja) 画像分類方法、装置、及びプログラム
Scherbaum et al. Fast face detector training using tailored views
US10885316B2 (en) Apparatus for authenticating an object and method thereof
JP2021064120A (ja) 情報処理装置、情報処理方法、及びプログラム
Zamuner et al. A pose-adaptive constrained local model for accurate head pose tracking

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160219

R151 Written notification of patent or utility model registration

Ref document number: 5890825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees