JP5607261B2

JP5607261B2 - オブジェクト認識における特徴生成を改善するためのシステム及び方法

Info

Publication number: JP5607261B2
Application number: JP2013536846A
Authority: JP
Inventors: チ、インギョン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2010-10-29
Filing date: 2011-10-27
Publication date: 2014-10-15
Anticipated expiration: 2031-10-27
Also published as: KR101650994B1; US9501714B2; KR20140046394A; CN103210401A; WO2012058481A1; US20120106847A1; JP2013541119A; CN103210401B; EP2633476A1

Description

本願の実施形態は、マシンビジョンに関し、より詳細には、改善された特徴生成のための方法、装置、システムに関する。

モバイル無線通信機器、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録機器等を含む広範囲の電子機器は、マシンビジョン技術を採用して、多用途の画像化性能を提供する。これらの性能は、被写体認識プロセス／技術を含み、それによって、これらのシステムは、ユーザが、ユーザの現在地にあるランドマークを認識すること、友達と他人を識別することを、他の様々なタスクと共に支援することができる。

これらの被写体認識プロセス／技術は、被写体の画像を重要な「特徴」の集合に制限することによって、画像内の又は１つ以上の被写体を識別しうる。原画像（raw image）の画素データから被写体の認識を試みるというよりはむしろ、これらのプロセス／技術は、代わりに、被写体を含む「トレーニング」画像のこれらの特徴を、被写体を含みうるか、あるいは、含まない可能性のある新しい画像と比較することによって被写体を認識する。新しい画像が、「トレーニング」画像の特徴に対応する特徴を有する場合、プロセスは、同じ被写体が両方の画像に存在していると決定しうる。プロセス／技術は、被写体が多種多様のオリエンテーション（方向性）下、及び、多様な照明条件下で認識されうる方法で、特徴を選択しうる。

モバイルデバイス（モバイル機器）がますます小型になるにつれ、特徴生成及び認識を実行するためのより効率的な方法が必要である。そのような改善された方法は、これらの認識プロセス／技術に依存する様々な画像化アプリケーションの機能を改善しうる。

本願の実施形態のうちの幾つかは、特徴を生成するための方法を備え、それは、少なくとも１つのプロセッサ上で実行されうる。方法は、分散値（dispersion value）を画像の少なくとも一部に関連付けることと、画像の少なくとも一部における分散が閾値を上回ることを分散値が示す場合に、画像の少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することとを備えうる。幾つかの実施形態において、一部を除外することは、異なる値を有する画像の少なくとも一部を、この画像の少なくとも一部が特徴生成プロセスの少なくとも一部によって処理される前に、差し引くことを備えうる。幾つかの実施形態において、分散値は、画像の一部内の画素値のエントロピの測定を備えうる。特定の実施形態において、分散値は、画像の一部の周波数特性を備えうる。特定の実施形態において、分散値は、画像の少なくとも一部における画素値の級間変動（between class variation）及び級内変動（within class variation）に基づきうる。特定の実施形態において、分散値を関連付けることは、画像の少なくとも一部内の画素を、量子化値と関連付けることと、同一の量子化値を有する画素の集合についての１次モーメントを決定することと、少なくとも２つの集合の１次モーメントの間の距離を測定することとを備えうる。特定の実施形態において、少なくとも２つの集合の１次モーメントの間の距離は、分散値の値に反比例しうる。幾つかの実施形態において、特徴生成プロセスは、少なくとも、ＳＩＦＴ（scale-invariant feature transform）の一部を備えうる。幾つかの実施形態において、特徴生成プロセスは、画像の尺度空間（scale-space）差分を計算するように構成されたモジュールを備えうる。

幾つかの実施形態は、非一時的なコンピュータ読取可能な媒体を備え、非一時的なコンピュータ読取可能な媒体は、分散値を画像の少なくとも一部に関連付けることと、画像の少なくとも一部における分散が閾値を上回ることを分散値が示す場合に、画像の少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することとからなるステップを電子機器に実行させるように構成された命令を備えうる。幾つかの実施形態において、一部を除外することは、異なる値を有する画像の少なくとも一部を、この画像の少なくとも一部が特徴生成プロセスの少なくとも一部によって処理される前に、差し引くことを備えうる。幾つかの実施形態において、分散値は、画像の一部内の画素値のエントロピの測定を備えうる。特定の実施形態において、分散値は、画像の一部の周波数特性を備えうる。特定の実施形態において、分散値は、画像の少なくとも、一部における画素値の級間変動及び級内変動に基づきうる。幾つかの実施形態において、分散値を関連付けることは、画像の少なくとも一部内の画素を、量子化値と関連付けることと、同一の量子化値を有する画素の集合についての１次モーメントを決定することと、少なくとも２つの集合の１次モーメントの間の距離を測定することとを備えうる。幾つかの実施形態において、少なくとも２つの集合の１次モーメントの間の距離は、分散値の値に反比例しうる。特定の実施形態において、特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備えうる。幾つかの実施形態において、特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備えうる。幾つかの実施形態において、電子機器は、無線電話を備えうる。

幾つかの実施形態は、電子機器を備え、電子機器は、分散値を画像の少なくとも一部と関連付けることと、画像の少なくとも一部における分散が閾値を上回ることを分散値が示す場合に、画像の少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することとからなるステップを実行するように構成された命令を備えうる。特定の実施形態において、一部を除外することは、異なる値を有する画像の少なくとも一部を、この画像の少なくとも一部が特徴生成プロセスの少なくとも一部によって処理される前に差し引くことを備えうる。幾つかの実施形態において、分散値は、画像の一部内の画素値のエントロピの測定を備えうる。幾つかの実施形態において、分散値は、画像の一部の周波数特性を備えうる。幾つかの実施形態において、分散値は、少なくとも、画像の一部における画素値の級間変動及び級内変動に基づきうる。特定の実施形態において、分散値を関連付けることは、画像の少なくとも一部内の画素を、量子化値と関連付けることと、同一の量子化値を有する画素の集合についての１次モーメントを決定することと、少なくとも２つの集合の１次モーメントの間の距離を測定することとを備えうる。幾つかの実施形態において、少なくとも２つの集合の１次モーメントの間の距離は、分散値の値に反比例しうる。幾つかの実施形態において、特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備えうる。幾つかの実施形態において、特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備えうる。特定の実施形態において、電子機器は、無線電話を備えうる。

幾つかの実施形態は、電子機器を備え、電子機器は、分散値を画像の少なくとも一部と関連付ける手段と、画像の少なくとも一部における分散が閾値を上回ることを分散値が示す場合に、画像の少なくとも一部の少なくとも一部分を、特徴生成プロセスの少なくとも一部から除外する手段とを備えうる。特定の実施形態において、関連付ける手段は、級間分散（between class variance）と級内分散（within class variance）とを決定するように構成された分散判別器（dispersion discriminator）ソフトウェアモジュールを備え、除外する手段はスイッチを備えうる。特定の実施形態において、一部を除外することは、異なる値を有する画像の少なくとも一部を、この画像の少なくとも一部が特徴生成プロセスの少なくとも一部によって処理される前に、差し引くことを備えうる。幾つかの実施形態において、分散値は、画像の一部内の画素値のエントロピの測定を備えうる。幾つかの実施形態において、分散値は、画像の一部の周波数特性を備えうる。幾つかの実施形態において、分散値は、少なくとも、画像の一部における画素値の級間変動及び級内変動に基づきうる。幾つかの実施形態において、分散値を関連付ける手段は、画像の少なくとも一部内の画素を、量子化値と関連付ける手段と、同一の量子化値を有する画素の集合についての１次モーメントを決定する手段と、少なくとも２つの集合の１次モーメントの間の距離を測定する手段とを備えうる。幾つかの実施形態において、少なくとも２つの集合の１次モーメントの間の距離は、分散値の値に反比例しうる。幾つかの実施形態において、特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備えうる。幾つかの実施形態において、特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備えうる。幾つかの実施形態において、電子機器は、無線電話を備えうる。

開示された態様は、以下、添付された図面に関連して説明され、開示される態様を限定するためではなく例示するために提供される。ここにおいて、同様の表記は同様のエレメントを表す。

図１は、サーバ、データベース、及びネットワーク送信システムに関して、モバイル機器を示している一般ブロック図であり、機器のうちの又は１つ以上は、本願の実施形態のうちの幾つかを実現する。図２は、本願の実施形態のうちの幾つかに関連付けられた特定の画像化アプリケーションが採用しうるモバイル機器の様々なコンポーネントのブロック図である。図３は、特定の実施形態の特徴生成モジュールで実現されうるような、様々なＳＩＦＴファミリ特徴生成にみられる幾つかのステップを示しているフロー図である。図４は、モバイル機器の特徴認識システムの他のコンポーネントに関して図３のフロー図の配置を示す一般ブロック図である。図５は、図４のコンポーネントに関して特定の実施形態で使用されるような分散判別器の配置及び動作を描写する。図６は、図４のコンポーネントに関して特定の実施形態で使用されるような分散判別器の配置及び動作を描写する。図７は、特定の実施形態における分散判別器の様々な動作を示すフロー図である。図８Ａは、６×６の画素ブロックに対する色相ベースの量子化レベルの１つの可能なセットを示す。図８Ｂは、６×６の画素ブロックに対する色相ベースの量子化レベルの１つの可能なセットを示す。図８Ｃは、６×６の画素ブロックに対する強度ベースの量子化レベルの別の可能なセットを示す。図９Ａは、分散判別器の特定の実施形態で使用されるような、級間パラメータの可能な配置を示し、級間分散は、図９Ｂのパラメータ間の分散と比べて大きい。図９Ｂは、分散判別器の特定の実施形態で使用されるような、級間パラメータの可能な配置を示し、級間分散は、図９Ａのパラメータ間の分散と比べて小さい。図１０Ａは、比較的高い級内分散及び比較的低い級間分散を有するサンプル分布を示す。図１０Ｂは、比較的低い級内分散及び比較的高い級間分散を有するサンプル分布を示す。

本明細書に開示される実施例（implementation）は、被写体認識システムにおける改善された特徴生成のためのシステム、方法、装置を提供する。特に、本願の実施形態は、好ましくない被写体認識特徴を生成する画像の一部を除外するために、様々な特徴生成プロセスを変更することを意図する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせで実現されうることを認識するだろう。

幾つかの実施形態は、画像の特徴を生成するための方法又はシステムに関し、それは、少なくとも１つのコンピュータプロセッサ上で実行される。この方法において、画像の少なくとも一部に関連付けられた分散値が生成されうる。分散は、一般的に、画像領域において、互いに対する類似画素の分離を指す。類似画素が互いの近くに存在する場合、分散はより低い。介在する多くの異なる画素が類似画素を分離する場合、分散はより高い。画素が非常に類似しているために区別可能なグループが存在しないとみなされる場合もまた、当業者は分散を「高い」と定義しうる。個々の類似画素が、画像内の広く分離した「群れ（clumps）」又はグループにおいて互いのそばに存在する場合でさえ、類似画素は全体として「分散された（dispersed）」状態でありうることに注意されたい。「分散値（dispersion value）」は、分散の程度を示しうる。

方法は、画像部分における画素分散が閾値を上回ることを分散値が示す場合、特徴生成プロセスの少なくとも一部から画像の一部を除外する。当業者は、本明細書で参照される閾値が、分散の程度に関すること、並びに、実際の実施例が閾値を様々な形態（逆数又は範囲など）で表しうることを容易に認識するだろう。このように、「閾値を上回る（exceeding a threshold）」は、その条件を説明するためにどのような実施例が採用されるかにかかわらず、十分な量の分散が存在することを示す。例えば、撮影された画像に対して画像認識を実行しているセルラ電話において、この特徴生成方法は有益でありうる。閾値を上回る、分散された画素分布を有する画像の一部を除外することで、システムは、それら一部を特徴生成プロセスから除去することができる。区別可能な画素グループが存在しないため、実質的に類似した画素の領域のような他の領域も除去されうる。後で撮影された画像において特徴が生成されることも認識されることもないため、この方法は計算的リソースを確保しうる。

以下の説明において、例の完全な理解を提供するために、特定の詳細が示される。しかしながら、これらの特定の詳細なく例が実施されうることは、当業者によって理解されるだろう。例えば、電気コンポーネント／機器は、不必要な詳細で例を不明瞭にしないために、ブロック図で示されうる。別の例において、そのようなコンポーネント、他の構造、及び技術は、例をさらに説明するために詳細に示されうる。

例がプロセスとして説明され、それが、フローチャート、フロー図、有限状態図、構造図、又はブロック図で描写されうることにも注意されたい。フローチャートは、動作を一連のプロセスとして説明しうるが、大半の動作は、並列して又は同時に実行され、プロセスは繰り返されうる。加えて、動作の順序は再配列されうる。プロセスは、その動作が完了すると終了する。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応しうる。プロセスが、ソフトウェア関数に対応する場合、その終了は、呼出し関数又は主要関数への関数の戻りに対応しうる。

当業者は、情報及び信号が多種多様な技法及び技術のいずれかを用いて表されうることを理解するだろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場又は磁性粒子、光場又は光粒子、もしくはこれらのあらゆる組み合わせによって表されうる。

被写体認識システムは、コンピュータ機器が画像内の又は１つ以上の被写体を識別することを可能にする。これらのシステムは、一般的に、画像の第１のセット内の被写体の視覚的特徴を学習する（learn）ためのプロセスの第１のセットと、その後、新しい画像の第２のセット内のそれらの特徴を認識するためのプロセスの第２のセットとを備える。画像の第１のセットは、本明細書では、「トレーニング」画像と呼ばれ、第２のセットは、「テスト」、「ライブ」、又は「フィールド内」画像と呼ばれうる。プロセスの第１のセットは、特徴をトレーニング画像から抽出し、それは、認識されるべき被写体を表現する。第２のステップにおいて、システムは、テスト又はライブ画像内のこれらの特徴を認識することで被写体を識別しうる。

特徴生成プロセスは、トレーニング画像内の特徴を識別し、それは、そこに含まれる被写体を識別するために有益である。被写体の認識を複雑にする特徴、又は、被写体の認識に関連性をほとんど有さない特徴は、除外されるべきである。本願の実施形態は、特徴生成を改善するための新しいシステム及び方法を意図する。特に、本願の実施形態は、望ましくない特徴を生成しうる画像の一部を特徴生成プロセスから除外する。具体的に、実施形態は、特徴生成システムが定期的に、テキスチャ、ランダム画素、又は、「分散された」画素分布の他のエリアを描写する画像領域内の好ましくない特徴を識別するという事実を修正する。幾つかの実施形態は、さらに、同一画素又は実質的に類似した画素しか備えない領域のような、特徴を生成する可能性の低い画像部分をプロセスから除去することによって計算を改善しうる。特徴生成プロセス内でこれらの領域を除外及び／又は変更することによって、好ましくない特徴の生成はより少なくなり、及び／又は、計算時間及びリソースが確保されるだろう。本願の実施形態は、「トレーニング」画像の原画素（raw pixel）内のこれらの領域を認識しうるが、周波数、尺度空間、ｎ次元表現（支援ベクトルマシンで使用されるような）などの代替的な表現、あるいは、当業者には馴染みがあり、異なる特徴生成プロセスに共通した他の表現でそれらを認識しうる。この方法において、システムは、これらの特徴を生成するようにリソースに指示しないこと、及び、後の認識の間にこれらの特徴を使用しないことのいずれによっても利益がもたらされる。これらの改善により、特徴生成プロセスを採用するあらゆるシステムにおいて利益が生み出され、それらは、特に、計算時間及び効率性が重んじられるモバイル機器にとって有益である。

図１は、サーバ１０２、データベース１０３、及び、セルラネットワークのようなネットワーク１０４に関してモバイルデバイス(モバイル機器）１０１を備える通信システム１００のハイレベルなブロック図を描写する。モバイル機器１０１は、携帯電話、ラップトップ、携帯情報端末等を備えうる。モバイル機器１０１は、サーバ１０２と通信状態にあり、それ自体がデータベース１０３と通信状態にありうる。サーバ１０２は、セルラ基地局に位置付けられるか、あるいは、ローカルネットワークのサーバ又はルータに位置付けられる。データベース１０３は、同様に、サーバ１０２の内側、又は、離れた位置に位置付けられうる。モバイル機器１０１は、カメラを備えるか、あるいは、ＵＳＢ、ＷＩ−ＦＩ、又はブルートゥース（登録商標）接続のような、画像を受信するための他の手段を含みうる。複数のアプリケーションが、モバイル機器１０１上でユーザに対して利用可能でありうる。これらのアプリケーションは、メッセージングサービス、撮像アプリケーション、及び、当業者に知られている他の共通アプリケーションを含みうる。モバイル機器１０１上のアプリケーションのうちの幾つかは、リモート位置から受信された画像に対して動作するか、又はモバイル機器１０１のカメラによって局所的に生成された画像に対して動作する。幾つかの実施形態において、データベース１０３は、画像記憶装置を備え、モバイル機器１０１は、サーバ１０２を介して画像をデータベース１０３に及び／又はデータベース１０３から送信及び／又は受信しうる。これらの画像は、モバイル機器１０１上で動くアプリケーションによって生成されるか、使用されうる。

上述されたように、特徴生成プロセスは、後に、画像内の被写体を認識するために使用されうる「特徴」を生成する。幾つかの実施形態において、データベース１０３は、画像内の被写体を識別するために使用される特徴の集合を備えうる。これらの特徴は、以下でより詳細に説明されるように、「トレーニング」画像を受信した特徴生成プロセスから生成されうる。モバイル機器１０１上のアプリケーションが画像内の被写体の識別を望む場合、モバイル機器１０１は、データベース１０３から特徴を検索し、この特徴を、特徴認識プロセスの一部分として適用する。代替的に、特徴は、モバイル機器１０１に局所的に記憶されうる。特徴は、トレーニング画像を受信した後、モバイル機器１０１によってデータベース１０３にアップロードされうる。サーバ１０２は、ネットワーク１０４とも通信状態にあり、ネットワークから遠隔的に画像又は特徴を受信しうる。このように、モバイル機器１０１又はデータベース１０３のいずれかが、認識用に記憶された画像又は特徴を含みうる。

図１はモバイルシステムを描写しているが、当業者は、本願の実施形態が他の画像化システムにも適用されうることを容易に認識するだろう。局所画像記憶装置を備えるデスクトップシステムは、例えば、局所的に実行中の特徴生成プロセスの一部分として、本願の実施形態の大部分を実現しうる。

図２は、幾つかの実施形態の画像化アプリケーションで採用されうるモバイル機器１０１の様々なコンポーネントのブロック図を描写する。モバイル機器１０１は、画像キャプチャ（撮像）システム２０１を備え、それは、レンズ２００を介して画像を撮影する。これらの画像は、画像バッファ２０５に記憶され、それは、当技術分野で知られているＲＡＭ、ＳＲＡＭ、動的又は静的メモリを備えうる。代替的に、画像又は特徴は、コネクタ２０６を介して受信され、それは、ファイアワイヤ、ＵＳＢ、ＩＲトランシーバ、ブルートゥースインターフェースなどを備えうる。これらの画像又は特徴は、例えば、他のユーザが別の機器からそれらを送信した場合、あるいは、モバイル機器１０１のユーザが、ローカルネットワーク、又はデスクトップコンピュータのような記憶機器に接続された場合に受信されうる。

モバイル機器１０１はさらに、アンテナ２０８又はコネクタ２０７を介して画像及び特徴データを含む情報を送信又は受信するためのモデム２０４を備えうる。アンテナ２０８は、ＷＩ−ＦＩ、セルラネットワークなどに接続するために使用される無線アンテナでありうる。特徴が識別されると、ユーザは、モデム２０４を介してそれらをデータベース１０３にアップロードし、それによって、それらは、後の認識の試み中に再度呼び出しされうる。代替的に、特徴は、局所的に記憶されうる。

撮像システム２０１は、独立型ハードウェア、ソフトウェア、又は、ファームウェアモジュールを備えうる。しかしながら、幾つかの実施形態において、撮像システムは、図２に示されるように、プロセッサ内のコンポーネントとして、又は、プロセッサ２０２上で実行中のソフトウェアとして、モバイル機器１０１のプロセッサ２０２に統合されうる。撮像システムは、画像を生成するためにレンズ２００を操作する。プロセッサ２０２は、汎用処理ユニット又は画像化アプリケーション用に特別に設計されたプロセッサでありうる。

プロセッサ２０２は、それ自体が、プロセッサ２０２上で実行中のソフトウェア、プロセッサ内の専用コンポーネント、又は、個別の独立型ハードウェア、ソフトウェア、若しくはファームウェアモジュール等を備えうる特徴生成モジュール２０３を備えうる。特徴生成モジュール２０３は、ＳＩＦＴ（scale-invariant feature transform）コアモジュールを備えうる。ＳＩＦＴは、本願の実施形態から利益を得る１つの可能な特徴生成プロセスを備える。特徴生成モジュール２０３は、１つ以上のさらなる特徴認識プロセスを実行するように設計されたソフトウェア、ファームウェア、又はハードウェアを備えうる。例えば、ＳＩＦＴプロセスの変化形は、本明細書において、「ＳＩＦＴプロセスファミリ」と呼ばれ、「典型的な」ＳＩＦＴ、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦ、ＦＩＴ、アフィン不変ＳＩＦＴ、ＲＩＦＴ（Rotational Invariant SIFT）、Ｇ−ＲＩＦ（generalized robust invariant feature）、及びＧＬＯＨ（gradient location and orientation histogram）などを備えうる。特徴生成モジュール２０３は、特定のセットの状況を考えて、様々な特徴生成プロセスの中から選択することができる。例えば、典型的なＳＩＦＴは、リソースの第１のセットを処理するアプリケーションに採用され、それに対して、ＳＵＲＦは、第２のセットの状況下で採用されうる。理解を容易にするために、以下の説明は、主に、ＳＩＦＴ特徴生成プロセスについて記載しているが、当業者は、他の特徴生成プロセスへの本願の実施形態の適用を容易に認識するだろう。

モバイル機器１０１の動作の例として、モバイル機器のユーザがその人の顔を忘れた場合であっても、後日その人を認識できるように、モバイル機器のユーザは、他の人の顔の画像を撮影することを望みうる。モバイル機器のユーザはまた、ＤＶＤカバーのような被写体の写真を撮影すること、及び、そのＤＶＤカバーの画像又はテキスト（若しくは画像とテキスト）のすべて又は一部分の特徴を抽出すること望む。同様に、ユーザは、ワインボトル又は音楽ＣＤ上にあるもののような製品ラベルを認識することを望みうる。これらの例において、ユーザが事前に「トレーニング」画像自体を獲得してあるか、又は、「トレーニング」画像がデータベース１０３のようなデータベースに事前に記憶されうる。モバイル機器１０１は、レンズ２００及び撮像システム２０１を使用して画像をキャプチャしうる。画像は、バッファ２０５に記憶され、次に、モデム２０４及びアンテナ２０８を介してサーバ１０２に送信される特徴を抽出するために、特徴生成モジュール２０３によって処理されうる。次に、サーバ１０２は、この特徴をデータベース１０３に記憶しうる。後に、ユーザが同じ人に再度遭遇した場合、ユーザは、モバイル機器１０１を用いて再度その人の写真を撮影しうる。モバイル機器１０１は、アンテナ２０８及びモデム２０４を介して特徴をデータベース１０３から検索し、この特徴を使用して、新たに撮影された画像に対して特徴認識を実行する。代替的に、画像は、データベース１０３にアップロードされうる。この方法で、ユーザは、第２の遭遇においてその人のアイデンティティを決定しうる。当業者は、上で説明された動作の幾つかが、代替的にモバイル機器又はサーバ上で実行されうることを容易に認識するだろう。例えば、特徴生成モジュール２０３は、代わりに、サーバ１０２上に位置付けられ、モバイル機器１０１は、局所的に特徴認識動作を実行するというよりはむしろ特徴認識のための原画像を送信しうる。

上述されたように、特定の実施形態についての以下の説明は、特徴生成プロセスのＳＩＦＴファミリと関連してなされる。しかしながら、当業者は、図５及び６で説明された実施形態が、ヌル空間ＰＣＡ、支援ベクトルマシン、神経ネットワーク等として、そのような特徴生成プロセスに対してなされることを容易に認識するだろう。

図３は、特徴生成プロセスのＳＩＦＴファイミリにおける多数のステップを描写するフロー図である。描写されたステップの幾つかは、大部分のプロセスと共通しており、他の幾つかは、特定のファミリメンバにのみ特有である。例えば、「典型的な」ＳＩＦＴは、ガウスカーネルを使用して、尺度空間表現(scale space representation)３０１を生成し、それに対し、ＳＵＲＦは、その代わりに、ボックス機能（box function）３０２を使用しうる。一般的に言えば、プロセスのＳＩＦＴファミリは、「尺度空間極値検出」、「キーポイント局所化」、「オリエンテーション割当」、及び「キーポイント記述子の生成」からなるステップを備える。ＳＩＦＴのバージョンは、David G. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, 60, 2 (2004), pp. 91-110（以下、Ｌｏｗｅ）という出版物で詳細に説明されている。当業者は、Ｌｏｗｅの用語が、本願の用語と正確に対応するわけではないことを認識しうる。

プロセスのＳＩＦＴファミリは一般的に、カメラから又は記憶装置からの入力３１１として原画像の画素データ３００を受信することで開始する。これらの原画素は、「尺度空間表現」３０１、３０２に変換される。尺度空間は、当業者には容易に知られている信号処理技術であり、原画像３００は、様々な尺度で「ぼやけた（blurred）」表現を生成するために「ぼやけている（blurred）」。様々な尺度での表現は、「ピラミッド」表現とも呼ばれ、複数のバージョンの画像が多様な尺度及びぼやけの程度で生成される。この方法において、画像は、画像尺度に対して変換が不変である形態に変換される。即ち、原画素情報を「一般化（generalizing）」する。

尺度空間表現を構築することは、例えば畳み込みなどによって、様々な尺度の画像に対して「カーネル（kernel）」を適用することを含みうる。前述されたように、典型的なＳＩＦＴなどの幾つかのプロセスは、ガウスカーネル３０１を使用して尺度空間画像表現を構築しうる。ＳＵＲＦのような他のプロセスは、ボックス機能３０２を用いて尺度空間表現を構築しうる。尺度空間への変換の後、システムは、尺度空間画像と原画像との差分をとりうる。この「画像の差分」３０３は、ハイコントラストの領域を示しうる。これらのハイコントラストの領域、即ち「極値(extrema)」は、幾つかの尺度にわたる画像の差分の局所的な最小値／最大値として識別されうる。例えば、異なる画像内の各画素は、同一の尺度にある隣接画素と、及び、他の様々な尺度にある隣接画素と比較されうる。画素値が、比較されたすべての画素の中で最大又は最小である場合、それは、「キーポイント」として知られる関心領域として識別されうる。これは、一般的に、「キーポイント局所化」と呼ばれ、Ｌｏｗｅでより詳細に説明されている。キーポイントは、特徴を生成するために使用されうる。

例えば、キーポイントの回りでサブ画素補間３０５が実行され、画素サイズには及ばない正確性でキーポイントの位置を決定しうる。次に、システムは、エッジ及び低いコントラストの領域にあるキーポイント３０６をフィルタリングして、誤って決定されたキーポイントを最小化しうる。次に、特徴のオリエンテーション不変性を達成するために、各勾配は、最大又は最小画素値の勾配の方角に基づいて「オリエンテーション」３０７が割り当てられる。この方法において、キーポイントは、回転不変な方法で（即ち、任意の座標軸というよりはむしろ勾配に関して）説明されうる。幾つかの実施形態において、勾配は、尺度空間ピラミッドのレベルごとに計算されうる。これは、一般的に、「オリエンテーション割当」と呼ばれ、Ｌｏｗｅでより詳細に説明されている。

この点で、各キーポイントは、画像の位置、尺度、オリエンテーション（方向性）と関連づけられうる。次に、キーポイントの尺度及び回転不変表現を確実にするためにキーポイント記述子が割り当てられうる３０８。これは、キーポイントの回りの領域内の各画像のサンプルポイントで勾配の大きさ及びオリエンテーションを計算することによって行われうる。これらのサンプルは、サブ領域のコンテンツを集約するオリエンテーションヒストグラムに累積されうる。これは一般的に、「キーポイント記述子の生成」と呼ばれ、Ｌｏｗｅでより詳細に説明されている。

それらの記述子に関するこれらのキーポイントは、出力され３１０、後の認識のために記憶されうる「特徴」を備える。当業者は、より効率的な記憶を容易にするために特徴が「圧縮されること」又は「低減されること」を容易に認識するだろう。ＳＩＦＴ−ＰＣＡにおいて、例えば、システムによって出力される特徴の数は、特徴セットの主要コンポーネント分析（ＰＣＡ）３０９を実行することで減らされうる。ＰＣＡは、数学的な手順、特に、固有ベクトルベースの多変量分析であり、それは、相関する可能性のある変数の数を、より小ない数の、主要コンポーネントと呼ばれる無相関な変数に変換する。変換されると、データの投影のための最大分散は、第１の主要座標に横たわり、次に大きい分散は、第２の主要座標に沿う。初期の主要コンポーネントが大部分の情報を備えるため、当業者は通常、データの公平な説明を保持したまま、それより後のコンポーネントを除去することができる。この方法で、ＰＣＡは、データを記述するために要求されるディメンションの数を減らすために使用され、例えば、データベース１０３などにおける特徴の改善された記憶を可能にする。

図４は、上の特徴生成プロセスを示し、それは、特に、画像キャプチャデバイス（撮像装置）２０１及び画像バッファ２０５のような、モバイル機器の他のコンポーネントに関連して、特徴生成モジュール２０３に見られうる。画像を撮影し、それをバッファ２０５に記憶することに応じて、システムは、原画像の画素３００を、上に概要が述べられた特徴生成プロセスを実行しうる特徴生成モジュール２０３に渡しうる。

上述されたＳＩＦＴプロセスファミリのメンバを含む多数の特徴生成プロセスは、高い周波数詳細の領域を識別することによって、画像内の関心領域を決定する。例えば、ＳＩＦＴプロセスにおいて、尺度空間表現の差分は、後にキーポイントとなりうる「極値」の領域を示す。表現の差分は、高周波数の領域（即ち、隣接する画素間の変化が大きい領域）に等しい。これらのタイプの画像領域が、ほとんど分離されていない、及び、わずかに分離されている場合、これらの高周波数の決定はうまく機能する。あいにく、ランダムノイズは、高い空間周波数を有するため、結果として、被写体認識にほとんど関連性のない特徴を生成しうる。同様に、木の葉のクラスタ、草の葉の大きいクラスタ、又は、服の模様などのテキスチャを備える画像のエリアもまた、それ程好ましくない特徴を生成しうる。これらの「分散された」テキスチャは、近隣の画素間の顕著な分散、即ち、高い周波数情報を含む画像領域を備える。これらの領域は、被写体認識手順に対してほとんど利益を提供しない特徴を生成するだけでなく、特徴生成及び認識プロセスにおいて価値のある時間及びリソースを消費しうる。従って、本願の実施形態は、高い周波数の領域を識別する特徴生成プロセスから、これらの特徴を生成する画像の一部を除去するためのシステム及び方法を意図する。重ねて、ＳＩＦＴファミリが上に詳細に説明されたが、当業者は、開示された技術が、高い周波数領域において好ましくない特徴を生成する他のプロセスに適用されることを容易に認識するだろう。

本願の実施形態は、特徴生成プロセス内側又は外側への「分散判別器」の組み込みを意図する。分散判別器は、ソフトウェア（ソフトウェアモジュールのような）、ハードウェア、又は、ファームウェアを備えうる。分散判別器は、分散テキスチャの領域のような画像の一部を、特徴生成プロセスによるさらなる分析から除外しうる。例えば、この判別器は、単に、これら一部を処理のためのプロセスに提供しないか、又は、これら一部を、好ましくない特徴を生成しない値と置き換えうる。この方法で、システムは、より正確に及びより効率的に関連性のある特徴を認識しうる。図５及び図６は、モバイル機器の特徴認識システムの他のコンポーネントに対する分散判別器の配置を示すブロック図を描写する。図５及び６における判別器の配置は、ＳＩＦＴに関して例示することを目的としている。しかしながら、当業者は、この判別器が、ヌル空間ＰＣＡ、支援ベクトルマシン、神経ネットワーク、及び、他の特徴生成プロセスを組み込むシステムに類似して配置されることを容易に認識するだろう。分散判別器の配置及び動作は、当業者が容易に認識するように、下に説明されるように分散した原画素データに対応する画像の一部をフィルタリングするためだけに変更される必要がある。

図５に示される１つの実施形態において、撮像装置２０１が画像を獲得した後に画像バッファ２０５で原画像画素３００が見つけられると、分散判別器５０２は、それらを分析する。判別器は、好ましくないテキスチャを備えうる画素内の分散の領域を決定する。判別器は、さらに、同一画素のブロックのような、変動がほとんど又はまったくない領域を決定しうる。判別器５０２は、後続の特徴分析からこれらの領域を除外するために、スイッチ５０１又は他の除外手段を備えうるか、あるいは、それらと連動して動作しうる。図５において、スイッチ５０１は、尺度空間画像の差分でゲートキーピング機能（gate keeping function）を実行するものとして示される。当業者は、原画素のデータ３００が尺度空間に変換される前にスイッチ５０１を配置することによって、原画素が変更又は除外されうることを容易に認識するだろう。反対に、スイッチ５０１は、例えば、極値３０４の配置の後など、プロセスにさらに配置されうる。この方法で、キーポイントが分散テキスチャを備えると判別器が決定した後に、このキーポイントは変更又は除外されうる。スイッチは「除外手段」と呼ばれているが、好ましくない特徴の生成を回避するために画像コンテンツを除去するというよりはむしろ変更する他の機器も、それらが好ましくない特徴に責任を有する部分を同じように除外するため、「除外手段」を同様に備えること、を当業者は容易に理解するだろう。

図６の実施形態で示されている別の例として、判別器は、その代わりとして、尺度空間画像、即ち、ぼやけた画像に対して動作する。ここで、スイッチ５０１は、さらに、残りのプロセスからそれらのコンテンツを除外又は変更するように尺度空間画像に対して動作する。判別器の閾値及びパラメータは、同様に、残りのプロセスから高い分散の領域を除外するために、原画素よりはむしろ尺度空間データを受信するように変更されうる。これらの変更は、以下でより詳細に説明される。このように、当業者は、スイッチ５０１が、出力３１０される前の、プロセスのどこかに配置されうることを認識するだろう。

幾つかのシステムは、特徴生成モジュール２０３内で１よりも多くの特徴認識プロセスを実現しうるか、それらは、複数の特徴生成モジュール２０３を動作しうる。例えば、幾つかの状況において、より良い結果は、重ねた認識プロセスを使用して達成されうる。ＳＩＦＴは、記憶リソースが容易に入手可能である場合に使用され、ＰＣＡ−ＳＩＦＴは、記憶空間が限られている場合に使用されうる。本願の実施形態の幾つかにおいて、分散判別器５０２は、認識方法から選択する機器と通信状態にありうる。画像が撮影される状況に依存して、モバイル機器１０１は、特徴認識方法を重ねて実行しうる（正確性対速度、画像の主題、等）。上述された実施形態は、判別器の効率的な配置を示しているが、当業者は、この判別器が、出力前のプロセスの任意の時点で画素を除外するように動作しうることを容易に認識するだろう。例えば、キーポイントは、フィルタリング３０６の間に、又は、記述子３０８が準備された後に除去されうる。しかしながら、プロセスの異なる位置での動作は、分散判別器が、特定の位置に現れるデータに対して動作するように変更されることを要求しうる。

図７は、画像の一部が分散画素データの領域に対応するか否かを決定するために使用される分散判別器５０２の様々な動作を示すフロー図である。理解を容易にするために、上に記述されたように、代替的な方法（尺度空間アセスメント、周波数、ドメインアセスメント、等）が使用されるが、図７では、原画像の画素に対する判別器５０２の動作７００が描写される。図１０Ａ及び１０Ｂについて、図７の分散判別器５０２の動作７００の背後にある原理が説明されるだろう。次に、これらの原理の実施例が、図７の詳細に関連して記述される。図１０Ａは、データ１００１ａ及び１００１ｂという２つの級に関して、サンプル値（ｘ軸）にわたる測定１０００ａを描写する。データ１００１ａ及び１００２ａというこれら２つの級は、それぞれ、「級内」分散１００４ａ、１００３ａを有し、「級間」分散１００５ａを有する２つのガウス分布によって表される。図１０Ｂは、同様に、関連した「級内」分散１００４ａ、１００３ｂ及び「級間」分散１００５ｂを有する、データ１００１ｂ及び１００２ｂという２つの級を表す。当業者は、図１０Ａにおける級分布が、２つの級がより大きなオーバラップを含むという意味で、より「分散された」状態であることを観測するだろう。図１０Ｂに描写された級に比べて、両方の級が広範囲をカバーし、両方の級がよりオーバラップするため、ランダムに選択された値は、どちらかの級に入る可能性が高い。対称的に、図１０Ｂは、示されるように、級がより狭く定義され、オーバラップしない可能性があるため、より分散が少ない分布を描写する。特定の実施形態は、この相対分散を表す値が、線形の判別手段分析のフィッシャー判別関数によって漠然と引き起こされることを意図する。この値は、分布の「分散」を示すように、「級内」及び「級間」分散の比を表しうる。図１０Ａにおいて、例えば、「級間」分散１００５ａは、図１０Ｂのものよりも小さく、「級内」分散１００４ａ及び１００３ａは、図１０Ｂのものよりも大きい。反対に、図１０Ｂにおいて、「級間」分散１００５ｂは、図１０Ａのものよりも大きく、「級内」分散１００４ｂ及び１００３ｂは、図１０Ａのものよりも小さい。特定の実施形態は、図１０Ａ−Ｂについての記述に類似した方法で、「級間」及び「級内」分散を用いて画素分散を決定することを意図する。

図７に戻り、これらの実施形態における判別器５０２は、分散の測定が行われうるように、画像ブロック７０１内の画素の「級内」及び「級間」分布を決定しようとする。判別器が、画像部分７０１を受信する７０２前に、システムは、画像内にみられうる画素値の領域を量子化する。これは、画素色相、明度、又は類似した画素特性の量子化を備え、システムが分散判別器を用いる前に行われうる。このステップは画像ブロックの受信後に行われうるが、当業者は、画像に対する動作の前に、事前に、この領域が量子化されうることを容易に認識するだろう。量子化された領域は、事前に計算され、例えば、モバイル機器１０１又はサーバ１０２上のどこかにあるテーブルに記憶されうる。続いて、判別器が、「トレーニング画像」の画像ブロック内の画素７０１を受信する７０２と、画素は、それらのそれぞれの量子化領域７０３に関連づけられる。共通領域の範囲内の画素は、共通の級ＩＤ７０３が割り当てられる。即ち、値が同じ量子化の範囲内である画素は、同じ「級」を備える。

図８Ａ〜Ｃについて、これらの級がより詳細に説明される。図８Ａは、１つの可能な例として、３６個の画素を備える６×６の画像ブロック８０１を示す。述べられたように、可能な色相の所与の量子化領域の範囲内の画素は、関連量子化レベル、即ち、級ＩＤが割り当てられるだろう。当業者は、画素値を領域と比較するように構成されたソフトウェアコードのような、画素を量子化値に関連付けるための多くの手段を容易に認識するだろう。このように、図８Ａの画素は、「Ｘ」、「Ｏ」、及び「＋」で示される３つの級にグループ化されうる。これら３つの領域は、所与の量子化レベルの画素が互いの近くに存在する傾向がある、即ち、左上には「Ｘ」、左下には「Ｏ」、及び右には「＋」が存在する、という意味で、比較的「同質」である。図８Ｂは、対称的に、同一のディメンションを有するが、「分散された」画素の集合を備える画素ブロックを示す。ここで、所与の量子化級の画素は、必ずしも、ブロック内で互いの近くに位置付けられるわけではない。上述されたように、図７及び図８Ａ〜Ｂは色彩量子化を指すが、当業者は、量子化されうる多くの代替的な画素パラメータを容易に認識するだろう。例えば、図８Ｃは、明度値で示された、画素の分散された分布を示す。これらの画素値は、実施例に依存して量子化されうるか、あるいは、量子化されない可能性がある。これらの値は、グレースケール明度値等を備えうる。

再び図７に戻り、上述されたように、次に、同じ量子化レベルを備える画素が級にグループ化されうる７０３。次に、各級は、図１０Ａ〜Ｂに関して上述された方法に類似した方法で、画像ブロック内の「分散」の測定を決定するために使用されうる。それらの図に関して説明されたように、級同士の「級内」及び「級間」分散は、分散の測定を決定するために使用されうる。図７に対応する実施形態において、「級間」変動Ｓ_Ｂの測定及び「級内」変動Ｓ_Ｗの測定７０５は、以下でさらに詳しく説明されるように、級間基準ｍ_ｒｅｆ及び級のモーメントｍ_ｉ７０４に基づいて決定されうる。

特定の実施形態において意図されたような、ｍ_ｒｅｆ及びｍ_ｉの決定、並びに、後続のＳ_Ｗ及びＳ_Ｂの計算がここで説明される。図７の画像部分７０２を再度参照して、画素領域が判別器５０２によって分析されるべきであることを考慮する。図８Ａ〜Ｃ及び９Ａ〜Ｂに示されるように、ｘ及びｙが、それぞれ、領域内の画素の列及び行の位置を指すと想定する。このように、領域内の各画素ｚは、位置に関連づけられる。即ち、ｚ＝（ｘ、ｙ）である。さらに、画素領域は、Ｎ個の画素を備え、Ｎ個の画素の各々は、Ｃ個の量子化級のうちの１つに分類されうる。例えば、画像内のすべての画素が、３つの量子化レベルのうちの１つに関連付けられた場合、Ｃ＝３である（これは、８Ａのケースである）。１次モーメントとして知られる平均ｍ_ｉ、即ち、特定の級Ｚ_ｉのＮ_ｉ個のデータポイントの級の重心は、以下のように定義されうる：

当業者は、画素位置の値を合計し、画素の数で除算するソフトウェアコードなど、これらのモーメントを決定するための多くの方法を容易に認識するだろう。ｍ_ｉという用語は、その級における各画素の平均の中心位置を表す画素領域内の位置を指す。例として、図９Ａは、図８Ａの「Ｘ」級、「Ｏ」級、「+」級に対する平均ｍ_１、ｍ_２、ｍ_３を示す。各々の級に対して平均ｍｉが決定されると、級の平均に対するその級内の各画素のユークリッド距離を合計することによって、級に対する級内分散が決定されうる。次に、級内分散は、以下のように値Ｓ_Ｗを形成するために、Ｃ個すべての級にわたって累積されうる：

「級間」値Ｓ_Ｂは、以下のように決定されうる。共通の基準点ｍ_ｒｅｆは、級の平均ｍ_ｉの各々の間での比較のために選択されうる。１つの実施形態において、ｍ_ｒｅｆは、画素領域の中心９０１（例えば、１７×１７の領域の位置９，９）であり、よって、各画素ブロックと固定された残りが考慮されうる。幾つかの実施形態において、基準は、サブ画素位置を備え、当業者は、この基準が物理位置に対応する必要ないことを認識するだろう。画像部分のディメンションが繰り返しの間で変化する場合、基準位置は、同じように変更されうる。次に、「級間」測定Ｓ_Ｂは、この基準に対する各級の平均のユークリッド距離をとることによって計算されうる：

このように、Ｓ_Ｂは、各級の中間ポイントｍ_ｉとグローバル基準ｍ_ｒｅｆとの間の分散を指し、よって、級間変動の指標として寄与する。Ｓ_Ｗは、級内の分散、即ち、各々の級からそれらの平均ｍ_ｉまでの距離を指す。図１０Ａ〜Ｂに関して説明されたように、本願の実施形態のいつくかは、これら２つの測定値を、場合によっては比として、画素領域内の分散Ｄの指標として比較すること７０６を意図する。

このように、級の中心が互いにさらに分布される（即ち、Ｓ_Ｂが増加する）と、分散は減少する（図８Ａ及び９Ａ参照）。これは、画像ブロックが類似した色相のグループを備えるケースであり、その級の中心、即ちモーメントが画素領域において広く分離される。反対に、級の中心の密集した集合は、級が互いに近いこと、及び、量子化されたレベルの級が近くにあるか、混ぜられてあるかのいずれかである（即ち、Ｓ_Ｂが減少する、図８Ｂ及び９Ｂ参照）ことを示す。類似した方法で、級のメンバがより厳格に限定される（Ｓ_Ｗが減少する）と、分散は減少する。級のメンバがより広く分離される（Ｓ_Ｗが増加する）と、分散は増加する。上述されたように、システムはまた、同一又は「実質的に類似した」画素の領域を除外しうる。幾つかの実施形態において、これは、画素領域が単一の級しか備えない場合、Ｓ_Ｂをゼロであると定義することによって達成されうる。結果として、値Ｄは、非常に高い又は無限の分散を示すだろう。値Ｄは、さらに、後処理を容易にするために、様々な形態へと操作されうる。例えば、特定の実施形態は、分散を示す指標として、測定の逆のログをとることをさらに考慮する。幾つかの実施形態は、分布のエントロピ「Ｅ」としてこれを指しうる。

結果として、高いエントロピの領域は、除外されうる。上述されたように、実質的に類似した又は同一の画素（即ち、特定の領域内の画素）の領域においてＳ_Ｂをゼロに定義することによって、エントロピは、同様に、この領域において極めて高い又は無限であり、これもまた、画像部分をプロセスから除外することにつながる。

判別器５０２は、分散測定Ｄを閾値値と比較し７０７、それによって、画像ブロックが分散画素分布に対応するか否かを決定する。測定が閾値を超える場合、動作の第１のコース７０８が行われ、超えない場合、代替的なコース７０９が行われる。例えば、スイッチ５０１は、上述されたように、決定に基づいて動作されうる。これらの閾値は、予め設定されるか、試行錯誤の結果事前に決定されるか、情報に基づいて予測されるか、又は、前のトレーニングセッションに基づいて動的に生成されうる。ファジー論理（fuzzy logic）、機械学習方法など、動作のコースを決定するための代替的な手段は、当業者によって容易に想像されるだろう。決定が行われた後、プロセスは、終了し７１０、画像の新しい一部が処理のために受信される。それ以上の部分が処理を要求しない場合、システムは中断する。

図１０Ａ〜Ｂに関して説明された「級間」及び「級内」判別測定は、分散判別器の実施形態のうちの１つの級を備えるが、当業者は、分散値を生成するための代替的な手段を容易に認識するだろう。例えば、画素領域の周波数表現は、フーリエ変換などによって、行われうる。より多くの数の周波数を備える領域は、より少ない周波数を有する領域よりも大きな分散を有するものとして分類されうる。

当業者であれば、本明細書に開示された実施例に関連して説明された様々な実例となる論理ブロック、モジュール、回路、及びプロセスのステップが、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実現されうることを容易に理解するだろう。このハードウェア及びソフトウェアの互換性を明確に示すために、様々な実例となるコンポーネント、ブロック、モジュール、回路、及びステップが、一般的にそれらの機能の観点から、上に説明されている。このような機能が、ハードウェアとして実現されるか、ソフトウェアとして実現されるかは、特定のアプリケーション、及びシステム全体に課せられる設計制約に依存する。当業者は、特定のアプリケーションの各々に関して説明された機能を多様な方法で実現することができるが、このような実現の決定は、本発明の範囲を逸脱するものとして解釈されるべきでない。当業者は、一部が、即ち、一部分が、全体以下の内容を備えることを認識するだろう。例えば、画素の集合の一部は、それらの画素のサブ集合を指しうる。

本明細書に開示された実施例に関連して説明された様々な実例となる論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はその他のプログラマブル論理機器、ディスクリートゲート又はトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいは本明細書に説明された機能を実行するように設計されたこれらの任意の組み合わせで、実現又は実行されうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替的に、このプロセッサは、任意の従来型プロセッサ、コントローラ、マイクロコントローラ、又はステートマシン（state machine）でありうる。プロセッサはまた、計算機器の組み合わせ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと結合された１つ以上のマイクロプロセッサとの組み合わせ、又は他のそのような構成として実現されうる。

本明細書に開示された実施例に関連して説明された方法又はプロセスのステップは、直接ハードウェアに、プロセッサによって実行されるソフトウェアモジュールに、又はこれら２つの組み合わせに組み込まれうる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、あるいは、当技術分野で知られているあらゆる他の形式の非一時的な記憶媒体に存在しうる。例示的なコンピュータ読取可能な記憶媒体は、プロセッサがこのコンピュータ読取可能な記憶媒体から情報を読み取り、このコンピュータ読取可能な記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替的に、記憶媒体は、プロセッサに一体化されうる。プロセッサと記憶媒体とは、ＡＳＩＣに存在しうる。ＡＳＩＣは、ユーザ端末、カメラ、又は別の機器に存在しうる。代替的に、プロセッサと記憶媒体とは、ディスクリートコンポーネントとしてユーザ端末、カメラ、又は他の機器に存在しうる。

参照のため、及び、様々なセクションの位置付けを助けるために、本明細書では表題が含まれている。これらの表題は、それらに関して説明されたコンセプトの範囲の制限を意図するものではない。そのようなコンセプトは、本明細書全体を通して適用性を有しうる。

開示された実施例についての以上の説明は、いずれの業者であっても本願の発明を製造又は使用できるようにするために、提供される。これら実施例に対する様々な変更は、当業者には容易に明らかであり、本明細書で定義された包括的な原理は、本発明の精神又は範囲から逸脱することなく、他の実施例にも適用されうる。従って、本発明は、本明細書に示された実施例に限定されることが意図されず、本明細書に開示された原理及び新規な特徴と一致する最も広い範囲が与えられるべきである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
少なくとも１つのプロセッサ上で実行される、特徴を生成するための方法であって、
分散値を画像の少なくとも一部に関連付けることと、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、特徴生成プロセスの少なくとも一部から前記画像の前記少なくとも一部の少なくとも一部分を除外することと、
を備える方法。
［Ｃ２］
前記一部分を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、Ｃ１に記載の方法。
［Ｃ３］
前記分散値は、前記画像の一部内の前記画素値のエントロピの測定を備える、Ｃ１に記載の方法。
［Ｃ４］
前記分散値は、前記画像の前記一部の周波数特性を備える、Ｃ１に記載の方法。
［Ｃ５］
前記分散値は、少なくとも、前記画像の前記一部内の画素値の級間変動及び級内変動に基づく、Ｃ１に記載の方法。
［Ｃ６］
前記分散値を関連付けることは、
前記画像の前記少なくとも一部内の画素を量子化値と関連付けることと、
同一の量子化値を有する画素の集合に対して前記１次モーメントを決定することと、
少なくとも２つの集合の前記１次モーメントの間の距離を測定することと、を備える、Ｃ１に記載の方法。
［Ｃ７］
前記少なくとも２つの集合の１次モーメントの間の距離は、前記分散値の値に反比例しうる、Ｃ６に記載の方法。
［Ｃ８］
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、Ｃ１に記載の方法。
［Ｃ９］
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、Ｃ１に記載の方法。
［Ｃ１０］
命令を備える非一時的なコンピュータ読取可能な媒体であって、前記命令は、
分散値を画像の少なくとも一部に関連付けることと、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、前記画像の前記少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することと
からなるステップを電子機器に実行させるように構成された、非一時的なコンピュータ読取可能な媒体。
［Ｃ１１］
前記一部を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１２］
前記分散値は、前記画像の前記一部内の前記画素値のエントロピの測定を備える、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１３］
前記分散値は、前記画像の前記一部の周波数特性を備える、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１４］
前記分散値は、少なくとも、前記画像の前記一部における画素値の級間変動及び級内変動に基づく、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１５］
前記分散値を関連付けることは、
前記画像の前記少なくとも一部内の画素を量子化値に関連付けることと、
同一の量子化値を有する画素の集合についての前記１次モーメントを決定することと、
少なくとも２つの集合の前記１次モーメントの間の距離を測定することと、
を備える、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１６］
前記少なくとも２つの集合の１次モーメントの間の距離は、前記分散値の値に反比例しうる、Ｃ１５に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１７］
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１８］
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、Ｃ１０に記載の非一時的なコンピュータ読取可能な媒体。
［Ｃ１９］
前記電子機器は無線電話を備える、Ｃ１０に記載の非一時的コンピュータ読取可能媒体。
［Ｃ２０］
命令を備える電子機器であって、前記命令は、
分散値を画像の少なくとも一部に関連付けることと、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、前記画像の前記少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することと、
からなるステップを実行するように構成される、電子機器。
［Ｃ２１］
前記一部を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、Ｃ２０に記載の電子機器。
［Ｃ２２］
前記分散値は、前記画像の前記一部内の前記画素値のエントロピの測定を備える、Ｃ２０に記載の電子機器。
［Ｃ２３］
前記分散値は、前記画像の前記一部の周波数特性を備える、Ｃ２０に記載の電子機器。
［Ｃ２４］
前記分散値は、少なくとも、前記画像の前記一部における画素値の級間変動及び級内変動に基づく、Ｃ２０に記載の電子機器。
［Ｃ２５］
分散値を関連付けることは、
前記画像の前記少なくとも一部の画素を量子化値に関連付けることと、
同一の量子化値を有する画素の集合についての前記１次モーメントを決定することと、
少なくとも２つの集合の前記１次モーメントの間の距離を測定することと、を備える、Ｃ２０に記載の電子機器。
［Ｃ２６］
前記少なくとも２つの集合の１次モーメントの間の距離は前記分散値の前記値に反比例しうる、Ｃ２５に記載の電子機器。
［Ｃ２７］
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、Ｃ２０に記載の電子機器。
［Ｃ２８］
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、Ｃ２０に記載の電子機器。
［Ｃ２９］
前記電子機器は無線電話を備える、Ｃ２０に記載の電子機器。
［Ｃ３０］
電子機器であって、
分散値を画像の少なくとも一部に関連付けるための手段と、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、前記画像の前記少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外するための手段と、
を備える、電子機器。
［Ｃ３１］
前記関連付ける手段は、級間分散と級内分散とを決定するように構成された分散判別器ソフトウェアモジュール備え、前記除外するための手段はスイッチを備える、Ｃ３０に記載の電子機器。
［Ｃ３２］
前記一部を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、Ｃ３０に記載の電子機器。
［Ｃ３３］
前記分散値は、前記画像の前記一部内の前記画素値のエントロピの測定を備える、Ｃ３０に記載の電子機器。
［Ｃ３４］
前記分散値は、前記画像の前記一部の周波数特性を備える、Ｃ３０に記載の電子機器。
［Ｃ３５］
前記分散値は、少なくとも、前記画像の前記一部における画素値の級間変動及び級内変動に基づく、Ｃ３０に記載の電子機器。
［Ｃ３６］
前記分散値を関連付けるための手段は、
前記画像の前記少なくとも一部内の画素を量子化値に関連付けるための手段と、
同一の量子化値を有する画素の集合についての前記１次モーメントを決定するための手段と、
少なくとも２つの集合の前記１次モーメントの間の距離を測定するための手段と、
を備える、Ｃ３０に記載の電子機器。
［Ｃ３７］
前記少なくとも２つの集合の１次モーメントの間の距離は前記分散値の前記値に反比例しうる、Ｃ３６に記載の電子機器。
［Ｃ３８］
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、Ｃ３０に記載の電子機器。
［Ｃ３９］
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、Ｃ３０に記載の電子機器。
［Ｃ４０］
前記電子機器は無線電話を備える、Ｃ３０に記載の電子機器。

Claims

少なくとも１つのプロセッサ上で実行される、特徴を生成するための方法であって、
分散値を画像の少なくとも一部に関連付けることと、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、特徴生成プロセスの少なくとも一部から前記画像の前記少なくとも一部の少なくとも一部分を除外することと、
を備え、
分散値を関連付けることは、
前記画像の前記少なくとも一部内の画素を級に割り当てることと、
前記画素割当に基づいて、前記画像の前記少なくとも一部についての級内変動測定と、前記画像の前記少なくとも一部についての級間変動測定を決定することと、
前記分散値を決定するために、前記級内変動測定と、前記級間変動測定とを比較することと、
を備える、方法。
前記一部分を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、請求項１に記載の方法。
前記分散値は、前記画像の一部内の前記画素値のエントロピの測定を備える、請求項１に記載の方法。
前記分散値は、前記画像の前記一部の周波数特性を備える、請求項１に記載の方法。
前記割り当てることは、前記画像の前記少なくとも一部内の画素を量子化値と関連付けることを備え、
前記決定することは、
同一の量子化値を有する画素の集合に対して前記１次モーメントを決定することと、
少なくとも２つの集合の前記１次モーメントの間の距離を測定することと、
を備える、請求項１に記載の方法。
前記少なくとも２つの集合の１次モーメントの間の距離は、前記分散値の値に反比例しうる、請求項５に記載の方法。
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、請求項１に記載の方法。
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、請求項１に記載の方法。
命令を備える非一時的なコンピュータ読取可能な媒体であって、前記命令は、
分散値を画像の少なくとも一部に関連付けることと、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、前記画像の前記少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することと
からなるステップを電子機器に実行させるように構成され、
分散値を関連付けることは、
前記画像の前記少なくとも一部内の画素を級に割り当てることと、
前記画素割当に基づいて、前記画像の前記少なくとも一部についての級内変動測定と、前記画像の前記少なくとも一部についての級間変動測定を決定することと、
前記分散値を決定するために、前記級内変動測定と、前記級間変動測定とを比較することと、
を備える、非一時的なコンピュータ読取可能な媒体。
前記一部を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記分散値は、前記画像の前記一部内の前記画素値のエントロピの測定を備える、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記分散値は、前記画像の前記一部の周波数特性を備える、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記割り当てることは、前記画像の前記少なくとも一部内の画素を量子化値に関連付けることを備え、
前記決定することは、
同一の量子化値を有する画素の集合についての前記１次モーメントを決定することと、
少なくとも２つの集合の前記１次モーメントの間の距離を測定することと、
を備える、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記少なくとも２つの集合の１次モーメントの間の距離は、前記分散値の値に反比例しうる、請求項１３に記載の非一時的なコンピュータ読取可能な媒体。
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記電子機器は無線電話を備える、請求項９に記載の非一時的なコンピュータ読取可能媒体。
命令を備える電子機器であって、前記命令は、
分散値を画像の少なくとも一部に関連付けることと、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、前記画像の前記少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外することと、
からなるステップを実行するように構成され、
分散値を関連付けることは、
前記画像の前記少なくとも一部内の画素を複数の級に割り当てることと、
前記画素割当に基づいて、前記画像の前記少なくとも一部についての級内変動測定と、前記画像の前記少なくとも一部についての級間変動測定を決定することと、
前記分散値を決定するために、前記級内変動測定と、前記級間変動測定とを比較することと、
を備える、電子機器。
前記一部を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、請求項１８に記載の電子機器。
前記分散値は、前記画像の前記一部内の前記画素値のエントロピの測定を備える、請求項１８に記載の電子機器。
前記分散値は、前記画像の前記一部の周波数特性を備える、請求項１８に記載の電子機器。
前記割り当てることは、前記画像の前記少なくとも一部の画素を量子化値に関連付けることを備え、
前記決定することは、
同一の量子化値を有する画素の集合についての前記１次モーメントを決定することと、
少なくとも２つの集合の前記１次モーメントの間の距離を測定することと、
を備える、請求項１８に記載の電子機器。
前記少なくとも２つの集合の１次モーメントの間の距離は前記分散値の前記値に反比例しうる、請求項２２に記載の電子機器。
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、請求項１８に記載の電子機器。
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、請求項１８に記載の電子機器。
前記電子機器は無線電話を備える、請求項１８に記載の電子機器。
電子機器であって、
分散値を画像の少なくとも一部に関連付けるための手段と、
前記画像の前記少なくとも一部における分散が閾値を上回ることを前記分散値が示す場合に、前記画像の前記少なくとも一部の少なくとも一部分を特徴生成プロセスの少なくとも一部から除外するための手段と、
を備え、
前記分散値を関連付けるための手段は、
前記画像の前記少なくとも一部内の画素を級に割り当てるための手段と、
前記画素割当に基づいて、前記画像の前記少なくとも一部についての級内変動測定と、前記画像の前記少なくとも一部についての級間変動測定を決定するための手段と、
前記分散値を決定するために、前記級内変動測定と、前記級間変動測定とを比較するための手段と、
を備える、電子機器。
前記決定するための手段は、前記級間分散と前記級内分散とを決定するように構成された分散判別器ソフトウェアモジュールを備え、前記除外するための手段はスイッチを備える、請求項２７に記載の電子機器。
前記一部を除外することは、前記画像の前記少なくとも一部が前記特徴生成プロセスの前記少なくとも一部によって処理される前に、異なる値を有する前記画像の前記少なくとも一部を差し引くことを備える、請求項２７に記載の電子機器。
前記分散値は、前記画像の前記一部内の前記画素値のエントロピの測定を備える、請求項２７に記載の電子機器。
前記分散値は、前記画像の前記一部の周波数特性を備える、請求項２７に記載の電子機器。
前記割り当てるための手段は、前記画像の前記少なくとも一部内の画素を量子化値に関連付けるための手段を備え、
前記決定するための手段は、
同一の量子化値を有する画素の集合についての前記１次モーメントを決定するための手段と、
少なくとも２つの集合の前記１次モーメントの間の距離を測定するための手段と、
を備える、請求項２７に記載の電子機器。
前記少なくとも２つの集合の１次モーメントの間の距離は前記分散値の前記値に反比例しうる、請求項３２に記載の電子機器。
前記特徴生成プロセスは、ＳＩＦＴ（scale-invariant feature transform）の少なくとも一部を備える、請求項２７に記載の電子機器。
前記特徴生成プロセスは、画像の尺度空間差分を計算するように構成されたモジュールを備える、請求項２７に記載の電子機器。
前記電子機器は無線電話を備える、請求項２７に記載の電子機器。
前記級内変動測定を決定することは、前記級の各々に対して、級内分散を決定することを備え、
前記級内変動測定は、前記級内分散に基づく、請求項１に記載の方法。
前記級の各々について、前記級内分散は、前記級の１次モーメントに基づく、請求項３７に記載の方法。
前記級内変動測定は、前記級の各々についての平均の中心位置に基づく、請求項１に記載の方法。
前記級間変動測定は、前記画像の前記少なくとも一部の基準位置に基づく、請求項１に記載の方法。
前記級間変動測定を前記決定することは、各々の級について、共通の基準位置に対する距離を算出することを備える、請求項１に記載の方法。
前記級内変動測定と前記級間変動測定とを比較することは、前記測定の比を算出することを備え、
前記分散値は、前記算出された比に基づく、請求項１に記載の方法。
前記級内変動測定は、前記級の各々についての平均の中心位置に基づく、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記級内変動測定は、前記級の各々から前記級の平均位置までの距離に基づく、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記級内変動測定と前記級間変動測定とを比較することは、前記測定の比を算出することを備え、
前記分散値は、前記算出された比に基づく、請求項９に記載の非一時的なコンピュータ読取可能な媒体。
前記級内変動測定は、前記級の各々についての平均の中心位置に基づく、請求項１８に記載の電子機器。
前記級内変動測定は、前記級の各々から前記級の平均位置までの距離に基づく、請求項１８に記載の電子機器。
前記級内変動測定と前記級間変動測定とを比較することは、前記測定の比を算出することを備え、
前記分散値は、前記算出された比に基づく、請求項１８に記載の電子機器。
前記級内変動測定は、前記級の各々の平均の中心位置に基づく、請求項２７に記載の電子機器。
前記級内変動測定は、前記級の各々から前記級の平均位置までの距離に基づく、請求項２７に記載の電子機器。
前記級内変動測定と前記級間変動測定とを比較することは、前記測定の比を算出することを備え、
前記分散値は、前記算出された比に基づく、請求項２７に記載の電子機器。