JP2016538630A - 画像特徴検出器のための局所識別色を求める方法 - Google Patents
画像特徴検出器のための局所識別色を求める方法 Download PDFInfo
- Publication number
- JP2016538630A JP2016538630A JP2016526000A JP2016526000A JP2016538630A JP 2016538630 A JP2016538630 A JP 2016538630A JP 2016526000 A JP2016526000 A JP 2016526000A JP 2016526000 A JP2016526000 A JP 2016526000A JP 2016538630 A JP2016538630 A JP 2016538630A
- Authority
- JP
- Japan
- Prior art keywords
- image
- channel
- response
- computing device
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000003086 colorant Substances 0.000 title description 3
- 230000004044 response Effects 0.000 claims abstract description 191
- 239000013598 vector Substances 0.000 claims abstract description 143
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000008649 adaptation response Effects 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
マルチチャネル特徴検出のための技術は、1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答を決定するコンピューティングデバイスを含む。コンピューティングデバイスは、フィルタ応答に基づいて局所識別色ベクトルを求め、フィルタ応答を局所識別色ベクトルに適用して、適応応答を生成し、適応応答に基づいて、マルチチャネル画像の総応答を決定する。
Description
コンピュータビジョンは、多様な画像特徴検出器を利用して、画像内の画像の特徴又は「関心点」を識別する。画像特徴検出器は、特定のアルゴリズム/検出器に応じて、解析される画像のエッジ、コーナー、ブロブ(すなわち、関心点からなる領域)、及び/又は頂部(ridge)を識別することができる。例えば、Cannyアルゴリズム及びSobelフィルタは、エッジ検出を実行し、Harris検出器は、コーナー検出を実行し、LoG(Laplacian of Gaussian)、ガウスのヘッセ行列式(Hessian of Gaussian determinant)、及びDoG(Difference of Gaussian)検出器は、画像内のコーナー及びブロブを識別する。特徴検出システムは、アルゴリズム及び検出器の組合せをしばしば利用して、解析される画像の特徴をより正確に識別する。
高速化ロバスト特徴(SURF:speeded up robust features)、スケール不変特徴変換(SIFT:scale-invariant feature transform)、Canny、Harris、及びSobel等の一般的な特徴検出器は、シングルチャネル画像(すなわち、グレースケール画像)の特徴を検出及び表現する。したがって、マルチチャネル画像(すなわち、色画像)は、特徴検出に対する準備的解析ステップとして、シングルチャネル画像に変換されなければならず、これは、画像情報の相当の損失をもたらし得る。例えば、シングルチャネルグレースケール画像の画像画素値は、マルチチャネル画像の複数のチャネルの各々における対応画素値の一次結合として生成され得る。したがって、異なる色を有するが同じシングルチャネルグレースケール表現を有するマルチチャネル画像画素間のコントラストは、グレースケール変換に起因して失われる。いくつかのアルゴリズムは、知覚に基づく(perceptual-based)色モデルを使用する(例えば、CSIFTは、色ボディ(colored body)の反射スペクトルをモデル化するKubelka−Munk理論を使用する)が、それらは、グレースケールマッピングに対して大域色(global color)を使用し、これは、情報の損失をもたらす。
本明細書に記載のコンセプトが、限定ではなく例として、添付の図面に示される。図示の単純さ及び明瞭さのために、図面に示される要素は、必ずしも縮尺通りに描かれてはいない。参照ラベルは、適切であると考えられる場合、対応要素又は類似要素を示すために、図面間で繰り返されている。
マルチチャネル特徴検出を実行するコンピューティングデバイスの少なくとも1つの実施形態の簡略化されたブロック図。
図1のコンピューティングデバイスの環境の少なくとも1つの実施形態の簡略化されたブロック図
図1のコンピューティングデバイス上でマルチチャネル特徴検出を実行するための方法の少なくとも1つの実施形態の簡略化されたフロー図。
図1のコンピューティングデバイス上で局所識別色ベクトルを求めるための方法の少なくとも1つの実施形態の簡略化されたフロー図。
キャプチャされた画像の図。
図3のマルチチャネル特徴検出のための方法と内部カーネルとしてのSURF特徴検出器とに基づく、キャプチャされた画像の識別された関心点の図。
本開示のコンセプトは、様々な変更形態及び代替形態を受け入れる余地があるが、その特定の実施形態が、例として、図面に示され本明細書で詳細に説明される。しかしながら、本開示のコンセプトを、開示する特定の形態に限定する意図はなく、反対に、意図は、本開示及び添付の特許請求の範囲と整合する全ての変更形態、均等形態、及び代替形態をカバーすることにあることを理解されたい。
「一実施形態」、「ある実施形態」、「例示的な実施形態」等の本明細書における言及は、説明する実施形態が、特定の特徴、構造、又は特性を含み得るが、全ての実施形態が、そのような特定の特徴、構造、又は特性を含んでもよいし、又は、必ずしもそのような特定の特徴、構造、又は特性を含む必要がなくてもよいことを示す。さらに、このような語句は、必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、又は特性がある実施形態との関連で記載されている場合には、明示されていようといまいと、他の実施形態との関連でそのような特徴、構造、又は特性を実装することは当業者の知識の範囲内であるとする。さらに、「A、B、及びCのうちの少なくとも1つ」という形のリストに含まれる項目は、(A);(B);(C);(A及びB);(A及びC);(B及びC);又は(A、B、及びC)を意味し得ることを理解されたい。同様に、「A、B、又はCのうちの少なくとも1つ」という形でリストされる項目は、(A);(B);(C);(A及びB);(A及びC);(B及びC);又は(A、B、及びC)を意味し得る。
開示する実施形態は、場合に応じて、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組合せにより実装することができる。開示する実施形態はまた、1以上のプロセッサにより読み出されて実行され得る、一時的又は非一時的な1以上のマシン読み取り可能な記憶媒体(例えば、コンピュータ読み取り可能な記憶媒体)により運ばれる命令又はそのような媒体に記憶される命令として実装することができる。マシン読み取り可能な記憶媒体は、マシンにより読み取ることができる形式で情報を記憶又は伝送する任意の記憶デバイス、メカニズム、又は他の物理的構造(例えば、揮発性メモリ、不揮発性メモリ、メディアディスク、又は他のメディアデバイス)として具現化することができる。
図面において、いくつかの構造的特徴又は方法的特徴が、特定の配置及び/又は順序で示され得る。しかしながら、そのような特定の配置及び/又は順序が必須とされるわけではないことを理解されたい。そうではなく、いくつかの実施形態においては、そのような特徴は、例示する図面に示される態様及び/又は順序と異なる態様及び/又は順序で構成することもできる。さらに、特定の図面内に構造的特徴又は方法的特徴が含まれることは、そのような特徴が全ての実施形態において必要とされることを意味しないし、いくつかの実施形態においては、そのような特徴が含まれないことを意味しない、又はそのような特徴が他の特徴と組み合わされないことを意味しない。
次に図1を参照すると、マルチチャネル特徴検出のためのコンピューティングデバイス100は、マルチチャネル画像の特徴(例えば、コーナー、エッジ、ブロブ等の関心点)を検出するよう構成される。そうするために、コンピューティングデバイス100は、画像特徴を識別する際に、シングルチャネル画像又はグレースケール画像(例えば、変換後画像)ではなく、複数の画像チャネルからの情報を利用する。例示的な実施形態において、コンピューティングデバイス100は、内部カーネルの応答関数が一次形式の関数(linear form function)又は二次形式の関数(quadratic form function)として表現され得る、局所識別色(LDC:local differentiating color)ベクトルを算出するための低複雑度非反復的アルゴリズム(low-complexity non-iterative algorithm)を実装するよう構成される。このようなケースは、LDCベクトルとともに使用するのに適応可能な内部カーネルを有する広範なシングルチャネル特徴検出器をカバーすることを理解されたい。例えば、二次空間微分フィルタ応答Dxx、Dxy、及びDyyが算出され得、ここで、x及びyは画像の空間座標である。したがって、LoG内部カーネルの応答は、(Dxx+Dyy)という一次形式で表現され得る。SURF内部カーネルの応答は、
という二次形式として表現され得る。オリジナルのHarris内部カーネルの応答は、
という二次形式として表現され得、ここで、kはアルゴリズムパラメータである。さらに、Canny内部カーネルの二乗応答(square response)は、
という二次形式として表現され得、ここで、Dx及びDyは一次空間微分フィルタ応答であり、ここでも、x及びyは画像の空間座標である。
コンピューティングデバイス100は、マルチチャネル特徴検出が可能であり、本明細書に記載の機能を実行することができる任意のタイプのコンピューティングデバイスとして具現化することができる。例えば、コンピューティングデバイス100は、セルラ電話機、スマートフォン、タブレットコンピュータ、ネットブック、ノートブック、ウルトラブック(登録商標)、ラップトップコンピュータ、携帯情報端末、モバイルインターネットデバイス、デスクトップコンピュータ、ハイブリッドデバイス、及び/又は任意の他のコンピューティング/通信デバイスとして具現化することができる。図1に示されるように、例示的なコンピューティングデバイス100は、プロセッサ110、入力/出力(「I/O」)サブシステム112、メモリ114、データストレージ116、通信回路118、及び1以上の周辺デバイス120を含む。さらに、周辺デバイス120は、カメラ122及びディスプレイ124を含む。もちろん、コンピューティングデバイス100は、他の実施形態では、典型的なコンピューティングデバイスにおいて通常見つけられるコンポーネント(例えば、様々な入力/出力デバイス)等の他のコンポーネント又はさらなるコンポーネントを含んでもよい。さらに、いくつかの実施形態においては、図示されるコンポーネントのうちの1以上は、別のコンポーネントに組み込まれてもよいし、別のコンポーネントの一部からのものであってもよい。例えば、メモリ114又はメモリ114の一部は、いくつかの実施形態においては、プロセッサ110に組み込まれてもよい。
プロセッサ110は、本明細書に記載の機能を実行することができる任意のタイプのプロセッサとして具現化することができる。例えば、プロセッサは、シングルコアプロセッサ、マルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、又は、他のプロセッサ若しくは処理/制御回路として具現化することができる。同様に、メモリ114は、本明細書に記載の機能を実行することができる任意のタイプの揮発性メモリ、不揮発性メモリ、又はデータストレージとして具現化することができる。動作中、メモリ114は、コンピューティングデバイス100の動作中に使用されるオペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバ等の様々なソフトウェア及びデータを記憶することができる。メモリ114は、I/Oサブシステム112を介して、プロセッサ110に通信可能に接続される。I/Oサブシステム112は、プロセッサ110、メモリ114、及びコンピューティングデバイス100の他のコンポーネントによる入力/出力動作を円滑にする回路及び/又はコンポーネントとして具現化することができる。例えば、I/Oサブシステム112は、メモリコントローラハブ、入力/出力制御ハブ、ファームウェアデバイス、通信リンク(すなわち、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレース等)、並びに/又は入力/出力動作を円滑にする他のコンポーネント及びサブシステムとして具現化することができる、又は、これらを含み得る。いくつかの実施形態において、I/Oサブシステム112は、システムオンチップ(SoC)の一部を形成することができ、プロセッサ110、メモリ114、及びコンピューティングデバイス100の他のコンポーネントとともに、単一の集積回路チップに組み込むことができる。
データストレージ116は、例えば、メモリデバイス及び回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、又は他のデータ記憶デバイス等の、データの短期記憶又は長期記憶のために構成される任意のタイプの1以上のデバイスとして具現化することができる。通信回路118は、ネットワーク(図示せず)を介するコンピューティングデバイス100と他のリモートデバイスとの間の通信を可能にすることができる任意の通信回路、通信デバイス、又はこれらの集合として具現化することができる。そうするために、通信回路118は、任意の適切な通信技術(例えば、無線通信又は有線通信)及び関連するプロトコル(例えば、Ethernet(登録商標)、Bluetooth(登録商標)、Wi−Fi(登録商標)、WiMAX(登録商標)等)を使用して、例えばネットワークのタイプに応じて、そのような通信を実施することができる。ネットワークは、コンピューティングデバイス100とリモートデバイスとの間の通信を円滑にすることができる任意のタイプの通信ネットワークとして具現化され得る。
コンピューティングデバイス100の周辺デバイス120は、任意の数のさらなる周辺デバイス又はインタフェースデバイスを含み得る。周辺デバイス120に含まれる具体的なデバイスは、例えば、コンピューティングデバイス100のタイプ及び/又は意図される使用に依拠し得る。上述したように、周辺デバイス120は、カメラ122及びディスプレイ124を含む。カメラ122は、スチールカメラ、ビデオカメラ、ウェブカメラ、又は、ビデオ及び/又は画像をキャプチャすることができる他のデバイス等の、画像をキャプチャするのに適した任意の周辺デバイス又は統合デバイスとして具現化することができる。カメラ122を使用して、例えば、特徴が検出されるマルチチャネル画像をキャプチャすることができる。コンピューティングデバイス100のディスプレイ124は、情報をコンピューティングデバイス100の閲覧者に対して表示することができる任意の1以上の表示スクリーンとして具現化することができる。ディスプレイ124は、例えば、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、陰極線管(CRT)ディスプレイ、プラズマディスプレイ、及び/又は他のディスプレイ技術を含む任意の適切なディスプレイ技術として具現化することができる、又は、このような任意の適切なディスプレイ技術を使用することができる。ディスプレイ124を使用して、例えば、解析された画像の総応答(total response)を示す画像を表示することができる。カメラ122及びディスプレイ124が、コンピューティングデバイス100に統合されたものとして図1に示されているが、カメラ122及び/又はディスプレイ124は、他の実施形態では、コンピューティングデバイス100からリモートにありコンピューティングデバイス100に通信可能に接続され得ることを理解されたい。
次に図2を参照すると、使用の際、コンピューティングデバイス100は、マルチチャネル特徴検出のための環境200を確立する。以下で説明するように、コンピューティングデバイス100は、マルチチャネル画像の個々の画像チャネルのフィルタ応答及び局所識別色(LDC)ベクトルに基づいて、解析されるマルチチャネル画像の総画像応答を決定する。コンピューティングデバイス100の例示的な環境200は、画像キャプチャモジュール202、画像解析モジュール204、表示モジュール206、及び通信モジュール208を含む。さらに、画像解析モジュール204は、画像フィルタリングモジュール210、局所識別色(LDC)モジュール212、及び応答決定モジュール214を含む。画像キャプチャモジュール202、画像解析モジュール204、表示モジュール206、通信モジュール208、画像フィルタリングモジュール210、局所識別色モジュール212、及び応答決定モジュール214の各々は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せとして具現化することができる。さらに、いくつかの実施形態においては、これらの例示的なモジュールのうちの1つは、別のモジュールの一部を形成してもよい。
画像キャプチャモジュール202は、カメラ122の視野内の画像をキャプチャするために、カメラ122を制御する(例えば、マルチチャネル特徴検出のために)。特定の実施形態に応じて、画像は、ストリーミングビデオとしてキャプチャされることもあるし、個々の画像/フレームとしてキャプチャされることもある。他の実施形態では、画像キャプチャモジュール202は、解析及び特徴検出のために、マルチチャネル画像を別の形で取得してもよい。例えば、マルチチャネル画像は、(例えば、クラウドコンピューティング環境における)リモートコンピューティングデバイスから、通信モジュール208により受信されてもよい。キャプチャされる画像は、任意の適切なマルチチャネル画像として具現化され得ることを理解されたい。例えば、画像は、RGB(赤−緑−青)画像、HSL(色相−彩度−輝度)画像、又はHSV(色相−彩度−明度)画像等の3チャネル画像とすることができる。本明細書に記載のマルチチャネル画像特徴検出は、非色空間(例えば、RGB−D(奥行き)、赤外線、温度マップ、マイクロ波マップ、又は他の画像チャネル)のためのチャネルを含む任意のタイプの画像チャネルに適用され得ることをさらに理解されたい。
画像解析モジュール204は、画像キャプチャモジュール202から、カメラ122によりキャプチャされた画像を取得する。例示的な実施形態において、画像解析モジュール204は、(例えば、スケール−空間表現、及び/又は、スケール−空間検出器による使用のために)画像拡張空間点(image extended space point)の座標及びパラメータを設定する。さらに、以下でより詳細に説明するように、画像解析モジュール204は、様々なフィルタを、解析される画像に適用し、画像(又はそのサブセット)の各画像点についてLDCベクトルを求め、画像(又はそのサブセット)の各画像点の総応答を決定する。
画像フィルタリングモジュール210は、1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答(すなわち、画像フィルタを画像に適用した結果)を決定する。例えば、画像フィルタは、いくつかの実施形態において、画像の各画素に適用され得る。そうする際、画像フィルタは、例えば、画像フィルタが、画素の(例えば画像フィルタカーネルのサイズの)隣接部分(neighborhood)に適用される「windowing」法を用いて適用され得ることを理解されたい。画像フィルタは、一般に、画像チャネルの個々の画素に適用されるが、本明細書では、説明の単純さ及び明瞭さのために、画像フィルタは、個々の画素の値ではなく、画像チャネル全体又は他の構造全体に適用されるものとして説明され得る。マルチチャネル画像が3つのチャネルを含む実施形態において、画像フィルタリングモジュール210は、各画像フィルタを、3つのチャネルの各々に適用して、その画像フィルタに基づく対応するフィルタ応答を生成する。マルチチャネル画像の特定の画像チャネルに関するフィルタ応答は、1以上の画像フィルタに対する画像チャネルの対応する応答を含むベクトルとして表現され得ることを理解されたい。さらに、そのようなベクトルは、対応する画像チャネルの「応答ベクトル」又は「ベクトル応答」と呼ばれることがある。さらに、いくつかの実施形態において、使用される特定の画像フィルタは、一次形式又は二次形式の画像フィルタである必要がある。他の実施形態では、LDCベクトルは、以前のフィルタリングを伴うことなく、又は、通常の(trivial)/識別(identity)フィルタのみを伴って、オリジナルの画像チャネルの画素に適用されてもよい。
局所識別色モジュール212は、画像フィルタリングモジュール210により決定されたフィルタ応答に基づいて、局所識別色ベクトルを求める。以下で詳細に説明するように、局所識別色ベクトルは、画像チャネルに関するフィルタ応答の一次結合のための重みを定め、極の(extreme)(すなわち、特定の実施形態に応じて最小又は最大の)総応答を生成するベクトルとして、算出される又は求められる。一次形式では、局所識別色モジュール212は、各画像チャネルについて決定された総応答のベクトルと共線である(collinear)ベクトルである局所識別色ベクトルを求める。二次形式では、局所識別色ベクトルは、特定の生成された対称行列の極固有値(すなわち、特定の実施形態に応じて最大固有値又は最小固有値)に対応する固有ベクトル(又は正規化された固有ベクトル)として求められる。したがって、例示的な実施形態において、局所識別色ベクトルは、(例えば、コスト関数を最小化又は最大化する)最適化アルゴリズムの結果として算出されるのではなく、閉じた形式で(in closed form)表現され得る。
応答決定モジュール214は、局所識別色ベクトルを、画像フィルタリングモジュール210により生成された画像フィルタ応答に適用して、適応応答(adapted response)を生成し、適応応答に基づいて、マルチチャネル画像の総応答を決定する。例示的な実施形態において、応答決定モジュール214は、マルチチャネル画像の各画像チャネルの応答ベクトルと局所識別色ベクトルとの内積を別々に計算することにより、局所識別色ベクトルを、画像フィルタ応答に適用する。さらに、以下でより詳細に説明するように、応答決定モジュール214は、使用される特定のフィルタ及び/又は特徴検出アルゴリズムのパラメータ及び適応応答に基づくスカラ値を生成することにより、マルチチャネル画像の総応答を決定する。
例示的な実施形態において、応答決定モジュール214はまた、マルチチャネル画像の総応答の空間非極応答(spatial non-extreme response)を抑制する。すなわち、いくつかの実施形態において、応答決定モジュール214は、予め定められた閾値に基づいて識別することができる非関心点を、総応答から除去する。すなわち、関心点は、特定の実施形態に応じて閾値より下であるか又は上である局所極応答(local extreme response)を有する画像点として識別することができる。したがって、関心点だけが総応答に残される。
表示モジュール206は、コンピューティングデバイス100のユーザが閲覧するために、ディスプレイ124上に画像をレンダリングするよう構成される。例えば、表示モジュール206は、1以上のキャプチャされた/受信された画像(図5参照)及び/又はその画像の総応答を示す画像(図6参照)を表示することができる。さらに、表示モジュール206は、特徴検出プロセスの別の段階で画像の視覚的表示をレンダリングすることができることを理解されたい。例えば、表示モジュール206は、個々のフィルタ応答、局所識別色ベクトル、適応応答、及び/又は非極応答を抑制する前の総応答のグラフィカル表示及び/又はテキスト表示をレンダリングすることができる。
通信モジュール208は、ネットワークを介するコンピューティングデバイス100とリモートデバイスとの間の通信を処理する。上述したように、通信モジュール208は、(例えば、クラウドコンピューティング環境において、又はオフロード実行を目的として、)解析のために、リモートコンピューティングデバイスからマルチチャネル画像を受信することができる。したがって、いくつかの実施形態において、通信モジュール208は、特徴検出解析の結果(例えば、総応答)を、リモートコンピューティングデバイスに送信することもできる。
次に図3を参照すると、使用の際、コンピューティングデバイス100は、マルチチャネル特徴検出を実行するための方法300を実行することができる。例示的な方法300は、図3のブロック302で始まる。ブロック302において、コンピューティングデバイス100は、マルチチャネル特徴検出を実行するかどうかを決定する。コンピューティングデバイス100が、マルチチャネル特徴検出を実行すると決定した場合、ブロック304において、コンピューティングデバイス100は、画像拡張空間点のための座標系を設定する。すなわち、コンピューティングデバイス100は、例えば、スケール−空間画像特徴検出器による使用のためのさらなるパラメータ(例えば、スケール)とデカルト座標系(例えば、通常はx軸及びy軸が使用される)とを設定する。
ブロック306において、コンピューティングデバイス100は、1以上の画像フィルタ(例えば、ヘッセ行列式、Cannyフィルタ、Sobelフィルタ等)に基づく、各画像チャネルのフィルタ応答を決定する。そうする際、ブロック308において、コンピューティングデバイス100は、上述したように(すなわち、画像フィルタを個々の画像チャネルに適用することにより)、フィルタ応答に基づいて、各画像チャネルについて応答ベクトルを生成する。例えば、解析されるマルチチャネル画像が3チャネルRGB(赤−緑−青)画像であり、ガウスフィルタの二次偏微分係数(すなわち、ヘッセ行列の成分)が画像フィルタとして使用されると仮定する。したがって、画像フィルタは、対応する画像次元に関する二次偏微分係数であるgxx、gyy、及びgxyを含む。そのような実施形態において、画像フィルタの各々(すなわち、gxx、gyy、及びgxyの各々)が、赤画像チャネルに関する応答ベクトルを生成するために、赤チャネルに適用される。上述したように、画像フィルタは、画像の各画素に適用され得る。したがって、応答ベクトルは、画像チャネルの各画素について生成され得る。同様に、画像フィルタの各々が、青画像チャネル及び緑画像チャネルに適用され、応答ベクトルが、これらのチャネルの各々について生成される。各応答ベクトルは、スカラ値に変換され得る。例えば、ヘッセ行列式が、[gxx gyy gxy]B[gxx gyy gxy]Tという二次形式により求められ得、ここで、Bは予め定められた行列であり、gxx、gyy、及びgxyは、対応する空間座標x及び/又はyに関して得られる、ガウスフィルタの二次偏微分係数である。もちろん、他の実施形態は、異なる数の画像フィルタを使用してもよいし、且つ/又は、異なる数のチャネルを有する画像を解析してもよい。したがって、一般的ケースとして、n個のチャネル及びp個のフィルタがあると仮定する。そのようなケースでは、コンピューティングデバイス100は、サイズ/長さp(又は、より詳細には、サイズp×1)のn個の応答ベクトル(すなわち、各チャネルについて1個)を生成する。この応答ベクトルの成分は、対応する画像フィルタに関する、画像チャネルのフィルタ応答である。
ブロック310において、コンピューティングデバイス100は、各画像チャネルのフィルタ応答に基づいて、局所識別色ベクトル(例えば、正規化されたLDCベクトル)を求める。すなわち、コンピューティングデバイス100は、画像チャネルに関する応答ベクトルを使用して、局所識別色ベクトルを生成する。そうするために、コンピューティングデバイス100は、図4に示されるような、局所識別色ベクトルを求めるための方法400を実行することができる。例示的な方法400は、ブロック402で始まる。ブロック402において、コンピューティングデバイス100は、局所識別色ベクトルを生成するかどうかを決定する。局所識別色ベクトルを生成する場合、ブロック404において、コンピューティングデバイス100は、画像について対称形式の行列Aを生成する又は他の形で求める。コンピューティングデバイス100は、任意の適切な技術、アルゴリズム、及び/又はメカニズムを用いて、対称形式の二次形式の行列を生成することができることを理解されたい。例えば、一実施形態において、コンピューティングデバイス100は、ブロック406において、行列Aの
をそれぞれ算出することができる。ここで、画像チャネルi及びjについてA={qij}である。そのような実施形態において、qijは、i番目の行及びj番目の列に位置する行列Aの成分を表し、fは、fのインデックスに対応する画像チャネルに関する応答ベクトルであり、Tは、転置演算子であり(すなわち、fTは、fの転置であり)、Bは、1以上の画像フィルタに基づく予め定められた行列である。例えば、ヘッセ行列に関して上述した実施形態において、行列Bは、
として定められ得、演繹的に(a priori)既知である。別の実施形態では、行列Bは、画像及び/又はフィルタパラメータに基づいて算出され得る。例示的な実施形態において、コンピューティングデバイス100は、ブロック408において、3チャネル画像(例えば、RGB画像)について、行列Aを、
として算出する。もちろん、他の実施形態では、解析される画像は、より少ない又はより多い数のチャネルを含んでもよく、そのような実施形態においては、行列Aは、それに応じたサイズとなる(例えば、解析される画像が4つのチャネルを含む実施形態では4×4行列、等)。すなわち、行列Aは、n×n行列として具現化され、ここで、nは、画像チャネルの数である。
ブロック410において、コンピューティングデバイス100は、行列Aの固有値を求める。コンピューティングデバイス100は、そうするために、任意の適切な技術、アルゴリズム、又はメカニズムを使用することができることを理解されたい。例えば、コンピューティングデバイス100は、行列Aの固有値を特定する際に、行列Aの特性方程式を求めて使用することができる。ブロック412において、コンピューティングデバイス100は、行列Aの極固有値(extreme eigenvalue)(すなわち、特定の実施形態に応じて最大固有値又は最小固有値)に対応する固有ベクトルを特定し、ブロック414において、コンピューティングデバイス100は、特定された固有ベクトルを、局所識別色ベクトルとして選択する。そうする際、いくつかの実施形態において、コンピューティングデバイス100は、ブロック416において、特定された固有ベクトルの単位ベクトルを生成することができる。すなわち、コンピューティングデバイス100は、固有ベクトルを正規化して、固有ベクトルに対応する単位ベクトルを生成することができ、この単位ベクトルを、局所識別色ベクトルとして選択することができる。
図3に戻り、ブロック312において、コンピューティングデバイス100は、画像フィルタ応答を、生成された/求められた局所識別色ベクトルに適用して、対応する適応応答を生成する。そうする際、ブロック314において、コンピューティングデバイス100は、(例えば、1つのベクトルを生成するために)画像フィルタ応答と局所識別色ベクトルとの内積を計算する。例えば、説明したヘッセの例において、局所識別色ベクトルと二次偏微分係数を含むベクトルとの内積が、画像の全てのチャネルについて計算され、これは、このベクトルの転置が局所識別色ベクトルと乗算されることと等価である。詳細には、[gxx gxy gyy]Tが、画像の全てのチャネルについて、局所識別色ベクトルと乗算される。ブロック316において、コンピューティングデバイス100は、適応応答に基づいて総応答を生成する。例示的な実施形態において、コンピューティングデバイス100は、使用される特定の特徴検出アルゴリズム/フィルタ及び適応応答に基づくスカラ値を生成する。例えば、ヘッセ行列が使用される実施形態において、コンピューティングデバイス100は、ヘッセ行列の特性及び/又はパラメータを使用して、(例えば、ヘッセ行列式を用いて)総応答を生成することができる。コンピューティングデバイス100は、そうするために、任意の適切な技術、アルゴリズム、及び/又はメカニズムを利用することができることを理解されたい。
ブロック318において、コンピューティングデバイス100は、拡張空間における、総応答の空間非極応答を抑制する。すなわち、ブロック320において、コンピューティングデバイス100は、総応答から非関心点を除去することができる。上述したように、関心点及び非関心点は、予め定められた閾値に基づいて識別することができる。例えば、一実施形態において、予め定められた閾値を超える強度値又は局所極応答を有する、総応答の空間画像点は、「関心点」であるとみなされるのに対し、予め定められた閾値を超えない強度値又は局所極応答を有する、総応答の空間画像点は、非関心点である。コンピューティングデバイス100は、二次形式の応答関数を有する任意の特徴検出アルゴリズム(例えば、SURF)を利用して、適切に「関心点」を識別することができることを理解されたい。上記で示唆したように、特定のアルゴリズムに応じて、関心点は、コーナー、エッジ、ブロブ、及び/又は他の画像特性を含み得る。さらに、いくつかの実施形態において、ブロック316における総応答の生成は、空間非極応答の抑制を含む。
上述したように、コンピューティングデバイス100は、ユーザが閲覧するために、解析されたマルチチャネル画像の総応答を示す画像を生成して表示することができる。例えば、単純化された解析される画像500が、図5に示されており、単純化された例示的な出力画像600(これは、画像500の(SURF内部カーネルによる)マルチチャネル特徴検出に基づいて例示的に生成されたものである)が、図6に示されている。単純化された出力画像600において、識別された関心点/特徴が、対応する異なる色の円を示すように、斜線付きの円として異なって示されている。もちろん、画像600は、本明細書に記載の技術を用いて生成されるであろう実際の出力画像の単純化されたバージョンであり、そのような実際の出力画像は、例えば、オリジナルの解析される画像に応じてより広範の異なる色及びサイズを有するより多い又はより少ない数の円を用いて、関心点/特徴を識別することができることを理解されたい。さらに、本明細書に記載のように出力画像を生成するためにコンピューティングデバイス100により解析される画像に対して実行される特徴検出は、シングルチャネルグレースケール特徴検出とは異なり、グレースケール変換に固有の情報損失を被らないことを理解されたい。
例
本明細書で開示した技術の例示的な例が以下に提供される。本技術の実施形態は、以下に記載の例の任意の1以上及び任意の組合せを含み得る。
本明細書で開示した技術の例示的な例が以下に提供される。本技術の実施形態は、以下に記載の例の任意の1以上及び任意の組合せを含み得る。
例1は、マルチチャネル特徴検出のためのコンピューティングデバイスであって、1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答を決定する画像フィルタリングモジュールと、前記フィルタ応答に基づいて局所識別色ベクトルを求める局所識別色モジュールと、(i)前記フィルタ応答を前記局所識別色ベクトルに適用して、適応応答を生成し、(ii)前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定する応答決定モジュールと、を備えたコンピューティングデバイスを含む。
例2は、例1の主題を含み、前記1以上の画像フィルタは、識別フィルタを含む。
例3は、例1及び2のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、各画像チャネルの前記フィルタ応答に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求めることを含む。
例4は、例1〜3のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記マルチチャネル画像について対称形式の行列を求めることと、前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含む。
例5は、例1〜4のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記マルチチャネル画像について対称形式の二次形式の行列を求めることと、前記二次形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含む。
例6は、例1〜5のうちのいずれかの主題を含み、前記二次形式の行列を求めることは、画像チャネルi及びjについて行列A={qij}を算出することを含み、ここで、
であり、qijは、i番目の行及びj番目の列における行列Aの成分であり、fは、画像チャネルのフィルタ応答に基づく、fのインデックスに対応する該画像チャネルに関する応答ベクトルであり、Tは、転置演算子であり、Bは、前記1以上の画像フィルタに基づく予め定められた行列である。
例7は、例1〜6のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成することを含む。
例8は、例1〜7のうちのいずれかの主題を含み、前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、マルチチャネル画像の各画素について、該マルチチャネル画像の各画像チャネルのフィルタ応答を決定することを含む。
例9は、例1〜8のうちのいずれかの主題を含み、前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、各画像チャネルの前記フィルタ応答に基づいて、各画像チャネルについて応答ベクトルを生成することを含む。
例10は、例1〜9のうちのいずれかの主題を含み、前記フィルタ応答を前記局所識別色ベクトルに適用することは、前記局所識別色ベクトルと前記フィルタ応答との内積を計算することを含む。
例11は、例1〜10のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記フィルタ応答に基づいて、正規化された局所識別色ベクトルを求めることを含む。
例12は、例1〜11のうちのいずれかの主題を含み、前記応答決定モジュールは、さらに、前記マルチチャネル画像の前記総応答の空間非極応答を抑制する。
例13は、例1〜12のうちのいずれかの主題を含み、前記空間非極応答を抑制することは、前記マルチチャネル画像の前記総応答から非関心点を除去することを含み、前記非関心点は、予め定められた閾値に基づいて識別される。
例14は、例1〜13のうちのいずれかの主題を含み、前記コンピューティングデバイスのディスプレイ上に、前記総応答を示す画像を表示する表示モジュールをさらに備える。
例15は、例1〜14のうちのいずれかの主題を含み、前記コンピューティングデバイスのカメラによりキャプチャ画像をキャプチャする画像キャプチャモジュールをさらに備え、前記マルチチャネル画像は、前記キャプチャ画像である。
例16は、例1〜15のうちのいずれかの主題を含み、前記1以上の画像フィルタは、一次微分画像フィルタ及び二次微分画像フィルタのうちの1以上を含む。
例17は、コンピューティングデバイス上でマルチチャネル特徴検出を実行するための方法であって、前記コンピューティングデバイスにより、1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答を決定するステップと、前記コンピューティングデバイスにより、前記フィルタ応答に基づいて局所識別色ベクトルを求めるステップと、前記コンピューティングデバイスにより、前記フィルタ応答を前記局所識別色ベクトルに適用して、適応応答を生成するステップと、前記コンピューティングデバイスにより、前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定するステップと、を含む方法を含む。
例18は、例17の主題を含み、前記1以上の画像フィルタは、識別フィルタを含む。
例19は、例17及び18のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、各画像チャネルの前記フィルタ応答に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求めることを含む。
例20は、例17〜19のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記マルチチャネル画像について対称形式の行列を求めることと、前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含む。
例21は、例17〜20のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記マルチチャネル画像について対称形式の二次形式の行列を求めることと、前記二次形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含む。
例22は、例17〜21のうちのいずれかの主題を含み、前記二次形式の行列を求めることは、画像チャネルi及びjについて行列A={qij}を算出することを含み、ここで、
であり、qijは、i番目の行及びj番目の列における行列Aの成分であり、fは、画像チャネルのフィルタ応答に基づく、fのインデックスに対応する該画像チャネルに関する応答ベクトルであり、Tは、転置演算子であり、Bは、前記1以上の画像フィルタに基づく予め定められた行列である。
例23は、例17〜22のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成することを含む。
例24は、例17〜23のうちのいずれかの主題を含み、前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、マルチチャネル画像の各画素について、該マルチチャネル画像の各画像チャネルのフィルタ応答を決定することを含む。
例25は、例17〜24のうちのいずれかの主題を含み、前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、各画像チャネルの前記フィルタ応答に基づいて、各画像チャネルについて応答ベクトルを生成することを含む。
例26は、例17〜25のうちのいずれかの主題を含み、前記フィルタ応答を前記局所識別色ベクトルに適用することは、前記局所識別色ベクトルと前記フィルタ応答との内積を計算することを含む。
例27は、例17〜26のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記フィルタ応答に基づいて、正規化された局所識別色ベクトルを求めることを含む。
例28は、例17〜27のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、前記マルチチャネル画像の前記総応答の空間非極応答を抑制するステップをさらに含む。
例29は、例17〜28のうちのいずれかの主題を含み、前記空間非極応答を抑制することは、前記マルチチャネル画像の前記総応答から非関心点を除去することを含み、前記非関心点は、予め定められた閾値に基づいて識別される。
例30は、例17〜29のうちのいずれかの主題を含み、前記コンピューティングデバイスのディスプレイ上に、前記総応答を示す画像を表示するステップをさらに含む。
例31は、例17〜30のうちのいずれかの主題を含み、前記コンピューティングデバイスのカメラにより、キャプチャ画像をキャプチャするステップをさらに含み、前記マルチチャネル画像は、前記キャプチャ画像である。
例32は、例17〜31のうちのいずれかの主題を含み、前記1以上の画像フィルタは、一次微分画像フィルタ及び二次微分画像フィルタのうちの1以上を含む。
例33は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶したメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例17〜32のうちのいずれかの方法を実行させる、メモリと、を備えたコンピューティングデバイスを含む。
例34は、複数の命令を記憶した1以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスに、例17〜32のうちのいずれかの方法を実行させる、1以上のマシン読み取り可能な記憶媒体を含む。
例35は、マルチチャネル特徴検出のためのコンピューティングデバイスであって、1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答を決定する手段と、前記フィルタ応答に基づいて局所識別色ベクトルを求める手段と、前記フィルタ応答を前記局所識別色ベクトルに適用して、適応応答を生成する手段と、前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定する手段と、を備えたコンピューティングデバイスを含む。
例36は、例35の主題を含み、前記1以上の画像フィルタは、識別フィルタを含む。
例37は、例35及び36のうちのいずれかの主題を含み、前記局所識別色ベクトルを求める前記手段は、各画像チャネルの前記フィルタ応答に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求める手段を含む。
例38は、例35〜37のうちのいずれかの主題を含み、前記局所識別色ベクトルを求める前記手段は、前記マルチチャネル画像について対称形式の行列を求める手段と、前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定する手段と、を含む。
例39は、例35〜38のうちのいずれかの主題を含み、前記局所識別色ベクトルを求める前記手段は、前記マルチチャネル画像について対称形式の二次形式の行列を求める手段と、前記二次形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定する手段と、を含む。
例40は、例35〜39のうちのいずれかの主題を含み、前記二次形式の行列を求める前記手段は、画像チャネルi及びjについて行列A={qij}を算出することを含み、ここで、
であり、qijは、i番目の行及びj番目の列における行列Aの成分であり、fは、画像チャネルのフィルタ応答に基づく、fのインデックスに対応する該画像チャネルに関する応答ベクトルであり、Tは、転置演算子であり、Bは、前記1以上の画像フィルタに基づく予め定められた行列である。
例41は、例35〜40のうちのいずれかの主題を含み、前記局所識別色ベクトルを求める前記手段は、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成する手段を含む。
例42は、例35〜41のうちのいずれかの主題を含み、前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定する前記手段は、マルチチャネル画像の各画素について、該マルチチャネル画像の各画像チャネルのフィルタ応答を決定する手段を含む。
例43は、例35〜42のうちのいずれかの主題を含み、前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定する前記手段は、各画像チャネルの前記フィルタ応答に基づいて、各画像チャネルについて応答ベクトルを生成する手段を含む。
例44は、例35〜43のうちのいずれかの主題を含み、前記フィルタ応答を前記局所識別色ベクトルに適用して、適応応答を生成する前記手段は、前記局所識別色ベクトルと前記フィルタ応答との内積を計算する手段を含む。
例45は、例35〜44のうちのいずれかの主題を含み、前記局所識別色ベクトルを求める前記手段は、前記フィルタ応答に基づいて、正規化された局所識別色ベクトルを求める手段を含む。
例46は、例35〜45のうちのいずれかの主題を含み、前記マルチチャネル画像の前記総応答の空間非極応答を抑制する手段をさらに備える。
例47は、例35〜46のうちのいずれかの主題を含み、前記空間非極応答を抑制する前記手段は、前記マルチチャネル画像の前記総応答から非関心点を除去する手段を含み、前記非関心点は、予め定められた閾値に基づいて識別される。
例48は、例35〜47のうちのいずれかの主題を含み、前記コンピューティングデバイスのディスプレイ上に、前記総応答を示す画像を表示する手段をさらに備える。
例49は、例35〜48のうちのいずれかの主題を含み、前記コンピューティングデバイスのカメラによりキャプチャ画像をキャプチャする手段をさらに備え、前記マルチチャネル画像は、前記キャプチャ画像である。
例50は、例35〜49のうちのいずれかの主題を含み、前記1以上の画像フィルタは、一次微分画像フィルタ及び二次微分画像フィルタのうちの1以上を含む。
例51は、マルチチャネル特徴検出のためのコンピューティングデバイスであって、マルチチャネル画像の各画像チャネルの画素値に基づいて局所識別色ベクトルを求める局所識別色モジュールと、(i)各画像チャネルの前記画素値を前記局所識別色ベクトルに適用して、適応応答を生成し、(ii)前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定する応答決定モジュールと、を備えたコンピューティングデバイスを含む。
例52は、例51の主題を含み、前記局所識別色ベクトルを求めることは、各画像チャネルの前記画素値に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求めることを含む。
例53は、例51及び52のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記マルチチャネル画像について対称形式の行列を求めることと、前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含む。
例54は、例51〜53のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成することを含む。
例55は、例51〜54のうちのいずれかの主題を含み、前記応答決定モジュールは、さらに、前記マルチチャネル画像の前記総応答の空間非極応答を抑制する。
例56は、コンピューティングデバイス上でマルチチャネル特徴検出を実行するための方法であって、前記コンピューティングデバイスにより、マルチチャネル画像の各画像チャネルの画素値に基づいて局所識別色ベクトルを求めるステップと、前記コンピューティングデバイスにより、各画像チャネルの前記画素値を前記局所識別色ベクトルに適用して、適応応答を生成するステップと、前記コンピューティングデバイスにより、前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定するステップと、を含む方法を含む。
例57は、例56の主題を含み、前記局所識別色ベクトルを求めることは、各画像チャネルの前記画素値に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求めることを含む。
例58は、例56及び57のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記マルチチャネル画像について対称形式の行列を求めることと、前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含む。
例59は、例56〜58のうちのいずれかの主題を含み、前記局所識別色ベクトルを求めることは、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成することを含む。
例60は、例56〜59のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、前記マルチチャネル画像の前記総応答の空間非極応答を抑制するステップをさらに含む。
例61は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶したメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例56〜60のうちのいずれかの方法を実行させる、メモリと、を備えたコンピューティングデバイスを含む。
例62は、複数の命令を記憶した1以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスに、例56〜60のうちのいずれかの方法を実行させる、1以上のマシン読み取り可能な記憶媒体を含む。
例63は、マルチチャネル特徴検出のためのコンピューティングデバイスであって、例56〜60のうちのいずれかの方法を実行する手段を備えたコンピューティングデバイスを含む。
Claims (26)
- マルチチャネル特徴検出のためのコンピューティングデバイスであって、
1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答を決定する画像フィルタリングモジュールと、
前記フィルタ応答に基づいて局所識別色ベクトルを求める局所識別色モジュールと、
(i)前記フィルタ応答を前記局所識別色ベクトルに適用して、適応応答を生成し、(ii)前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定する応答決定モジュールと、
を備えたコンピューティングデバイス。 - 前記局所識別色ベクトルを求めることは、各画像チャネルの前記フィルタ応答に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求めることを含む、請求項1記載のコンピューティングデバイス。
- 前記局所識別色ベクトルを求めることは、
前記マルチチャネル画像について対称形式の二次形式の行列を求めることと、
前記二次形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、
を含む、請求項1記載のコンピューティングデバイス。 - 前記局所識別色ベクトルを求めることは、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成することを含む、請求項3記載のコンピューティングデバイス。
- 前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、マルチチャネル画像の各画素について、該マルチチャネル画像の各画像チャネルのフィルタ応答を決定することを含む、請求項1記載のコンピューティングデバイス。
- 前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、各画像チャネルの前記フィルタ応答に基づいて、各画像チャネルについて応答ベクトルを生成することを含む、請求項1記載のコンピューティングデバイス。
- 前記フィルタ応答を前記局所識別色ベクトルに適用することは、前記局所識別色ベクトルと前記フィルタ応答との内積を計算することを含む、請求項7記載のコンピューティングデバイス。
- 前記局所識別色ベクトルを求めることは、前記フィルタ応答に基づいて、正規化された局所識別色ベクトルを求めることを含む、請求項1記載のコンピューティングデバイス。
- 前記応答決定モジュールは、さらに、前記マルチチャネル画像の前記総応答の空間非極応答を抑制する、請求項1記載のコンピューティングデバイス。
- 前記空間非極応答を抑制することは、前記マルチチャネル画像の前記総応答から非関心点を除去することを含み、前記非関心点は、予め定められた閾値に基づいて識別される、請求項10記載のコンピューティングデバイス。
- 前記コンピューティングデバイスのディスプレイ上に、前記総応答を示す画像を表示する表示モジュール
をさらに備えた、請求項1乃至11いずれか一項記載のコンピューティングデバイス。 - 前記1以上の画像フィルタは、一次微分画像フィルタ及び二次微分画像フィルタのうちの1以上を含む、請求項1乃至11いずれか一項記載のコンピューティングデバイス。
- コンピューティングデバイス上でマルチチャネル特徴検出を実行するための方法であって、
前記コンピューティングデバイスにより、1以上の画像フィルタに関する、マルチチャネル画像の各画像チャネルのフィルタ応答を決定するステップと、
前記コンピューティングデバイスにより、前記フィルタ応答に基づいて局所識別色ベクトルを求めるステップと、
前記コンピューティングデバイスにより、前記フィルタ応答を前記局所識別色ベクトルに適用して、適応応答を生成するステップと、
前記コンピューティングデバイスにより、前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定するステップと、
を含む方法。 - 前記局所識別色ベクトルを求めることは、各画像チャネルの前記フィルタ応答に基づいて各画像チャネルについて決定された総応答のベクトルと共線であるベクトルを求めることを含む、請求項14記載の方法。
- 前記局所識別色ベクトルを求めることは、
前記マルチチャネル画像について対称形式の行列を求めることと、
前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、
を含む、請求項14記載の方法。 - 前記局所識別色ベクトルを求めることは、
前記マルチチャネル画像について対称形式の二次形式の行列を求めることと、
前記二次形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、
を含む、請求項14記載の方法。 - 前記局所識別色ベクトルを求めることは、前記の特定された固有ベクトルを正規化して、前記局所識別色ベクトルを生成することを含む、請求項17記載の方法。
- 前記マルチチャネル画像の各画像チャネルの前記フィルタ応答を決定することは、マルチチャネル画像の各画素について、該マルチチャネル画像の各画像チャネルのフィルタ応答を決定することを含む、請求項14記載の方法。
- 前記フィルタ応答を前記局所識別色ベクトルに適用することは、前記局所識別色ベクトルと前記フィルタ応答との内積を計算することを含む、請求項14記載の方法。
- 前記コンピューティングデバイスにより、前記マルチチャネル画像の前記総応答の空間非極応答を抑制するステップ
をさらに含む、請求項14記載の方法。 - コンピューティングデバイスに請求項14乃至22いずれか一項記載の方法を実行させるプログラム。
- マルチチャネル特徴検出のためのコンピューティングデバイスであって、
マルチチャネル画像の各画像チャネルの画素値に基づいて局所識別色ベクトルを求める局所識別色モジュールと、
(i)各画像チャネルの前記画素値を前記局所識別色ベクトルに適用して、適応応答を生成し、(ii)前記適応応答に基づいて、前記マルチチャネル画像の総応答を決定する応答決定モジュールと、
を備えたコンピューティングデバイス。 - 前記局所識別色ベクトルを求めることは、(i)前記マルチチャネル画像について対称形式の行列を求めることと、(ii)前記対称形式の行列の最小固有値又は最大固有値に対応する固有ベクトルを特定することと、を含み、
前記応答決定モジュールは、さらに、前記マルチチャネル画像の前記総応答の空間非極応答を抑制する、請求項24記載のコンピューティングデバイス。 - 請求項23記載のプログラムを記憶したマシン読み取り可能な記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2013/003104 WO2015079282A1 (en) | 2013-11-28 | 2013-11-28 | Method for determining local differentiating color for image feature detectors |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016538630A true JP2016538630A (ja) | 2016-12-08 |
Family
ID=50434230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016526000A Pending JP2016538630A (ja) | 2013-11-28 | 2013-11-28 | 画像特徴検出器のための局所識別色を求める方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3074925A1 (ja) |
JP (1) | JP2016538630A (ja) |
KR (1) | KR101794465B1 (ja) |
CN (1) | CN105683996B (ja) |
WO (1) | WO2015079282A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363747B (zh) * | 2019-06-14 | 2024-07-02 | 平安科技(深圳)有限公司 | 智能化异常细胞判断方法、装置及计算机可读存储介质 |
CN111931785A (zh) * | 2020-06-19 | 2020-11-13 | 国网山西省电力公司吕梁供电公司 | 一种电力设备红外图像目标的边缘检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816793A (ja) * | 1994-04-30 | 1996-01-19 | Sony Corp | エッジ領域検出方法 |
JP2001527671A (ja) * | 1997-04-04 | 2001-12-25 | レイセオン・カンパニー | 高次相関および多入力情報統合用の多項式フィルタ |
JP2002203240A (ja) * | 2000-10-31 | 2002-07-19 | Matsushita Electric Ind Co Ltd | 物体認識装置、物体を認識する方法、プログラムおよび記録媒体 |
JP2006285310A (ja) * | 2005-03-31 | 2006-10-19 | Kanazawa Univ | 森林の樹冠の評価方法及びその樹冠評価プログラム |
JP2011133423A (ja) * | 2009-12-25 | 2011-07-07 | Mitsubishi Electric Corp | 対象推定装置 |
US20130070957A1 (en) * | 2011-09-15 | 2013-03-21 | Xerox Corporation | Systems and methods for detecting cell phone usage by a vehicle operator |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8098936B2 (en) * | 2007-01-12 | 2012-01-17 | Seiko Epson Corporation | Method and apparatus for detecting objects in an image |
CN101510299B (zh) * | 2009-03-04 | 2011-07-20 | 上海大学 | 基于视觉显著性的图像自适应方法 |
US20140219556A1 (en) * | 2011-12-29 | 2014-08-07 | Intel Corporation | Generalized robust multichannel feature detector |
CN102867301B (zh) * | 2012-08-29 | 2015-01-28 | 西北工业大学 | 一种根据信息熵得到图像显著性特征的方法 |
-
2013
- 2013-11-28 WO PCT/IB2013/003104 patent/WO2015079282A1/en active Application Filing
- 2013-11-28 EP EP13843069.9A patent/EP3074925A1/en not_active Withdrawn
- 2013-11-28 KR KR1020167010385A patent/KR101794465B1/ko active IP Right Grant
- 2013-11-28 JP JP2016526000A patent/JP2016538630A/ja active Pending
- 2013-11-28 CN CN201380080597.9A patent/CN105683996B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816793A (ja) * | 1994-04-30 | 1996-01-19 | Sony Corp | エッジ領域検出方法 |
JP2001527671A (ja) * | 1997-04-04 | 2001-12-25 | レイセオン・カンパニー | 高次相関および多入力情報統合用の多項式フィルタ |
JP2002203240A (ja) * | 2000-10-31 | 2002-07-19 | Matsushita Electric Ind Co Ltd | 物体認識装置、物体を認識する方法、プログラムおよび記録媒体 |
JP2006285310A (ja) * | 2005-03-31 | 2006-10-19 | Kanazawa Univ | 森林の樹冠の評価方法及びその樹冠評価プログラム |
JP2011133423A (ja) * | 2009-12-25 | 2011-07-07 | Mitsubishi Electric Corp | 対象推定装置 |
US20130070957A1 (en) * | 2011-09-15 | 2013-03-21 | Xerox Corporation | Systems and methods for detecting cell phone usage by a vehicle operator |
Also Published As
Publication number | Publication date |
---|---|
WO2015079282A1 (en) | 2015-06-04 |
CN105683996B (zh) | 2019-10-25 |
EP3074925A1 (en) | 2016-10-05 |
CN105683996A (zh) | 2016-06-15 |
KR101794465B1 (ko) | 2017-11-06 |
KR20160060121A (ko) | 2016-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105144232B (zh) | 图像去噪方法和系统 | |
US10740912B2 (en) | Detection of humans in images using depth information | |
US11445214B2 (en) | Determining variance of a block of an image based on a motion vector for the block | |
JP2018501675A (ja) | センサ素子アレイにおける特徴計算 | |
US11386549B2 (en) | Abnormality inspection device and abnormality inspection method | |
US11348248B1 (en) | Automatic image cropping systems and methods | |
KR20170109898A (ko) | 객체 추출 장치 및 방법 | |
CN110852233A (zh) | 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统 | |
US11694331B2 (en) | Capture and storage of magnified images | |
US20210082127A1 (en) | Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity | |
US10062002B2 (en) | Technologies for determining local differentiating color for image feature detectors | |
CN106415596B (zh) | 基于分割的图像变换 | |
US9756220B2 (en) | Image data generating apparatus, printer, image data generating method, and non-transitory computer readable medium for extracting one or more pixels corresponding to a metallic-color region | |
WO2015010559A1 (en) | Devices, terminals and methods for image processing | |
JP2016538630A (ja) | 画像特徴検出器のための局所識別色を求める方法 | |
CN108574796B (zh) | 针对计算机视觉应用而优化的数字相机方法和设备 | |
US20220207664A1 (en) | Computer apparatus and method for detecting defects in near-eye display | |
JP2014197342A (ja) | 物体位置検出装置、物体位置検出方法、及びプログラム | |
JP2010198476A (ja) | 欠陥検出装置、欠陥検出方法および欠陥検出プログラム | |
EP3921769A1 (en) | Pre-processing image frames based on camera statistics | |
US20190206089A1 (en) | Backdrop color detection | |
US11543644B2 (en) | Digital imaging device and method for generating a digital color image | |
CN110009627B (zh) | 用于处理图像的方法和装置 | |
CN114004809A (zh) | 皮肤图像处理方法、装置、电子设备和介质 | |
US20240046434A1 (en) | Image processing method and image processing apparatus performing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180109 |