[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6017005B2 - 画像検索装置、画像検索方法及びプログラム - Google Patents

画像検索装置、画像検索方法及びプログラム Download PDF

Info

Publication number
JP6017005B2
JP6017005B2 JP2015216496A JP2015216496A JP6017005B2 JP 6017005 B2 JP6017005 B2 JP 6017005B2 JP 2015216496 A JP2015216496 A JP 2015216496A JP 2015216496 A JP2015216496 A JP 2015216496A JP 6017005 B2 JP6017005 B2 JP 6017005B2
Authority
JP
Japan
Prior art keywords
image
rotation angle
rotation
comparison
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015216496A
Other languages
English (en)
Other versions
JP2016040731A (ja
Inventor
浩一 馬養
浩一 馬養
椎山 弘隆
弘隆 椎山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015216496A priority Critical patent/JP6017005B2/ja
Publication of JP2016040731A publication Critical patent/JP2016040731A/ja
Application granted granted Critical
Publication of JP6017005B2 publication Critical patent/JP6017005B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば、局所特徴点及び局所特徴量に基づく検索を行うために用いて好適な技術に関する。
従来、画像の局所的な特徴量(局所特徴量)を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点(局所特徴点)を抽出する。抽出方法については例えば非特許文献1に開示されている方法が挙げられる。そして、当該特徴点とその周辺の画像情報とに基づいて、当該特徴点に対応する特徴量(局所特徴量)を計算する。局所特徴量については例えば非特許文献2に開示されている方法によって計算することができる。このように画像の検索は、局所特徴量同士のマッチングによって行われる。
局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、画像を検索することができる。また、局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。
例えば非特許文献2に記載の方法では、回転不変の局所特徴量を算出するために、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量の算出時に主方向を基準に局所領域を回転させて方向を正規化する。また、拡大・縮小不変の局所特徴量を算出するために、異なる解像度の画像を内部で生成し、各解像度の画像からそれぞれ局所特徴点を抽出し、局所特徴量を算出する。ここで、内部で生成した一連の異なる解像度の画像集合は一般的にスケールスペースと呼ばれる。
また、従来の検索結果の表示方法では、多くの場合、クエリ画像と検索先画像(サンプル画像)との間の類似度を局所特徴量のマッチングにより算出し、類似度順にサムネール画像を表示する。
一方、このように検索結果が表示され、回転しているオブジェクトが同一であることを知覚する際には、頭の中で回転したイメージを作ってからマッチングしているという定説がある。以下、このような感覚を心的回転と呼ぶ。非特許文献3には、心的回転を伴う知覚時間は、対象オブジェクトの回転角度に比例し、180度回転の場合には、回転なしの場合に比べて約2倍の時間を要することが記載されている。
検索結果として表示される多数の画像を確認するとき、この心的回転を伴うことにより知覚時間が増加し、ユーザの負担が大きくなってしまう場合がある。そこで、オブジェクトを囲む矩形を回転表示する例が知られているが、知覚対象オブジェクト(検索結果)が回転している場合に、オブジェクトを矩形で囲むだけではユーザの負担を考慮した処理とは言えない。
また、画像を回転処理する他の例として、人物画像が含まれる画像の天地方向を判別し、その判別結果に基づいて前記画像を実際の天地方向に修正した後、画像中の人物像が存在する領域を抽出する方法が提案されている(例えば、特許文献1参照)。
さらには、動画像のフレームの傾きを補正する方法も提案されている(例えば、特許文献2参照)。この方法では、まず、動きベクトルを利用して、フレーム画像を構成する領域を動き量が相対的に大きな領域と小さな領域とに分割する。次に、動き量が相対的に小さな領域から補正パラメータを検出する。最後にフレーム画像に対して動き補正を施す。この方法では、傾きの程度に関わらず必ず傾き判定処理を行うように構成している。
特開2005−215760号公報 国際公開第2009/001510号
C.Harris and M.J. Stephens,"A combined corner and edge detector," In Alvey Vision Conference,pages 147-152, 1988. David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 60, 2 (2004), pp.91-110. Jacques Vauclair, Joel Fagot, William D Hopkins, "Rotation of mental images in baboons when the visual input is directed to the left cerebral hemisphere," Psychological Science, Vol. 4(2), pp.99-103, 1993. J.J.Koenderink and A.J.van Doorn, "Representation of local geometry in the visual system," Riological Cybernetics, vol.55, pp.367-375, 1987. M. A. Fischler and R. C. Bollers, "Random sample consensus: A paradigm formodel fitting with applications to image analysis and automated cartography," Commum. ACM, no.24, vol.6, pp.381-395, June 1981.
しかしながら、特許文献1に記載の方法では、人物が含まれる画像の天地方向を判別し、その判別結果を用いて画像を90度単位で回転させている。このため、画像の回転角度によっては、心的回転による負荷を軽減することができない。
また、特許文献2に記載の方法では、傾き判定処理を独立した別処理として構成しているので、その分だけ計算量が増大する。また、傾きの程度に関わらず必ず傾き判定処理を行うように構成しているので、実装機器の計算リソースに合わせて処理の負荷が大きくなる。
本発明は前述の問題点に鑑み、ユーザにとって心的な負荷が軽減される検索結果を簡単な処理により得ることができるようにすることを目的としている。
本発明の画像検索装置は、入力画像に基づいて、1または複数の比較画像を選択する選択手段と、前記入力画像に対する、前記選択された比較画像の回転角度を算出する回転角度算出手段と、前記回転角度算出手段によって算出された前記比較画像の回転角度が所定の値よりも大きい場合に、前記回転角度算出手段によって算出された回転角度に基づいて前記選択された比較画像を回転させる回転手段と、前記回転手段によって回転された比較画像と、当該比較画像の回転の状態を示す補助画像と、を出力する出力手段とを有することを特徴とする。
本発明によれば、検索結果を確認する時に、心的回転による負荷を軽減するとともに、計算量を抑えて検索結果を得ることができる。
実施形態における画像検索装置の構成例を示すブロック図である。 実施形態において、画像の局所特徴点及び局所特徴量を抽出する処理手順の一例を示すフローチャートである。 図2のステップS204における縮小画像の生成処理の概要を説明する図である。 第1の実施形態において、検索結果を出力する処理手順の一例を示すフローチャートである。 第1〜第3の実施形態において、類似度及び回転角度を算出する処理手順の一例を示すフローチャートである。 第2の実施形態において、検索結果を出力する処理手順の一例を示すフローチャートである。 第2の実施形態において、表示結果がクリックされた時の回転正規化の処理手順の一例を示すフローチャートである。 第4の実施形態において、検索結果を出力する処理手順の一例を示すフローチャートである。 第4の実施形態において、類似度及び変形パラメータを算出する処理手順の一例を示すフローチャートである。
(第1の実施形態)
以下、本発明の実施形態について、図面を参照しながら説明する。
図1は、本実施形態における画像検索装置100の構成例を示すブロック図である。
図1において、画像検索装置100は、クエリ画像入力部102、比較先画像入力部105、第1の局所特徴点/局所特徴量抽出部103、第2の局所特徴点/局所特徴量抽出部106、及び局所特徴点/局所特徴量比較部107から構成されている。
画像検索装置100では、入力画像であるクエリ画像101がクエリ画像入力部102に入力されると、第1の局所特徴点/局所特徴量抽出部103は、クエリ画像101から局所特徴として局所特徴点とその局所特徴量とを抽出する。同様に、比較対象となる比較先画像列104が比較先画像入力部105に入力されると、第2の局所特徴点/局所特徴量抽出部106は、比較先画像列104から局所特徴として局所特徴点とその局所特徴量とを抽出する。なお、局所特徴点とその局所特徴量とを抽出する処理の詳細については後述する。
局所特徴点/局所特徴量比較部107は、第1の局所特徴点/局所特徴量抽出部103及び第2の局所特徴点/局所特徴量抽出部106で抽出されたそれぞれの局所特徴点及び局所特徴量同士を比較する。そして、画像表示順序として比較結果108を不図示の表示装置等に出力する。この局所特徴点及び局所特徴量の比較処理の詳細についても後述する。操作部109は、ユーザからの入力を受け付けるためのものである。
まず、図1におけるクエリ画像入力部102、比較先画像入力部105、第1の局所特徴点/局所特徴量抽出部103及び第2の局所特徴点/局所特徴量抽出部106の処理を説明する。画像からの局所特徴抽出処理は、画像データを読み出すステップ、輝度成分の抽出ステップ、縮小画像の作成ステップ、局所特徴点の抽出ステップ、及び局所特徴量の算出ステップからなる。
図2は、本実施形態において、画像の局所特徴点及び局所特徴量を抽出する処理手順の一例を示すフローチャートである。
まず、ステップS201により処理を開始し、ステップS202において、クエリ画像入力部102及び比較先画像入力部105は、それぞれの画像データを読み出す。そして、ステップS203において、第1の局所特徴点/局所特徴量抽出部103及び第2の局所特徴点/局所特徴量抽出部106はそれぞれ、画像データから輝度成分を抽出し、輝度成分画像を生成する。
次に、ステップS204において、第1の局所特徴点/局所特徴量抽出部103及び第2の局所特徴点/局所特徴量抽出部106はそれぞれ、ステップS203で作成した当該輝度成分画像を倍率pに従って順次縮小し、縮小画像をn枚生成する。ただし、倍率p及び縮小画像の枚数nは予め決められているものとする。
図3は、図2のステップS204における縮小画像の生成処理の概要を説明する図である。なお、図3では、倍率pを2の−(1/4)乗とし、縮小画像の枚数nを9とした場合の例を示している。また、図3に示す例では、倍率pを面積比ではなく辺の長さの比としている。
図3において、301はステップS203で作成した輝度成分画像である。302は輝度成分画像301から倍率pに従って4回縮小された縮小画像であり、輝度成分画像301を1/2に縮小した画像に相当する。また、303は輝度成分画像301から倍率pに従って8回縮小された縮小画像であり、輝度成分画像301を1/4に縮小した画像に相当する。なお、画像を縮小する方法は単純に画素を間引く方法、線形補間を用いる方法、低域フィルタ適用後にサンプリングする方法などを用いることができるが、何れの方法でもよい。本実施形態では、線形補間による縮小方法を用いて画像を縮小するものとする。
304はスケール番号であり、縮小画像のサイズが大きい方から順に解像度に応じて付与される番号である。本実施形態では、スケール番号は1から始まるようにしているが、0から始まるようにしてもよい。
図2の説明に戻り、次に、ステップS205において、第1の局所特徴点/局所特徴量抽出部103及び第2の局所特徴点/局所特徴量抽出部106は、ステップS204で得られたn枚の縮小画像のそれぞれから局所的な特徴点(局所特徴点)を抽出する。ここで抽出する局所特徴点は、画像に回転や縮小などの画像処理を施しても同じ場所から安定的に抽出されるようなロバストな局所特徴点である。このような局所特徴点を抽出する方法として、本実施形態では、非特許文献1に記載されているHarris作用素を用いる。
具体的には、Harris作用素を作用させて得られた画像の画素それぞれについて、着目画素とその周辺にある8つの画素との合計9画素の画素値を調べる。そして、着目画素の画素値が予め定めた値以上であり、かつ局所極大になる(当該9画素の中で当該画素の画素値が最大になる)場合に、その着目画素が位置する点を局所特徴点として抽出する。なお、ロバストな局所特徴点を抽出可能な方法であれば、上述のHarris作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。
次に、ステップS206において、ステップS205で得られた局所特徴点それぞれについて、画像の回転があっても不変となるように定義された特徴量(局所特徴量)を算出する。この局所特徴量の算出方法として、本実施形態では非特許文献4に記載されているLocal Jet及びそれらの導関数の組み合わせを用いる。この方法により算出される局所特徴量は、拡大縮小、回転に対して、比較的高い耐性を持つような特性を持たせることができる。具体的には、以下の式(1)により局所特徴量を算出する。
Figure 0006017005
ただし、式(1)の右辺で用いている記号は、以下の式(2)から式(7)に示すように定義される。
Figure 0006017005
ここで、式(2)右辺のG(x,y)はガウス関数であり、I(x,y)は画像の座標(x,y)における画素値であり、"*"は畳み込み演算を表す記号である。また、式(3)は式(2)で定義された変数Lのxに関する偏導関数であり、式(4)は当該変数Lのyに関する偏導関数である。式(5)は式(3)で定義された変数Lxのyに関する偏導関数である。式(6)は式(3)で定義された変数Lxのxに関する偏導関数であり、式(7)は式(4)で定義されたLyのyに関する偏導関数である。
なお、局所特徴量の算出方法は、上述の方法に限らず他の局所特徴量の算出方法も適用可能である。他の局所特徴量の算出方法として、例えば非特許文献2に記載されている方法がある。この方法では、局所特徴点周辺の局所領域内の各画素に対して画素値の勾配方向を算出し、そのヒストグラムを局所特徴量としている。
次に、局所特徴点/局所特徴量比較部107の動作について説明する。局所特徴点及び局所特徴量の比較に基づいて画像を照合する方法にはいろいろあるが、本実施形態では、非特許文献5に記載されているRANSACを利用した方法について説明する。
図4は、本実施形態において、局所特徴点/局所特徴量比較部107により検索結果を出力する処理手順の一例を示すフローチャートである。
まず、図4のステップS401において処理を開始し、ステップS402において、比較先画像入力部105に入力された比較先画像列104から比較対象とするサンプル画像を1枚抽出する。
次に、ステップS403において、クエリ画像入力部102に入力されたクエリ画像101と前記サンプル画像との類似度を算出する。さらに、この類似度を算出する過程で生成される値を用いて前記サンプル画像の前記クエリ画像に対する回転角度を推定する。なお、このステップS403の処理の詳細については後述する。また、このときに算出する類似度及び回転角度はサンプル画像と紐付けておく。
次に、ステップS404において、比較先画像列104において、まだサンプル画像として抽出されていない画像が残っているか否かを判定する。この判定の結果、画像が残っている場合はステップS402に戻り、新たなサンプル画像を抽出し、上記と同様の処理を行う。一方、画像が残っていない場合はステップS405に進む。そして、ステップS405において、ステップS403で算出したクエリ画像に対する各サンプル画像の類似度を用いて、各サンプル画像を類似度順にソートする。
次に、ステップS406において、クエリ画像に対するサンプル画像の回転正規化が必要か否かを判定する。この判定の結果、回転正規化が必要である場合はステップS407に進み、回転正規化が不要である場合はステップS408に進む。ここで、回転正規化の判定基準としてはいろいろな基準が考えられるが、本実施形態では推定回転角度が±60°以上の場合に回転正規化が必要であると判定する。これは、非特許文献3に記載されている実験において、回転角度が±60°の範囲内では心的回転による処理時間の増加がそれほど大きくないという結果が示されていることに基づいている。
また、ステップS406での判定基準は合理的な基準であれば、本実施形態の基準以外の基準を採用してもよい。例えば、類似度の上位から順に特定の数の画像にすべて回転正規化処理を施すように構成してもよい。また、予め定めた類似度の値を基準に回転正規化要否を判定するように構成してもよいし、あるいは類似度の値の分布を求めることにより、回転正規化要否を判定するための類似度の閾値を相対的に決定するように構成してもよい。さらには、機器のリソースに応じて動的に閾値を定めるように構成してもよい。
さらには、ユーザの認知能力を判定する機能を設けて、その判定結果に基づいて予めあるいは動的に閾値を定めるように構成してもよい。認知能力の判定基準としては、例えば年齢、反応時間、視力などが挙げられる。年齢の判別方法としては、例えば既存の顔画像からの年齢推定技術を用いることができる。反応時間の計測方法としては、例えば別途用意した反応時間テストプログラムの結果を用いてもよいし、マウスやキーボードからのユーザによる入力データを解析する方法を用いてもよい。視力測定方法についても、例えば別途用意した視力測定テストプログラムの結果を用いてもよいし、ユーザ自身に視力の数値を入力してもらってもよい。
ステップS407においては、ステップS403で推定した回転角度を用いて、クエリ画像を基準にした回転正規化処理をサンプル画像に施す。そして、ステップS408において、類似度順にソートされ、必要に応じて回転正規化処理が施された比較先画像列を比較結果108として出力する。
次に、ステップ403の処理の詳細について説明する。ここで、クエリ画像101から抽出された局所特徴点をQとし、その座標をQ(x',y')とし、その局所特徴点Qの局所特徴量をVqとする。また、比較先画像列104に属するある1枚の画像(サンプル画像)上の局所特徴点をSとし、その座標をS(x,y)とし、その局所特徴点Sの局所特徴量をVsとする。
図5は、ステップS403の詳細な処理であって、局所特徴点/局所特徴量比較部107により類似度及び回転角度を算出する処理手順の一例を示すフローチャートである。
ステップS501で処理を開始すると、ステップS502において、局所特徴量Vqと局所特徴量Vsとを照合して最小距離対応点リストを作成する。具体的には、まず、局所特徴量Vqと局所特徴量Vsとの全ての組み合わせについて局所特徴量間の距離を計算する。次に、計算した局所特徴量間の距離が閾値Tv以下となり、かつ、最小距離となるような局所特徴量Vqと局所特徴量Vsとの組み合わせ(対応点)を抽出する。これらの対応点を最小距離対応点リストに登録することにより、最小距離対応点リストを作成する。
ここで、最小距離対応点リストには、例えばk番目の最小距離対応点をそれぞれQk、Skと表わし、これらの座標をQk(xk',yk')、Sk(xk,yk)とし、添え字を合わせて記載する。なお、1つの局所特徴点に対応付けられる局所特徴量は2つ以上あってもよいが、以下の説明では説明を簡略化するため、1つの局所特徴点に対応付けられる局所特徴量は1つだけとする。そして、前記Qk、Skの局所特徴量をそれぞれVq(k)、Vs(k)とする。また、ステップS502では、m組の対応点が最小距離対応点リストに登録されるものとする。
次に、ステップS521において、mが3以上であるか否かを判定する。この判定の結果、mが3未満である場合は、類似度を算出できないため、ステップS522に進み、処理を終了する。
一方、ステップS521の判定の結果、mが3以上である場合は、ステップS503において、最終投票数を表す変数VoteMaxを0に初期化する。そして、ステップS504において、類似度算出処理の反復カウント数を表す変数Countを0に初期化する。
次に、ステップS505において、反復カウント数Countが予め定められた最大反復処理回数Rnを超えていないか否かを判定する。この判定の結果、反復カウント数Countが最大反復処理回数Rnを超えていない場合はステップS506へ進み、投票数を表す変数Voteを0に初期化する。一方、ステップS505の判定の結果、反復カウント数Countが最大反復処理回数Rnを超えている場合には、ステップS519へ進み、最終投票数VoteMaxを類似度と設定するとともに、回転角度を設定し、ステップS520において処理を終了する。
次に、ステップS507において、最小距離対応点リストから対応点の組の座標をランダムに2組抽出する。ここで、抽出した2組の座標をQ1(x1',y1')、S1(x1,y1)及びQ2(x2',y2')、S2(x2,y2)と定義する。そして、ステップS508において、変換行列M、Tを計算する。ここで、行列Mは、以下の式(8)において変数a〜dで構成される行列であり、行列Tは変数e〜fで構成される行列である。
Figure 0006017005
ここで、以下の説明では、説明を簡略化するため、相似変換だけを考える。この場合には、上記式(8)は以下の式(9)のように書き換えられる。
Figure 0006017005
また、式(9)における変数a、b、e、fは、座標Q1(x1',y1')、S1(x1,y1)及びQ2(x2',y2')、S2(x2,y2)の座標値を用いて以下の式(10)〜式(13)で表すことができる。
Figure 0006017005
次に、ステップS509において、ステップS507で最短距離対応点リストからランダムに抽出された2組の点以外の点を選択するために、対応点選択変数kを3に初期化する。そして、ステップS510において、対応点選択変数kが当該最短距離対応点リストに登録されている対応点の組数mを超えていないか否かを判定する。この判定の結果、組数mを超えている場合はステップS516へ進む。ステップS516の処理については後述する。
一方、ステップS510の判定の結果、組数mを超えていない場合は、ステップS511において、最小距離対応点リストから新たな対応点の組を1組抽出する。ここでは、抽出した座標をSk(xk,yk)、Qk(xk',yk')と定義する。なお、抽出する際にはステップS507と同様に付加情報を利用する。
次に、ステップS512において、式(9)によりSk(xk,yk)を変換して座標Sk'(xk",yk")を求める。その後、ステップS513において、座標Sk'(xk",yk")と座標Qk(xk',yk')との幾何学的距離をユークリッド距離で計算し、当該ユークリッド距離が閾値Td以下であるか否かを判定する。この判定の結果、当該ユークリッド距離が閾値Td以下の場合はステップS514へ進み、投票数Voteをインクリメントした後、ステップS515へ進む。一方、ステップS513の判定の結果、当該ユークリッド距離が閾値Tdより大きい場合は、何もせずにステップS515へ進む。
次に、ステップS515において、対応点選択変数kをインクリメントし、ステップS510に戻り、対応点選択変数kが最短距離対応点リストに登録されている対応点の組数mを超えるまで、上述の処理を繰り返す。
次に、ステップS510で、対応点選択変数kが当該対応点リストに登録されている対応点の組数mを超えた場合について説明する。ステップS516においては、投票数Voteの値と最終投票数VoteMaxの値とを比較し、投票数Voteの値が最終投票数VoteMaxの値よりも大きいか否かを判定する。この判定の結果、投票数Voteの値が最終投票数VoteMaxの値より大きい場合にはステップS517へ進む。
ステップS517においては、最終投票数VoteMaxの値を投票数Voteの値で置き換えるとともに、その時の変換行列Mを変数Mmaxで置き換える。このように類似度の算出過程で得られる変換行列Mの変数Mmaxから回転角度が決定される。そして、ステップS518において反復カウント数Countをインクリメントし、ステップS505に戻る。一方、ステップS516の判定の結果、投票数Voteの値が最終投票数VoteMaxの値以下の場合にはステップS518へ処理を移し、反復カウント数Countをインクリメントして、ステップS505に処理を戻す。
なお、図5の説明では、相似変換だけを考慮して説明したが、アフィン変換などその他の幾何学変換についても、ステップS508でそれぞれに応じた変換行列を求めることにより、対応可能である。例えば、アフィン変換の場合には、まずステップS507で、ランダムに選択する対応点の組の座標数を3とする。次に、ステップS508で、式(9)ではなく式(8)を用い、ステップS507で選択した3組の対応点(合計6点)を用いて変数a〜fを求めればよい。
また、図5の説明では、ステップS519で類似度として最終投票数VoteMaxを出力する例について説明したが、他の類似度を計算するようにしてもよい。例えば、ステップS504以降の処理を行わずに、ステップS502で作成された最小距離対応点リストに登録された対応点の組数mを類似度として出力する方法がある。
また、本実施形態では、局所特徴量として非特許文献4に記載されている方法を用い、局所特徴点及び局所特徴量の比較に基づいて画像を照合する方法として非特許文献5に記載されているRANSACを利用した方法を説明した。しかしながら、2つの画像間の類似度が算出でき、類似度算出の過程において処理負荷の低い方法の回転角度算出方法であれば、他の方法を利用してもよい。
例えば、局所特徴量として非特許文献2に記載されているものを採用する場合には、局所特徴量ごとに局所領域の方向を正規化するための値(ここでは「主方向」と呼ぶ)が得られる。この場合、ステップS403では、ステップS502と同様に最小距離対応点リストを作成する時に対応点の主方向の差を計算し、その後その主方向の差に簡単な統計分析を施すことにより処理の負荷を高めることなく回転角度を推定することができる。
なお、統計分析の方法としては、例えばヒストグラムのピーク検出や平均値算出などがある。この場合の類似度算出方法としては、例えば最小距離対応点リストに登録された対応点の組数mを類似度とする方法がある。もちろん前述のRANSACを利用した方法を用いてもよい。
このように本実施形態では、検索結果として画像を表示する際に、クエリ画像を基準にしてサンプル画像を回転正規化した後に表示するように構成した。これにより、検索結果を確認する時に心的回転によるユーザの負荷を軽減することが可能になる。また、検索に必要な局所特徴量の算出の過程で回転角度が算出されるので、計算量が大幅に増加しないようにしてクエリ画像を基準とした回転正規化が可能になる。
さらに、推定された回転角度が所定の値を超えるか否かによって回転正規化の要否を判定するようにしたので、機器のリソースに応じて動的に判定基準を調整し、機器の処理速度とユーザの心的回転による負荷の軽減度とのバランスを取ることが容易になる。
また、本実施形態では、ステップS408において、類似度順にソートされ必要に応じて回転正規化処理が施された比較先画像列を比較結果として出力するように構成した。一方、比較先画像列におけるクエリ画像に対応する領域だけを出力するように構成してもよい。あるいは、回転正規化前の比較先画像列を合わせて出力するように構成してもよい。このとき、例えば、回転正規化画像をサブウインドウに表示するようにする。
(第2の実施形態)
第1の実施形態では、ステップS407において回転正規化処理を実施するように構成したが、ユーザの心的回転を伴う知覚時間の軽減を実現できるなら他のタイミングで回転正規化を施すように構成してもよい。本実施形態では、異なるタイミングで回転正規化を施す例について説明する。以下、このような場合の構成例について図6及び図7を参照しながら説明する。なお、本実施形態における画像検索装置の構成については図1と同様であるため、説明は省略する。本実施形態では、第1の実施形態と異なる点についてのみ説明する。
図6は、本実施形態において、局所特徴点/局所特徴量比較部107により検索結果を出力する処理手順の一例を示すフローチャートである。なお、本実施形態では、図4のステップS401〜S405までの処理は第1の実施形態と同様であるため、説明は省略する。本実施形態では、回転正規化の要否判定とサンプル画像の回転正規化とを行わない。
ステップS601においては、回転正規化されていない比較結果108を出力する。本実施形態では、ユーザの指示に応じて回転正規化の要否判定とサンプル画像の回転正規化とを行う。
次に、比較結果108を表示するGUI上でユーザによるクリック動作が行われた場合を例に説明する。以下、ユーザがクリックした画像をクリック画像と呼ぶことにする。
図7は、局所特徴点/局所特徴量比較部107による、表示結果がクリックされた時の回転正規化の処理手順の一例を示すフローチャートである。
まず、操作部109からクリック動作による入力を受け付けると処理を開始し、ステップS701において、クエリ画像に対するサンプル画像の回転正規化が必要か否かを判定する。この判定の結果、回転正規化が必要である場合はステップS702に進み、回転正規化が不要である場合はステップS703に進む。
ここで、回転正規化の判定基準としては第1の実施形態と同様の判定基準を用いることにする。すなわち、推定回転角度が±60°以上の場合に回転正規化が必要であると判定する。ただし、判定基準についても、合理的な基準であれば、本実施形態の基準以外の判定基準を採用してもよい。
ステップS702においては、ステップS403で推定した回転角度を用いて、クエリ画像を基準にした回転正規化処理をサンプル画像に施す。そして、ステップS703においては、必要に応じて回転正規化処理が施されたサンプル画像(クリック画像)を比較結果として出力する。
以上のように本実施形態によれば、ユーザのクリック動作をトリガにしてクエリ画像を基準に回転正規化したサンプル画像を表示するようにした。これにより、検索結果を確認する時に、ユーザの指示により心的回転によるユーザの負荷を軽減することが可能になる。また、検索に必要な局所特徴量の算出の過程で回転か独活が算出されるので、計算量が大幅に増加しないようにしてクエリ画像を基準とした回転正規化が可能になる。
さらに、推定した回転角度に基づいて回転正規化の要否を判定できるように構成したので、機器のリソースに応じて判定基準を調整し、機器の処理速度とユーザの心的回転による負荷の軽減度とのバランスを取ることが容易になる。
なお、クリックの方法としては、例えばマウスの右ボタンクリック時に前記回転正規化処理を実行し、マウスの左ボタンクリック時には通常用いられる拡大・原寸表示を行うように構成してもよい。
また、本実施形態では、ユーザの指示動作としてクリック動作を例に説明したが、ユーザの動作指示に応じて回転正規化の要否判定とサンプル画像の回転正規化とを行うのであれば、他の指示動作を採用してもよい。例えば、指示動作として画像名を入力する方法を用いてもよい。あるいは、既存の視線検出を用い、ユーザが視線を一定時間当てた画像に対して回転正規化処理を実行するように構成してもよい。
(第3の実施形態)
前述の第1及び第2の実施形態では、クエリ画像を基準にしたサンプル画像の回転角度に基づいて、表示するサンプル画像の回転正規化の要否を判定するように構成した。本実施形態では、回転正規化の要否の判定時に、クエリ画像を基準にしたサンプル画像の推定解像度の差を解像度情報として判定基準に用いる例について説明する。すなわち、本実施形態では、図3のスケール番号304に着目することにより比較対象画像間の解像度の差を推定する。以下、その具体的な推定方法について説明する。なお、本実施形態における画像検索装置の構成については図1と同様であるため、説明は省略する。本実施形態では、第1の実施形態と異なる点についてのみ説明する。
前述した手順では、まず、ステップS502で、局所特徴量Vqと局所特徴量Vsとの全ての組み合わせについて局所特徴量間の距離を計算する。次に、計算した局所特徴量間の距離が閾値Tv以下となり、かつ、最小距離となるような局所特徴量Vqと局所特徴量Vsとの組み合わせ(対応点)を抽出し、これらの対応点を登録することにより最小距離対応点リストを作成する。
ここで、局所特徴量間の距離が閾値Tv以下となり、かつ、最小距離となるような局所特徴量Vqと局所特徴量Vsとの組み合わせ(対応点)があった場合に、それぞれのスケール番号をSq、Ssとする。また、局所特徴量Vqが属する画像をクエリ画像とした場合に、局所特徴量Vsが属する画像の類似度を算出する場合を想定する。
解像度の差をΔS=Ss−Sqとしたとき、局所特徴量Vqと局所特徴量Vsが正しい対応点(正対応点)である場合には、解像度の差ΔSは一定値となる。一方、対応が誤っている点(誤対応点)の解像度の差ΔSは正対応点の解像度の差ΔSと一致しないことが多い。つまり、局所特徴量間の距離で抽出した対応点すべてに対して解像度の差ΔSを算出し、解像度の差ΔSの最頻値ΔSmodを求めることにより、最頻値ΔSmodを持つ対応点を正対応点と推定できる。
また、最頻値ΔSmodは比較画像間の解像度差を表わし、ΔSmod>0の場合は局所特徴点Vsが属する画像の解像度の方が大きいことを示す。ΔSmod=0の場合は比較画像間に解像度の差がなく、ΔSmod<0の場合は、局所特徴点Vsが属する画像の解像度の方が小さいことを示す。
本実施形態では、回転正規化の要否判定に解像度の差を用いる。ここで、回転正規化の判定基準としてはいろいろな基準が考えられるが、本実施形態では解像度の差の最頻値ΔSmod≧4の場合に回転正規化が不要と判定する。すなわち、サンプル画像のクエリ画像に対する解像度比が4倍以上ある場合には回転正規化しない。ただし、判定基準は合理的な基準であれば、本実施形態の基準以外の基準を採用してもよい。また、第1及び第2の実施形態で説明した回転角度等を用いた回転正規化判定基準と組み合わせてもよい。判定の組み合わせ方法は論理積を用いてもよいし論理和を用いてもよい。
さらに、回転角度に応じて解像度の差を判定基準に用いるか否かを決定してもよい。例えば、回転角度が±30°以内の場合にだけ解像度の差を判定基準に加え、それ以外の場合には解像度の差を判定基準に加えないように構成する。この場合、回転角度が±30°以内であって、解像度の差の最頻値ΔSmod≧4である場合には回転正規化を行わないようにする。一方で、回転角度が±30°より大きいときには、サンプル画像のクエリ画像に対する解像度の差に関わらず必ず回転正規化を行うようにする。
以上のように本実施形態によれば、回転正規化要否の判定時にクエリ画像を基準にしたサンプル画像の解像度の差が所定値よりも小さいか否かという判定基準に用いるように構成した。これにより、機器のリソースに応じて判定基準を調整し、機器の処理速度とユーザの心的回転による負荷の軽減度とのバランスを取ることが容易になる。
(第4の実施形態)
第1の実施形態では、検索結果の画像を表示する際に、クエリ画像を基準に回転正規化した画像で表示するように構成した。一方、ユーザの心的回転を伴う知覚時間の軽減を実現できる場合には検索結果の画像を回転正規化する方法以外の方法を用いてもよい。
本実施形態では、クエリ画像と検索結果の画像との対応領域が画像の中でどのように存在するかを補助画像で明示すること、特に回転方向を明示することによりユーザの心的回転を伴う知覚時間を軽減する方法を説明する。なお、本実施形態における画像検索装置の構成については図1と同様であるため、説明は省略する。本実施形態では、第1の実施形態と異なる点についてのみ説明する。また、本実施形態では、補助画像として矩形を用いる場合について説明する。
図8は、本実施形態において、局所特徴点/局所特徴量比較部107により検索結果を出力する処理手順の一例を示すフローチャートである。図4と異なる点は、ステップS403の処理の代わりにステップS801の処理を行い、ステップS406及びS407の処理の代わりにステップS802の処理を行う点である。それ以外の処理については図4と同様である。
ステップS801においては、クエリ画像入力部102に入力されたクエリ画像101と比較先画像列104のサンプル画像との類似度を算出する。このとき、類似度の算出の過程で生成される値を用いて、サンプル画像とクエリ画像との対応領域に対する変形パラメータを推定する。なお、このステップS801の処理の詳細については後述する。また、クエリ画像との対応領域情報と変形パラメータについては、該当するサンプル画像と紐付けておく。
ステップS802においては、サンプル画像上にクエリ画像の対応する領域を矩形で描画する。描画にはステップS801の処理で得られるクエリ画像との対応領域情報及び変形パラメータを用いる。なお、本実施形態では、クエリ画像との対応領域情報をステップS513の条件を満たす対応点の組とする。また、前記矩形は、クエリ画像上で対応点をすべて含む最外接矩形を生成し、その最外接矩形を変形パラメータによりサンプル画像上に写像したものとする。
ここで、前記矩形のデザインとしてクエリ画像上で生成する矩形底辺の色を他の辺の色とは異なる色に設定し、その後その矩形を写像することとする。これにより、前記矩形の上下左右方向を認識しやすくする。
次に、ステップS801の処理の詳細について説明する。
図9は、ステップS801の詳細な処理であって、局所特徴点/局所特徴量比較部107により類似度及び変形パラメータを算出する処理手順の一例を示すフローチャートである。図5と異なる点は、ステップS517の代わりにステップS901の処理が行われ、ステップS519の代わりにステップS902の処理が行われる点である。それ以外の処理については、図5と同様である。
ステップS901では、最終投票数VoteMaxの値を投票数Voteの値で置き換えるとともに、変数Mmax、Tmaxを、その時の変換行列M、Tに置き換える。また、ステップS902では、クエリ画像との対応領域情報、最終投票数VoteMax、及びその時の変形パラメータとして変換行列Mmax、Tmaxを設定する。
このように本実施形態では、検索結果として画像を表示する際に、サンプル画像上にクエリ画像の対応する領域を矩形で描画するように構成した。これにより、ユーザは矩形の上下左右方向を認識しやすくなり、検索結果を確認する時に心的回転によるユーザの負荷を軽減することが可能になる。
なお、本実施形態では、矩形底辺の色を他の辺の色とは異なる色に設定するようにしたが、ユーザによる矩形の上下左右方向の認識を容易にする方法であれば、上記の方法に限らず他の方法を用いてもよい。例えば、矩形の上下左右すべての辺の色を異なる色に設定するようにしてもよい。あるいは、色を変更するのではなく、異なる線幅や線種を用いるようにしてもよい。
また、矩形の辺のデザインを変化させるのではなく、矩形を描画した上で変形パラメータをテキスト表示するようにしてもよい。さらに、変形度合いに応じてテキストの色や線幅、フォントを変更するようにしてもよい。これにより、ユーザはクエリ画像に対するサンプル画像の変形度合いを認識しやすくなり、検索結果を確認する時に心的回転を補助することが可能になる。そのため、ユーザの負荷を軽減することが可能になる。
また、本実施形態では、検索結果を表示する際にサンプル画像上にクエリ画像の対応する領域を矩形で描画するようにしたが、サンプル画像上でのクエリ画像に対応する領域を容易に確認できれば他の補助画像を用いて描画するように構成してもよい。例えば、矩形ではなく、クエリ画像上での対応点をすべて含むような円あるいは楕円としてよく、任意の多角形としてもよい。さらには、矢印を用いてもよい。ただし、その場合は、前述の上下左右方向の認識を容易にする方法を適用するために、補助画像では、上下左右を表す範囲を設定する必要がある。さらに、クエリ画像上においても、対応する領域をサンプル画像上の補助画像と同じあるいは近いデザインの補助画像で示すようにしてもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
103 第1の局所特徴点/局所特徴量抽出部
106 第2の局所特徴点/局所特徴量抽出部
107 局所特徴点/局所特徴量比較部

Claims (9)

  1. 入力画像に基づいて、1または複数の比較画像を選択する選択手段と、
    前記入力画像に対する、前記選択された比較画像の回転角度を算出する回転角度算出手段と、
    前記回転角度算出手段によって算出された前記比較画像の回転角度が所定の値よりも大きい場合に、前記回転角度算出手段によって算出された回転角度に基づいて前記選択された比較画像を回転させる回転手段と、
    前記回転手段によって回転された比較画像と、当該比較画像の回転の状態を示す補助画像と、を出力する出力手段とを有することを特徴とする画像検索装置。
  2. 入力画像に基づいて、1または複数の比較画像を選択する選択手段と、
    前記入力画像に対する、前記選択された比較画像の回転角度を算出する回転角度算出手段と、
    前記選択された比較画像を出力する出力手段と、
    前記出力手段により出力された比較画像に対して指示がなされ、かつ前記回転角度算出手段によって算出された前記比較画像の回転角度が所定の値よりも大きい場合に、前記回転角度算出手段によって算出された回転角度に基づいて前記比較画像を回転させる回転手段とを有し、
    前記出力手段は前記比較画像と、当該比較画像の回転の状態を示す補助画像と、を出力することを特徴とする画像検索装置。
  3. 入力画像に基づいて、1または複数の比較画像を選択する選択手段と、
    前記入力画像に対する、前記選択された比較画像の回転角度を算出する回転角度算出手段と、
    前記入力画像及び前記選択された比較画像の解像度の差が所定値よりも小さい場合に、前記回転角度算出手段によって算出された回転角度に基づいて前記比較画像を回転させる回転手段と、
    前記回転手段によって回転された比較画像と、当該比較画像の回転の状態を示す補助画像と、を出力する出力手段とを有することを特徴とする画像検索装置。
  4. 入力画像に基づいて、1または複数の比較画像を選択する選択手段と、
    前記入力画像に対する、前記選択された比較画像の回転角度を算出する回転角度算出手段と、
    前記回転角度が所定の値より大きい場合、または前記回転角度が前記所定の値以下であり、かつ前記入力画像及び比較画像の解像度の差が所定値よりも小さい場合に、前記回転角度算出手段によって算出された回転角度に基づいて前記比較画像を回転させる回転手段と、
    前記回転手段によって回転された比較画像と、当該比較画像の回転の状態を示す補助画像と、を出力する出力手段とを有することを特徴とする画像検索装置。
  5. 前記選択手段は、
    前記入力画像及び前記比較画像から局所的な局所特徴を抽出する局所特徴抽出手段と、
    前記局所特徴抽出手段によって抽出された前記入力画像及び比較画像の局所特徴を照合して類似度を算出する照合手段と、
    を有することを特徴とする請求項1から4のいずれか1項に記載の画像検索装置。
  6. 前記出力手段は、前記回転手段によって回転された比較画像を、前記照合手段によって算出された類似度に応じて出力することを特徴とする請求項5に記載の画像検索装置。
  7. 前記補助画像は、前記比較画像の回転の状態を示す矩形であることを特徴とする請求項1から6のいずれか1項に記載の画像検索装置。
  8. 入力画像に基づいて、1または複数の比較画像を選択する選択工程と、
    前記入力画像に対する、前記選択された比較画像の回転角度を算出する回転角度算出工程と、
    前記回転角度算出工程で算出された前記比較画像の回転角度が所定の値よりも大きい場合に、前記回転角度算出工程で算出された回転角度に基づいて前記選択された比較画像を回転させる回転工程と、
    前記回転工程で回転された比較画像と、当該比較画像の回転の状態を示す補助画像と、を出力する出力工程とを有することを特徴とする画像検索方法。
  9. コンピュータを、請求項1から7のいずれか1項に記載の画像検索装置として機能させるためのプログラム。
JP2015216496A 2015-11-04 2015-11-04 画像検索装置、画像検索方法及びプログラム Expired - Fee Related JP6017005B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015216496A JP6017005B2 (ja) 2015-11-04 2015-11-04 画像検索装置、画像検索方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015216496A JP6017005B2 (ja) 2015-11-04 2015-11-04 画像検索装置、画像検索方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011207333A Division JP5836728B2 (ja) 2011-09-22 2011-09-22 画像検索装置、画像検索方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016040731A JP2016040731A (ja) 2016-03-24
JP6017005B2 true JP6017005B2 (ja) 2016-10-26

Family

ID=55541029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015216496A Expired - Fee Related JP6017005B2 (ja) 2015-11-04 2015-11-04 画像検索装置、画像検索方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6017005B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499090B2 (en) * 2016-12-30 2019-12-03 Facebook, Inc. Systems and methods to transition between media content items
JP2018142074A (ja) * 2017-02-27 2018-09-13 三菱重工業株式会社 特徴量算出装置、画像類似度判定装置、画像検索装置、特徴量算出方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH069060B2 (ja) * 1986-01-24 1994-02-02 富士通株式会社 画像の位置合わせ装置
JP3714350B2 (ja) * 2004-01-27 2005-11-09 セイコーエプソン株式会社 画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラム
WO2005120902A1 (en) * 2004-06-07 2005-12-22 Sharp Kabushiki Kaisha Automotive display device, vehicle, and display method
WO2009001510A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 画像処理装置、画像処理方法、プログラム
JP5306780B2 (ja) * 2008-11-05 2013-10-02 シャープ株式会社 入力装置
JP5290867B2 (ja) * 2009-05-25 2013-09-18 キヤノン株式会社 画像検索装置およびその方法

Also Published As

Publication number Publication date
JP2016040731A (ja) 2016-03-24

Similar Documents

Publication Publication Date Title
JP7094702B2 (ja) 画像処理装置及びその方法、プログラム
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
US8842906B2 (en) Body measurement
CN105243395B (zh) 一种人体图像比对方法和装置
US20180211109A1 (en) Method, system, and neural network for identifying direction of a document
EP2879080B1 (en) Image processing device and method, and computer readable medium
JP6292911B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP6937508B2 (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
WO2020233427A1 (zh) 目标的特征的确定方法和装置
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN110807110A (zh) 结合局部和全局特征的图片搜索方法、装置及电子设备
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
JP6017005B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN107368832A (zh) 基于图像的目标检测及分类方法
CN109583341B (zh) 对包含人像的图像的多人骨骼关键点检测方法及装置
JP6645442B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP5201184B2 (ja) 画像処理装置及びプログラム
JP5836728B2 (ja) 画像検索装置、画像検索方法及びプログラム
Lindblad et al. Coverage segmentation based on linear unmixing and minimization of perimeter and boundary thickness
JP5893318B2 (ja) 画像検索装置、画像検索方法及びプログラム
JP2015041293A (ja) 画像認識装置および画像認識方法
Gedkhaw et al. Superresolution Reconstruction in Automatic Thai Sign Language Feature Extraction Using Adaptive Triangulation Interpolation.
JP2017138743A (ja) 画像処理装置、画像処理方法及びプログラム
CN113724237B (zh) 齿痕识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160927

R151 Written notification of patent or utility model registration

Ref document number: 6017005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees