[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2011107795A - 画像検索システム - Google Patents

画像検索システム Download PDF

Info

Publication number
JP2011107795A
JP2011107795A JP2009259427A JP2009259427A JP2011107795A JP 2011107795 A JP2011107795 A JP 2011107795A JP 2009259427 A JP2009259427 A JP 2009259427A JP 2009259427 A JP2009259427 A JP 2009259427A JP 2011107795 A JP2011107795 A JP 2011107795A
Authority
JP
Japan
Prior art keywords
image
search
vector
similar
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009259427A
Other languages
English (en)
Other versions
JP5337673B2 (ja
Inventor
Atsushi Hiroike
敦 廣池
Naoto Akira
直人 秋良
Daisuke Matsubara
大輔 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009259427A priority Critical patent/JP5337673B2/ja
Publication of JP2011107795A publication Critical patent/JP2011107795A/ja
Application granted granted Critical
Publication of JP5337673B2 publication Critical patent/JP5337673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 類似ベクトル検索に対する多数個の検索クエリーをクラスタリングによって集約することによって効率的な検索を実現する。
【解決手段】 本発明を実現するシステムは、単一の画像から多数個の画像特徴量ベクトルを生成する手段と、生成された多数個の画像特徴量ベクトルをクラスタリング処理によって少数個の代表ベクトルに集約する手段と、集約された各代表ベクトルを検索クエリーとした類似ベクトル検索を行い、予め生成されている各画像特徴量ベクトルの最近接データを取得する手段を持つ。
【選択図】 図2

Description

本発明は、類似画像を検索するシステムに関する。
近年、ネットワークのブロードバンド化、各種記憶装置の大規模化により、企業、あるいは、個人が、大規模な画像・映像を蓄積することが可能となってきた。そのような中、大規模な蓄積データを活用するという観点から、画像自体から情報を抽出し検索する技術の重要性が増してきている。これらの技術は、類似画像検索と呼ばれる。特許文献1、特許文献2等に記載されているように、類似画像検索では、事前に、検索対象となる画像から、画像の持つ特徴を数値化した画像特徴量を抽出し、データベース化することによって高速の検索を実現している。
一方、画像の表示方式の分野では、単一の画像を格子状に分割し、各格子領域内の部分画像を、それと類似性が高い画像と入れ替えることによって、単一画像を多数の小画像の合成として表示する、フォトモザイクと呼ばれる手法が提案されている。
また、画像認識の分野では、画像中から特定の物体が存在する領域を検出する方法として、検出対象となる物体が撮像された画像の集合を学習データとして用いたAdaブースト法による学習によって、局所的な特徴の一致に基づく弱識別器をカスケード上に並べた識別器を構成する手法が提案されている。本手法は、特に、人物の顔領域検出の分野で、高い有効性を示している。
特開2000−123173号公報 特開2007−334402号公報
A. Hiroike, Y. Musha, A. Sugimoto, and Y. Mori :"Visualization of information spaces to retrieve and browse image data",Third International Conference on Visual Information Systems, Springer-Verlag, pp. 155-162 (1999). R. Lienhart, J. Maydt : "An extended set of Haar-like features for rapid object detection", 2002 International Conference on In Image Processing. 2002. Proceedings. 2002 International Conference on, Vol. 1, pp. I-900-I-903 vol.1. (2002)
画像を格子状に分割し小画像の合成として表示する手法では、各格子領域内の部分画像と類似する画像を検索する必要がある。この手法では、小画像となる対象画像の候補が多い方が多様な表現が可能となり、意匠的な付加価値は高くなる傾向があるが、対象画像を多い場合は、類似画像検索システムを活用するのが適当と想定される。一方、意匠的な完成度を高めるためには、ある程度の細分化された分割が必要となる。仮に画像全体を100×100に分割したとすると、10000個の部分領域画像を類似検索のクエリーとすることになる。この事は、個々の検索処理がある程度高速化されていたとしても、その10000倍の処理時間が必要となることを意味している。仮に、検索処理に要する時間が100ミリ秒だとすると1000秒となり、これだと、例えば、WEBアプリケーション上で、表示要求にリアルタイムで応答するようなアプリケーションを組むことは不可能である。
画像中の物体検出では、従来技術では、検出対象に対応する識別器を構成する必要がある。従って、複数種類の対象を検出しようとした場合、複数個の識別器による判定を行う必要があり、検出対象に比例して処理時間が増大する。また、各識別器を構成するためのAdaブーストを用いた学習も各検出対象ごとに行う必要がある。Adaブーストを用いた学習では、十分に大きな学習データを用いた長時間の収束計算が必要であり、検出対象の追加に対して、その場で対応するようなアプリケーションを組むことは不可能である。なお、画像としての見た目が極端に異なるデータを同一の検出対象の学習データとして用いた場合、識別器の学習が適切な状態に収束しない。例えば、顔画像の検出においては、正面顔と横顔とは、別の検出対象として扱う。
一方、類似画像検索を上記の識別器の代わりとして用いることも想定可能である。すなわち、検出対象の画像をデータベース化しておき、検出しようとする領域内の部分画像を検索クエリーと見做して、その最近接データを取得することによって、それが検出対象であるか否かを判定するのである。この方式を行う際の現実的な問題は、検出領域の候補となる領域の数が莫大な数になる点である。例えば、256×256の画像中から64×64の正方形の領域を検出しようとすることを考えると、平行移動により(256-64)×(256-64)=36864個の検出領域の候補が考えられ、これは、36864回の類似検索が必要となることを意味する。
以上のように、類似画像検索技術では、データベース化された画像特徴量を高速に検索することが可能であるが、検索クエリーが多数存在する場合、多数回の検索を繰り返す必要が生じ、実用的な時間内で処理を終了するアプリケーションを組むことは不可能である。
上記課題は、本発明者らが見出した、新規な課題である。
本発明を実現するシステムは、単一の画像から多数個の画像特徴量ベクトルを生成する手段と、生成された多数個の画像特徴量ベクトルをクラスタリング処理によって少数個の代表ベクトルに集約する手段と、集約された各代表ベクトルを検索クエリーとした類似ベクトル検索を行い、その検索結果から、予め生成されている各画像特徴量ベクトルの最近接データを取得する手段を有するものとする。
本発明によって、類似画像検索システムに対して、多数回の検索を行うことによって実現可能な機能を、少数回の検索のみで実現することが可能になる。
本発明の第1の実施の形態の構成を示すブロック図である。 本発明の第1の実施の形態の処理の流れを示す説明図である。 本発明の第1の実施の形態の検索結果の集積を行う処理のフローチャートである。 本発明の第1の実施の形態のプログラム間の情報の流れを示す説明図である。 本発明の第1の実施の形態の画面表示例である。 本発明の第1の実施の形態でのクラスタ数と検索時間・検索精度との関係を示すグラフである。 本発明の第2の実施の形態の処理の流れを示す説明図である。 本発明の第2の実施の形態における領域検出用の基本パターンの説明図である。 本発明の第2の実施の形態の画面表示例である。 本発明の第3の実施の形態におけるデータベースに格納される属性を示す表である。 本発明の第3の実施の形態における種画像登録処理のフローチャートである。 本発明の第3の実施の形態における新規データ登録処理のフローチャートである。 本発明の第3の実施の形態における種画像登録を行う場合の画面の模式図である。
次に、本発明の実施の形態について、図面を参照して説明する。
実施例1は、ユーザが指定した任意の画像から、格子状に分割された小画像の合成画像、すなわち、フォトモザイク画像を生成し、ユーザに対して提示するオンラインサービスを行うシステムである。図1は、実施例の構成を示すブロック図である。
本実施例では、クライアントプログラムが稼動する複数個の端末装置 101 が、ネットワーク 102 経由で、特徴量データベースを管理する検索サーバシステム103から検索機能の提供を受ける。なお、本実施形態は、ネットワーク 102としてインターネット、検索サーバシステム 103としてWEBアプリケーション・サーバを想定するものであるが、企業内でのイントラ・ネットワーク上でも、全く同一のシステムが稼動可能である。また、通信プロトコルとしても、特にHTTPに限定する必要なく、他の通信プロトコル方式でも、同一の機能の提供は可能である。
次に、本実施例における情報処理の詳細について述べる。
図2は、クライアントプログラムにおいて実行される処理フローを示したものである。
プログラムは、ユーザが選択した画像を受け取ると、その画像を格子状に分割し202、各領域内の部分画像から画像特徴量ベクトルを抽出する203。画像の特徴量としては、種々のものが想定されるが、元画像と合成後の画像との印象を近づけるためには、色分布を重視した方が妥当と考えられるため、本実施形態では、色ヒストグラムに基づく特徴量を採用する。色ヒストグラムに基づく特徴量は、具体的には、次のように算出する。
まず、色分布の空間的な偏りを反映させるために画面全体を3×3に分割する。なお、ここで言う画面の分割は、元画像を格子状に分割して得られる各部分画像を、さらに格子状に分割することを意味する。次に、色空間については、RGBの色空間の各軸を3等分することにより、RGB空間を3×3×3の立方格子に分割する。結果として、得られるヒストグラムのビンの数は、(画面分割数)×(色空間分割数)=(3×3)×(3×3×3)=243となり、これが特徴量ベクトルの次元数となる。特徴量の抽出は、入力画像中の画素が各ビンに入る相対頻度を算出することによって行われる。
続いて、各格子領域から抽出された多数個の特徴量ベクトルをクラスタリングによる分類処理によって、少数個のクラスタ代表ベクトルに集約する204。本実施形態では、クラスタリングの方法としては、k-means法を採用し、クラスタ代表ベクトルとしては、各クラスタの平均ベクトルを採用する。k-means法とは、予め所望のクラスタ数Ncを決め、適当にNc個に分配された状態を初期値として、逐次的な最適化によりNc個に分類された準最適な状態を導く手法である。例えば、元画像を100×100に分割した場合、Nc=50とすれば、このクラスタリング処理によって、10000個の特徴量ベクトルが50個のクラスタ平均ベクトルに集約されることとなる。なお、クラスタリングの方式としては、少数個の適切な代表ベクトルを取得可能な手法であれば、他の方式を採用してもよい。例えば、階層的クラスタリングを採用した場合には、クラスタ数が所望の数にまで達した段階で階層的なクラスタリング処理を終了すればよい。
次に、クラスタ平均ベクトルを検索クエリーとした類似検索を、検索サーバに対して要求し検索結果を取得する 205。本検索処理は、クラスタ数回実施され、各検索の結果は、クライアントプログラム側のメモリ上に集積される。本処理の詳細は、後述する。
次に、元の各特徴量ベクトルについて、集積された検索結果中から最近接データを取得し206、これを各格子状部分領域に対応する画像とする。最後に、各格子部分領域に対応する画像をサーバから取得し、部分領域の大きさに収まるように縮小し当てはめていくことによって、モザイク状の合成画像を生成し、ユーザに対して提示する207。
図3は、図2中の検索処理205をより詳細に記述したものである。
クラスタ平均ベクトルの数をNcとすると、第1のループ310は、Nc回実行される。クライアントプログラムは、各クラスタ平均ベクトルをクエリーとする検索要求を、検索サーバに対して発行する311。
実際の検索処理は、検索サーバ側で行われる312。検索サーバは、受信した特徴量ベクトル(この場合は、クラスタ平均ベクトル)と、相対的に距離が小さい特徴量ベクトルを持つデータをNr件、データベース中から検索し、距離が小さい順序にソートして、クライアントに対して検索結果として返信する。この検索結果は、クライアント側のメモリ上の配列に格納される 313。
第2のループ320は、検索結果配列の要素数Nr分繰り返される。配列中の各要素について、全検索結果を格納するリストに含まれていなければ 321、それをリストに追加する322。
図4は、上述した全体の処理の流れをプログラム間の情報の流れとして記述したものである。クライアント側のプログラムは、ユーザから元となる画像を入力されると410、特徴量抽出、クラスタリング処理を行った後、サーバと連携した検索処理を行う420。その後、各格子部分領域画像の最近接データの画像をサーバから取得し、合成画像を生成し430、ユーザに対して提示する440。
図5は、上記クライアント側プログラムの画面表示例である。まず、ユーザに対して、選択した元画像が表示される510。次に、入力フィールド511で横方向の分割数、入力フィールド512で縦方向の分割数を指定する。ボタン513を押すと、サーバ側に元画像、および、分割数の情報が送信され、合成画像の生成が行われる。クライアントがサーバから合成画像を受信すると画面が遷移し、合成画像表示画面に切り替わる520。
なお、上述したクライアントの機能は、通常のWebブラウザ等では実現が困難であり、専用のプログラムが必要となる。また、端末側の計算機資源が十分ではない場合、上述したクライアントの機能を端末側で稼動させることが困難となる。この場合は、端末側では、元画像の入力と合成画像の表示の機能のみを稼動させ、図2に示した処理は、全て、サーバ側で稼動させた方が適切なシステム構成となる。
逆に、ネットワークを一切用いず、単一のアプリケーションプログラム中で、図2に示した処理、および、元画像の入力と合成画像の表示の機能を稼動させることも可能である。
次に、図6に基づき、本発明におけるクラスタリングによる検索クエリーの縮約が、検索に与える効果の定量的傾向を説明する。図6の横軸は、クラスタリングを行う際のクラスタ数である。本発明では、クラスタ数分の類似検索を行うため、検索時間601は、クラスタ数に比例して増加する。一方、元の画像特徴量ベクトルの真の最近接データ、すなわち、クラスタリングを行わず、元の画像特徴量ベクトルをそのまま用いて検索した場合に取得される最近接データと同一のデータが、クラスタリング処理を経由しても取得される比率が、検索精度602である。クラスタ数が少数だと、画像特徴量ベクトルの分布の傾向が十分に反映されないため、真の最近接データがクラスタ平均ベクトルを用いた検索結果に含まれない場合が多々発生する。クラスタ数を増加させれば、画像特徴量ベクトルの分布の近似性が高まり、真の最近接データが検索結果に含まれる確率が増大し、検索精度は単調に増加する。ただし、検索精度の増加は、ある程度のクラスタ数に達すると飽和する。飽和に要するクラスタ数は、画像特徴量ベクトルの分布の複雑性に依存する。本発明での画像特徴量ベクトルは、単一画像中の部分領域から抽出されたものであるため、独立な画像から抽出された画像特徴量ベクトルの分布よりも、ベクトル間の相関が高くなる。従って、飽和に要するクラスタ数は、極端に大きくなることはない。
実施例2は、類似画像検索を用いて、画像中の所望の対象が存在する矩形領域を検出するシステムである。本システムの構成は、図1のブロック図に示した実施例1の構成と同様である。
実施例2では、検索サーバシステム103のデータベース中には、検出したい対象データが登録されており、これは、従来技術における学習データに相当するものである。発明が解決しようとする課題の欄でも論じたように、従来技術では、対象をカテゴリに分割し、各カテゴリに対して、十分な数の学習データを与えることによって、各カテゴリ内のばらつきを許容する識別器を構成する。逆に、一定の許容範囲を超えて異なるデータに関しては、たとえ、概念的には共通性があっても、別カテゴリとして扱う。本実施例におけるシステムでは、従来技術における全カテゴリの学習データに相当するものを、一体のものとしてデータベース中に格納している。
図7は、本実施例における情報処理の流れを示すものである。
まず、入力画像された画像上で、検出領域の候補となる、全ての部分領域内の部分画像から画像特徴量ベクトルを抽出する702。次に、抽出された全部分領域の画像特徴量ベクトルをk-means法によって、少数個のクラスタ平均ベクトルに集約し703、類似検索を行い、その結果を集積する704。本処理は、実施例1と同様で、処理703は、図2の204、処理704は、図2の205と対応する。次に、集積された検索結果から、各部分領域の画像特徴量ベクトルの最近接データを取り出す。この際の最近接データとの2乗距離を、各部分領域に対する検出領域としての非信頼度として定義する705。次に、この非信頼度が小さい順序に、全部分領域をソートし706、最終的な検出領域の判定を行う707。検出領域の判定では、非信頼度が予め設定した一定の範囲以下で、かつ、順位が上位の一定個数に含まれものを検出領域として判定し出力する。
以下、図7中の特徴量抽出処理702について詳細に説明する。
特徴量抽出処理702では、まず、照合する矩形領域の基本パターンの集合を用意する。図8に基本パターン集合の例を示す。図8の例では、縦横比が異なる3つのパターンが定義されている。各パターンは、格子状に分割された矩形領域として表現されており、縦横の格子数、および、1格子領域の縦横の画素数によって、具体的な状態が規定される。図8の例では、801は、格子数が4×4、1格子の画素数が12×20、802は、格子数が4×4、1格子の画素数が20×20、803は、格子数が4×4、1格子の画素数が20×12となっている。
上記の基本パターンを画像上で並行移動させていき、各部分領域の特徴量を抽出していく。各部分領域の特徴量抽出では、まず、基本パターンを構成する各格子領域内の特徴量を抽出し、それらを全格子分、連結したものを特徴量とする。従って、各部分領域内の特徴量ベクトルの次元数は、(格子領域内の特徴量の次元数)×(格子数)となる。本実施形態のシステムでは、後段の処理の関係で、各部分領域内の特徴量の次元数は、基本パターンの集合内で同一でなければならない。
抽出する特徴量の内容は、検出対象の性質に応じて選択する。色分布が重要な場合は、実施例1で述べたような色ヒストグラムに基づく特徴量を用いるのが適切である。色分布に依存しない、形状情報に着目したい場合は、輝度勾配方向の強度分布に基づく特徴量を用いるのが適切である。輝度勾配方向の強度分布に基づく特徴量の具体的な抽出方法は、非特許文献1に記載されている。また、色ヒストグラムに基づく特徴量と輝度勾配方向の強度分布に基づく特徴量を組み合わせた特徴量を用いれば、色分布、形状情報の両者を考慮した検出が可能である。
画像中からの物体検出では、通常、画像上での実際の大きさに依存しないように検出可能な方が、有用性が高い。これについては、入力画像を多重解像度化することによって対応する。すなわち、入力画像を複数の縮小率で縮小した画像を生成し、各縮小画像に対して上記の基本パターンの並行移動に基づく特徴量抽出処理を行う。この場合は、解像度が異なる画像から抽出された特徴量ベクトルを全て合わせたものが、部分領域候補の特徴量として一括して処理されることになる。
なお、図8に示したように、本実施例では、縦横比が異なる矩形領域を混在させて検出を行う。上述した色ヒストグラムに基づく特徴量、および、輝度勾配方向の強度分布に基づく特徴量を含め、通常の画像特徴量には、画像の縦横比の情報は、直接的には反映されない。従って、検出領域の判定時に、縦横比が異なる最近接データが用いられる可能性が出てくる。本実施例では、縦横比の情報が直接反映されない特徴量に対して、縦横比の情報を加えたものを、画像特徴量として採用する。
数1は、本画像特徴量を用いた場合の、2つの画像XとYの特徴量間の2乗距離の算出方式を示したものである。
ここで、v_i(X)は、画像Xの元の特徴量ベクトルのi番目の要素、w(X)は画像Xの横方向の画素数、Y(X)は画像Xの縦方向の画素数を表す。右辺2項目で縦横比を対数変換しているのは、値の正規分布性を高めるための補正である。一方、αは、元の画像特徴量ベクトルについて要素のごとに算出された分散値を全要素について合算したもの、βは、対数変換された縦横比の分散である。α、βともに、事前に、十分に大きなデータ集合を用いて統計量として算出したものである。αおよびβによる正規化によって、元の特徴量ベクトルに基づいて算出される2乗距離の期待値と、縦横比に基づく特徴量に基づいて算出される2乗距離の期待値が同等になるように補正されている。
縦横比が異なる最近接データを検出に用いる検索対象画像から除外する方法としては、検索対象を予め、縦横比に応じてカテゴリ分けする方式も考えられるが、本実施例で採用する方式の方が明らかに優位性である。実データでは、多様な縦横比の値が存在する。従って、これをカテゴリに分けること自体が容易ではない。加えて、カテゴリ分けした場合、カテゴリ境界に存在するデータの扱いを考慮する必要がある。検索時の抜けを避けるためには、境界上のデータを相前後するカテゴリに重複して登録する必要があり、検索効率の低下を招く。本実施例では、縦横比を特徴量の一部として取り入れることによって、本来連続的に存在する縦横比の差異も含めた総合的な類似性が評価可能である。
図9は、本実施例における画面表示例である。まず、ユーザに対して、選択した元画像が表示される910。ボタン911を押すと領域検出処理が行われ、その結果が対象を囲む矩形として表示される921。
実施例3は、実施例2と同様、類似画像検索を用いて、画像中の所望の対象が存在する矩形領域を検出するシステムである。本実施例と実施例2との差異は、検索対象となる特徴量データベースが、検出対象以外のデータも含む点である。
従来の学習を必要とするシステムにおいて十分な数の学習データが必要であるのと同様に、本発明の類似画像検索を用いた領域検出を行う場合も、検出対象のデータが多い方が検出の精度を向上する。しかし、大量の検出対象データを収集することが困難であることも、従来技術と同様である。
本実施例では、インターネット上からプログラムによって自動的に画像を収集することによって、画像特徴量データベースを構築する。インターネット上の画像では、人物の顔写真、ショッピングサイト等の各種商品の画像等、検出対象として適切であると考えられる画像が多く存在するが、一方で、壁紙等、検出対象として適切ではない画像も多く存在する。従って、収集データ全体を領域検出時の検索対象とするのは適切ではない。本実施の形態では、ユーザが、データベース中から検出対象として適切な画像を種画像として選択し、選択された種画像と類似性が高い画像を検出時の検索対象とする方式を採用している。
図10は、本実施例の画像特徴量データベースで定義されている各データの持つ属性の内、本発明に直接係わる部分を示したものである。属性1001は、画像特徴量であり、後述する種画像の登録処理において用いられる画像特徴量が格納される。本特徴量は、領域検出に用いる特徴量と同一であっても良いし、異なっても良い。属性1002は、種画像判定用フラグであり、当該データが種画像として選択されたものであるか否かの情報が整数値で格納される。種画像の場合、1、そうでない場合は、0とする。属性1003は、種画像との距離であり、当該データと種画像との距離が格納される。
図11に、種画像登録における処理を示す。
まず、初期設定1110で、データベース中の全てのデータについて、種画像判定用フラグ1002の値に0、種画像との距離1003に、通常、類似検索の結果として得られる距離の値よりも十分に大きな値を設定する1111。ユーザからの種画像選択を受け付けると1120、選択されたデータの種画像判定用フラグを1に、種画像との距離を0に設定する1121。続いて、選択された種画像をクエリーとする類似検索を行い1122、その検索結果に基づき、以下の処理を行う。
各検索結果に対応するデータの現在の種画像との距離1003を参照し、もし、検索によって得られた距離がそれよりも小さかったなら1123、当該データの種画像との距離1003を検索によって得られた距離に更新する1124。
上記の処理は、種画像が登録される度に実行される。
一方、図12は、データベースに新規にデータが登録された場合の処理を示したものである。まず、新規データの種画像判定用フラグ1002、および、種画像との距離1003は、図11の初期設定1110と同様に、初期状態の値に設定される1201。次に、対象を種画像に限定した類似検索を行うことによって、種画像データ中の最近接データを検索する1202。もし、最近接データが検索されたなら、その最近接データとの距離を当該データの種画像との距離1003に設定する。
図13は、実際にユーザが種画像を選択する際の画面を模式的に示したものである。1番目の画面1310で、ボタン1311を押すと、端末側に存在する画像ファイルを選択する画面が現れる。画面1310は、既に、画像が選択された状態を示している。ユーザは、画像中から検出したいと思う対象を囲む矩形領域を、マウス操作等によって指定する 1312。次に検索を要求するボタン1313を押すと、矩形領域内の部分画像をクエリーとした類似検索が行われ、検索結果画面1320が表示される。検索結果画面1320では、各検索結果画像の下にトグルボタン1321が表示されている。特定の画像を種画像として選択したい場合は、トグルボタンをクリックし選択状態にする1322。最後にボタン1323を押すと、選択した種画像が登録される。
本実施例で行なう場合、実施例1の図3の類似検索312に相当する処理において、種画像との距離を格納する属性1003の値について数値範囲を指定する絞込みを行うことによって、属性1003の値が、一定の基準値以下のデータのみを対象とした類似検索を行う。これによって、種画像、および、種画像との類似性が高い画像を検出対象とした領域検出が実現される。
101 端末装置
102 ネットワーク
103 検索サーバシステム
510 選択画像の表示
511 横方向の分割数
512 縦方向の分割数
513 合成画像表示ボタン
520 合成画像の表示
601 時間
602 検索精度
801 検出のための基本パターン
802 領域検出のための基本パターン
803 領域検出のための基本パターン
910 選択画像の表示
911 領域検出ボタン
920 検出結果の表示
921 検出された領域
1001 画像特徴量
1002 種画像判定用フラグ
1003 種画像との距離
1310 種画像登録のための検索クエリー指定画面
1311 画像ファイル選択用ボタン
1312 ユーザが指定した矩形領域
1313 検索ボタン
1320 種画像登録のための検索結果表示画面
1321 種画像を指定するためのトグルボタン
1322 選択状態のトグルボタン
1323 種画像登録ボタン

Claims (7)

  1. 元画像を入力する手段と、
    前記入力された元画像を、複数の領域に分割する手段と、
    前記複数の領域それぞれの画像特徴量ベクトルを生成する手段と、
    前記複数の領域それぞれの画像特徴量ベクトルの集合をクラスタリングによって、前記分割した複数の領域の要素数よりも少ない数のクラスタ代表ベクトルの集合に縮約する手段と、
    前記クラスタ代表ベクトルを検索クエリーとして、前記クラスタ代表ベクトルと類似した画像特徴量ベクトルを有する類似画像を検索する手段と、
    前記検索する手段にて検索した結果を、出力する手段とを有することを特徴とする画像検索システム。
  2. 前記検索する手段は、前記クラスタ代表ベクトルの各要素と最近接関係にある特徴量ベクトルを属性として持つ類似画像を検索することを特徴とする請求項1記載の類似画像検索システム。
  3. 前記出力する手段は、前記分割した領域の部分画像を前記最近接画像に置換した合成画像を生成することを特徴とする請求項2記載の類似画像検索システム。
  4. 更に、前記最近接関係にある特徴量ベクトルとの距離が小さい検出領域の候補を検出領域として判定する手段を有することを特徴とする請求項2記載の類似画像検索システム。
  5. 前記検索する手段は、データベース中の任意の画像を検出対象の種画像として指定し、前記検索クエリーと前記検出対象の種画像との距離が一定の基準値以下である画像を領域検出の対象とすることを特徴とする請求項1記載の類似画像検索システム。
  6. 前記画像特徴量ベクトルを生成する手段は、格子状に分割された複数の矩形領域からなるパターンを、前記元画像に照合し、前記元画像について前記矩形領域それぞれの特徴量を抽出し、前記抽出した特徴量を全格子分連結したものを、前記複数の領域それぞれにおける画像特徴量ベクトルとすることを特徴とする請求項1記載の類似画像検索システム。
  7. 前記検索する手段は、
    を用いて、前記類似画像を検索することを特徴とする請求項1記載の類似画像検索システム。
JP2009259427A 2009-11-13 2009-11-13 画像検索システム Active JP5337673B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009259427A JP5337673B2 (ja) 2009-11-13 2009-11-13 画像検索システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009259427A JP5337673B2 (ja) 2009-11-13 2009-11-13 画像検索システム

Publications (2)

Publication Number Publication Date
JP2011107795A true JP2011107795A (ja) 2011-06-02
JP5337673B2 JP5337673B2 (ja) 2013-11-06

Family

ID=44231220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009259427A Active JP5337673B2 (ja) 2009-11-13 2009-11-13 画像検索システム

Country Status (1)

Country Link
JP (1) JP5337673B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
JP2014229063A (ja) * 2013-05-22 2014-12-08 日本電信電話株式会社 画像検索装置、方法、及びプログラム
US9076064B2 (en) 2013-03-08 2015-07-07 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9747305B2 (en) 2012-03-29 2017-08-29 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US9940366B2 (en) 2012-03-29 2018-04-10 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US10783365B2 (en) 2015-07-03 2020-09-22 Hitachi Kokusai Electric Inc. Image processing device and image processing system
US11443552B2 (en) 2016-03-17 2022-09-13 Kabushiki Kaisha Toshiba Image pattern similarity calculation device and recognition device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269353A (ja) * 1997-01-02 1998-10-09 Runaway Technol Inc モザイク・イメージのデジタル・コンポジション
JP2000123173A (ja) * 1998-10-14 2000-04-28 Ntt Data Corp 画像特徴抽出方法及び類似画像検索システム、記録媒体
JP2007334402A (ja) * 2006-06-12 2007-12-27 Hitachi Ltd クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
JP2009140478A (ja) * 2007-11-15 2009-06-25 Canon Inc 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269353A (ja) * 1997-01-02 1998-10-09 Runaway Technol Inc モザイク・イメージのデジタル・コンポジション
JP2000123173A (ja) * 1998-10-14 2000-04-28 Ntt Data Corp 画像特徴抽出方法及び類似画像検索システム、記録媒体
JP2007334402A (ja) * 2006-06-12 2007-12-27 Hitachi Ltd クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
JP2009140478A (ja) * 2007-11-15 2009-06-25 Canon Inc 画像処理装置及び画像処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
WO2013038574A1 (ja) 2011-09-16 2013-03-21 楽天株式会社 画像検索装置、画像検索方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
US9588991B2 (en) 2011-09-16 2017-03-07 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US9747305B2 (en) 2012-03-29 2017-08-29 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US9940366B2 (en) 2012-03-29 2018-04-10 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US9076064B2 (en) 2013-03-08 2015-07-07 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2014229063A (ja) * 2013-05-22 2014-12-08 日本電信電話株式会社 画像検索装置、方法、及びプログラム
US10783365B2 (en) 2015-07-03 2020-09-22 Hitachi Kokusai Electric Inc. Image processing device and image processing system
US11443552B2 (en) 2016-03-17 2022-09-13 Kabushiki Kaisha Toshiba Image pattern similarity calculation device and recognition device

Also Published As

Publication number Publication date
JP5337673B2 (ja) 2013-11-06

Similar Documents

Publication Publication Date Title
JP5337673B2 (ja) 画像検索システム
JP5229744B2 (ja) 画像分類装置および画像分類プログラム
CN105027162B (zh) 图像解析装置、图像解析系统、图像解析方法
Rao et al. Spatial–spectral relation network for hyperspectral image classification with limited training samples
Murthy et al. Content based image retrieval using Hierarchical and K-means clustering techniques
US11157550B2 (en) Image search based on feature values
JP5137339B2 (ja) クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
JP2009282980A (ja) 画像学習、自動注釈、検索方法及び装置
WO2015096676A1 (zh) 基于透视图像内容的检索系统、检索方法以及安全检查设备
JP5180922B2 (ja) 画像検索システム及び画像検索方法
JP2000311246A (ja) 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体
Jenni et al. Pre-processing image database for efficient Content Based Image Retrieval
JP2008102594A (ja) コンテンツの検索方法及び検索装置
US20100174707A1 (en) Image searching apparatus, image sorting apparatus and method and program
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
JP2012073812A (ja) データ分析支援システム及び方法
CN112115281A (zh) 数据检索方法、装置及存储介质
Blažek et al. Video retrieval with feature signature sketches
JP6314071B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117015812A (zh) 用于对数据点进行聚类的系统
Koskela et al. The PicSOM retrieval system: description and evaluations
JP6684777B2 (ja) 製造物良・不良判定システムおよび製造物良・不良判定方法
JP2005235041A (ja) 検索画像表示方法および検索画像表示プログラム
JP6445738B2 (ja) 類似画像検索方法およびシステム
Amato et al. A knowledge based approach for a fast image retrieval system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R151 Written notification of patent or utility model registration

Ref document number: 5337673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151