JP5967036B2 - 画像検索システム、情報処理装置及びプログラム - Google Patents

Description

本発明は、画像検索システム、情報処理装置及びプログラムに関する。

ユーザの目視による画像検索の効率を良くする技術が、特許文献１，２に開示されている。特許文献１は、画像特徴に基づいて互いに類似する検索対象の画像を同一カテゴリにし、各カテゴリの画像内容を、そのカテゴリの基準画像のラベル名と、このラベル名に対する関連度とともに表示することを開示している。特許文献２は、問い合わせ画像と検索対象画像との類似度をレイアウト特徴量及び画像性質特徴量を用いて算出し、特に、当該類似度の高い順に検索対象画像を順位付けする際には、レイアウト特徴量に画像性質特徴量より大きな重みを持たせることを開示している。

特開２０１０−１０２５０１号公報 特開２００７−１６４６４８号公報

ところで、画像検索処理においては、登録された検索対象画像の全てではなく、クエリ画像に応じた一部を検索対象に絞ることで、画像検索処理に係る処理量が少なくなる。
本発明の目的は、検索対象の画像群をユーザが指定しなくとも、クエリ画像に応じた画像群の検索対象画像に絞って画像検索処理を行うことである。

本発明の請求項１に係る画像検索システムは、クエリ画像を取得する取得手段と、前記クエリ画像から検索対象となる画像群を特定するための特定情報を抽出する特定情報抽出手段と、前記クエリ画像から画像検索処理で必要となる特徴情報を抽出する特徴情報抽出手段であって、前記クエリ画像から検出したオブジェクト画像を、前記特定情報に対応付けて予め登録されたオブジェクト画像と比較することにより、前記特定情報を抽出する特徴情報抽出手段と、前記検出したオブジェクト画像を前記登録されたオブジェクト画像に近づけるように、前記クエリ画像に画像処理を施す画像処理手段と、前記特定情報に基づいて特定される検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う検索手段とを備え、前記特定情報抽出手段は、前記画像処理後の前記クエリ画像から、前記特徴情報を抽出する。

本発明の請求項２に係る画像検索システムは、請求項１に記載の構成において、前記検索手段は、前記特定情報に対応付けられたそれぞれのデータベース毎に記憶されている、前記特定情報に対応付けられた前記検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行うことを特徴とする。
本発明の請求項３に係る画像検索システムは、請求項１又は２に記載の構成において、前記特徴情報は、特徴点の特徴量を含み、前記検索手段は、前記クエリ画像に含まれる前記特徴点のうち、前記検出したオブジェクト画像に含まれる前記特徴点の特徴量を用いないで、前記画像検索処理を行うことを特徴とする。

本発明の請求項４に係る画像検索システムは、請求項１から４のいずれか１項に記載の構成において、互いに異なる前記特定情報に対応し、一の前記特定情報で特定される前記画像群の前記特徴情報が登録された複数の登録装置を備え、前記検索手段は、前記特定情報抽出手段が抽出した特定情報に対応する前記登録装置の前記特徴情報を用いて、前記画像検索処理を行うことを特徴とする。

本発明の請求項５に係る画像検索システムは、請求項１から５のいずれか１項に記載の構成において、前記特徴情報を登録する登録処理手段を備え、前記特徴情報抽出手段は、登録要求があった前記検索対象画像から、前記特徴情報を抽出し、前記特定情報抽出手段は、前記登録要求があった前記検索対象画像から、前記特定情報を抽出し、前記登録処理手段は、前記特徴情報抽出手段が抽出した前記検索対象画像の特徴情報を、前記特定情報抽出手段が抽出した当該検索対象画像の特定情報に従って、前記画像検索処理で検索対象とするように登録することを特徴とする。

本発明の請求項６に係る画像検索システムは、請求項１から６のいずれか１項に記載の構成において、通信端末により送信された前記クエリ画像を受信するクエリ画像受信手段と、前記クエリ画像受信手段により受信されたクエリ画像に基づいて前記画像検索処理が行われると、当該画像検索処理で検索された検索対象画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力手段とを備えることを特徴とする。

本発明の請求項７に係る情報処理装置は、クエリ画像を取得する取得手段と、前記クエリ画像から検索対象となる画像群を特定するための特定情報を抽出する特定情報抽出手段と、前記クエリ画像から画像検索処理で必要となる特徴情報を抽出する特徴情報抽出手段であって、前記クエリ画像から検出したオブジェクト画像を、前記特定情報に対応付けて予め登録されたオブジェクト画像と比較することにより、前記特定情報を抽出する特徴情報抽出手段と、前記検出したオブジェクト画像を前記登録されたオブジェクト画像に近づけるように、前記クエリ画像に画像処理を施す画像処理手段と、前記特定情報に基づいて特定される検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う検索手段とを備え、前記特定情報抽出手段が、前記画像処理後の前記クエリ画像から、前記特徴情報を抽出する画像検索システムにおける、、前記特定情報抽出手段を備える。

本発明の請求項９に係るプログラムは、クエリ画像を取得する取得手段と、前記クエリ画像から検索対象となる画像群を特定するための特定情報を抽出する特定情報抽出手段と、前記クエリ画像から画像検索処理で必要となる特徴情報を抽出する特徴情報抽出手段であって、前記クエリ画像から検出したオブジェクト画像を、前記特定情報に対応付けて予め登録されたオブジェクト画像と比較することにより、前記特定情報を抽出する特徴情報抽出手段と、前記検出したオブジェクト画像を前記登録されたオブジェクト画像に近づけるように、前記クエリ画像に画像処理を施す画像処理手段と、前記特定情報に基づいて特定される検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う検索手段とを備え、前記特定情報抽出手段が、前記画像処理後の前記クエリ画像から、前記特徴情報を抽出する画像検索システムにおける、情報処理装置のコンピュータを、前記特定情報抽出手段として機能させるためのプログラムである。

請求項１，７，８に係る発明によれば、クエリ画像を原因とした検索精度の低下を減らしつつ、検索対象の画像群をユーザが指定しなくとも、クエリ画像に応じた画像群の検索対象画像に絞って画像検索処理を行うことができる。
請求項２に係る発明によれば、検索に用いられるデータベースをユーザが指定しなくとも、特定情報に対応付けられたそれぞれのデータベース毎に記憶されている、特定情報に対応付けられた検索対象画像に対して、特徴情報を用いて画像検索処理を行うことができる。
請求項３に係る発明によれば、オブジェクト画像の存在が画像検索の結果に与える影響を軽減することができる。
請求項４に係る発明によれば、特定情報毎に、検索対象画像の特徴情報を登録する登録装置が異なる場合であっても、クエリ画像に応じた画像群の検索対象画像に絞って画像検索処理を行うことができる。
請求項５に係る発明によれば、検索対象の画像群をユーザが指定しなくとも、特徴情報を登録することができる。
請求項６に係る発明によれば、画像検索処理で検索された検索対象画像に対応付けられたコンテンツ情報を出力することができる。

第１実施形態の画像検索システムの全体構成を示す図。 ＥＭＭの概要を説明する図。 同実施形態のユーザ端末のハードウェア構成を示すブロック図。 同実施形態の画像検索サーバのハードウェア構成を示すブロック図。 同実施形態の画像検索データベースの構成例を示す図。 同実施形態のユーザ端末及び画像検索サーバの機能ブロック図。 同実施形態の画像検索システムで実行される処理を示すシーケンス図。 同実施形態の登録処理の流れを示すフローチャート。 同実施形態の登録処理の具体例を説明する図。 同実施形態の検索処理の流れを示すフローチャート。 同実施形態の検索処理の具体例を説明する図。 第２実施形態の画像検索システムの特定情報の抽出方法を説明する図。 同実施形態の変形例（１）の検索処理の具体例を説明する図。 同実施形態の変形例（２）の検索処理の流れを示すフローチャート。 同実施形態の変形例（２）の検索処理の具体例を説明する図。 変形例１の画像検索システムの全体構成を示す図。 同変形例の装置管理テーブルの構成例を示す図。 同変形例の検索処理の流れを示すシーケンス図。 変形例３の検索処理の流れを示すシーケンス図。 変形例５の登録処理及び検索処理の具体例を説明する図。 変形例５の検索処理の流れを示すシーケンス図。

本発明の実施の形態について図面を参照しつつ説明する。
［第１実施形態］
図１は、第１実施形態の画像検索システム１の全体構成を示す図である。図１に示すように、画像検索システム１は、ユーザ端末１０と、画像検索サーバ２０と、登録端末３０とを備え、画像検索を行うための情報処理システムである。図１には、ユーザ端末１０及び登録端末３０をそれぞれ１つだけ図示しているが、実際にはより多数存在する。ユーザ端末１０、画像検索サーバ２０及び登録端末３０の各々は、通信回線１００に接続して相互に通信する。通信回線１００は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。

ユーザ端末１０は、撮影機能（カメラ機能）を有する通信端末であり、図１に示す印刷物４０を撮影し、画像検索を要求するクエリ画像を、画像検索サーバ２０へ送信する。クエリ画像は、画像検索サーバ２０で実行される画像検索の検索キーとなる画像データで、画像検索サーバ２０に対する画像検索の実行要求を画像により表現したデータである。画像検索サーバ２０は、ユーザ端末１０から受信したクエリ画像に類似する画像（後述する検索対象画像）を検索する情報処理装置である。印刷物４０は、例えば広告やパンフレット、雑誌の誌面であり、媒体（例えば紙媒体）上に文字や写真等の画像要素が印刷された印刷物である。印刷物４０では、この画像要素に重ねて、埋め込み型メディアマーカ（ＥＭＭ；Embedded Media Markers）と呼ばれるマーカ４１が印刷されている。マーカ４１は、印刷物４０の画像要素にデジタルコンテンツが関連付けられていることの目印である。マーカ４１は、印刷物４０の画像要素をユーザが視認する際の妨げとならないように、比較的薄い色を用いて印刷される。登録端末３０は、例えばコンテンツプロバイダにより使用され、ＥＭＭに関する情報及びデジタルコンテンツに関する情報を、画像検索サーバ２０に登録するための通信端末である。
なお、ユーザ端末１０は、ここではスマートフォンであるが、携帯電話端末やタブレット端末、ノート型パソコン、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。また、登録端末３０は、例えばパーソナル・コンピュータであるが、その他の通信端末であってもよい。

図２は、ＥＭＭの概要を説明する図である。
図２（ａ）には、マーカ４１の模式図が示されている。図２（ａ）に示すように、マーカ４１は、特徴境界４１１と、アンカーポイント４１２と、メディアアイコン４１３とで構成される。特徴境界４１１は、ここでは円形の線画像によって表され、印刷物４０の画像要素を内側に含む。図２（ｂ）に示すように、ユーザ端末１０のユーザは、印刷物４０を撮影する際に、マーカ４１の全体が撮影範囲に含まれるように、ユーザ端末１０を操作する。アンカーポイント４１２は、デジタルコンテンツを関連付ける画像要素の位置を特定する位置情報に相当する。メディアアイコン４１３は、デジタルコンテンツの種類を識別可能なアイコンである。メディアアイコン４１３は、ここではビデオカメラを模したアイコン画像であるが、このアイコン画像はデジタルコンテンツが動画コンテンツであることを意味する。この場合、マーカ４１を撮影したユーザ端末１０は、図２（ｃ）に示すように、画像検索サーバ２０から提供された動画コンテンツを再生して動画像Ｃを表示する。動画コンテンツは、印刷物４０の画像要素に関連した内容のデジタルコンテンツである。
なお、マーカ４１に関連付けられるデジタルコンテンツは、静止画コンテンツやＷｅｂコンテンツその他のデジタルコンテンツであってもよい。

図３は、ユーザ端末１０のハードウェア構成を示すブロック図である。図３に示すように、ユーザ端末１０は、制御部１１と、ＵＩ（User Interface）部１２と、通信部１３と、撮影部１４と、記憶部１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ（Random Access Memory）を有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部１５に記憶された制御プログラムをＲＡＭに読み出して実行することにより、ユーザ端末１０の各部を制御する。また、制御部１１は、ＡＳＩＣ（Application Specific Integrated Circuit）で例示される画像処理回路を備え、この画像処理回路により画像処理を行う。ＵＩ部１２は、ＧＵＩ（Graphical User Interface）を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。
なお、ユーザ端末１０は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声入力操作を受け付ける機能を有していてもよい。

通信部１３は、通信回線１００に接続して通信するためのインタフェースを有する。撮影部１４は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有する撮影装置であり、撮影した画像である撮影画像（静止画像又は動画像）を生成する。撮影部１４の撮影レンズ（図示略）は、ここではユーザ端末１０の背面側に設けられる。記憶部１５は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置を備え、制御部１１により実行されるＯＳ（Operating System）やその他のプログラムを記憶する。

図４は、画像検索サーバ２０のハードウェア構成を示すブロック図である。図４に示すように、画像検索サーバ２０は、制御部２１と、通信部２２と、記憶部２３とを備える。
制御部２１は、ＣＰＵ、ＲＯＭ及びＲＡＭを有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部２３に記憶された制御プログラムをＲＡＭに読み出して実行することにより、画像検索サーバ２０の各部を制御する。また、制御部２１は、ＡＳＩＣで例示される画像処理回路を備え、この画像処理回路により画像処理を行う。通信部２２は、通信回線１００に接続して通信するためのインタフェースある。記憶部２３は、例えばハードディスク装置を有する記憶装置であり、制御部２１により実行されるプログラムを記憶する。また、記憶部２３は、画像検索データベース２３１を有している。
なお、図４には、破線枠内に「特定情報テーブル」と記載されているが、特定情報テーブル２３２は後述する第２実施形態の構成要素であり、この実施形態には関係ないものとする。

図５は、画像検索データベース２３１の構成例を示す図である。
図５に示すように、画像検索データベース２３１は、特定情報と、画像識別子と、局所特徴量（特徴情報の一例）と、コンテンツ情報という各情報を対応付けて登録したデータベースである。
特定情報は、検索対象となる画像群を特定するための情報である。かかる画像群は、検索対象画像の集合によって構成され、画像検索サーバ２０で検索対象となる全検索対象画像のうちの一部である。この実施形態では、検索対象画像に関連付けられたデジタルコンテンツを提供するコンテンツプロバイダ毎に、特定情報が異なる。すなわち、この実施形態の特定情報は、検索対象画像の分類を一意に識別する識別子であるが、この主旨に限定されない。

画像識別子は、検索対象画像の各々を一意に識別する識別子である。局所特徴量は、検索対象画像の特徴を表す特徴量で、より詳細には、複数の特徴点の各々の局所的な特徴を表す特徴量である。局所特徴量は、ここでは、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量である。ＳＩＦＴ特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル（例えば１２８次元のベクトル）で記述される局所特徴量である。ＳＩＦＴ特徴量は、例えば、“永橋、藤吉、金出「領域分割に基づくＳＩＦＴ特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月）”に記載されているとおり周知であり、その詳細な説明を省略する。

コンテンツ情報は、画像検索サーバ２０からユーザ端末１０へと提供されるデジタルコンテンツを示す情報である。コンテンツ情報は、ここでは、デジタルコンテンツの格納場所を示すＵＲＩ（Uniform Resource Identifier）等のアクセス先の情報であるが、デジタルコンテンツ自体を示す情報であってもよい。
以上のとおり、画像検索データベース２３１では、特定情報毎に、検索対象画像から抽出された局所特徴量と、当該検索対象画像に関連付けられたデジタルコンテンツを表すコンテンツ情報とが対応付けて登録される。

図６は、ユーザ端末１０及び画像検索サーバ２０の機能構成を示すブロック図である。図６に示すように、画像検索サーバ２０は、プログラムを実行することにより、検索対象画像受信手段２０１と、特徴情報抽出手段２０２と、特定情報抽出手段２０３と、登録処理手段２０４と、クエリ画像受信手段２０５と、検索手段２０６と、コンテンツ情報出力手段２０７とに相当する機能を実現する。ユーザ端末１０は、プログラムを実行することにより、撮影画像取得手段１０１と、クエリ画像送信手段１０２と、コンテンツ情報受信手段１０３とに相当する機能を実現する。
なお、図６には、破線枠内に「画像処理手段」と記載されているが、画像処理手段２０８には後述する第２実施形態の変形例（２）の機能構成であり、この実施形態には関係ないものとする。

画像検索サーバ２０の検索対象画像受信手段２０１は、登録端末３０から検索対象画像の登録要求があった場合に、当該検索対象画像を受信し、これを取得する。
特徴情報抽出手段２０２は、検索対象画像受信手段２０１から供給された検索対象画像の特徴点の局所特徴量を抽出する。また、特徴情報抽出手段２０２は、クエリ画像受信手段２０５から供給されたクエリ画像の局所特徴量を抽出する。

特定情報抽出手段２０３は、検索対象画像受信手段２０１から供給された検索対象画像から、特定情報を抽出する。特定情報抽出手段２０３は、クエリ画像受信手段２０５から供給されたクエリ画像から、特定情報を抽出する。

登録処理手段２０４は、検索対象画像に関するデータを画像検索データベース２３１へ登録する登録処理を行う。具体的には、登録処理手段２０４は、特徴情報抽出手段２０２により検索対象画像から抽出された局所特徴量を、特定情報抽出手段２０３により抽出された当該検索対象画像の特定情報と対応付けて、画像検索データベース２３１へ登録する。この際、登録処理手段２０４は、登録端末３０から取得したデジタルコンテンツを示すコンテンツ情報を、特定情報及び局所特徴量に対応付けて、画像検索データベース２３１へ登録する。

ユーザ端末１０の撮影画像取得手段１０１は、撮影部１４の撮影により得られた画像である撮影画像を取得する。
クエリ画像送信手段１０２は、撮影画像取得手段１０１により取得された撮影画像に基づいて、画像検索におけるクエリ画像を画像検索サーバ２０へ送信する。
画像検索サーバ２０のクエリ画像受信手段２０５（取得手段の一例）は、クエリ画像送信手段１０２により送信されたクエリ画像を受信し、これを取得する。

検索手段２０６は、特定情報に基づいて特定される検索対象画像に対して、局所特徴量を用いて検索処理を行う。検索手段２０６は、クエリ画像送信手段１０２により送信されたクエリ画像に類似する検索対象画像を、画像検索データベース２３１に基づいて検索する。検索手段２０６は、特定情報抽出手段２０３が抽出した特定情報に対応付けられた局所特徴量を、画像検索データベース２３１から取得して、特徴情報抽出手段２０２が抽出したクエリ画像の局所特徴量と比較することにより、特徴点毎の対応点を決定する。検索手段２０６は、決定した対応点に基づいて、クエリ画像に類似する検索対象画像を検索して、検索した検索対象画像の画像識別子を特定する。

コンテンツ情報出力手段２０７（出力手段の一例）は、検索手段２０６により検索された検索対象画像に応じたコンテンツ情報を、ユーザ端末１０へ出力する。コンテンツ情報出力手段２０７は、検索手段２０６で検索された検索対象画像の画像識別子に対応付けられたコンテンツ情報を、画像検索データベース２３１から取得して、ユーザ端末１０へ送信出力する。
ユーザ端末１０のコンテンツ情報受信手段１０３は、コンテンツ情報出力手段２０７により出力されたコンテンツ情報を受信する。

図７は、画像検索システム１で実行される処理の流れを示すシーケンス図である。
登録端末３０は、利用者により画像検索サーバ２０への登録を指示する操作が行われると、検索対象画像の登録要求を、画像検索サーバ２０へ送信する（ステップＳ１）。この登録要求は、検索対象画像と、コンテンツ情報と、登録端末３０にデータを送信するための送信先アドレスとを含む。登録端末３０が登録要求の送信先を特定するための送信先アドレスは、例えば、登録端末３０が実行するプログラムに予め設定されている。画像検索サーバ２０の制御部２１は、通信部２２により登録要求を受信すると、登録処理を実行する（ステップＳ２）。

図８は、登録処理の流れを示すフローチャートである。図９は、登録処理の具体例を説明する図である。
画像検索サーバ２０の制御部２１は、登録要求に含まれる検索対象画像を取得する（ステップＳ２１）。次に、制御部２１は、取得した検索対象画像から特定情報を抽出する（ステップＳ２２）。ここで、制御部２１が、図９（ａ）に示す検索対象画像Ｉｓを取得した場合を考える。この場合、図９（ｂ）に示すように、制御部２１は、電子透かしｄｗ１から情報を復号するための画像処理を検索対象画像Ｉｓに施すことにより、特定情報を抽出する。電子透かしｄｗ１は、登録端末３０で行われた処理により、検索対象画像に付加されている。ここでは、制御部２１は、特定情報「Ｇ００１」を抽出したものとする。

次に、制御部２１は、取得した検索対象画像から特徴点を検出し、検出した特徴点の局所特徴量を抽出する（ステップＳ２３）。ここでは、図９（ｃ）に示すように、制御部２１は、検索対象画像Ｉｓのエッジやコーナー等の特徴点ｐｓ（「●」（黒丸印）で表す。）を検出して、検出した特徴点ｐｓの局所特徴量を抽出する。図９（ｃ）には、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「ｐｓ」という符号を付している。
なお、検索対象画像には電子透かしｄｗ１が重畳されているが、特徴点の検出及び局所特徴量に与える影響は無視してよい。

次に、制御部２１は、ステップＳ２３の処理で抽出した特徴点毎の局所特徴量を、画像検索データベース２３１へ登録する（ステップＳ２４）。ここにおいて、制御部２１は、ステップＳ２２の処理で抽出した特定情報に対応付けて、画像識別子及び局所特徴量を登録する。この際、制御部２１は、ステップＳ２１の処理で取得した検索対象画像Ｉｓに画像識別子を割り当てて、この検索対象画像Ｉｓから抽出した複数の局所特徴量を登録する。図５を用いて説明すると、特定情報「Ｇ００１」及び画像識別子「ＩＭＧ−１」に対応付けられた局所特徴量「Ｖｓ１」，・・・，「Ｖｓｋ」の各々は、画像識別子「ＩＭＧ−１」の検索対象画像から抽出された局所特徴量である。ステップＳ２４の処理では、制御部２１は、登録要求に含まれるコンテンツ情報も、画像検索データベース２３１へ登録する。
登録処理の説明は以上である。
画像検索サーバ２０は、登録処理を行った検索対象画像Ｉｓを、ステップＳ１の処理で送信された送信先アドレスを用いて、登録端末３０へ送信する。登録端末３０は、この検索対象画像Ｉｓを印刷出力することによって、印刷物４０を生成する。画像検索サーバ２０は、検索対象画像の登録要求を受け付けるたびに、上記手順で登録処理を実行する。

図７の説明に戻る。
ユーザ端末１０のユーザが、ユーザ端末１０を使用して、印刷物４０を撮影したとする。この場合、ユーザ端末１０の制御部１１は、撮影部１４により印刷物４０を撮影し、この撮影により得られた撮影画像を取得する（ステップＳ３）。そして、制御部１１は、取得したクエリ画像を、通信部１３により画像検索サーバ２０へ送信する（ステップＳ４）。ユーザ端末１０がクエリ画像の送信先を特定するための送信先アドレスは、例えば、ユーザ端末１０の制御部１１が実行するプログラムに予め設定されている。また、ステップＳ３の処理では、ユーザ端末１０は、登録端末３０にデータを送信するための送信先アドレスも送信する。画像検索サーバ２０の制御部２１は、クエリ画像を通信部２２により受信すると、このクエリ画像に基づいて検索処理を実行する（ステップＳ５）。

図１０は、検索処理の流れを示すフローチャートである。図１１は、検索処理の具体例を説明する図である。
まず、制御部２１は、クエリ画像を取得すると（ステップＳ５１）、取得したクエリ画像から特徴点を検出し、検出した特徴点の局所特徴量を抽出する（ステップＳ５２）。ここで、制御部２１が、図１１（ａ）に示すクエリ画像Ｉｑを取得した場合を考える。図１１（ｂ）に示すように、クエリ画像Ｉｑには、このクエリ画像の特定情報が電子透かしｄｗ２により重畳されている。この場合、図１１（ｃ）に示すように、制御部２１は、クエリ画像Ｉｑから特徴点ｐｑの局所特徴量を抽出する。図１１（ｃ）では、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「ｐｑ」という符号を付している。

次に、制御部２１は、取得したクエリ画像から特定情報を抽出する（ステップＳ５３）。ここでは、制御部２１は、電子透かしｄｗ２から情報を復号するための画像処理をクエリ画像Ｉｑに施すことにより、特定情報を抽出する。この画像処理は、検索対象画像から特定情報を抽出するときに実行される画像処理と同じでよい。ここでは、制御部２１が特定情報「Ｇ００１」を抽出したものとする。

次に、制御部２１は、画像検索データベース２３１から、検索処理に用いる局所特徴量を取得し、クエリ画像の局所特徴量と比較する（ステップＳ５４）。制御部２１は、特徴点ｐｑの局所特徴量を、ステップＳ５３の処理で抽出した特定情報に対応付けて画像検索データベース２３１に登録された局所特徴量の各々と比較する。図１１（ｃ）に示すように、制御部２１は、特定情報「Ｇ００１」に対応付けられた画像識別子「ＩＭＧ−１」，「ＩＭＧ−２」，・・・，「ＩＭＧ−Ｎ」に対応する局所特徴量をそれぞれ取得し、特徴点ｐｑの局所特徴量と比較する。すなわち、制御部２１は、特定情報「Ｇ００１」によって特定される画像群を検索対象とする。他方、制御部２１は、特定情報「Ｇ００２」や「Ｇ０００３」等の、ステップＳ５３の処理で抽出した特定情報以外の特定情報に対応付けられた局所特徴量（つまり、画像群）については、検索処理に用いない（例えば、画像検索データベース２３１から取得しない）。

次に、制御部２１は、ステップＳ５４での比較結果に基づいて、クエリ画像に類似する検索対象画像を検索する画像検索処理を行う（ステップＳ５５）。ここで、制御部２１は、クエリ画像Ｉｑの特徴点ｐｑ毎に、ステップＳ５４の処理で取得した局所特徴量との類似度を算出する。局所特徴量同士の類似度を算出するためのアルゴリズムは、周知のアルゴリズムでよい。制御部２１は、算出した類似度に基づいて検索対象画像の対応点を決定することにより、クエリ画像に類似する検索対象画像を検索する。例えば、制御部２１は、対応点の数が最大であり、且つ、当該対応点の数が閾値以上である検索対象画像を検索する。

制御部２１は、検索した検索対象画像の画像識別子に対応付けられたコンテンツ情報を、画像検索データベース２３１から取得する（ステップＳ５６）。例えば、画像識別子「ＩＭＧ−１」の検索対象画像が検索結果である場合、制御部２１は、コンテンツ情報「Ｃｔ−１」を取得する。
検索処理の説明は以上である。画像検索サーバ２０は、クエリ画像を受信するたびに上記手順の処理を実行する。

図７の説明に戻る。
検索処理を終了すると、画像検索サーバ２０の制御部２１は、ステップＳ５６の処理で取得したコンテンツ情報を、ステップＳ４の処理で送信された送信先アドレスを用いて、通信部２２によりユーザ端末１０へ送信出力する（ステップＳ６）。ユーザ端末１０の制御部１１は、通信部１３によりコンテンツ情報を受信すると、受信したコンテンツ情報に基づいてデジタルコンテンツを取得して表示する（ステップＳ７）。
画像検索システム１の動作説明は以上である。

以上説明した第１実施形態の画像検索システム１では、画像検索サーバ２０は、検索処理において、検索対象の画像群を特定するための特定情報をクエリ画像から抽出する。そして、画像検索サーバ２０は、この特定情報に対応した検索対象画像の局所特徴量を画像検索データベース２３１から取得して、クエリ画像の局所特徴量と比較する。よって、画像検索システム１では、ユーザ端末１０のユーザが検索対象の画像群（検索対象画像）を指定しなくとも、特定情報に基づいて検索対象画像を絞って画像検索が行われる。この検索対象画像の絞り込みにより、特定情報が異なる画像群が検索結果とならず、また、検索処理の処理量が減る。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
この第２実施形態の画像検索システム１では、アイコン画像等の、人間によって視認されるオブジェクトの画像に基づいて、クエリ画像から特定情報を抽出する。
この第２実施形態の画像検索システム１を構成する装置及び各装置のハードウェア構成は、上述した第１実施形態と同じでよい。また、この第２実施形態の画像検索システム１の機能構成は、特定情報を抽出するための機能に関する部分を除いて、上述した第１実施形態と同じでよい。
以下の説明において、上述した第１実施形態と重複する部分の説明については省略する。また、上述した第１実施形態の構成要素及び処理ステップについては同一の符号を付して表し、その説明を省略する。

図１２は、この実施形態の画像検索システム１の特定情報の抽出方法を説明する図である。図１２（ａ）には、この実施形態の印刷物４０の一例が示されている。図１２（ａ）に示すように、印刷物４０には、特定情報を示す画像であるアイコン画像４１４が、特徴境界４１１の内側に含まれる。アイコン画像４１４は、ここでは矩形画像の内側に星を配置した画像であり、特定情報を象徴する画像（例えば、コンテンツプロバイダ等のロゴマーク）である。図１２（ｂ）には、この印刷物４０を撮影したときのクエリ画像Ｉｑ１が示されている。アイコン画像４１４は特徴境界４１１の内側に配置されるため、クエリ画像Ｉｑ１には、アイコン画像４１４を撮影したオブジェクト画像Ａが含まれている。

画像検索サーバ２０の制御部２１は、検索処理のステップＳ５１の処理で、図１２（ｂ）に示すクエリ画像Ｉｑ１を取得した場合、ステップＳ５３の処理では、クエリ画像Ｉｑ１から、特定情報を示すオブジェクト画像を検出する。制御部２１は、図１２（ｃ）に示す特定情報テーブル２３２を記憶部２３に記憶しており、特定情報テーブル２３２に基づいて、クエリ画像に含まれるオブジェクト画像を検出する。特定情報テーブル２３２は、特定情報と、この特定情報を一意に識別するオブジェクト画像とが対応付けて登録されたデータテーブルである。制御部２１は、特定情報テーブル２３２に登録されたオブジェクト画像を、例えばパターンマッチング等の周知の方法で、クエリ画像Ｉｑ１から検出する。この際、オブジェクト画像の目印となる目印画像（例えば、前述した矩形画像）が印刷物４０に含まれる場合には、制御部２１は、この目印画像を認識してオブジェクト画像を検出してもよい。

そして、制御部２１は、クエリ画像Ｉｑ１から検出したオブジェクト画像に対応付けられた特定情報を、特定情報テーブル２３２に基づいて抽出する。制御部２１は、抽出した特定情報に基づいて、検索処理のステップＳ５４以降の処理を実行する。

登録処理においては、画像検索サーバ２０は、特定情報に一意に対応付けられたオブジェクト画像を含む検索対象画像を用いる。このため、登録端末３０は、ユーザに指定された特定情報に対応したオブジェクト画像を含む検索対象画像を、画像検索サーバ２０へ送信する。画像検索サーバ２０は、検索対象画像を取得すると、特定情報テーブル２３２に基づいてこの検索対象画像に含まれるオブジェクト画像を検出して、特定情報を抽出する。特定情報を抽出した後は、画像検索サーバ２０は、上述した第１実施形態と同じ方法で登録処理を行う。

＜第２実施形態の変形例＞
以下に示す変形例は、各々を適宜に組み合わせてもよい。
（１）上述した第２実施形態の画像検索システム１において、クエリ画像に含まれるオブジェクト画像から特徴点を検出した場合に、この特徴点を検索処理に用いないようにしてもよい。こうすれば、画像検索システム１では、アイコン画像４１４の影響を受けないで、画像検索処理が実行される。

図１２（ｂ）で説明したように、制御部２１が、クエリ画像Ｉｑ１からオブジェクト画像Ａを検出し、更に、図１３に示すように、オブジェクト画像Ａの特徴を表す特徴点ｐｑｊを検出した場合を考える。この場合、制御部２１は、クエリ画像Ｉｑ１のオブジェクト画像Ａ以外の領域から検出した特徴点については、画像検索データベース２３１の局所特徴量に基づいて対応点を決定する。他方、制御部２１は、オブジェクト画像Ａから検出した特徴点ｐｑｊについては画像検索処理から除外し、対応点を決定しない。制御部２１は、オブジェクト画像Ａ以外の領域から検出した特徴点の局所特徴量に基づいて、画像検索処理を行う。ステップＳ５５の画像検索処理以降の画像検索システム１の動作は、上述した第２実施形態と同じでよい。
登録処理を行う際には、画像検索サーバ２０は、検索対象画像においてオブジェクト画像以外の領域から検出した特徴点の局所特徴量を、画像検索データベース２３１へ登録してもよい。

（２）上述した第２実施形態の画像検索システム１において、クエリ画像にユーザ端末１０での印刷物４０の撮影方法や撮影環境に起因した画像変化（つまりノイズ）が含まれる場合には、この画像変化を少なくする画像処理をクエリ画像に施してから、特徴点を検出し局所特徴量を抽出してもよい。この画像変化は、例えば、撮影方法に起因してクエリ画像に含まれる画像歪みである。カメラ撮影をしたときにユーザ端末１０が水平方向に傾いていると、水平方向に平行四辺形状又は台形状の歪みが発生した撮影画像が得られ、撮影装置が垂直方向に傾いていると、垂直方向に平行四辺形状又は台形状の歪みが発生した撮影画像が得られることがある。この種の画像歪みの有無や画像歪みの大小によって、クエリ画像から検出される特徴点や局所特徴量が変化することがある。このため、クエリ画像に画像歪みが生じると、画像検索処理の精度を低下させる原因となることがある。

この変形例の画像検索サーバ２０は、図６で説明した機能構成に加え、画像処理手段２０８に相当する機能を実現する。画像処理手段２０８は、クエリ画像から検出したオブジェクト画像を、特定情報テーブル２３２に登録された当該オブジェクト画像に対応する特定情報のオブジェクト画像に近づけるように、当該クエリ画像に画像処理を施す。特徴情報抽出手段２０２は、画像処理手段２０８による画像処理後のクエリ画像に基づいて、特徴点を検出し局所特徴量を抽出する。

図１４は、画像検索サーバ２０が実行する検索処理の流れを示すフローチャートである。
画像検索サーバ２０の制御部２１は、ステップＳ５１の処理で取得したクエリ画像からオブジェクト画像を検出すると、検出したオブジェクト画像と、特定情報テーブル２３２に登録されたオブジェクト画像とを比較して、クエリ画像における画像変化を特定する。画像歪みの場合、制御部２１は、クエリ画像内のオブジェクト画像の大きさや形状を参照して、画像歪みの発生方向や発生度合いを特定するとよい。図１５（ａ）に示すように、水平方向に台形状の画像歪みが含まれるクエリ画像Ｉｑ２が得られた場合を考える。この場合、オブジェクト画像Ａにおいては、特定情報テーブル２３２に登録されたオブジェクト画像とは異なり、画像歪みに応じて変形している。そこで、制御部２１は、検出したオブジェクト画像を、特定情報テーブル２３２に登録されたオブジェクト画像に近づけるための画像処理（幾何変換）をクエリ画像に施す（ステップＳ５７）。これにより、図１５（ｂ）に示すように、画像歪みが軽減されたクエリ画像Ｉｑｒが得られる。このクエリ画像Ｉｑｒには、画像処理により画像歪みが少なくなったオブジェクト画像Ａｒが含まれる。
なお、ＳＩＦＴ特徴量を用いた画像検索では、クエリ画像と検索対象画像との寸法の違いによる検索精度の低下の影響を受けにくいことが知られている。そこで、制御部２１は、検出したオブジェクト画像の形状を、特定情報テーブル２３２に登録されたオブジェクト画像の形状（相似形）に近づけるための画像処理をクエリ画像に施してもよい。

次に、制御部２１は、ステップＳ５２の処理で、画像処理後のクエリ画像から局所特徴量を抽出する。そして、ステップＳ５３の処理で、画像処理後のクエリ画像から特定情報を抽出する。以降、制御部２１は、上述した第２実施形態で説明した手順で、画像検索処理を行う。
この変形例のように、オブジェクト画像に基づいてクエリ画像の画像変化を少なくする画像処理を行ってから、局所特徴量を抽出する構成については、例えば、特定情報をユーザの指定なしに抽出する画像検索以外の画像検索にも適用しうる。

また、この変形例では、クエリ画像に含まれる画像変化として画像歪みを説明したが、この画像変化は画像歪みに限られない。例えば、クエリ画像内のオブジェクト画像が、登録されたオブジェクト画像から或る角度だけ回転している場合には、画像検索サーバ２０は、この角度だけクエリ画像を逆方向に回転させる画像処理を施してから、特徴点を検出し局所特徴量を抽出する。また、クエリ画像に明暗の変化が含まれることをオブジェクト画像に基づいて特定した場合には、画像検索サーバ２０は、このクエリ画像の明暗の変化を小さくする画像処理を施してから、特徴点を検出し局所特徴量を抽出する。

［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
（変形例１）
上述した実施形態の画像検索システムが、以下のように変形されてもよい。
図１６は、この変形例の画像検索システム１ａの全体構成を示す図である。
図１６に示すように、画像検索システム１ａは、ユーザ端末１０と、画像検索サーバ２０と、登録端末３０と、登録サーバ５０ａ，５０ｂ及び５０ｃを備え、画像検索を行うための情報処理システムである。ユーザ端末１０及び登録端末３０は、上述した各実施形態と同じ構成を有し、同じ動作をする。登録サーバ５０ａ，５０ｂ及び５０ｃは、互いに異なる特定情報に対応し、一の特定情報で特定される画像群を構成する検索対象画像についての局所特徴量及びコンテンツ情報が登録された登録装置である。特定情報は、ここでは、当該特定情報で特定される画像群（検索対象画像）の局所特徴量が登録された登録サーバを特定するための情報である。

登録サーバ５０ａは、図５に示す画像検索データベース２３１のうちの、特定情報「Ｇ００１」に対応付けられたデータを登録したデータベースを有する。登録サーバ５０ｂは、図５に示す画像検索データベース２３１のうちの、特定情報「Ｇ００２」に対応付けられたデータを登録したデータベースを有する。登録サーバ５０ｃは、図５に示す画像検索データベース２３１のうちの、特定情報「Ｇ００３」に対応付けられたデータを登録したデータベースを有する。画像検索サーバ２０は、ユーザ端末１０及び登録端末３０のそれぞれと通信し、また、登録サーバ５０ａ，５０ｂ及び５０ｃのそれぞれと通信する。すなわち、画像検索サーバ２０は、ユーザ端末１０及び登録端末３０と、登録サーバ５０ａ，５０ｂ及び５０ｃとの通信を仲介するサーバとして機能する。以下、登録サーバ５０ａ，５０ｂ及び５０ｃの各々を特に区別する必要のないときには、これらを「登録サーバ５０」と総称する。
この変形例においては、登録サーバ５０が登録処理を行って、データベースに局所特徴量及びコンテンツ情報を登録してもよいし、画像検索サーバ２０が登録処理を行って、登録サーバ５０のデータベースに局所特徴量及びコンテンツ情報を登録してもよい。また、この変形例では、登録サーバ５０ａ，５０ｂ及び５０ｃの３台としているが、登録サーバ５０は２台又は４台以上存在していてもよい。

画像検索サーバ２０は、画像検索データベース２３１を有さず、代わりに、図１７に示す２３３を記憶部２３に記憶する。装置管理テーブル２３３は、特定情報と、登録サーバ５０を一意に識別する識別子（以下、「装置識別子」という。）とを対応付けたデータテーブルである。図１７では、登録サーバ５０ａ，５０ｂ，５０ｃの符号を用いて、装置識別子を表している。すなわち、装置管理テーブル２３３には、特定情報と、当該特定情報で特定される画像群の局所特徴量が登録された登録サーバ５０を識別する装置識別子との対応関係が指定されている。
装置識別子は、登録サーバ５０の各々にアクセスするためのアクセス先情報（通信アドレス）であってもよい。このアクセス先情報は、例えば、各検索処理を伴うサービスのＵＲＬ（Uniform Resource Locator）やクエリ画像の送信先を示す送信先情報である。

図１８は、この変形例の検索処理の流れを示すシーケンス図である。
画像検索サーバ２０の制御部２１は、ステップＳ５１〜Ｓ５３の処理を実行して、クエリ画像から局所特徴量を抽出するとともに、特定情報を抽出する。
次に、制御部２１は、装置管理テーブル２３３を参照して、ステップＳ５３の処理で抽出した特定情報に対応した登録サーバ５０を特定し、特定した登録サーバ５０へクエリ画像の局所特徴量を送信する（ステップＳ５８）。例えば、クエリ画像に基づいて取得した特定情報が「Ｇ００１」である場合、制御部２１は、登録サーバ５０ａを検索処理の要求先とする。

登録サーバ５０は、画像検索サーバ２０から受信した局所特徴量と、自装置のデータベースに登録された局所特徴量とを比較し（ステップＳ５４）、クエリ画像に類似する検索対象画像を検索する画像検索処理を行う（ステップＳ５５）。すなわち、この変形例の登録サーバ５０は、本発明の画像検索装置（画像検索サーバ）としても機能する。

登録サーバ５０は、クエリ画像に類似する検索対象画像を検索すると、この検索した検索対象画像の画像識別子に対応付けられたコンテンツ情報をデータベースから取得して、画像検索サーバ２０へ送信する（ステップＳ５９）。例えば、登録サーバ５０が、画像識別子「ＩＭＧ−１」を検索結果とした場合、この画像識別子「ＩＭＧ−１」に対応付けられたコンテンツ情報「Ｃｔ−１」を、画像検索サーバ２０へ送信する。画像検索サーバ２０の制御部２１は、登録サーバ５０からコンテンツ情報を取得して、検索処理を終了する（ステップＳ５６）。
なお、この変形例の画像検索システム１ａにおいて、画像検索サーバ２０が、登録サーバ５０から局所特徴量を取得して検索処理を行ってもよい。この場合、画像検索サーバ２０は、検索処理の結果である画像識別子を登録サーバ５０に通知して、この画像識別子に対応付けられたコンテンツ情報を登録サーバ５０から取得する。

（変形例２）
上述した変形例１の画像検索システム１ａにおいて、特定情報が、アプリケーションプログラム毎に異なっていてもよい。この場合の特定情報としては、例えば、アプリケーションプログラムを一意に識別する識別子（アプリケーション識別子）が使用される。
登録端末３０の動作を説明すると、登録端末３０が、一のアプリケーションプログラムを実行して、登録処理を画像検索サーバ２０に要求する場合には、当該アプリケーションプログラムから取得した特定情報を、ステップＳ１の処理で画像検索サーバ２０へ送信する。ユーザ端末１０の動作を説明すると、ユーザ端末１０の制御部１１が、一のアプリケーションプログラムを実行して、検索処理を画像検索サーバ２０に要求する場合には、当該アプリケーションプログラムから取得した特定情報を、ステップＳ４の処理で画像検索サーバ２０へ送信する。
この変形例の構成を上述した変形例１に適用した場合、アプリケーションプログラムの提供者、又は、アプリケーションプログラムに基づくサービスの提供者毎に、登録サーバ５０が異なる場合であっても、ユーザ端末１０が実行するアプリケーションプログラムに対応した登録サーバ５０が、検索処理を伴うサービスを提供し得る。
この変形例の画像検索システム１ａにおいては、特定情報が、検索対象画像やクエリ画像（つまり印刷物４０）に含まれていなくてもよい。

（変形例３）
上述した変形例１又は変形例２の画像検索システム１ａが、以下のように変形されてもよい。この変形例では、登録サーバ５０がクエリ画像から局所特徴量を抽出して検索処理を行う。
図１９に示すように、画像検索サーバ２０の制御部２１は、ユーザ端末１０からクエリ画像を取得すると（ステップＳ５１）、取得したクエリ画像から特定情報を抽出する（ステップＳ５３）。そして、制御部２１は、抽出した特定情報と装置管理テーブル２３３とに基づいて、当該特定情報に対応した登録サーバ５０へ、クエリ画像を送信（転送）する（ステップＳ６０）。登録サーバ５０は、画像検索サーバ２０から受信したクエリ画像から局所特徴量を抽出し（ステップＳ５２）、抽出した局所特徴量と自装置に登録された局所特徴量とを比較して、画像検索処理を行う（ステップＳ５４，Ｓ５５）。そして、登録サーバ５０は、画像検索処理の結果に応じたコンテンツ情報をデータベースから取得して、画像検索サーバ２０へ送信する（ステップＳ６１）。制御部２１は、登録サーバ５０からコンテンツ情報を取得すると（ステップＳ５６）、画像検索システム１ａでの検索処理が終了する。
この変形例の画像検索システム１ａによれば、画像検索サーバ２０における検索処理に係る処理量が、上述した変形例1又は変形例２の場合に比べて軽減される。

（変形例４）
画像検索システムにおいて、ユーザ端末１０がクエリ画像から特定情報を抽出し、このクエリ画像とともに、画像検索サーバ２０へ特定情報を送信してもよい。この場合、画像検索サーバ２０は、ユーザ端末１０から受信した特定情報を用いて、検索処理を行う。
また、ユーザ端末１０が、クエリ画像から局所特徴量を抽出して、画像検索サーバ２０へ送信してもよい。この場合、画像検索サーバ２０は、ユーザ端末１０から受信した局所特徴量を用いて、検索処理を行う。
また、登録端末３０は、検索対象画像とは別に、この検索対象画像を検索対象として特定するための特定情報を、画像検索サーバ２０へ送信してもよい。この場合、画像検索サーバ２０は、登録端末３０から受信した特定情報を取得して、登録処理を行う。

（変形例５）
画像検索システム１において、検索対象画像やクエリ画像の一部分の画像である部分画像から抽出した局所特徴量を、特定情報としてもよい。以下、登録端末３０やユーザ端末１０がクエリ画像から局所特徴量と特定情報とを抽出する場合を例に挙げて、画像検索システム１の動作を説明する。
画像検索サーバ２０に登録処理を要求する際、登録端末３０は、まず、検索対象画像の一部分である部分画像を特定する。例えば、登録端末３０は、図２０（ａ）に示すように、検索対象画像Ｉｓの画像領域を２×２の格子状に４等分して、決められた位置にある画像領域（ここでは右下部分の画像領域）を、部分画像Ｉｓｐとして特定する。次に、登録端末３０は、部分画像Ｉｓｐから抽出した局所特徴量を特定情報として、ステップＳ１の処理で画像検索サーバ２０へ送信する。画像検索サーバ２０は、ステップＳ２の処理の登録処理では、特定情報として登録端末３０により送信された局所特徴量を、画像検索データベース２３１へ登録する。ここでは、登録端末３０は、図２０（ｂ）に示すように、部分画像Ｉｓｐから抽出された局所特徴量を特定情報として、画像検索データベース２３１へ登録する。

次に、検索処理に関する画像検索システム１の動作を説明する。図２１は、この動作の流れを示すシーケンス図である。
ユーザ端末１０の制御部１１は、撮影部１４により印刷物４０を撮影し、この撮影により得られた撮影画像を取得する（ステップＳ３）。次に、制御部１１は、この撮影画像に基づいて、クエリ画像から局所特徴量を抽出する（ステップＳ５２）。ここでは、制御部１１が、図１１（ａ）で説明したクエリ画像Ｉｑを取得したものとする。次に、制御部１１は、クエリ画像の一部分の画像である部分画像の局所特徴量を、特定情報として抽出する（ステップＳ５３ａ）。ステップＳ５３ａの処理では、制御部１１は、クエリ画像において、検索対象画像の部分画像に対応する位置にある部分画像を特定する。ここでは、制御部１１は、登録端末３０の場合と同じく、クエリ画像の画像領域を２×２の格子状に４等分し、決められた位置にある画像領域（ここでは右下部分の画像領域）を、部分画像Ｉｑｐとして特定する（図２０（ｃ）参照）。

ステップＳ５３ａの処理では、制御部１１は、クエリ画像に含まれる画像要素（つまり、印刷物４０を撮影した画像要素）の天地方向を特定してから、クエリ画像の部分画像を特定することが望ましい。図２０（ｃ）に示すように、クエリ画像に含まれる画像要素の天地方向とクエリ画像の天地方向とが一致して印刷物４０が撮影された場合と、図２０（ｄ）にドット部で示すように、クエリ画像Ｉｑ３に含まれる画像要素の天地方向と、クエリ画像Ｉｑ３の天地方向とが一致しない（ここでは、クエリ画像に含まれる画像要素が右回りに９０度回転した状態）で印刷物４０が撮影された場合とでは、部分画像として特定される画像領域が異なるからである。

そこで、制御部１１は、例えば、クエリ画像に含まれる文字やマーカ４１（例えばメディアアイコン４１３）等の、クエリ画像に含まれる画像要素の天地方向を特定するための情報（方向情報）を、当該クエリ画像から検出する。そして、制御部１１は、検出した方向情報に基づいて、クエリ画像に含まれる画像要素の天地方向を、クエリ画像の天地方向に一致させるように、当該クエリ画像に対し回転処理を施す。制御部１１は、この回転処理後のクエリ画像から部分画像を特定し、特定情報を抽出する。又は、制御部１１は、クエリ画像に回転処理を施さないで、クエリ画像に含まれる画像要素の天地方向をクエリ画像の天地方向に一致させた場合に、決められた位置に存在することとなる画像領域を、部分画像として特定してもよい。こうすれば、制御部１１は、クエリ画像Ｉｑ３に含まれる画像要素の天地方向と、クエリ画像Ｉｑ３の天地方向とが不一致である場合であっても、図２０（ｄ）に示すように、部分画像Ｉｑｐを正しく特定し得る。
なお、前述した方向情報は、クエリ画像の天地方向が、当該クエリ画像に含まれる画像要素の天地方向とどの程度ずれているかを把握し得る情報であればよい。

そして、制御部１１は、クエリ画像から抽出した局所特徴量と、部分画像の局所特徴量である特定情報とを、通信部１３により画像検索サーバ２０へ送信する（ステップＳ４ａ）。画像検索サーバ２０の制御部２１は、クエリ画像から抽出した局所特徴量と、特定情報とを通信部２２により受信すると、画像検索処理を実行する（ステップＳ５４，Ｓ５５）。画像検索処理の流れは、特定情報を部分画像の局所特徴量としている以外は、上述した第１実施形態と同じでよい。そして、制御部２１は、画像検索処理の結果に応じたコンテンツ情報をデータベースから取得して、ユーザ端末１０へ送信する（ステップＳ５６，Ｓ６）。
この変形例の画像検索システム１によれば、検索対象画像やクエリ画像に、特定情報が含まれていなくてもよい。

なお、クエリ画像の部分画像から抽出した局所特徴量を特定情報とする構成は、ユーザ端末１０以外の装置が主体となって、局所特徴量や特定情報を抽出する場合にも適用し得る。また、部分画像のサイズや形状、検索対象画像又はクエリ画像における部分画像の位置は、前述した例に限られない。例えば、２以上の検索対象画像の部分画像の局所特徴量が共通することがあるように、部分画像を特定するための条件が決められているとよい。

（変形例６）
本発明の検索対象画像又はクエリ画像の特定情報は、コンテンツプロバイダに応じて決められるものでなくてもよい。特定情報は、例えば、コンテンツプロバイダによって提供されるサービスの種類や、クエリ画像の撮影日時や検索対象画像の登録日時等の日時を示す情報であってもよい。また、特定情報は、前述したアプリケーション識別子であってもよい。
以上のとおり、本発明の特定情報は、検索対象となる画像群を特定するために使用される情報であればよい。この変形例の画像検索システムによれば、クエリ画像や検索対象画像の特定情報に関わらず、ユーザによる検索対象の画像群の指定なしに、検索処理に使用する検索対象画像が絞り込まれる。

（変形例７）
画像検索データベース２３１の特定情報と、クエリ画像から抽出される特定情報とは必ずしも一致しなくてもよい。すなわち、画像検索データベース２３１では、クエリ画像の特定情報を用いないで、検索対象画像に対応した局所特徴量やコンテンツ情報が登録されていてもよい。この場合も、画像検索サーバ２０は、クエリ画像から抽出した特定情報に対応する検索対象画像の各々についての局所特徴量を取得し、検索処理を行う。
例えば、検索対象画像よりもクエリ画像の方が細かいカテゴリに分類されている場合、画像検索サーバ２０は、クエリ画像のカテゴリを包含する分類の検索対象画像の局所特徴量を、検索処理に用いるとよい。反対に、検索対象画像よりもクエリ画像の方が広く分類されている場合、画像検索サーバ２０は、クエリ画像のカテゴリに包含されるカテゴリの検索対象画像の局所特徴量を、検索処理に用いるとよい。また、画像検索サーバ２０は、クエリ画像のカテゴリと意味上のつながりを有するカテゴリの検索対象画像の局所特徴量を、特定情報に基づいて特定し検索処理に用いてもよい。

（変形例８）
上述した第２実施形態の画像検索システム１において、特定情報に一意に対応付けられたオブジェクト画像は、アイコン画像に限られず、バーコードや二次元コード等の符号化情報を含む符号化画像であってもよい。また、オブジェクト画像は、特定情報を一意に識別する１文字以上の文字列であってもよい。すなわち、クエリ画像の特定情報を示す情報が、当該クエリ画像に含まれているとよい。
また、上述した第２実施形態の画像検索システム１において、メディアアイコン４１３に代えて、特定情報に一意に対応付けられたオブジェクト画像が使用されてもよい。

（変形例９）
上述した各実施形態において、印刷物４０に代えて、画像要素に重ねてマーカ４１を配置した画像を表示した表示装置が使用されてもよい。この場合、ユーザ端末１０は、当該表示装置が表示した画像（画面）を撮影する。

（変形例１０）
上述した各実施形態では、特徴点の特徴量（局所特徴量）として、ＳＩＦＴ特徴量を使用していたが、ＳＵＲＦ（Speeded Up Robust Features）特徴量その他の特徴量が使用されてもよい。すなわち、本発明の特徴情報は、輝度勾配の特徴ではなく、特徴点の位置（座標）その他の特徴点の特徴量を表すものであってもよい。
また、本発明の特徴情報は、特徴点の局所的な特徴量以外の、画像検索に使用し得る他の特徴量を表してもよい。

（変形例１１）
上述した各実施形態では、画像検索サーバ２０は、クエリ画像に類似する検索対象画像に応じたコンテンツ情報を出力していたが、出力対象となる情報はコンテンツ情報に限られない。例えば、類似画像を検索する情報処理システムに本発明を適用した場合には、画像検索サーバ２０は、検索データベースから検索した類似画像の画像データを、ユーザ端末１０へ送信出力するとよい。この場合、コンテンツ情報に代えて、画像識別子で識別される検索対象画像が、画像検索データベース２３１へ登録されるとよい。

（変形例１２）
画像検索サーバ２０は、画像検索データベース２３１に局所特徴量を登録する機能を備えなくてもよい。この場合、画像検索サーバ２０とは別に設けられた画像登録装置が、画像検索データベース２３１に、局所特徴量やコンテンツ情報を登録する登録処理を行えばよい。
また、画像検索サーバ２０は、１台のサーバ装置で実現されるのではなく、複数のサーバ装置の協働によって実現されてもよい。また、画像検索サーバ２０が実現していた機能が、ユーザにより使用される通信端末（例えばユーザ端末１０）により実現されてもよい。

上述した各実施形態のユーザ端末１０や画像検索サーバ２０、登録端末３０、登録サーバ５０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。ユーザ端末１０や画像検索サーバ２０、登録端末３０、登録サーバ５０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。

１，１ａ…画像検索システム、１０…ユーザ端末、１００…ネットワーク、１０１…クエリ画像取得手段、１０２…クエリ画像送信手段、１０３…コンテンツ情報受信手段、１１…制御部、１２…ＵＩ部、１３…通信部、１４…撮影部、１５…記憶部、２０…画像検索サーバ、２０１…検索対象画像受信手段、２０２…抽出手段、２０３…特定情報抽出手段、２０４…登録処理手段、２０５…クエリ画像受信手段、２０６…検索手段、２０７…コンテンツ情報出力手段、２０８…画像処理手段、２１…制御部、２２…通信部、２３…記憶部、２３１…画像検索データベース、２３２…特定情報テーブル、２３２…装置管理テーブル、３０…登録端末、４０…印刷物、４１…マーカ、５０，５０ａ，５０ｂ，５０ｃ…登録サーバ。

Claims (8)

1. クエリ画像を取得する取得手段と、
   前記クエリ画像から検索対象となる画像群を特定するための特定情報を抽出する特定情報抽出手段と、
   前記クエリ画像から画像検索処理で必要となる特徴情報を抽出する特徴情報抽出手段であって、前記クエリ画像から検出したオブジェクト画像を、前記特定情報に対応付けて予め登録されたオブジェクト画像と比較することにより、前記特定情報を抽出する特徴情報抽出手段と、
   前記検出したオブジェクト画像を前記登録されたオブジェクト画像に近づけるように、前記クエリ画像に画像処理を施す画像処理手段と、
   前記特定情報に基づいて特定される検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う検索手段と
   を備え、
   前記特定情報抽出手段は、
   前記画像処理後の前記クエリ画像から、前記特徴情報を抽出する
   画像検索システム。
2. 前記検索手段は、前記特定情報に対応付けられたそれぞれのデータベース毎に記憶されている、前記特定情報に対応付けられた前記検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う
   ことを特徴とする請求項１に記載の画像検索システム。
3. 前記特徴情報は、特徴点の特徴量を含み、
   前記検索手段は、
   前記クエリ画像に含まれる前記特徴点のうち、前記検出したオブジェクト画像に含まれる前記特徴点の特徴量を用いないで、前記画像検索処理を行う
   ことを特徴とする請求項１又は２に記載の画像検索システム。
4. 互いに異なる前記特定情報に対応し、一の前記特定情報で特定される前記画像群の前記特徴情報が登録された複数の登録装置を備え、
   前記検索手段は、
   前記特定情報抽出手段が抽出した特定情報に対応する前記登録装置の前記特徴情報を用いて、前記画像検索処理を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の画像検索システム。
5. 前記特徴情報を登録する登録処理手段を備え、
   前記特徴情報抽出手段は、
   登録要求があった前記検索対象画像から、前記特徴情報を抽出し、
   前記特定情報抽出手段は、
   前記登録要求があった前記検索対象画像から、前記特定情報を抽出し、
   前記登録処理手段は、
   前記特徴情報抽出手段が抽出した前記検索対象画像の特徴情報を、前記特定情報抽出手段が抽出した当該検索対象画像の特定情報に従って、前記画像検索処理で検索対象とするように登録する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像検索システム。
6. 通信端末により送信された前記クエリ画像を受信するクエリ画像受信手段と、
   前記クエリ画像受信手段により受信されたクエリ画像に基づいて前記画像検索処理が行われると、当該画像検索処理で検索された検索対象画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力手段と
   を備えることを特徴とする請求項１から５のいずれか１項に記載の画像検索システム。
7. クエリ画像を取得する取得手段と、
   前記クエリ画像から検索対象となる画像群を特定するための特定情報を抽出する特定情報抽出手段と、
   前記クエリ画像から画像検索処理で必要となる特徴情報を抽出する特徴情報抽出手段であって、前記クエリ画像から検出したオブジェクト画像を、前記特定情報に対応付けて予め登録されたオブジェクト画像と比較することにより、前記特定情報を抽出する特徴情報抽出手段と、
   前記検出したオブジェクト画像を前記登録されたオブジェクト画像に近づけるように、前記クエリ画像に画像処理を施す画像処理手段と、
   前記特定情報に基づいて特定される検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う検索手段と
   を備え、
   前記特定情報抽出手段が、前記画像処理後の前記クエリ画像から、前記特徴情報を抽出する画像検索システムにおける、
   前記特定情報抽出手段を備える情報処理装置。
8. クエリ画像を取得する取得手段と、
   前記クエリ画像から検索対象となる画像群を特定するための特定情報を抽出する特定情報抽出手段と、
   前記クエリ画像から画像検索処理で必要となる特徴情報を抽出する特徴情報抽出手段であって、前記クエリ画像から検出したオブジェクト画像を、前記特定情報に対応付けて予め登録されたオブジェクト画像と比較することにより、前記特定情報を抽出する特徴情報抽出手段と、
   前記検出したオブジェクト画像を前記登録されたオブジェクト画像に近づけるように、前記クエリ画像に画像処理を施す画像処理手段と、
   前記特定情報に基づいて特定される検索対象画像に対して、前記特徴情報を用いて前記画像検索処理を行う検索手段と
   を備え、
   前記特定情報抽出手段が、前記画像処理後の前記クエリ画像から、前記特徴情報を抽出する画像検索システムにおける、情報処理装置のコンピュータを、
   前記特定情報抽出手段として機能させるためのプログラム。

Images