JP4968882B2 - 画像検索装置、画像検索方法およびプログラム - Google Patents

Description

本発明は、印刷されたりスキャンされたりすることにより色味が変わった画像を検索する、又は、印刷されたりスキャンされたりすることにより色味が変化した画像から元の画像を検索する画像検索装置、画像検索方法、プログラム及び記憶媒体に関する。

従来より、類似画像を検索するための種々の技術が提案されている。例えば、自然画像について類似画像検索を行うためにある程度実用化されている技術では、色情報を画像特徴量として用いるものが多い。そして、その多くが、色情報に関するヒストグラムを取ることにより、ＲＧＢの割合や画像中に多く存在する色の組み合わせを用いて検索を行うものである。しかしながら、上記手法は、色の位置情報が失われてしまうために、その検索精度は必ずしも高くはなかった。

画像の特徴量の配置を考慮した類似画像の検索方法も開示されている（特許文献１参照）。特許文献１に記載の手法では、画像中の色の配置の違いに対する検索に関して、一定の向上が見られた。

一方、次に示すように、オリジナルの画像データと、その画像データを印刷した紙画像の比較を行うシステムも考えられてきている。

従来、印刷された紙画像の画像を利用して文書を作成したいときは、スキャンすることにより画像データに変換した後、文書に貼り付けていた。また、印刷された紙画像を複製したいときは、複写機でコピー（すなわち、スキャンして印刷）していた。しかしながら、一般に、画像データを印刷することにより、オリジナルの画像データに対し、画質の劣化、色味の変化がおこる。また、印刷された紙画像をスキャンして画像データに変換する際も、同様に、印刷された紙画像に対し、画質の劣化、色味の変化がおこる。

これらの現象は、オリジナルの画像データが使用している色域、プリンタが出力可能な色域、スキャナでスキャンできる色域のそれぞれが完全には一致していないために発生する。これらの画質の劣化、色味の変化を極力少なくし、品質の良い文書、複製を作成するには、印刷、スキャンの系をできるだけ少なくすることである。具体的には、文書に貼り付けて使用したい場合はオリジナルの画像データを貼り付ける、複製したい場合はオリジナルの画像データを印刷することである。そのために、紙画像から、オリジナルの画像データを検索する技術が必要となった。

また別の例として、情報管理に応用したシステムが考えられている。当該システムは、印刷された画像データ、スキャンされた画像データ、コピーされた画像データ等を、日時や担当者情報等とともに、データベースに登録しておき、ある画像データの、印刷、スキャン、コピーされた日時、担当者を調べるものである。このようなシステムでは、オリジナルの画像から、紙画像をスキャンした画像データを検索する技術が必要となった。

しかしながら、従来の画像検索方法は、色味の違いを厳密に比較する方法であったため、画質の劣化、色味の変化がおこった画像の検索精度は、必ずしも高くなかった。
特開平１１−２８８４１８号公報

本発明は、このような事情を考慮してなされたものであり、画質の劣化、色味の変化に耐性のある画像の検索を好適に行うことができる画像検索装置、画像検索方法、プログラム及び記憶媒体を提供することを目的とする。

上記目的を達成するため、本発明に係る画像検索装置は、
画像を入力する入力手段と、
前記入力された画像の色空間を等色色空間に変換する第１の色空間変換手段と、
前記等色色空間に変換された画像の画像特徴量を抽出して正規化前の画像特徴量を生成する生成手段と、
前記画像の等色色空間の各成分において、前記画像の画素値を正規化した正規化画像を生成する正規化手段と、
前記正規化画像を複数の領域に分割し、領域ごとに特徴量を抽出して特徴量行列を生成する生成手段と、
前記正規化前の画像特徴量と前記特徴量行列とを、前記画像と対応付けて記憶する記憶手段と、
検索元画像を指定する指定手段と、
前記検索元画像の正規化前の画像特徴量と前記記憶手段に記憶された前記画像の正規化前の画像特徴量とを比較し、前記検索元画像の正規化前の画像特徴量と前記画像の正規化前の画像特徴量との類似度が一定値以上であった場合、該検索元画像の正規化後の特徴量行列と該画像の正規化後の特徴量行列との類似度を判定する判定手段と、
前記判定手段によって類似していると判定された画像を前記検索元画像の類似画像として出力する出力手段と、
を備えることを特徴とする。

本発明によれば、画質の劣化、色味の変化に耐性のある画像の検索を好適に行うことができる。

以下、図面を参照して、本発明の一実施形態に係る画像検索装置の詳細について説明する。尚、本実施形態では、特徴量をラベル表現した場合の実施例について説明する。

図１は、本発明の一実施形態に係る画像検索装置の制御構成を示すブロック図である。図１において、１０１はＣＰＵであり、本実施形態の画像検索装置における各種制御を実行する。１０２はＲＯＭであり、本画像検索装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。

１０６は外部記憶装置であり、ハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等で構成される。１０７は表示器であり、処理の内容や処理結果を画面表示することによってユーザに伝える。１０８はネットワークインタフェースであり、ネットワーク上の各機種との通信を可能とする。１１０は画像読み取りのためのスキャナ、１０９はスキャナ１１０と上記各構成とを接続するためのインタフェースである。また、１００は、上記各構成を互いに接続するためのバスである。

尚、上記構成においてスキャナ１１０や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。

図２は、本発明の一実施形態に係る画像検索装置の機能構成を示すブロック図である。図２において、１１はユーザインタフェース部であり、図１に示す表示器１０７、キーボード１０４及びマウス１０５を用いて、ユーザからの各種の操作入力を検出する。１２は画像入力部であり、スキャナ１１０による画像の読み取りを行う。１３は画像メモリであり、画像入力部１２によって得られたイメージデータをＲＡＭ１０３の所定の領域に格納する。１４は画像特徴量抽出部であり、画像メモリ１３に格納した画像について、後述する手順で特徴量を抽出する。１５は特徴量ラベル行列化部であり、画像特徴量抽出部１４によって得られた特徴量に基づいてラベル行列を生成する。１６はパターンマッチング部であり、指定された画像のラベル行列と、画像蓄積部１７に蓄積されている画像のラベル行列に対し、後述の手順で類似度を算出する。

また、図２において、１７は画像蓄積部であり、画像入力部１２等によって得られた画像データを蓄積する。図３は、画像蓄積部１７における画像データの格納状態を説明するための図である。図３に示すように、各画像データ１１２には画像ＩＤ１１１が付与され、画像蓄積部１７にはこれらが対になって保持される。また、図２において、１８は画像管理データベース（以下、「画像管理ＤＢ」という。）であり、図４で示されるデータ形態で画像蓄積部１７に格納された画像データを管理する。図４は、本発明の一実施形態に係る画像管理ＤＢ１８における画像データの格納形態を説明するための図である。本実施形態では、図４に示されるように、各画像データ毎に、画像ＩＤと、フルパスのファイル名、画像正規化前の特徴量のラベル行列、画像正規化後の特徴量のラベル行列、その他の属性等を画像管理ＤＢ１８に格納しておく。

以上のような構成を備えた画像検索装置の動作例について以下に説明する。

（第１の実施の形態）
＜画像の登録処理＞
最初に、本実施形態に係る画像検索装置に対して画像を登録する際に行う処理について説明する。

図５は、本発明の一実施形態に係る画像検索装置における画像登録処理の手順を説明するためのフローチャートである。まず、ユーザインタフェース部１１を介したユーザの指示によって、画像入力部１２を用いて画像を読み込み、読み込まれた画像を画像メモリ１３に保持する（ステップＳ５０１）。次に、この画像を所定の大きさに拡大若しくは縮小する（ステップＳ５０２）。画像の拡大／縮小を行うことにより、スキャンした画像に存在する網点やモアレ等をある程度除去することができる。また、画像の縮小処理においては、後述するハイライト・シャドウ設定処理、色空間変換処理、画像正規化処理、特徴量抽出処理の高速化の面でも効果がある。

次に、ハイライト・シャドウ処理（ステップＳ５０３からステップＳ５０５）を行う。紙画像をスキャンする際は、安易に黒潰ししたり、白飛ばししたりせず、紙画像の諧調性をつぶさないようにスキャンが行われることが多い。したがって、印刷に用いた紙の色や、原稿をスキャナの原稿台に置いた際に生じる浮きによる影等が、読み取った画像データに乗ってしまい、何も印刷されていない部分も真っ白にはならない。また、真っ黒に印刷された部分も、トナーや紙の光沢により光を反射するため、画像データとしては真っ黒にはならない。本処理では、元の画像データにおいて、真っ黒もしくは真っ白であったと思われる部分を、真っ黒もしくは真っ白に変換する。

まず、画像の色空間がハイライト・シャドウ処理に適した色空間であるか調べ（ステップＳ５０３）、ハイライト・シャドウ処理に適した色空間で無かった場合は、ハイライト・シャドウ処理に適した色空間に変換する（ステップＳ５０４）。ハイライト・シャドウ処理は、前述したように、白に近い部分を白にし、黒に近い部分を黒にする処理である。そのため、処理に適した色空間は、白と黒が対極にある色空間であり、ＲＧＢ色空間や、ＣＭＹ色空間、ＣＭＹＫ色空間がハイライト・シャドウ処理に適している。通常使用されている画像はＲＧＢ色空間の画像であるので、ハイライト・シャドウ処理に用いる色空間をＲＧＢ色空間とすることにより、色空間変換処理が不要になり、処理の高速化にも寄与する。印刷に直結した作業を行っているデザイン事務所等、ＣＭＹ色空間やＣＭＹＫ色空間を使用した画像が多い環境においては、ＣＭＹ色空間やＣＭＹＫ色空間をハイライト・シャドウ処理に使用することにより、効率が良くなる。

次に、保持された画像のヒストグラムのハイライト側から発生頻度を足し合わせ、一定割合を越えた部分をハイライト値とする。同様に、当該画像のヒストグラムのシャドウ側から発生頻度を足し合わせ、一定割合を越えた部分をシャドウ値とし、それらの値を使用して、次の手順で画像の変換を行う（ステップＳ５０５）。

まず、画像変換用の変換テーブルＣｏｎｖ１（ｉ）（ｉ＝０，１，２，・・・，２５５）を式（１）を用いて作成する。ここで、ハイライト値、シャドウ値をそれぞれ、ＨＬ、ＳＤとする。

次に、変換テーブルＣｏｎｖ１（ｉ）を用いて、画像データの全画素を変換する。図６は、本発明の一実施形態に係る画像検索装置におけるハイライト・シャドウ処理を説明するための図である。図６において、ハイライト・シャドウ処理前のヒストグラム形状は、（ａ）に示す形状をしており、ハイライト・シャドウ処理後のヒストグラム形状は、（ｂ）に示す形状のようになる。

次に、画像正規化処理（ステップＳ５０６、ステップＳ５０７、ステップＳ５１０）を行う。画像データを印刷する際は、オリジナルの画像データが使用している色域とプリンタが出力可能な色域が異なるため、ガマットマッピングが行われる。また、紙画像をスキャンする際にも、プリンタで出力された色域とスキャナでスキャンできる色域が異なるため、ガマットマッピングが行われる。ガマットマッピングにより、使用することができない色が、代替色に変換される。

ガマットマッピングはＬ＊ａ＊ｂ＊やＪＣｈといった等色色空間と言われる色空間上で行われ、その方法として代表的なものは、明度を保存する方法、色差を最小にする方法、相対関係を保存する方法である。いずれの方法においても、ガマットマッピングが行われる色空間上において、色空間を構成する成分値の大小関係が逆転することはない。本処理では、平均値が所定の値となり、色空間を構成する成分ごとに成分値の大小関係が逆転しない正規化を行う。その結果、色味の情報が薄れ、濃淡情報が強調されたデータに変換される。

まず、画像の色空間が画像正規化処理に適した色空間であるか調べ（ステップＳ５０６）、画像正規化処理に適した色空間で無かった場合は、画像正規化処理に適した色空間に変換する（ステップＳ５０７）。画像正規化処理は、前述したように、ガマットマッピングにより色味が変わってしまった画像の濃淡情報を強調する処理である。そのため、処理に適した色空間は、ガマットマッピングを行う際の色空間もしくはそれに近い特性をもつ色空間であり、Ｌ＊ａ＊ｂ＊色空間や、ＪＣｈ色空間といった等色色空間と言われる色空間が画像正規化処理に適している。

次に、画像正規化処理を行う前の画像特徴量を抽出する（ステップＳ５０８）。この画像を１以上の領域（ブロック）に分割する。本実施形態では、画像を縦横の領域（ブロック）に分割する。図８は、本発明の一実施形態に係る画像検索装置における領域分割例を示す図である。図８に示されるように、本実施形態では、３×３の計９個に画像を分割するものとする。次に、分割された各領域の特徴量を算出し、得られた特徴量を次の手順でラベル化する。

尚、本実施形態で用いる３×３への分割は、あくまで説明のためのものである。画像検索処理のところで後述するが、本処理は、プリサーチとして用いられる。画像正規化処理により、色味の情報が薄れるため、極端に色味のことなる画像をふるい落とすのが目的である。本特徴量が大きくなるほど処理速度が遅くなるため、プリサーチという性格上、あまり分割数を多くする必要は無く、領域分割を行わず、画像全体から１つの特徴量を取得すればよい場合もある。

図９は、本発明の一実施形態における多次元特徴量空間を説明するための図である。図９に示すように、多次元特徴量空間（Ｌ＊ａ＊ｂ＊カラー空間）を複数のブロック（色ブロック）、すなわち、セル（色セル）に分割し、それぞれのセル（色セル）に対して通し番号でユニークなラベルを付与する。ここで、多次元特徴量空間（Ｌ＊ａ＊ｂ＊カラー空間）を複数のブロックに分けたのは、微妙な特徴量（色）の違いを吸収するためである。また、色成分を強めるためにＬ＊×ａ＊×ｂ＊を３×５×５のように分割しても良いし、輝度成分を強めるためにＬ＊×ａ＊×ｂ＊を５×３×３のように分割しても良い。

各分割領域に対して、定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この処理をすべての領域に対して行う。すなわち、分割画像領域に対して、すべての画素値の平均値を求め、その色がどの色セルに属するかの計算処理を行い、そのラベルをその分割画像領域のパラメータラベル（カラーラベル）として決定する。この処理をすべての領域に対して行う。

以上のようにして各領域に対してパラメータラベルが付与された後、各領域に付与されたパラメータラベルを所定の領域順序で並べることにより、パラメータラベル行列（以下、「ラベル行列」と称す。）が生成される（ステップＳ５０９）。図１０は、本発明の一実施形態におけるラベル行列を生成する際の領域順序列を説明するための図である。本実施形態では、図１０に示す分割画像領域の領域内に記載された数字に従って上記のパラメータラベルを並べ、ラベル行列を作る。尚、画像管理ＤＢ１８にラベル行列を格納するに際しては、上述したように、２次元的なラベル行列を所定の順序で１次元に並べたものを格納するが、本実施形態ではこのような１次元の形態のものもラベル行列と称する。

次に、画像正規化処理を行う（ステップＳ５１０）。画像正規化処理の方法としては、画素値をシフトして平均値をそろえる方法、画素値をスケーリング変換して平均値をそろえる方法、ヒストグラムを平坦化して平均値をそろえる方法等がある。本実施形態ではヒストグラムを平坦化して平均値をそろえる。ヒストグラムの平坦化を行うに当たって次の処理手順で行う。

まず、変換前画像のヒストグラムＨｉｓｔ（ｉ）（ｉ＝０，１，２，・・・，２５５）を作成する。そして、画素値ｉの出現頻度をＨｉｓｔ（ｉ）に格納する。これと同時に、全画素の濃度の和Ｓｕｍを計算する。図７は、本発明の一実施形態に係る画像検索装置におけるヒストグラムの平坦化処理を説明するための図である。図７において、（ａ）は、Ｈｉｓｔ（ｉ）をグラフで表したものである。

次に、全濃度の出現頻度がほぼ一律なヒストグラムを作成するための、変換テーブルＣｏｎｖ２（ｉ）（ｉ＝０，１，２，・・・，２５５）を作成する。この処理は、Ｈｉｓｔ（０）から順に出現頻度を足し合わせて、その和がＳｕｍ／２５５を越えたときのｉをｋ１としたときに、Ｃｏｎｖ２（０）からＣｏｎｖ２（ｋ１）の値をｋ１とする。次に、Ｈｉｓｔ（ｋ１＋１）から順に出現頻度を足し合わせて、その和がＳｕｍ／２５５を越えたときのｉをｋ２としたとき、Ｃｏｎｖ２（ｋ１＋１）からＣｏｎｖ２（ｋ２）の値をｋ２とする。同様の手順でＣｏｎｖ２（２５５）まで求める。

最後に、変換テーブルＣｏｎｖ２（ｉ）を用いて、画像データの全画素を変換する。ヒストグラムの平坦化後の理想のヒストグラム形状は、図７の（ｂ）に示すようになるが、実際には完全に平坦にはならず、（ｃ）に示すようになることが通常である。

次に、画像正規化処理を行った後の画像特徴量を抽出する（ステップＳ５１１）。この画像を複数の領域に分割し、分割された各領域の特徴量を算出し、得られた特徴量をラベル化する。領域分割、ラベル化の方法に関しては、前述の画像正規化前特徴量の領域分割、ラベル化と同様である。

本実施形態では、画像を縦横３×３の計９個の領域に分割するが、本実施形態で用いる３×３への分割は、あくまで説明のためのものである。実際には、自然画像であれば１０×１０以上の分割数とすることが好ましい。また、白の無地背景に商品が写っているような場合であれば、１３×１３以上の分割数とすることが好ましい。

続いて、以上のようにして得たラベル行列や画像データを画像蓄積部１７、画像管理ＤＢ１８に格納する（ステップＳ５１３）。すなわち、ステップＳ１１で読み込んだ画像データに対して画像ＩＤを取得し、これらをペアにして画像蓄積部１７に格納する。そして、当該画像ＩＤに対応付けて図４に示す画像管理ＤＢレコードを生成し、これを画像管理ＤＢ１８に登録する。

以上が画像登録時に行われる処理である。

＜類似画像検索処理＞
次に、図１１に示すフローチャートに従って類似画像検索の処理を説明する。図１１は、本発明の一実施形態に係る画像検索装置による類似画像検索処理手順を説明するためのフローチャートである。

まず、ユーザインタフェース部１１からユーザによって類似検索元画像が指定される（ステップＳ１１０１）。これにより、画像検索装置は、指定された類似検索元画像の画像ＩＤを取得し、さらに画像管理ＤＢ１８から当該原画像の画像正規化前後のラベル行列（本実施形態では、カラーラベル行列）を取得する（ステップＳ１１０２）。同様に、画像検索装置は、類似比較先画像の画像正規化前後のラベル行列を取得する（ステップＳ１１０３）。

次に、画像検索装置は、類似検索元画像と類似比較先画像のそれぞれの画像正規化前のラベル行列の比較を行う（ステップＳ１１０４）。

ここで、ラベル行列同士の類似比較（類似度の算出）を行う方法について述べる。図１２は、ステップＳ１１０４においてラベル行列を比較して類似度を求める際に用いられるラベル間のペナルティマトリックスの一例を示す図である。図１２では、マトリクス中の値が小さい程類似していることになる。

例えば、ラベル２とラベル６のペナルティは「７」である。また、同じラベル同士のペナルティは当然のことながら「０」となっている。本マトリクスの使用目的は、ラベルの類似に応じた距離判定を行うことにある。すなわち、本実施形態では、特徴量空間としてＬ＊ａ＊ｂ＊カラー空間を用いているので、色の類似に応じた距離判定を行うことが可能となっている。

例えば、検索元画像と検索対象画像のラベル列中のそれぞれ対応する位置のラベルの値から図１２のペナルティマトリクスを参照して距離を求め、ラベル列中の全ラベルについての距離の和を求めることで、両ラベル列間の距離を得る。例えば、図１３に示す例では、検索元画像のラベル列が「１１２３１３４４１」であり、検索対象画像のラベル列が「１１３２２４４５２」であるので、図１２のペナルティマトリクスを用いてマッチングを行うことにより、距離（最終解）が求まる。すなわち、図１３は、本発明の一実施形態に係るマッチングによるラベル列間の距離の算出を説明する図である。

以上説明したように、ラベル間のパターンマッチングの際に、隣接するセル同士ではペナルティ（距離）を小さくし、遠いものには大きなペナルティを与えるために図１２に示すようなラベル間でのペナルティマトリックスを導入する。ステップＳ１１０４では、このペナルティマトリックスを考慮して、ラベル行列同士を比較する。

また、画像正規化前の特徴量取得時に、領域分割を行わなかった場合は、単純に差を求めることにより、類似度を得ることができ、非常に高速な処理が可能である。

その結果、類似度が一定値以上の場合（Ｎｏ）は、類似検索元画像と類似比較先画像のそれぞれの画像正規化後ラベル行列の比較を行って類似度を算出する（ステップＳ１１０６）。そして、ステップＳ１１０７に進んで、ステップＳ１１０３からステップＳ１１０６の処理を全登録データに対して行う。一方、ステップＳ１１０５で類似度が一定値未満の場合は、検索元画像データと当該画像データとは類似しないものと判定し、ステップＳ１１０３に戻って次の画像データとの比較に遷移する。

画像正規化後のラベル行列同士の類似比較（類似度の算出）を行う方法は、画像正規化前のラベル行列同士の類似比較と同様に行うことができる。

ステップＳ１１０８では、得られた類似度を高い順にソートして、ステップＳ１１０９へ進む。そして、ステップＳ１１０９において、画像管理ＤＢ１８を参照して、画像ＩＤ群の各画像ＩＤについてフルパスのファイル名を取得し、これをユーザに提示する。

本実施形態では、特徴量をラベル表現して類似検索を行っているが、特徴量をラベル化せずに類似検索を行う方法も上記の方法より容易に推測できる。

（第２の実施の形態）
＜画像の登録処理＞
本実施の形態における画像の登録処理は、第１の実施の形態と同様の処理である。

＜類似画像検索処理＞
次に、第２の実施の形態における類似画像検索の処理を図１５を用いて説明する。なお、ステップＳ１１０７とステップＳ１１０８の間に、ステップＳ１１１０が挿入された点が、第１の実施の形態と異なるので、ステップＳ１１１０について説明する。

次にステップＳ１１０８において、画像正規化前のラベル行列を比較した結果の類似度と、画像正規化後のラベル行列を比較した結果の類似度を統合する。ここで、前者をDeg_before、後者をDeg_afterとし、これらの類似度は0〜100の間の値で表現されているとする。この場合、統合類似度Deg_comb（0〜100）は、ウェイトweight（0〜1.0）を用いて、下記の変換式であらわすことができる。

式２の変換式では、weightを大きくするほど画質の劣化や色味の変化への耐性が強くなり、同時に、もともと色味の異なる画像が検出されやすくなる。逆に、本変換式のweightを小さくするほど画質の劣化や色味の変化への耐性が弱くなり、同時に、もともと色味の異なる画像は検出されにくくなる。
なお、本変換式は、本実施例のための一例であって、本変換式とは異なる変換式を用いて類似度の統合を行っても構わない。別の変換式としては、たとえば下記の変換式等がある。

式３の変換式においては、weightを大きくするほど画質の劣化や色味の変化への耐性が強くなり、同時に、もともと色味の異なる画像が検出されやすくなる。逆に、本変換式のweightを小さくするほど画質の劣化や色味の変化への耐性が弱くなり、同時に、もともと色味の異なる画像は検出されにくくなる。

以下、ステップＳ１１０８を第１の実施の形態と同様に処理する。

（第３の実施の形態）
また、実際に印刷やスキャンを行った際には、画像データ上で同色の部分であっても、若干の色の違いが発生する。特に、元の画像に使用されている色の階調数が少ない場合において、元画像と同じ階調数で画像正規化を行うと、同色であるべき部分に存在する若干の色の違いが強調され、意図しない濃淡情報になってしまう。

従って、本実施の形態においては、画像正規化を行う際に、元画像よりも少ない階調数で画像正規化処理を行うことにより、若干色が異なっていても、同色であるのと同等の処理が行われ、意図しない濃淡情報の強調を抑制することが可能である。

＜画像の登録処理＞
以下、画像の登録処理について、第１の実施の形態と異なる部分について説明する。本実施の形態は、ヒストグラムの平坦化を行うに当たって次の処理手順で行う。

まず、変換前画像のヒストグラムＨｉｓｔ（ｉ）（ｉ＝０，１，２，・・・，２５５）を作成する。そして、画素値ｉの出現頻度をＨｉｓｔ（ｉ）に格納する。これと同時に、全画素の濃度の和Ｓｕｍを計算する。本実施の形態では、画像の階調数をそれぞれの色成分について２５６階調としているが、これに限定するものではない。また、Ｌ＊ａ＊ｂ＊等の色空間では、それぞれの成分ごとに階調数が異なり、使用する階調数が異なる場合は、以降の説明に用いられている値は適宜変形される。

図１４は、本発明の一実施形態に係る画像検索装置におけるヒストグラムの平坦化処理を説明するための図である。図１４において、（ａ）は、Ｈｉｓｔ（ｉ）をグラフで表したものである。

次に、画素値ｉが０でない階調数ＨｉｓｔＷｉｄｔｈを数える。本実施形態では、ＨｉｓｔＷｉｄｔｈを得るために、画素値ｉが０でない階調数を数えているが、前述のハイライト・シャドウ処理と同様にハイライト値、シャドウ値を求め、それらの値の幅をＨｉｓｔＷｉｄｔｈとする等、別の方法を用いることも可能である。

次に、ＨｉｓｔＷｉｄｔｈに所定の割合ＨｉｓｔＷｉｄｔｈＲａｔｉｏを掛け合わせた階調数ＥｑＨｉｓｔＷｉｄｔｈにおいて、濃度の出現頻度がほぼ一律なヒストグラムを作成する。本実施形態では、ＨｉｓｔＷｉｄｔｈＲａｔｉｏを50%としているが、これに限定するものではない。さらに、元画像の階調上のどの範囲に、ＥｑＨｉｓｔＷｉｄｔｈの範囲をあてはめるかを決定し、その最小点、最大点をそれぞれＥｑＨｉｓｔＭｉｎ、ＥｑＨｉｓｔＭａｘとする。ＥｑＨｉｓｔＷｉｄｔｈをあてはめる範囲を決めるにあたっては、元画像の階調の中心点もしくは重心点を、ＥｑＨｉｓｔＷｉｄｔｈの中央に合わせる方法や、使用する色空間の中心点を、ＥｑＨｉｓｔＷｉｄｔｈの中央に合わせる方法等がある。

ヒストグラムの平坦化を行うにあたって、変換テーブルＣｏｎｖ３（ｉ）（ｉ＝０，１，２，・・・，２５５）を作成する。

この処理は、Ｈｉｓｔ（０）から順に出現頻度を足し合わせて、その和がＳｕｍ／ＥｑＨｉｓｔＷｉｄｔｈを越えたときのｉをｋ１としたときに、Ｃｏｎｖ３（０）からＣｏｎｖ３（ｋ１）の値をｋ１＋ＥｑＨｉｓｔＭｉｎとする。
次に、Ｈｉｓｔ（ｋ１＋１）から順に出現頻度を足し合わせて、その和がＳｕｍ／ＥｑＨｉｓｔＷｉｄｔｈを越えたときのｉをｋ２としたとき、Ｃｏｎｖ３（ｋ１＋１）からＣｏｎｖ３（ｋ２）の値をｋ２＋ＥｑＨｉｓｔＭｉｎとする。同様の手順でＣｏｎｖ２（２５５）まで求める。

最後に、変換テーブルＣｏｎｖ３（ｉ）を用いて、画像データの全画素を変換する。ヒストグラムの平坦化後の理想のヒストグラム形状は、図１４の（ｂ）に示すようになるが、実際には完全に平坦にはならず、（ｃ）に示すようになることが通常である。

以下、第１の実施の形態と同様に画像正規化処理を行った後の画像特徴量を抽出する。

＜類似画像検索処理＞
本実施の形態における類似画像検索処理は、第２の実施の形態と同様の処理である。

以上説明したように、本実施形態によれば、画質の劣化、色味の変化に耐性のある画像の検索を好適に行うことができる。特に、印刷した画像データをスキャンして作成された際に色味、濃度の変化が起きた画像データ、シャドウ部、ハイライト部の階調再現が正確でなく、かつ、黒浮き、白濁りしている画像データから、元の画像データを検索することが可能となる。

尚、上記実施形態においては、自然画像検索を行う例を説明したが、本発明はＣＧやＣＡＤ等の人工的な画像の検索にも適応可能である。また、上記実施形態では画像特徴量として色情報を選んだが、本発明はこれに限られるものではなく、その他の画像パラメータを画像分割領域ごとに求めることで実施することも可能である。さらに、上記実施形態では、１つの特徴量での認識の例について説明したが、その他の特徴量での検索結果との論理演算を行うことにより、複数の特徴量からの高速な検索を行うことも可能である。

１つの画像に対して複数の画像特徴量を用いた検索を行う場合には、本発明で得られる類似度を１つの新たなる画像特徴量とみなし、複数のパラメータを用いた多変量解析を行い、統計的な距離尺度を用いた検索を行うことも可能である。また、上記実施形態では、類似度が所定値を越える類似画像を検索結果として得るが、類似度の高い画像から順に前もって指定された個数の画像を検索結果として出力するようにしてもよいことはいうまでもない。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

以上説明したように、本発明によれば、画質の劣化、色味の変化に耐性のある画像の検索を好適に行うことができる。特に、印刷した画像データをスキャンして作成された際に色味、濃度の変化が起きた画像データ、シャドウ部、ハイライト部の階調再現が正確でなく、かつ、黒浮き、白濁りしている画像データから、元の画像データを検索することが可能となる。

本発明の一実施形態に係る画像検索装置の制御構成を示すブロック図である。 本発明の一実施形態に係る画像検索装置の機能構成を示すブロック図である。 画像蓄積部１７における画像データの格納状態を説明するための図である。 本発明の一実施形態に係る画像管理ＤＢ１８における画像データの格納形態を説明するための図である。 本発明の一実施形態に係る画像検索装置における画像登録処理の手順を説明するためのフローチャートである。 本発明の一実施形態に係る画像検索装置におけるハイライト・シャドウ処理を説明するための図である。 本発明の一実施形態に係る画像検索装置におけるヒストグラムの平坦化処理を説明するための図である。 本発明の一実施形態に係る画像検索装置における領域分割例を示す図である。 本発明の一実施形態における多次元特徴量空間を説明するための図である。 本発明の一実施形態におけるラベル行列を生成する際の領域順序列を説明するための図である。 本発明の一実施形態に係る画像検索装置による類似画像検索処理手順を説明するためのフローチャートである。 ステップＳ１１０５においてラベル行列を比較して類似度を求める際に用いられるラベル間のペナルティマトリックスの一例を示す図である。 本発明の一実施形態に係るマッチングによるラベル列間の距離の算出を説明する図である。 本発明の一実施形態に係る画像検索装置におけるヒストグラムの平坦化処理を説明するための図である。 本発明の一実施形態に係る画像検索装置による類似画像検索処理手順を説明するためのフローチャートである。

符号の説明

１１ ユーザインタフェース部
１２ 画像入力部
１３ 画像メモリ
１４ 画像特徴量抽出部
１５ 特徴量ラベル行列化部
１６ パターンマッチング部
１７ 画像蓄積部
１８ 画像管理ＤＢ

Claims (5)

1. 画像を入力する入力手段と、
   前記入力された画像の色空間を等色色空間に変換する第１の色空間変換手段と、
   前記等色色空間に変換された画像の画像特徴量を抽出して正規化前の画像特徴量を生成する生成手段と、
   前記画像の等色色空間の各成分において、前記画像の画素値を正規化した正規化画像を生成する正規化手段と、
   前記正規化画像を複数の領域に分割し、領域ごとに特徴量を抽出して特徴量行列を生成する生成手段と、
   前記正規化前の画像特徴量と前記特徴量行列とを、前記画像と対応付けて記憶する記憶手段と、
   検索元画像を指定する指定手段と、
   前記検索元画像の正規化前の画像特徴量と前記記憶手段に記憶された前記画像の正規化前の画像特徴量とを比較し、前記検索元画像の正規化前の画像特徴量と前記画像の正規化前の画像特徴量との類似度が一定値以上であった場合、該検索元画像の正規化後の特徴量行列と該画像の正規化後の特徴量行列との類似度を判定する判定手段と、
   前記判定手段によって類似していると判定された画像を前記検索元画像の類似画像として出力する出力手段と、
   を備えることを特徴とする画像検索装置。
2. 前記画像をＲＧＢ色空間またはＣＭＹＫ色空間に変換する第２の色空間変換手段と、
   前記変換された色空間の成分ごとに、データ値の大きい方から第１の割合にある値をハイライト値として設定するハイライト値設定手段と、
   前記第１の色空間の成分ごとに、データ値の小さい方から第２の割合にある値をシャドウ値として設定するシャドウ値設定手段と、
   前記ハイライト値及び前記シャドウ値を用いて前記画像を変換する画像変換手段と
   をさらに備えることを特徴とする請求項１に記載の画像検索装置。
3. 前記正規化手段が、等色色空間上において、画素値のシフト、画素値のスケーリング、又はヒストグラムの平坦化のうちの少なくとも１つの手法を用いて、前記画像を正規化することを特徴とする請求項１または２に記載の画像検索装置。
4. 画像を入力する入力工程と、
   前記入力された画像の色空間を等色色空間に変換する第１の色空間変換工程と、
   前記等色色空間に変換された画像の画像特徴量を抽出して正規化前の画像特徴量を生成する生成工程と、
   前記画像の等色色空間の各成分において、前記画像の画素値を正規化した正規化画像を生成する正規化工程と、
   前記正規化画像を複数の領域に分割し、領域ごとに特徴量を抽出して特徴量行列を生成する生成工程と、
   前記正規化前の画像特徴量と前記特徴量行列とを、前記画像と対応付けて記憶する記憶工程と、
   検索元画像を指定する指定工程と、
   前記検索元画像の正規化前の画像特徴量と前記記憶工程で記憶された前記画像の正規化前の画像特徴量とを比較し、前記検索元画像の正規化前の画像特徴量と前記画像の正規化前の画像特徴量との類似度が一定値以上であった場合、該検索元画像の正規化後の特徴量行列と該画像の正規化後の特徴量行列との類似度を判定する判定工程と、
   前記判定工程によって類似していると判定された画像を前記検索元画像の類似画像として出力する出力工程と、
   を備えることを特徴とする画像検索方法。
5. 請求項４に記載の画像検索方法の各工程をコンピュータに実行させるためのプログラム。

Images