JP3658761B2 - 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 - Google Patents
画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 Download PDFInfo
- Publication number
- JP3658761B2 JP3658761B2 JP2000378023A JP2000378023A JP3658761B2 JP 3658761 B2 JP3658761 B2 JP 3658761B2 JP 2000378023 A JP2000378023 A JP 2000378023A JP 2000378023 A JP2000378023 A JP 2000378023A JP 3658761 B2 JP3658761 B2 JP 3658761B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- color
- distribution feature
- frequency distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、個々の画像の類似性を判定し、指定された画像に類似する画像を検索する画像検索に関し、特に、画像の特徴が異なる方式により示される場合にも、その各方式による画像特徴量を基に画像の類似性を判定し又類似する画像を検索する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】
従来より、画像の特徴をデータ化して画像特徴量により示し、画像特徴量を用いて各画像の類似性を判定し、又類似する画像を（例えば、蓄積されている画像の中から）検索する画像検索が行われており、そのための装置やコンピュータプログラムが開発されている。
【０００３】
こうした画像検索の従来の技術では、主として、画像中に含まれる色の構成を表現する特徴量（以降、色構成特徴量と呼ぶ）を用いて、この色構成の類似性から類似画像を検索する方法が採用されている。
【０００４】
ここで、色構成特徴量とは、画像内の代表色とその構成割合等により画像の色構成を表現する画像特徴量であり、又、画像に含まれるすべての色についての頻度割合や、１つ又は複数の代表色とその色構成割合等を用いることもできる。
【０００５】
しかし、この色構成特徴量を用いる方式では、画像中の物体の持つ形状や位置関係といった画像の構造特徴を反映することができないという問題点がある。
【０００６】
ここで、画像の持つ構造特徴を反映させるための従来の技術の一例が、特開平１１−３１６８１９号公報に開示されている。特開平１１−３１６８１９号公報の従来技術では、画像を複数のブロックに分割して各ブロック中に含まれる色構成特徴量を計算し、その各ブロック毎の色構成特徴量の値の集合を色分布特徴量として、これを類似性の判定や検索に用いる方法が提案されている。この色分布特徴量では、各ブロック毎の色構成特徴量が示されるため、画像の持つ構造特徴を類似性の判定に反映することができる。
【０００７】
更に他の方法として、画像の持つ色構造を周波数領域で表現した周波数分布特徴量を画像特徴量として利用する従来の画像検索システムが、特開２０００−２５９８３２号公報に開示されている。
【０００８】
ここで、画像の周波数分布特徴量とは、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、周波数解析して得られた帯域毎のエネルギーを示す画像特徴量である。
【０００９】
図１１は、この特開２０００−２５９８３２号公報の画像検索システムの要部の構成を示すブロック図である。この従来の画像検索システムでは、入力される画像データ１０１から周波数分布特徴量１０３を生成する画像特徴量生成部１０２と、検索対象の画像の周波数分布特徴量を予め記憶しておく周波数分布特徴量記憶部１０４と、入力された画像の周波数分布特徴量１０３と周波数分布特徴量記憶部１０４に記憶された特徴量１０５とを用いて類似度１０７を算出する類似度算出部１０６を備えている。ここで、画像特徴量生成部１０２では、画像データ１０１から縮小画像１１１を生成する縮小画像生成手段１１０と、生成された縮小画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる直交変換係数１１３の内、直流成分及び一部交流成分を周波数分布特徴量１０３として抽出する直流成分及び一部交流成分抽出手段１１４を備えている。
【００１０】
以上のように、画像特徴量の例としては、色構成特徴量、色分布特徴量、周波数分布特徴量等があり、これらを用いることにより画像の類似性の判定や画像の検索を行うことができる。
【００１１】
また、特開平０９−２３７３４３号公報に開示された従来技術では、この内の色構成特徴量として色ヒストグラムを用い、周波数分布特徴量として直交変換係数とを混在させた画像検索システムが提案されている。
【００１２】
図１２は、この特開平０９−２３７３４３号公報の画像検索システムの要部の構成を示すブロック図である。この従来の画像検索システムでは、画像特徴量を入力するための入力装置２０１と、画像特徴量を記憶する画像特徴量記憶部２０２と、入力装置２０１から入力された画像特徴量と画像特徴量記憶部２０２に記憶されている画像特徴量との間の類似度を算出する類似度算出部２０３を備えている。
【００１３】
この画像特徴量記憶部２０２は、画像の周波数分布特徴量を記憶する直交変換係数記憶部２０４と、色構成情報を記憶する色ヒストグラム記憶部２０５を備えている。
【００１４】
類似度算出部２０３は、画像特徴量判定手段２０６と、色ヒストグラム類似度算出手段２０７と、直交変換係数類似度算出手段２０８を備えている。画像特徴量判定手段２０６は、入力装置２０１から入力された画像特徴量２０９が、色ヒストグラム情報であるか又は直交変換係数であるかを判定する。色ヒストグラム類似度算出手段２０７は、画像特徴量判定手段２０６で色ヒストグラム情報と判定された場合に、画像特徴量判定手段２０６から出力された色ヒストグラム情報からなる画像特徴量２１０と、色ヒストグラム記憶部２０５から読み出された色ヒストグラム情報２１１との類似度２１２を算出する。直交変換係数類似度算出手段２０８は、画像特徴量判定手段２０６で直交変換係数と判定された場合に、画像特徴量判定手段２０６から出力された直交変換係数からなる画像特徴量２１３と、直交変換係数記憶部２０４から読み出された直交変換係数２１４との類似度２１５を算出する。
【００１５】
このように、複数種類の画像特徴量が混在した環境で画像検索を行うためには、問合せ画像の特徴量に対応した画像特徴量データベース及び類似度算出手段が必要となるため、画像特徴量の種類分の類似度算出手段及び画像特徴量データベースを備えることが必要であり、このため装置も複雑になり製造コストも高くなるといる問題点があった。
【００１６】
特願２０００−２７０７００号公報に開示された従来技術では、この問題点を解決するために、色構成特徴量及び周波数分布特徴量を用いた画像検索とが混在する場合においても、簡易な装置構成により画像検索を実現する画像検索システムが提案されている。
【００１７】
この特願２０００−２７０７００号公報の画像検索システムでは、装置内に周波数分布の類似度算出手段のみを備える場合に、問合せ画像や検索対象画像の特徴量が色構成特徴量であった場合には、その色構成特徴量から平均色を算出し周波数分布特徴量に変換した上で、その周波数分布特徴量に基づいて類似度計算を行う。
【００１８】
また、色構成特徴量の類似度算出手段のみを備える場合に、問合せ画像や検索対象画像の特徴量が周波数分布特徴量であった場合には、周波数分布特徴量を逆変換することにより画像を復元し復元された画像の色構成情報を抽出した上で、その色分布特徴量に基づいて類似度計算を行う。
【００１９】
また、システムが周波数分布特徴量の類似度算出手段のみを備える場合、問合せ画像や検索対象画像の特徴量が色構成特徴量であった場合には、色構成特徴量から平均色を算出し、平均色を周波数分布特徴量の直流成分とすることにより変換した上で、その周波数分布特徴量に基づいて類似度計算を行う。
【００２０】
この結果、色構成特徴量や周波数分布特徴量により特徴量が示される画像の類似性の判定や検索を、いずれか１種類の類似度算出手段を備えるのみで実行することができる。
【００２１】
しかし、画像の構造特徴を持つ画像特徴量である色分布特徴量と周波数分布特徴量との間の、画像特徴量の相互変換方法は実現されていなかった。
【００２２】
【発明が解決しようとする課題】
上述したように従来の装置では、以下に述べるような問題点があった。
【００２３】
第１に、画像の特徴を示す画像特徴量には様々な種類があり、画像の比較や検索を行うためには、共通の種類の画像特徴量を比較（検索）対象の双方の画像のそれぞれに用意することが必要であった。
【００２４】
また、たとえ双方の画像の共通の種類の画像特徴量を備えたとしても、その画像特徴量に基づく比較や検索の機能を画像検索システムの側が備える必要があった。画像検索システムが、分布特徴量や周波数分布特徴量等の様々な種類の画像特徴量に基づく比較や検索を実現するためには、そのそれぞれの画像特徴量に基づく類似度算出手段を備える必要があり、このため装置も複雑になり製造コストも高くなるといる問題点があった。
【００２５】
第２に、従来の装置では、色分布特徴量と周波数分布特徴量のそれぞれにより特徴量が示される画像の比較を行うことができなかった。これは従来では、色分布特徴量と周波数分布特徴量と間における、実用に値するレベルの交互変換の技術が実現されていなかったからである。
【００２６】
例えば、問合せ画像の画像特徴量が周波数分布特徴量である場合には、この問合せ画像に類似する画像を、検索対象画像の色分布特徴量を記録するデータベースから検索することができなかった。
【００２７】
本発明の第１の目的は、上記従来技術の欠点を解決し、色分布特徴量又は周波数分布特徴量により特徴が示される各画像の比較や検索を、検索性能を損なうことなく簡易な装置構成により実現する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体を提供することである。
【００２８】
本発明の第２の目的は、上記従来技術の欠点を解決し、各画像の画像特徴量が、画像の周波数分布特徴量であるか色分布特徴量であるかにかかわらず、その比較や検索を実現する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体を提供することである。
【００２９】
【課題を解決するための手段】
上記目的を達成するため本発明の画像検索システムは、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換手段と、前記変換画像を定められた複数のブロックに分割する画像分割手段と、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出手段とから構成される周波数分布特徴量変換手段を備え、前記周波数分布特徴量生成手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出手段を備えることを特徴とする。
【００３０】
請求項２の本発明の画像検索システムは、前記色分布特徴量抽出手段は、前記画像分割手段により分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする。
【００３１】
請求項３の本発明の画像検索システムは、前記色分布特徴量抽出手段は、前記画像分割手段により分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする。
【００３２】
請求項４の本発明の画像検索システムは、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定手段と、各前記ブロックの代表色を画素とする画像を生成する画像生成手段と、前記画像生成手段により生成された画像のサイズを、定められたサイズに変換する画像サイズ変換手段と、前記画像サイズ変換手段により変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出手段とから構成される色分布特徴量変換手段を備え、前記色分布特徴量変換手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出手段を備えることを特徴とする。
【００３３】
請求項５の本発明の画像検索システムは、前記検索対象の各画像を、前記画像特徴量の種類を変換する対象として設定し、前記検索対象の各画像の画像特徴量の種類を変換して、前記問合せ画像の画像特徴量の種類に一致させることを特徴とする。
【００３４】
請求項６の本発明の画像検索システムは、前記問合せ画像を、前記画像特徴量の種類を変換する対象として設定し、前記問合せ画像の画像特徴量の種類を変換して、前記検索対象の各画像の画像特徴量の種類に一致させることを特徴とする。
【００３５】
請求項７の本発明の画像検索システムは、前記問合せ画像と前記検索対象の各画像の双方を、前記画像特徴量の種類を変換する対象として設定し、前記問合せ画像及び前記検索対象の各画像の画像特徴量の種類を変換することを特徴とする。
【００３６】
請求項８の本発明の画像検索システムは、前記問合せ画像の画像特徴量の種類を変換する回路と、前記検索対象の各画像の画像特徴量の種類を変換する回路とを、それぞれに独立に備えることを特徴とする。
【００３７】
請求項９の本発明の画像検索システムは、前記色分布特徴量は、特徴を示す対象である画像を、定められた複数のブロックに分割し、各前記ブロックの代表色を判定し、各前記ブロックのそれぞれに対応する前記代表色のデータとして生成される画像特徴量とすることを特徴とする。
【００３８】
請求項１０の本発明の画像検索システムは、前記周波数分布特徴量は、特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換を施すことにより生成される画像特徴量とすることを特徴とする。
【００３９】
請求項１１の本発明の画像検索システムは、前記周波数分布特徴量は、特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換及び量子化を施すことにより生成される画像特徴量とすることを特徴とする。
【００４０】
請求項１２の本発明の画像検索システムにおける画像検索方法は、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、前記画像検索手段が、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、さらに、前記画像検索手段が、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップとを含み、前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを含むことを特徴とする。
【００４１】
請求項１３の本発明の画像検索システムにおける画像検索方法は、前記画像検索手段において、前記色分布特徴量抽出ステップは、前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする。
【００４２】
請求項１４の本発明の画像検索システムにおける画像検索方法は、前記画像検索手段において、前記色分布特徴量抽出ステップは、前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする。
【００４３】
請求項１５の本発明の画像検索システムにおける画像検索方法は、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、前記画像検索手段が、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、さらに、前記画像検索手段が、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップとを含み、前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを含むことを特徴とする。
【００４４】
請求項１６の本発明の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体は、コンピュータに、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップを実行させ、前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを実行させ、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させることを特徴とする。
【００５５】
本発明の画像検索システムは、画像の周波数分布特徴量を復号して画像に変換し、変換された画像を複数のブロックに分割して得られる各ブロックより代表色を抽出してその集合を色分布特徴量として生成することにより、周波数分布特徴量から色分布特徴量への変換を実現する。また、色分布特徴量に含まれる各ブロックの代表色から各ブロックの平均色を算出し、各ブロックの平均色を画素とする画像を生成し、この画像を拡大縮小した上で周波数解析を行い周波数分布特徴量を生成することにより、色分布特徴量から周波数分布特徴量への変換を実現する。
【００５６】
このため、画像特徴量として色分布特徴量と周波数分布特徴量とが混在する場合においても、その特徴量の種類を相互に変換することにより種類を統一して類似性を判定することができる。
【００５７】
これにより、画像特徴量の種類に依存することなく類似画像の検索が実現される。また、色分布特徴量と周波数分布特徴量の一方の画像特徴量のみに類似度の判定機能が対応するシステムにおいても、いずれの画像特徴量に対してもその画像の類似度の算出や検索ができるようになる。
【００５８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５９】
図１は、本発明の一実施例における画像検索システムの処理を説明するためのフローチャートである。
【００６０】
図１の画像検索処理の例では、まず画像検索システムが、検索を問い合わせる画像である問合せ画像の画像特徴量の入力を受け付け、検索対象の各画像の画像特徴量のデータを参照する（ステップ１０１、１０２）。ここで、各画像の画像特徴量の種類は、色分布特徴量又は周波数分布特徴量のいずれかである。
【００６１】
ここで、問合せ画像と、検索対象の各画像の画像特徴量の種類が異なる場合には、類似度の判定や検索を行うことができないため、画像特徴量の種類を変換することにより双方の画像特徴量の種類を一致させる（ステップ１０３）。
【００６２】
そして、この変換された画像特徴量を用いて、問合せ画像の画像特徴量を、検索対象の各画像の画像特徴量のそれぞれと比較して類似度を算出し（ステップ１０４）、類似度の算出結果を出力する（ステップ１０５）。
【００６３】
ここで、検索対象画像のデータは、例えば、予めハードディスクや半導体メモリ等の記憶部に記憶されたデータを参照したり、通信ネットワークを介して外部のサーバに記憶されたデータを参照する等が可能である。
【００６４】
また、図１の例では、画像特徴量により、問合せ画像の受け付けや検索対象画像の参照をしているが、これは画像データのまま受け付けて（又、参照し）その画像データから画像特徴量を抽出し、ステップ１０３以下のステップを行う方式も同様に実施可能である。
【００６５】
また、このステップ１０３における、色分布特徴量と周波数分布特徴量との相互の画像特徴量の変換処理の方法は、以下の各実施の形態において詳細に説明される。
【００６６】
また、図１の例では、類似度の算出結果を出力して終了しているが、これ以外に、高い類似度の算出された画像を検索結果として出力する方式も同様に可能である。また、複数の検索対象の画像に対して、問合せ画像との類似度を算出する以外にも、検索対象の画像を１枚とし、この１枚の検索対象の画像と問合せ画像とによる類似度のデータを出力させる等の処理も同様に実施可能である。
【００６７】
第１の実施の形態
図２は、本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【００６８】
図２を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、周波数分布特徴量変換部２０、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０は、逆周波数変換部２１、画像分割部２２、色分布特徴量抽出部２３を備えている。
【００６９】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である画像の周波数分布特徴量を記憶する。ここで画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として画像を一定のサイズに変換した上で、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００７０】
図３は、本実施の形態の周波数分布特徴量変換部２０の処理を説明するためのフローチャートである。
【００７１】
周波数分布特徴量変換部２０において、まず逆周波数変換部２１は、周波数分布特徴量記憶部６２から読み出された周波数分布特徴量を逆周波数変換して、復号画像を生成し出力する（ステップ３０１）。逆周波数変換としては、周波数分布特徴量を生成する際の周波数解析方法として離散コサイン変換（ＤＣＴ）を用いた場合には逆離散コサイン変換（Inverse Discrete Cosine Transform：ＩＤＣＴ）を行い画像を復元する。
【００７２】
続いて、画像分割部２２は、入力された復号画像を定められた複数のブロックに分割する（ステップ３０２）。
【００７３】
そして、色分布特徴量抽出部２３は、画像分割部２２により分割された各ブロックにおいて色構成特徴量を決定し、その集合を色分布特徴量として抽出する（ステップ３０３）。ここで、各ブロックの色構成を表現する色構成特徴量とは、画像の各ブロックを表す代表色とその構成割合とからなる特徴量であり、各ブロックに含まれるすべての色についての頻度割合や、１つ又は複数の代表色とその色構成割合等を持たせることができる。
【００７４】
色分布類似度算出部４１は、問合せに用いる画像特徴量として入力された、問合せ画像の色分布特徴量と、周波数分布特徴量変換部２０によって生成された色分布特徴量との類似度を算出する。
【００７５】
次に、本実施の形態の画像検索システムの処理を、具体例を挙げて説明する。
【００７６】
まず、検索対象の各画像に対して、その画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値（の色、画素）を算出して、８画素×８画素の縮小画像を作成する。次に、この縮小画像に対してＤＣＴを施し、得られる係数を元の画像の周波数分布特徴量とする。この方法により、検索対象の各画像の周波数分布特徴量を抽出して、予め周波数分布特徴量記憶部６２に保存しておく。
【００７７】
ここで、色の平均とは、色のデータをＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等の各種の方法で示す場合における、数値データの平均値である。また、各種の色空間において、色の平均の独自の算出方法がある場合にはそれに従う。
【００７８】
また、問合せ画像に対して、その画像を例えば４×４＝１６個のブロックに分割した後、個々のブロックにおいて各ブロックを表す代表色とその構成割合とのデータによる色構成特徴量を抽出し、各ブロックとそのそれぞれの色構成特徴量の対応のデータの集合を問合せ画像の色分布特徴量とする。
【００７９】
ここで、問合せ画像の色分布特徴量を用いて、特徴の類似する画像を検索するためには、周波数分布特徴量記憶部６２に記憶される周波数分布特徴量のデータを色分布特徴量に変換し、双方をその色分布特徴量により比較して類似度を算出することになる。
【００８０】
このため画像検索システムは、まず、検索対象画像の周波数分布特徴量記憶部６２から読み出された周波数分布特徴量に対して、逆離散コサイン変換（ＩＤＣＴ）を行うことにより８画素ｘ８画素の画像を生成する。
【００８１】
次に、得られた８画素×８画素の画像を４×４＝１６個のブロックに分割した後、個々のブロックについてブロックを表す代表色と、その構成割合とからなる色構成特徴量を抽出する。
【００８２】
この結果、問合せ画像と検索対象画像を同一次元の特徴で比較することができるため、抽出された色構成特徴量の集合である色分布特徴量と、問合せ画像の色分布特徴量と比較しその類似度を算出することによって検索を実現する。
【００８３】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、これを変換した色分布特徴量と問合せ画像の色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【００８４】
以上説明したように、本実施の形態の画像検索システムによれば、画像特徴量である周波数分布特徴量を色分布特徴量に変換したものと、入力された色分布特徴量との類似度を算出することができる。また、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができるため、検索システムの構成規模を小さくすることができる。
【００８５】
更に、画像特徴量の種類が、色分布特徴量であるか周波数分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【００８６】
第２の実施の形態
図４は、本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。図４を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、周波数分布特徴量変換部２０、２０ａ、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０、２０ａは、それぞれ逆周波数変換部２１、２１ａ、画像分割部２２、２２ａ、色分布特徴量抽出部２３、２３ａを備えている。
【００８７】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である周波数分布特徴量を記憶する。
【００８８】
周波数分布特徴量記憶部６２の側の、周波数分布特徴量変換部２０においては、逆周波数変換部２１は、周波数分布特徴量記憶部６２から読み出された周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２は、入力された復号画像を複数のブロックに分割する。色分布特徴量抽出部２３は、画像分割部２２により分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００８９】
なお、ここで画像分割部２２が分割すべき（縦横の）ブロック数が、復号画像自体の（縦横の）画素数と一致する等の場合には、画像分割部２２は復号画像を分割する必要はない。この場合、色分布特徴量抽出部２３は、復号画像の各画素値を色構成特徴量として抽出すればよい。
【００９０】
問合せ画像の入力を受ける側の、周波数分布特徴量変換部２０ａにおいては、逆周波数変換部２１ａは、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２ａは、復号画像を複数のブロックに分割する。色分布特徴量抽出部２３ａは、画像分割部２２ａにより分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００９１】
色分布類似度算出部４１は、周波数分布特徴量変換部２０によって生成された色分布特徴量と、周波数分布特徴量変換部２０ａによって生成された色分布特徴量との類似度を算出する。
【００９２】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、これを変換した色分布特徴量と問合せ画像の周波数分布特徴量を変換した色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【００９３】
以上説明したように、本実施の形態の画像検索システムによれば、画像特徴量である周波数分布特徴量を色分布特徴量に変換したものと、入力された周波数分布特徴量を色分布特徴量に変換したものとの類似度を算出することができる。このため、周波数分布類似度算出部を備えずに色分布類似度算出部４１を備えるのみの場合においても、周波数分布特徴量の比較を行うことができる。
【００９４】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【００９５】
第３の実施の形態
図５は、本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。図５を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、周波数分布特徴量変換部２０ａ、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０ａは、逆周波数変換部２１ａ、画像分割部２２ａ、色分布特徴量抽出部２３ａを備えている。
【００９６】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【００９７】
周波数分布特徴量変換部２０ａにおいて、逆周波数変換部２１ａは、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２ａは、入力された復号画像を複数のブロックに分割する。色分布特徴量抽出部２３ａは、画像分割部２２ａにより分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００９８】
なお、ここで画像分割部２２が分割すべき（縦横の）ブロック数が、復号画像自体の（縦横の）画素数と一致する等の場合には、画像分割部２２は復号画像を分割する必要はない。この場合、色分布特徴量抽出部２３は、復号画像の各画素値を色構成特徴量として抽出すればよい。
【００９９】
色分布類似度算出部４１は、周波数分布特徴量変換部２０ａによって生成された色分布特徴量と、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量との類似度を算出する。
【０１００】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、その色分布特徴量と問合せ画像の周波数分布特徴量を変換した色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１０１】
以上説明したように、本実施の形態の画像検索システムによれば、入力された画像の周波数分布特徴量を色分布特徴量に変換したものと、画像特徴量である色分布特徴量との類似度を算出することができる。このため、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１０２】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１０３】
第４の実施の形態
図６は、本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。図６を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、色分布特徴量変換部３０、周波数分布類似度算出部４２を備えている。更に、色分布特徴量変換部３０は、代表色決定部３１、画像生成部３２、画像サイズ変換部３３、周波数分布特徴量抽出部３４を備えている。
【０１０４】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【０１０５】
図７は、本実施の形態の色分布特徴量変換部３０の処理を説明するためのフローチャートである。
【０１０６】
色分布特徴量変換部３０において、代表色決定部３１は、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成情報情報から各ブロックの代表色を決定する（ステップ７０１）。ここで、代表色の決定方法としては、色構成特徴量に含まれる色の平均値を、それぞれの色にその割合を乗算して全部加算することによって計算する方式や、平均値計算の際には、各色を異なる色空間（例えば、ＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等）に変換してから平均値を求める方式や、この他にも、最頻値、中央値等を代表色にする等の様々な方式が可能である、
画像生成部３２は、代表色決定部３１により算出された各ブロックの代表色から構成される画像を生成する（ステップ７０２）。
【０１０７】
画像サイズ変換部３３は、画像生成部３２より生成された画像のサイズを定められたサイズに変更する（ステップ７０３）。この変換後の画像サイズは、周波数分布特徴量を生成する際の元となる画像のサイズと一致させることができる。
【０１０８】
周波数分布特徴量抽出部３４は、画像サイズ変換部３３により得られる画像に対して周波数変換を行い、周波数分布特徴量を抽出する（ステップ７０４）。
【０１０９】
周波数分布類似度算出部４２は、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量と、色分布特徴量変換部３０によって生成された周波数分布特徴量との類似度を算出する。
【０１１０】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、これを変換した直交変換係数と問合せ画像の直交変換係数との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１１１】
次に、本実施の形態の画像検索システムの処理を具体例を挙げて概説する。
【０１１２】
まず、検索対象の各画像に対して、その画像を例えば４×４＝１６個のブロックに分割した後、個々のブロックについてブロックを表す代表色と、その構成割合とからなる色構成情報を抽出し、この集合を元の画像の色分布特徴量とする。この方法により、検索対象の各画像の色分布特徴量を抽出して、予め色分布特徴量記憶部６１に保存しておく。
【０１１３】
また、問合せ画像に対して、その画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値を算出して、８画素×８画素の縮小画像を作成し、この縮小画像に対してＤＣＴを施し、得られる係数を問合せ画像の周波数分布特徴量とする。
【０１１４】
ここで、問合せ画像の周波数分布特徴量を用いて、特徴の類似する画像を検索するためには、色分布特徴量記憶部６１に記憶される色分布特徴量のデータを周波数分布情報に変換し、双方をその周波数分布特徴量により比較して類似度を算出することになる。
【０１１５】
このため画像検索システムは、まず、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。代表色は、それぞれの色にその割合を乗算して、全部加算することによって計算することができる。
【０１１６】
そして、算出された各ブロックの代表色から構成される４画素×４画素の画像を生成する。
【０１１７】
次に、４×４画素の画像を、問合せ画像の周波数分布特徴量を生成する際に周波数変換を行う対象となる画像サイズである８×８画素に拡大する。
【０１１８】
次に、画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値を算出して、８画素×８画素の縮小画像を作成し、この縮小画像に対してＤＣＴを施し、得られる係数を検索対象画像の周波数分布特徴量として抽出する。
【０１１９】
この結果、問合せ画像と検索対象画像を同一次元の特徴で比較することができるため、抽出された周波数分布特徴量と、問合せ画像の周波数分布特徴量と比較しその類似度を算出することによって検索を実現する。
【０１２０】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された周波数分布特徴量と、画像特徴量である画像の色分布特徴量を周波数分布特徴量に変換したものとの類似度を算出することができる。このため、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１２１】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１２２】
第５の実施の形態
図８は、本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。図８を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、色分布特徴量変換部３０、３０ａ、周波数分布類似度算出部４２を備えている。更に、色分布特徴量変換部３０、３０ａは、それぞれ代表色決定部３１、３１ａ、画像生成部３２、３２ａ、画像サイズ変換部３３、３３ａ、周波数分布特徴量抽出部３４、３４ａを備えている。
【０１２３】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【０１２４】
色分布特徴量記憶部６１の側の色分布特徴量変換部３０においては、代表色決定部３１は、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色構成特徴量に含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１２５】
画像生成部３２は、代表色決定部３１により算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３は、画像生成部３２より生成された画像のサイズを変更する。画像サイズは、周波数分布特徴量を生成する際の元となる画像のサイズと一致させることができる。周波数分布特徴量抽出部３４は、画像サイズ変換部３３により得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１２６】
問合せ画像の入力を受ける側の、色分布特徴量変換部３０ａにおいては、代表色決定部３１ａは、問合せ画像の色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色ヒストグラムに含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１２７】
画像生成部３２ａは、代表色決定部３１ａにより算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３ａは、画像生成部３２ａより生成された画像のサイズを変更する。画像サイズは、画像と画像のサイズを一致させることができる。周波数分布特徴量抽出部３４ａは、画像サイズ変換部３３ａにより得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１２８】
周波数分布類似度算出部４２は、色分布特徴量変換部３０によって生成された周波数分布特徴量と、色分布特徴量変換部３０ａによって生成された周波数分布特徴量との類似度を算出する。
【０１２９】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、これを変換した周波数分布特徴量と問合せ画像の色分布特徴量を変換した周波数分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１３０】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された画像の色分布特徴量を周波数分布特徴量に変換したものと、画像特徴量である画像の色分布特徴量を周波数分布特徴量に変換したものとの類似度を算出することができる。このため、色分布類似度の算出機能を備えない場合にも、色分布特徴量の比較を周波数分布類似度の算出機能を利用して処理することができる。
【０１３１】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１３２】
第６の実施の形態
図９は、本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。図９を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、色分布特徴量変換部３０ａ、周波数分布類似度算出部４２を備えている。また、色分布特徴量変換部３０ａは、代表色決定部３１ａ、画像生成部３２ａ、画像サイズ変換部３３ａ、周波数分布特徴量抽出部３４ａを備えている。
【０１３３】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である画像の周波数分布特徴量を記憶する。
【０１３４】
色分布特徴量変換部３０ａにおいて、代表色決定部３１ａは、問合せ画像の色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色構成特徴量に含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１３５】
画像生成部３２ａは、代表色決定部３１ａにより算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３ａは、画像生成部３２ａより生成された画像のサイズを変更する。画像サイズは、画像と画像のサイズを一致させることができる。周波数分布特徴量抽出部３４ａは、画像サイズ変換部３３ａにより得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１３６】
周波数分布類似度算出部４２は、色分布特徴量変換部３０ａによって生成された周波数分布特徴量と、検索対象画像の周波数分布特徴量記憶部６２から読み出された周波数分布特徴量との類似度を算出する。
【０１３７】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、この周波数分布特徴量と問合せ画像の色分布特徴量を変換した周波数分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量の記憶されている複数の検索対象画像中から特定することができる。
【０１３８】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された画像の色分布特徴量を周波数分布特徴量に変換したものと、画像特徴量である画像の周波数分布特徴量との類似度を算出することができる。このため、色分布情報と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１３９】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１４０】
次に、本発明の検索システムに対して行った検索精度の実験を説明する。
【０１４１】
ここでは、本発明の検索システムによる検索処理を、画像５４６６枚のデータを記録するデータベースを用いて実験を行った。
【０１４２】
この際、５０枚の問合せ画像に対して、それぞれに主観評価によって類似している画像が事前に選定されていて、正解として定めている。問合せ画像と、データベースに含まれる画像の、画像特徴量間の類似度が近い順に並べ替えて、上位ｎ位以内に含まれる正解画像の順位及び数を“正規化平均検索順位”として評価することによって、検索性能を評価する。なお、正規化平均検索順位とは、上位ｎ位以内に検出された正解画像の順位の平均値から、正解画像が全て最上位で検出された場合の順位の平均値を引いた値を０から１の間に正規化した値とし、この値が小さいほど性能が高いことになる。なお、この“ｎ”は、事前に選定された正解画像数の４倍とし、上位ｎ位に検出されなかった正解画像については、全てｎ＋１位として検出されたものとして扱った。
【０１４３】
画像特徴量としては、以下の２種類を用意した。
【０１４４】
１つ目の画像特徴量としては、画像の周波数分布特徴量を利用する。生成方法は以下のようにして行った。静止画像を８×８ブロックに分割し、各ブロックの平均色を算出して、固定サイズ（８画素×８画素）の縮小画像を生成する。次に、縮小画像に対して離散コサイン変換（ＤＣＴ変換）を行い、得られた係数の内、輝度信号と色差信号の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量Ａとした。
【０１４５】
さらにもう一方の画像特徴量としては、色分布特徴量を利用する。静止画像を８×８ブロックに分割し、各ブロックから色構成情報を抽出し利用する。各ブロックから、１つ又は複数の代表色とその頻度を抽出して色分布特徴量Ａとした。
【０１４６】
次に、この周波数分布特徴量Ａ（ＤＣＴ係数）を、以下の方法によって色分布特徴量Ｂに変換する。
【０１４７】
まず、周波数分布特徴量ＡのＤＣＴ係数を逆直交変換し、８×８画素の画像を生成する。そして、８×８画素の画像の各画素をブロックとみなし、各ブロックより画素の色と割合（１００％）を色構成情報として抽出する。抽出された色構成情報の集合を、色分布特徴量Ｂと呼ぶ。
【０１４８】
また、この色分布特徴量Ａを、以下の方法によって周波数分布特徴量Ｂ（ＤＣＴ係数）に変換する。
【０１４９】
まず、各ブロックの色頻度の割合と画素値の積を各代表色について求め、その総和を平均色情報とする。次に、各ブロックの平均色からなる８×８画素の画像を生成する。そして生成された８×８画素の画像に対して、ＤＣＴ変換を行い、得られた係数の内輝度信号と色差信号の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量Ｂを生成する。
【０１５０】
周波数分布特徴量Ａと周波数分布特徴量Ｂのデータサイズ、及び色分布特徴量Ａと色分布特徴量Ｂのデータサイズをそれぞれほぼ同じにした上で、それぞれの画像特徴量を用いて検索を行った場合の、正規化平均検索順位を算出した。
【０１５１】
表１は、画像特徴量として周波数分布特徴量を用いた場合の、正規化平均検索順位を示し、表２は、画像特徴量として色分布特徴量を用いた場合の、正規化平均検索順位を示している。
【０１５２】
【表１】
【０１５３】
【表２】
【０１５４】
表１から、色分布特徴量を、原画像から生成する場合と比べて、周波数分布特徴量を変換して生成した色分布特徴量を利用した場合の正規化平均検索順位は４分の３程度の性能が得られていることがわかる。また、表２から、周波数分布特徴量を、原画像から生成する場合と比べて、色分布特徴量を変換して生成した周波数分布特徴量を利用した場合の正規化平均検索順位はほぼ一致しており、殆ど検索性能を損なう恐れがないことがわかる。
【０１５５】
このため、色分布特徴量と周波数分布特徴量との両方を同一の類似度算出部で取り扱うことができ、検索性能を大きく損なうことなく、システム構成を簡易化した画像検索システムを提供できることがわかる。
【０１５６】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１５７】
また、図１０は、本発明の画像検索システムのその他の実施の形態の構成を示すブロック図である。
【０１５８】
図１０の例の画像検索システムにおいては、検索処理部１００ｆが、問合せ画像特徴量入力部５０からの問合せ画像の画像特徴量の入力を受け、検索対象画像特徴量記憶部６０に対して検索対象の各画像の画像特徴量を参照し、その類似度を判定して出力する。
【０１５９】
また、検索処理部１００ｆには、画像特徴量の種類を変換するデータ処理部１０と、類似度を算出する類似度算出部４０を備えている。
【０１６０】
ここで、図１０の例の画像検索システムにおいては、問合せ画像や検索対象画像の画像特徴量が、周波数分布特徴量と色分布特徴量のいずれの場合にも適正に検索を行うことができるように、データ処理部１０においては、周波数分布特徴量変換部２０と色分布特徴量変換部３０の双方を備え、又類似度算出部４０においても、色分布類似度算出部４１と周波数分布類似度算出部４２の双方を備える。
【０１６１】
ここで、データ処理部１０は、問合せ画像特徴量入力部５０から入力される画像特徴量や、検索対象画像特徴量記憶部６０を参照して取得する画像特徴量を、切替部１１により適切に切り換えて、変換の必要な画像特徴量を変換しそうでないものはそのまま類似度算出部４０に渡す。
【０１６２】
そして、類似度算出部４０においても、データ処理部１０から渡される画像特徴量を、切替部１１により適切に切り換えて、色分布類似度算出部４１と周波数分布類似度算出部４２との、画像特徴量の種類に対応する側に渡して類似度を算出しこれを出力する。
【０１６３】
このため、本実施の形態の画像検索システムでは、色分布特徴量と周波数分布特徴量との両方を自由に取り扱うことができ、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１６４】
また、上記各実施の形態の画像検索システムは、色構成情報における色の種類は特定の色空間に限らず、例えばＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等の様々な色空間に適応することができる。
【０１６５】
また、代表色の決定方法としては、全ての成分色に対して加算し平均する必要はなく、一部の成分色のみの平均値を用いる方式も可能である。
【０１６６】
また、特徴量記憶部や類似度算出部等の各部を、全て同一の装置内に備える必要はなく、複数の装置に分散して設置されるものとしてもしてもよい。例えば、検索対象の画像のデータを、通信ネットワークを介して参照する形態も同様に可能である。
【０１６７】
なお、上記各実施の形態の画像検索システムは、データ処理部１０、周波数分布特徴量変換部２０、２０ａ、色分布特徴量変換部３０、３０ａ、類似度算出部４０、色分布類似度算出部４１、周波数分布類似度算出部４２等の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンピュータプログラムは、磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭその他の記録媒体９０、９０ａ、９０ｂ、９０ｃ、９０ｄ、９０ｅ、９０ｆに格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１６８】
以上好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１６９】
【発明の効果】
以上説明したように本発明の画像検索システム及びその画像検索方法によれば、画像特徴量を変換してその種類を統一することによって、使用されている画像特徴量の種類が周波数分布特徴量であるか色分布特徴量であるかにかかわらず、問合せ画像の類似画像を検索対象となる画像中から特定することができ、かつ良好な検索性能を実現し、更に異なる画像特徴量に対しても同一の類似度の判定機能を適用することができるため画像検索システムの構成の簡易化が実現される。
【図面の簡単な説明】
【図１】 本発明の一実施例における画像検索システムの処理を説明するためのフローチャートである。
【図２】 本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【図３】 本発明の一実施例における周波数分布特徴量変換部の処理を説明するためのフローチャートである。
【図４】 本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。
【図５】 本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。
【図６】 本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。
【図７】 本発明の一実施例における色分布特徴量変換部の処理を説明するためのフローチャートである。
【図８】 本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。
【図９】 本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。
【図１０】 本発明のその他の実施の形態の画像検索システムの構成を示すブロック図である。
【図１１】 従来の画像検索システムの主要な構成を示すブロック図である。
【図１２】 従来の画像検索システムの主要な構成を示すブロック図である。
【符号の説明】
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ 検索処理部
１０ データ処理部
１１ 切替部
２０、２０ａ 周波数分布特徴量変換部
２１、２１ａ 逆周波数変換部
２２、２２ａ 画像分割部
２３、２３ａ 色分布特徴量抽出部
３０、３０ａ 色分布特徴量変換部
３１、３１ａ 代表色決定部
３２、３２ａ 画像生成部
３３、３３ａ 画像サイズ変換部
３４、３４ａ 周波数分布特徴量抽出部
４０ 類似度算出部
４１ 色分布類似度算出部
４２ 周波数分布類似度算出部
４３ 切替部
５０ 問合せ画像特徴量入力部
６０ 検索対象画像特徴量記憶部
６１ 色分布特徴量記憶部
６２ 周波数分布特徴量記憶部
９０、９０ａ、９０ｂ、９０ｃ、９０ｄ、９０ｅ、９０ｆ 記録媒体
【発明の属する技術分野】
本発明は、個々の画像の類似性を判定し、指定された画像に類似する画像を検索する画像検索に関し、特に、画像の特徴が異なる方式により示される場合にも、その各方式による画像特徴量を基に画像の類似性を判定し又類似する画像を検索する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】
従来より、画像の特徴をデータ化して画像特徴量により示し、画像特徴量を用いて各画像の類似性を判定し、又類似する画像を（例えば、蓄積されている画像の中から）検索する画像検索が行われており、そのための装置やコンピュータプログラムが開発されている。
【０００３】
こうした画像検索の従来の技術では、主として、画像中に含まれる色の構成を表現する特徴量（以降、色構成特徴量と呼ぶ）を用いて、この色構成の類似性から類似画像を検索する方法が採用されている。
【０００４】
ここで、色構成特徴量とは、画像内の代表色とその構成割合等により画像の色構成を表現する画像特徴量であり、又、画像に含まれるすべての色についての頻度割合や、１つ又は複数の代表色とその色構成割合等を用いることもできる。
【０００５】
しかし、この色構成特徴量を用いる方式では、画像中の物体の持つ形状や位置関係といった画像の構造特徴を反映することができないという問題点がある。
【０００６】
ここで、画像の持つ構造特徴を反映させるための従来の技術の一例が、特開平１１−３１６８１９号公報に開示されている。特開平１１−３１６８１９号公報の従来技術では、画像を複数のブロックに分割して各ブロック中に含まれる色構成特徴量を計算し、その各ブロック毎の色構成特徴量の値の集合を色分布特徴量として、これを類似性の判定や検索に用いる方法が提案されている。この色分布特徴量では、各ブロック毎の色構成特徴量が示されるため、画像の持つ構造特徴を類似性の判定に反映することができる。
【０００７】
更に他の方法として、画像の持つ色構造を周波数領域で表現した周波数分布特徴量を画像特徴量として利用する従来の画像検索システムが、特開２０００−２５９８３２号公報に開示されている。
【０００８】
ここで、画像の周波数分布特徴量とは、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、周波数解析して得られた帯域毎のエネルギーを示す画像特徴量である。
【０００９】
図１１は、この特開２０００−２５９８３２号公報の画像検索システムの要部の構成を示すブロック図である。この従来の画像検索システムでは、入力される画像データ１０１から周波数分布特徴量１０３を生成する画像特徴量生成部１０２と、検索対象の画像の周波数分布特徴量を予め記憶しておく周波数分布特徴量記憶部１０４と、入力された画像の周波数分布特徴量１０３と周波数分布特徴量記憶部１０４に記憶された特徴量１０５とを用いて類似度１０７を算出する類似度算出部１０６を備えている。ここで、画像特徴量生成部１０２では、画像データ１０１から縮小画像１１１を生成する縮小画像生成手段１１０と、生成された縮小画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる直交変換係数１１３の内、直流成分及び一部交流成分を周波数分布特徴量１０３として抽出する直流成分及び一部交流成分抽出手段１１４を備えている。
【００１０】
以上のように、画像特徴量の例としては、色構成特徴量、色分布特徴量、周波数分布特徴量等があり、これらを用いることにより画像の類似性の判定や画像の検索を行うことができる。
【００１１】
また、特開平０９−２３７３４３号公報に開示された従来技術では、この内の色構成特徴量として色ヒストグラムを用い、周波数分布特徴量として直交変換係数とを混在させた画像検索システムが提案されている。
【００１２】
図１２は、この特開平０９−２３７３４３号公報の画像検索システムの要部の構成を示すブロック図である。この従来の画像検索システムでは、画像特徴量を入力するための入力装置２０１と、画像特徴量を記憶する画像特徴量記憶部２０２と、入力装置２０１から入力された画像特徴量と画像特徴量記憶部２０２に記憶されている画像特徴量との間の類似度を算出する類似度算出部２０３を備えている。
【００１３】
この画像特徴量記憶部２０２は、画像の周波数分布特徴量を記憶する直交変換係数記憶部２０４と、色構成情報を記憶する色ヒストグラム記憶部２０５を備えている。
【００１４】
類似度算出部２０３は、画像特徴量判定手段２０６と、色ヒストグラム類似度算出手段２０７と、直交変換係数類似度算出手段２０８を備えている。画像特徴量判定手段２０６は、入力装置２０１から入力された画像特徴量２０９が、色ヒストグラム情報であるか又は直交変換係数であるかを判定する。色ヒストグラム類似度算出手段２０７は、画像特徴量判定手段２０６で色ヒストグラム情報と判定された場合に、画像特徴量判定手段２０６から出力された色ヒストグラム情報からなる画像特徴量２１０と、色ヒストグラム記憶部２０５から読み出された色ヒストグラム情報２１１との類似度２１２を算出する。直交変換係数類似度算出手段２０８は、画像特徴量判定手段２０６で直交変換係数と判定された場合に、画像特徴量判定手段２０６から出力された直交変換係数からなる画像特徴量２１３と、直交変換係数記憶部２０４から読み出された直交変換係数２１４との類似度２１５を算出する。
【００１５】
このように、複数種類の画像特徴量が混在した環境で画像検索を行うためには、問合せ画像の特徴量に対応した画像特徴量データベース及び類似度算出手段が必要となるため、画像特徴量の種類分の類似度算出手段及び画像特徴量データベースを備えることが必要であり、このため装置も複雑になり製造コストも高くなるといる問題点があった。
【００１６】
特願２０００−２７０７００号公報に開示された従来技術では、この問題点を解決するために、色構成特徴量及び周波数分布特徴量を用いた画像検索とが混在する場合においても、簡易な装置構成により画像検索を実現する画像検索システムが提案されている。
【００１７】
この特願２０００−２７０７００号公報の画像検索システムでは、装置内に周波数分布の類似度算出手段のみを備える場合に、問合せ画像や検索対象画像の特徴量が色構成特徴量であった場合には、その色構成特徴量から平均色を算出し周波数分布特徴量に変換した上で、その周波数分布特徴量に基づいて類似度計算を行う。
【００１８】
また、色構成特徴量の類似度算出手段のみを備える場合に、問合せ画像や検索対象画像の特徴量が周波数分布特徴量であった場合には、周波数分布特徴量を逆変換することにより画像を復元し復元された画像の色構成情報を抽出した上で、その色分布特徴量に基づいて類似度計算を行う。
【００１９】
また、システムが周波数分布特徴量の類似度算出手段のみを備える場合、問合せ画像や検索対象画像の特徴量が色構成特徴量であった場合には、色構成特徴量から平均色を算出し、平均色を周波数分布特徴量の直流成分とすることにより変換した上で、その周波数分布特徴量に基づいて類似度計算を行う。
【００２０】
この結果、色構成特徴量や周波数分布特徴量により特徴量が示される画像の類似性の判定や検索を、いずれか１種類の類似度算出手段を備えるのみで実行することができる。
【００２１】
しかし、画像の構造特徴を持つ画像特徴量である色分布特徴量と周波数分布特徴量との間の、画像特徴量の相互変換方法は実現されていなかった。
【００２２】
【発明が解決しようとする課題】
上述したように従来の装置では、以下に述べるような問題点があった。
【００２３】
第１に、画像の特徴を示す画像特徴量には様々な種類があり、画像の比較や検索を行うためには、共通の種類の画像特徴量を比較（検索）対象の双方の画像のそれぞれに用意することが必要であった。
【００２４】
また、たとえ双方の画像の共通の種類の画像特徴量を備えたとしても、その画像特徴量に基づく比較や検索の機能を画像検索システムの側が備える必要があった。画像検索システムが、分布特徴量や周波数分布特徴量等の様々な種類の画像特徴量に基づく比較や検索を実現するためには、そのそれぞれの画像特徴量に基づく類似度算出手段を備える必要があり、このため装置も複雑になり製造コストも高くなるといる問題点があった。
【００２５】
第２に、従来の装置では、色分布特徴量と周波数分布特徴量のそれぞれにより特徴量が示される画像の比較を行うことができなかった。これは従来では、色分布特徴量と周波数分布特徴量と間における、実用に値するレベルの交互変換の技術が実現されていなかったからである。
【００２６】
例えば、問合せ画像の画像特徴量が周波数分布特徴量である場合には、この問合せ画像に類似する画像を、検索対象画像の色分布特徴量を記録するデータベースから検索することができなかった。
【００２７】
本発明の第１の目的は、上記従来技術の欠点を解決し、色分布特徴量又は周波数分布特徴量により特徴が示される各画像の比較や検索を、検索性能を損なうことなく簡易な装置構成により実現する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体を提供することである。
【００２８】
本発明の第２の目的は、上記従来技術の欠点を解決し、各画像の画像特徴量が、画像の周波数分布特徴量であるか色分布特徴量であるかにかかわらず、その比較や検索を実現する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体を提供することである。
【００２９】
【課題を解決するための手段】
上記目的を達成するため本発明の画像検索システムは、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換手段と、前記変換画像を定められた複数のブロックに分割する画像分割手段と、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出手段とから構成される周波数分布特徴量変換手段を備え、前記周波数分布特徴量生成手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出手段を備えることを特徴とする。
【００３０】
請求項２の本発明の画像検索システムは、前記色分布特徴量抽出手段は、前記画像分割手段により分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする。
【００３１】
請求項３の本発明の画像検索システムは、前記色分布特徴量抽出手段は、前記画像分割手段により分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする。
【００３２】
請求項４の本発明の画像検索システムは、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定手段と、各前記ブロックの代表色を画素とする画像を生成する画像生成手段と、前記画像生成手段により生成された画像のサイズを、定められたサイズに変換する画像サイズ変換手段と、前記画像サイズ変換手段により変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出手段とから構成される色分布特徴量変換手段を備え、前記色分布特徴量変換手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出手段を備えることを特徴とする。
【００３３】
請求項５の本発明の画像検索システムは、前記検索対象の各画像を、前記画像特徴量の種類を変換する対象として設定し、前記検索対象の各画像の画像特徴量の種類を変換して、前記問合せ画像の画像特徴量の種類に一致させることを特徴とする。
【００３４】
請求項６の本発明の画像検索システムは、前記問合せ画像を、前記画像特徴量の種類を変換する対象として設定し、前記問合せ画像の画像特徴量の種類を変換して、前記検索対象の各画像の画像特徴量の種類に一致させることを特徴とする。
【００３５】
請求項７の本発明の画像検索システムは、前記問合せ画像と前記検索対象の各画像の双方を、前記画像特徴量の種類を変換する対象として設定し、前記問合せ画像及び前記検索対象の各画像の画像特徴量の種類を変換することを特徴とする。
【００３６】
請求項８の本発明の画像検索システムは、前記問合せ画像の画像特徴量の種類を変換する回路と、前記検索対象の各画像の画像特徴量の種類を変換する回路とを、それぞれに独立に備えることを特徴とする。
【００３７】
請求項９の本発明の画像検索システムは、前記色分布特徴量は、特徴を示す対象である画像を、定められた複数のブロックに分割し、各前記ブロックの代表色を判定し、各前記ブロックのそれぞれに対応する前記代表色のデータとして生成される画像特徴量とすることを特徴とする。
【００３８】
請求項１０の本発明の画像検索システムは、前記周波数分布特徴量は、特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換を施すことにより生成される画像特徴量とすることを特徴とする。
【００３９】
請求項１１の本発明の画像検索システムは、前記周波数分布特徴量は、特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換及び量子化を施すことにより生成される画像特徴量とすることを特徴とする。
【００４０】
請求項１２の本発明の画像検索システムにおける画像検索方法は、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、前記画像検索手段が、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、さらに、前記画像検索手段が、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップとを含み、前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを含むことを特徴とする。
【００４１】
請求項１３の本発明の画像検索システムにおける画像検索方法は、前記画像検索手段において、前記色分布特徴量抽出ステップは、前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする。
【００４２】
請求項１４の本発明の画像検索システムにおける画像検索方法は、前記画像検索手段において、前記色分布特徴量抽出ステップは、前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする。
【００４３】
請求項１５の本発明の画像検索システムにおける画像検索方法は、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、前記画像検索手段が、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、さらに、前記画像検索手段が、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップとを含み、前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを含むことを特徴とする。
【００４４】
請求項１６の本発明の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体は、コンピュータに、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップを実行させ、前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを実行させ、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させることを特徴とする。
【００５５】
本発明の画像検索システムは、画像の周波数分布特徴量を復号して画像に変換し、変換された画像を複数のブロックに分割して得られる各ブロックより代表色を抽出してその集合を色分布特徴量として生成することにより、周波数分布特徴量から色分布特徴量への変換を実現する。また、色分布特徴量に含まれる各ブロックの代表色から各ブロックの平均色を算出し、各ブロックの平均色を画素とする画像を生成し、この画像を拡大縮小した上で周波数解析を行い周波数分布特徴量を生成することにより、色分布特徴量から周波数分布特徴量への変換を実現する。
【００５６】
このため、画像特徴量として色分布特徴量と周波数分布特徴量とが混在する場合においても、その特徴量の種類を相互に変換することにより種類を統一して類似性を判定することができる。
【００５７】
これにより、画像特徴量の種類に依存することなく類似画像の検索が実現される。また、色分布特徴量と周波数分布特徴量の一方の画像特徴量のみに類似度の判定機能が対応するシステムにおいても、いずれの画像特徴量に対してもその画像の類似度の算出や検索ができるようになる。
【００５８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５９】
図１は、本発明の一実施例における画像検索システムの処理を説明するためのフローチャートである。
【００６０】
図１の画像検索処理の例では、まず画像検索システムが、検索を問い合わせる画像である問合せ画像の画像特徴量の入力を受け付け、検索対象の各画像の画像特徴量のデータを参照する（ステップ１０１、１０２）。ここで、各画像の画像特徴量の種類は、色分布特徴量又は周波数分布特徴量のいずれかである。
【００６１】
ここで、問合せ画像と、検索対象の各画像の画像特徴量の種類が異なる場合には、類似度の判定や検索を行うことができないため、画像特徴量の種類を変換することにより双方の画像特徴量の種類を一致させる（ステップ１０３）。
【００６２】
そして、この変換された画像特徴量を用いて、問合せ画像の画像特徴量を、検索対象の各画像の画像特徴量のそれぞれと比較して類似度を算出し（ステップ１０４）、類似度の算出結果を出力する（ステップ１０５）。
【００６３】
ここで、検索対象画像のデータは、例えば、予めハードディスクや半導体メモリ等の記憶部に記憶されたデータを参照したり、通信ネットワークを介して外部のサーバに記憶されたデータを参照する等が可能である。
【００６４】
また、図１の例では、画像特徴量により、問合せ画像の受け付けや検索対象画像の参照をしているが、これは画像データのまま受け付けて（又、参照し）その画像データから画像特徴量を抽出し、ステップ１０３以下のステップを行う方式も同様に実施可能である。
【００６５】
また、このステップ１０３における、色分布特徴量と周波数分布特徴量との相互の画像特徴量の変換処理の方法は、以下の各実施の形態において詳細に説明される。
【００６６】
また、図１の例では、類似度の算出結果を出力して終了しているが、これ以外に、高い類似度の算出された画像を検索結果として出力する方式も同様に可能である。また、複数の検索対象の画像に対して、問合せ画像との類似度を算出する以外にも、検索対象の画像を１枚とし、この１枚の検索対象の画像と問合せ画像とによる類似度のデータを出力させる等の処理も同様に実施可能である。
【００６７】
第１の実施の形態
図２は、本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【００６８】
図２を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、周波数分布特徴量変換部２０、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０は、逆周波数変換部２１、画像分割部２２、色分布特徴量抽出部２３を備えている。
【００６９】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である画像の周波数分布特徴量を記憶する。ここで画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として画像を一定のサイズに変換した上で、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００７０】
図３は、本実施の形態の周波数分布特徴量変換部２０の処理を説明するためのフローチャートである。
【００７１】
周波数分布特徴量変換部２０において、まず逆周波数変換部２１は、周波数分布特徴量記憶部６２から読み出された周波数分布特徴量を逆周波数変換して、復号画像を生成し出力する（ステップ３０１）。逆周波数変換としては、周波数分布特徴量を生成する際の周波数解析方法として離散コサイン変換（ＤＣＴ）を用いた場合には逆離散コサイン変換（Inverse Discrete Cosine Transform：ＩＤＣＴ）を行い画像を復元する。
【００７２】
続いて、画像分割部２２は、入力された復号画像を定められた複数のブロックに分割する（ステップ３０２）。
【００７３】
そして、色分布特徴量抽出部２３は、画像分割部２２により分割された各ブロックにおいて色構成特徴量を決定し、その集合を色分布特徴量として抽出する（ステップ３０３）。ここで、各ブロックの色構成を表現する色構成特徴量とは、画像の各ブロックを表す代表色とその構成割合とからなる特徴量であり、各ブロックに含まれるすべての色についての頻度割合や、１つ又は複数の代表色とその色構成割合等を持たせることができる。
【００７４】
色分布類似度算出部４１は、問合せに用いる画像特徴量として入力された、問合せ画像の色分布特徴量と、周波数分布特徴量変換部２０によって生成された色分布特徴量との類似度を算出する。
【００７５】
次に、本実施の形態の画像検索システムの処理を、具体例を挙げて説明する。
【００７６】
まず、検索対象の各画像に対して、その画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値（の色、画素）を算出して、８画素×８画素の縮小画像を作成する。次に、この縮小画像に対してＤＣＴを施し、得られる係数を元の画像の周波数分布特徴量とする。この方法により、検索対象の各画像の周波数分布特徴量を抽出して、予め周波数分布特徴量記憶部６２に保存しておく。
【００７７】
ここで、色の平均とは、色のデータをＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等の各種の方法で示す場合における、数値データの平均値である。また、各種の色空間において、色の平均の独自の算出方法がある場合にはそれに従う。
【００７８】
また、問合せ画像に対して、その画像を例えば４×４＝１６個のブロックに分割した後、個々のブロックにおいて各ブロックを表す代表色とその構成割合とのデータによる色構成特徴量を抽出し、各ブロックとそのそれぞれの色構成特徴量の対応のデータの集合を問合せ画像の色分布特徴量とする。
【００７９】
ここで、問合せ画像の色分布特徴量を用いて、特徴の類似する画像を検索するためには、周波数分布特徴量記憶部６２に記憶される周波数分布特徴量のデータを色分布特徴量に変換し、双方をその色分布特徴量により比較して類似度を算出することになる。
【００８０】
このため画像検索システムは、まず、検索対象画像の周波数分布特徴量記憶部６２から読み出された周波数分布特徴量に対して、逆離散コサイン変換（ＩＤＣＴ）を行うことにより８画素ｘ８画素の画像を生成する。
【００８１】
次に、得られた８画素×８画素の画像を４×４＝１６個のブロックに分割した後、個々のブロックについてブロックを表す代表色と、その構成割合とからなる色構成特徴量を抽出する。
【００８２】
この結果、問合せ画像と検索対象画像を同一次元の特徴で比較することができるため、抽出された色構成特徴量の集合である色分布特徴量と、問合せ画像の色分布特徴量と比較しその類似度を算出することによって検索を実現する。
【００８３】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、これを変換した色分布特徴量と問合せ画像の色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【００８４】
以上説明したように、本実施の形態の画像検索システムによれば、画像特徴量である周波数分布特徴量を色分布特徴量に変換したものと、入力された色分布特徴量との類似度を算出することができる。また、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができるため、検索システムの構成規模を小さくすることができる。
【００８５】
更に、画像特徴量の種類が、色分布特徴量であるか周波数分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【００８６】
第２の実施の形態
図４は、本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。図４を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、周波数分布特徴量変換部２０、２０ａ、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０、２０ａは、それぞれ逆周波数変換部２１、２１ａ、画像分割部２２、２２ａ、色分布特徴量抽出部２３、２３ａを備えている。
【００８７】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である周波数分布特徴量を記憶する。
【００８８】
周波数分布特徴量記憶部６２の側の、周波数分布特徴量変換部２０においては、逆周波数変換部２１は、周波数分布特徴量記憶部６２から読み出された周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２は、入力された復号画像を複数のブロックに分割する。色分布特徴量抽出部２３は、画像分割部２２により分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００８９】
なお、ここで画像分割部２２が分割すべき（縦横の）ブロック数が、復号画像自体の（縦横の）画素数と一致する等の場合には、画像分割部２２は復号画像を分割する必要はない。この場合、色分布特徴量抽出部２３は、復号画像の各画素値を色構成特徴量として抽出すればよい。
【００９０】
問合せ画像の入力を受ける側の、周波数分布特徴量変換部２０ａにおいては、逆周波数変換部２１ａは、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２ａは、復号画像を複数のブロックに分割する。色分布特徴量抽出部２３ａは、画像分割部２２ａにより分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００９１】
色分布類似度算出部４１は、周波数分布特徴量変換部２０によって生成された色分布特徴量と、周波数分布特徴量変換部２０ａによって生成された色分布特徴量との類似度を算出する。
【００９２】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、これを変換した色分布特徴量と問合せ画像の周波数分布特徴量を変換した色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【００９３】
以上説明したように、本実施の形態の画像検索システムによれば、画像特徴量である周波数分布特徴量を色分布特徴量に変換したものと、入力された周波数分布特徴量を色分布特徴量に変換したものとの類似度を算出することができる。このため、周波数分布類似度算出部を備えずに色分布類似度算出部４１を備えるのみの場合においても、周波数分布特徴量の比較を行うことができる。
【００９４】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【００９５】
第３の実施の形態
図５は、本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。図５を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、周波数分布特徴量変換部２０ａ、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０ａは、逆周波数変換部２１ａ、画像分割部２２ａ、色分布特徴量抽出部２３ａを備えている。
【００９６】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【００９７】
周波数分布特徴量変換部２０ａにおいて、逆周波数変換部２１ａは、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２ａは、入力された復号画像を複数のブロックに分割する。色分布特徴量抽出部２３ａは、画像分割部２２ａにより分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００９８】
なお、ここで画像分割部２２が分割すべき（縦横の）ブロック数が、復号画像自体の（縦横の）画素数と一致する等の場合には、画像分割部２２は復号画像を分割する必要はない。この場合、色分布特徴量抽出部２３は、復号画像の各画素値を色構成特徴量として抽出すればよい。
【００９９】
色分布類似度算出部４１は、周波数分布特徴量変換部２０ａによって生成された色分布特徴量と、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量との類似度を算出する。
【０１００】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、その色分布特徴量と問合せ画像の周波数分布特徴量を変換した色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１０１】
以上説明したように、本実施の形態の画像検索システムによれば、入力された画像の周波数分布特徴量を色分布特徴量に変換したものと、画像特徴量である色分布特徴量との類似度を算出することができる。このため、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１０２】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１０３】
第４の実施の形態
図６は、本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。図６を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、色分布特徴量変換部３０、周波数分布類似度算出部４２を備えている。更に、色分布特徴量変換部３０は、代表色決定部３１、画像生成部３２、画像サイズ変換部３３、周波数分布特徴量抽出部３４を備えている。
【０１０４】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【０１０５】
図７は、本実施の形態の色分布特徴量変換部３０の処理を説明するためのフローチャートである。
【０１０６】
色分布特徴量変換部３０において、代表色決定部３１は、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成情報情報から各ブロックの代表色を決定する（ステップ７０１）。ここで、代表色の決定方法としては、色構成特徴量に含まれる色の平均値を、それぞれの色にその割合を乗算して全部加算することによって計算する方式や、平均値計算の際には、各色を異なる色空間（例えば、ＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等）に変換してから平均値を求める方式や、この他にも、最頻値、中央値等を代表色にする等の様々な方式が可能である、
画像生成部３２は、代表色決定部３１により算出された各ブロックの代表色から構成される画像を生成する（ステップ７０２）。
【０１０７】
画像サイズ変換部３３は、画像生成部３２より生成された画像のサイズを定められたサイズに変更する（ステップ７０３）。この変換後の画像サイズは、周波数分布特徴量を生成する際の元となる画像のサイズと一致させることができる。
【０１０８】
周波数分布特徴量抽出部３４は、画像サイズ変換部３３により得られる画像に対して周波数変換を行い、周波数分布特徴量を抽出する（ステップ７０４）。
【０１０９】
周波数分布類似度算出部４２は、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量と、色分布特徴量変換部３０によって生成された周波数分布特徴量との類似度を算出する。
【０１１０】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、これを変換した直交変換係数と問合せ画像の直交変換係数との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１１１】
次に、本実施の形態の画像検索システムの処理を具体例を挙げて概説する。
【０１１２】
まず、検索対象の各画像に対して、その画像を例えば４×４＝１６個のブロックに分割した後、個々のブロックについてブロックを表す代表色と、その構成割合とからなる色構成情報を抽出し、この集合を元の画像の色分布特徴量とする。この方法により、検索対象の各画像の色分布特徴量を抽出して、予め色分布特徴量記憶部６１に保存しておく。
【０１１３】
また、問合せ画像に対して、その画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値を算出して、８画素×８画素の縮小画像を作成し、この縮小画像に対してＤＣＴを施し、得られる係数を問合せ画像の周波数分布特徴量とする。
【０１１４】
ここで、問合せ画像の周波数分布特徴量を用いて、特徴の類似する画像を検索するためには、色分布特徴量記憶部６１に記憶される色分布特徴量のデータを周波数分布情報に変換し、双方をその周波数分布特徴量により比較して類似度を算出することになる。
【０１１５】
このため画像検索システムは、まず、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。代表色は、それぞれの色にその割合を乗算して、全部加算することによって計算することができる。
【０１１６】
そして、算出された各ブロックの代表色から構成される４画素×４画素の画像を生成する。
【０１１７】
次に、４×４画素の画像を、問合せ画像の周波数分布特徴量を生成する際に周波数変換を行う対象となる画像サイズである８×８画素に拡大する。
【０１１８】
次に、画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値を算出して、８画素×８画素の縮小画像を作成し、この縮小画像に対してＤＣＴを施し、得られる係数を検索対象画像の周波数分布特徴量として抽出する。
【０１１９】
この結果、問合せ画像と検索対象画像を同一次元の特徴で比較することができるため、抽出された周波数分布特徴量と、問合せ画像の周波数分布特徴量と比較しその類似度を算出することによって検索を実現する。
【０１２０】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された周波数分布特徴量と、画像特徴量である画像の色分布特徴量を周波数分布特徴量に変換したものとの類似度を算出することができる。このため、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１２１】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１２２】
第５の実施の形態
図８は、本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。図８を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、色分布特徴量変換部３０、３０ａ、周波数分布類似度算出部４２を備えている。更に、色分布特徴量変換部３０、３０ａは、それぞれ代表色決定部３１、３１ａ、画像生成部３２、３２ａ、画像サイズ変換部３３、３３ａ、周波数分布特徴量抽出部３４、３４ａを備えている。
【０１２３】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【０１２４】
色分布特徴量記憶部６１の側の色分布特徴量変換部３０においては、代表色決定部３１は、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色構成特徴量に含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１２５】
画像生成部３２は、代表色決定部３１により算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３は、画像生成部３２より生成された画像のサイズを変更する。画像サイズは、周波数分布特徴量を生成する際の元となる画像のサイズと一致させることができる。周波数分布特徴量抽出部３４は、画像サイズ変換部３３により得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１２６】
問合せ画像の入力を受ける側の、色分布特徴量変換部３０ａにおいては、代表色決定部３１ａは、問合せ画像の色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色ヒストグラムに含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１２７】
画像生成部３２ａは、代表色決定部３１ａにより算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３ａは、画像生成部３２ａより生成された画像のサイズを変更する。画像サイズは、画像と画像のサイズを一致させることができる。周波数分布特徴量抽出部３４ａは、画像サイズ変換部３３ａにより得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１２８】
周波数分布類似度算出部４２は、色分布特徴量変換部３０によって生成された周波数分布特徴量と、色分布特徴量変換部３０ａによって生成された周波数分布特徴量との類似度を算出する。
【０１２９】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、これを変換した周波数分布特徴量と問合せ画像の色分布特徴量を変換した周波数分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１３０】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された画像の色分布特徴量を周波数分布特徴量に変換したものと、画像特徴量である画像の色分布特徴量を周波数分布特徴量に変換したものとの類似度を算出することができる。このため、色分布類似度の算出機能を備えない場合にも、色分布特徴量の比較を周波数分布類似度の算出機能を利用して処理することができる。
【０１３１】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１３２】
第６の実施の形態
図９は、本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。図９を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、色分布特徴量変換部３０ａ、周波数分布類似度算出部４２を備えている。また、色分布特徴量変換部３０ａは、代表色決定部３１ａ、画像生成部３２ａ、画像サイズ変換部３３ａ、周波数分布特徴量抽出部３４ａを備えている。
【０１３３】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である画像の周波数分布特徴量を記憶する。
【０１３４】
色分布特徴量変換部３０ａにおいて、代表色決定部３１ａは、問合せ画像の色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色構成特徴量に含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１３５】
画像生成部３２ａは、代表色決定部３１ａにより算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３ａは、画像生成部３２ａより生成された画像のサイズを変更する。画像サイズは、画像と画像のサイズを一致させることができる。周波数分布特徴量抽出部３４ａは、画像サイズ変換部３３ａにより得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１３６】
周波数分布類似度算出部４２は、色分布特徴量変換部３０ａによって生成された周波数分布特徴量と、検索対象画像の周波数分布特徴量記憶部６２から読み出された周波数分布特徴量との類似度を算出する。
【０１３７】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、この周波数分布特徴量と問合せ画像の色分布特徴量を変換した周波数分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量の記憶されている複数の検索対象画像中から特定することができる。
【０１３８】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された画像の色分布特徴量を周波数分布特徴量に変換したものと、画像特徴量である画像の周波数分布特徴量との類似度を算出することができる。このため、色分布情報と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１３９】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１４０】
次に、本発明の検索システムに対して行った検索精度の実験を説明する。
【０１４１】
ここでは、本発明の検索システムによる検索処理を、画像５４６６枚のデータを記録するデータベースを用いて実験を行った。
【０１４２】
この際、５０枚の問合せ画像に対して、それぞれに主観評価によって類似している画像が事前に選定されていて、正解として定めている。問合せ画像と、データベースに含まれる画像の、画像特徴量間の類似度が近い順に並べ替えて、上位ｎ位以内に含まれる正解画像の順位及び数を“正規化平均検索順位”として評価することによって、検索性能を評価する。なお、正規化平均検索順位とは、上位ｎ位以内に検出された正解画像の順位の平均値から、正解画像が全て最上位で検出された場合の順位の平均値を引いた値を０から１の間に正規化した値とし、この値が小さいほど性能が高いことになる。なお、この“ｎ”は、事前に選定された正解画像数の４倍とし、上位ｎ位に検出されなかった正解画像については、全てｎ＋１位として検出されたものとして扱った。
【０１４３】
画像特徴量としては、以下の２種類を用意した。
【０１４４】
１つ目の画像特徴量としては、画像の周波数分布特徴量を利用する。生成方法は以下のようにして行った。静止画像を８×８ブロックに分割し、各ブロックの平均色を算出して、固定サイズ（８画素×８画素）の縮小画像を生成する。次に、縮小画像に対して離散コサイン変換（ＤＣＴ変換）を行い、得られた係数の内、輝度信号と色差信号の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量Ａとした。
【０１４５】
さらにもう一方の画像特徴量としては、色分布特徴量を利用する。静止画像を８×８ブロックに分割し、各ブロックから色構成情報を抽出し利用する。各ブロックから、１つ又は複数の代表色とその頻度を抽出して色分布特徴量Ａとした。
【０１４６】
次に、この周波数分布特徴量Ａ（ＤＣＴ係数）を、以下の方法によって色分布特徴量Ｂに変換する。
【０１４７】
まず、周波数分布特徴量ＡのＤＣＴ係数を逆直交変換し、８×８画素の画像を生成する。そして、８×８画素の画像の各画素をブロックとみなし、各ブロックより画素の色と割合（１００％）を色構成情報として抽出する。抽出された色構成情報の集合を、色分布特徴量Ｂと呼ぶ。
【０１４８】
また、この色分布特徴量Ａを、以下の方法によって周波数分布特徴量Ｂ（ＤＣＴ係数）に変換する。
【０１４９】
まず、各ブロックの色頻度の割合と画素値の積を各代表色について求め、その総和を平均色情報とする。次に、各ブロックの平均色からなる８×８画素の画像を生成する。そして生成された８×８画素の画像に対して、ＤＣＴ変換を行い、得られた係数の内輝度信号と色差信号の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量Ｂを生成する。
【０１５０】
周波数分布特徴量Ａと周波数分布特徴量Ｂのデータサイズ、及び色分布特徴量Ａと色分布特徴量Ｂのデータサイズをそれぞれほぼ同じにした上で、それぞれの画像特徴量を用いて検索を行った場合の、正規化平均検索順位を算出した。
【０１５１】
表１は、画像特徴量として周波数分布特徴量を用いた場合の、正規化平均検索順位を示し、表２は、画像特徴量として色分布特徴量を用いた場合の、正規化平均検索順位を示している。
【０１５２】
【表１】
【表２】
表１から、色分布特徴量を、原画像から生成する場合と比べて、周波数分布特徴量を変換して生成した色分布特徴量を利用した場合の正規化平均検索順位は４分の３程度の性能が得られていることがわかる。また、表２から、周波数分布特徴量を、原画像から生成する場合と比べて、色分布特徴量を変換して生成した周波数分布特徴量を利用した場合の正規化平均検索順位はほぼ一致しており、殆ど検索性能を損なう恐れがないことがわかる。
【０１５５】
このため、色分布特徴量と周波数分布特徴量との両方を同一の類似度算出部で取り扱うことができ、検索性能を大きく損なうことなく、システム構成を簡易化した画像検索システムを提供できることがわかる。
【０１５６】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１５７】
また、図１０は、本発明の画像検索システムのその他の実施の形態の構成を示すブロック図である。
【０１５８】
図１０の例の画像検索システムにおいては、検索処理部１００ｆが、問合せ画像特徴量入力部５０からの問合せ画像の画像特徴量の入力を受け、検索対象画像特徴量記憶部６０に対して検索対象の各画像の画像特徴量を参照し、その類似度を判定して出力する。
【０１５９】
また、検索処理部１００ｆには、画像特徴量の種類を変換するデータ処理部１０と、類似度を算出する類似度算出部４０を備えている。
【０１６０】
ここで、図１０の例の画像検索システムにおいては、問合せ画像や検索対象画像の画像特徴量が、周波数分布特徴量と色分布特徴量のいずれの場合にも適正に検索を行うことができるように、データ処理部１０においては、周波数分布特徴量変換部２０と色分布特徴量変換部３０の双方を備え、又類似度算出部４０においても、色分布類似度算出部４１と周波数分布類似度算出部４２の双方を備える。
【０１６１】
ここで、データ処理部１０は、問合せ画像特徴量入力部５０から入力される画像特徴量や、検索対象画像特徴量記憶部６０を参照して取得する画像特徴量を、切替部１１により適切に切り換えて、変換の必要な画像特徴量を変換しそうでないものはそのまま類似度算出部４０に渡す。
【０１６２】
そして、類似度算出部４０においても、データ処理部１０から渡される画像特徴量を、切替部１１により適切に切り換えて、色分布類似度算出部４１と周波数分布類似度算出部４２との、画像特徴量の種類に対応する側に渡して類似度を算出しこれを出力する。
【０１６３】
このため、本実施の形態の画像検索システムでは、色分布特徴量と周波数分布特徴量との両方を自由に取り扱うことができ、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１６４】
また、上記各実施の形態の画像検索システムは、色構成情報における色の種類は特定の色空間に限らず、例えばＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等の様々な色空間に適応することができる。
【０１６５】
また、代表色の決定方法としては、全ての成分色に対して加算し平均する必要はなく、一部の成分色のみの平均値を用いる方式も可能である。
【０１６６】
また、特徴量記憶部や類似度算出部等の各部を、全て同一の装置内に備える必要はなく、複数の装置に分散して設置されるものとしてもしてもよい。例えば、検索対象の画像のデータを、通信ネットワークを介して参照する形態も同様に可能である。
【０１６７】
なお、上記各実施の形態の画像検索システムは、データ処理部１０、周波数分布特徴量変換部２０、２０ａ、色分布特徴量変換部３０、３０ａ、類似度算出部４０、色分布類似度算出部４１、周波数分布類似度算出部４２等の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンピュータプログラムは、磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭその他の記録媒体９０、９０ａ、９０ｂ、９０ｃ、９０ｄ、９０ｅ、９０ｆに格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１６８】
以上好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１６９】
【発明の効果】
以上説明したように本発明の画像検索システム及びその画像検索方法によれば、画像特徴量を変換してその種類を統一することによって、使用されている画像特徴量の種類が周波数分布特徴量であるか色分布特徴量であるかにかかわらず、問合せ画像の類似画像を検索対象となる画像中から特定することができ、かつ良好な検索性能を実現し、更に異なる画像特徴量に対しても同一の類似度の判定機能を適用することができるため画像検索システムの構成の簡易化が実現される。
【図面の簡単な説明】
【図１】 本発明の一実施例における画像検索システムの処理を説明するためのフローチャートである。
【図２】 本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【図３】 本発明の一実施例における周波数分布特徴量変換部の処理を説明するためのフローチャートである。
【図４】 本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。
【図５】 本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。
【図６】 本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。
【図７】 本発明の一実施例における色分布特徴量変換部の処理を説明するためのフローチャートである。
【図８】 本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。
【図９】 本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。
【図１０】 本発明のその他の実施の形態の画像検索システムの構成を示すブロック図である。
【図１１】 従来の画像検索システムの主要な構成を示すブロック図である。
【図１２】 従来の画像検索システムの主要な構成を示すブロック図である。
【符号の説明】
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ 検索処理部
１０ データ処理部
１１ 切替部
２０、２０ａ 周波数分布特徴量変換部
２１、２１ａ 逆周波数変換部
２２、２２ａ 画像分割部
２３、２３ａ 色分布特徴量抽出部
３０、３０ａ 色分布特徴量変換部
３１、３１ａ 代表色決定部
３２、３２ａ 画像生成部
３３、３３ａ 画像サイズ変換部
３４、３４ａ 周波数分布特徴量抽出部
４０ 類似度算出部
４１ 色分布類似度算出部
４２ 周波数分布類似度算出部
４３ 切替部
５０ 問合せ画像特徴量入力部
６０ 検索対象画像特徴量記憶部
６１ 色分布特徴量記憶部
６２ 周波数分布特徴量記憶部
９０、９０ａ、９０ｂ、９０ｃ、９０ｄ、９０ｅ、９０ｆ 記録媒体
Claims (19)
- 色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、
さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換手段と、
前記変換画像を定められた複数のブロックに分割する画像分割手段と、
各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出手段とから構成される周波数分布特徴量変換手段を備え、
前記周波数分布特徴量生成手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、
前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出手段を備えることを特徴とする画像検索システム。 - 前記色分布特徴量抽出手段は、
前記画像分割手段により分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする請求項１に記載の画像検索システム。 - 前記色分布特徴量抽出手段は、
前記画像分割手段により分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする請求項２に記載の画像検索システム。 - 色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、
さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定手段と、
各前記ブロックの代表色を画素とする画像を生成する画像生成手段と、
前記画像生成手段により生成された画像のサイズを、定められたサイズに変換する画像サイズ変換手段と、
前記画像サイズ変換手段により変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出手段とから構成される色分布特徴量変換手段を備え、
前記色分布特徴量変換手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、
前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出手段を備えることを特徴とする画像検索システム。 - 前記検索対象の各画像を、前記画像特徴量の種類を変換する対象として設定し、
前記検索対象の各画像の画像特徴量の種類を変換して、前記問合せ画像の画像特徴量の種類に一致させることを特徴とする請求項１から請求項４のいずれか一つに記載の画像検索システム。 - 前記問合せ画像を、前記画像特徴量の種類を変換する対象として設定し、
前記問合せ画像の画像特徴量の種類を変換して、前記検索対象の各画像の画像特徴量の種類に一致させることを特徴とする請求項１から請求項４のいずれか一つに記載の画像検索システム。 - 前記問合せ画像と前記検索対象の各画像の双方を、前記画像特徴量の種類を変換する対象として設定し、
前記問合せ画像及び前記検索対象の各画像の画像特徴量の種類を変換することを特徴とする請求項１から請求項４のいずれか一つに記載の画像検索システム。 - 前記問合せ画像の画像特徴量の種類を変換する回路と、前記検索対象の各画像の画像特徴量の種類を変換する回路とを、それぞれに独立に備えることを特徴とする請求項７に記載の画像検索システム。
- 前記色分布特徴量は、
特徴を示す対象である画像を、定められた複数のブロックに分割し、各前記ブロックの代表色を判定し、各前記ブロックのそれぞれに対応する前記代表色のデータとして生成される画像特徴量とすることを特徴とする請求項１から請求項８のいずれか一つに記載の画像検索システム。 - 前記周波数分布特徴量は、
特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換を施すことにより生成される画像特徴量とすることを特徴とする請求項１から請求項９のいずれか一つに記載の画像検索システム。 - 前記周波数分布特徴量は、
特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換及び量子化を施すことにより生成される画像特徴量とすることを特徴とする請求項１から請求項９のいずれか一つに記載の画像検索システム。 - 色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、
前記画像検索手段が、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、
さらに、前記画像検索手段が、
与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、
前記変換画像を定められた複数のブロックに分割する画像分割ステップと、
各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップとを含み、
前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、
前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを含むことを特徴とする画像検索システムにおける画像検索方法。 - 前記画像検索手段において、
前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする請求項１２に記載の画像検索システムにおける画像検索方法。 - 前記画像検索手段において、
前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする請求項１３に記載の画像検索システムにおける画像検索方法。 - 色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、
前記画像検索手段が、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、
さらに、前記画像検索手段が、
与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、
各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、
前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップとを含み、
前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、
前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを含むことを特徴とする画像検索システムにおける画像検索方法。 - コンピュータに、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、
さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップを実行させ、
前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、
前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを実行させ、
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させるための画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。 - 前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする請求項１６に記載の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。 - 前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする請求項１７に記載の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。 - コンピュータに、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、
さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップを実行させ、
前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、
前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを実行させ、
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させるための画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000378023A JP3658761B2 (ja) | 2000-12-12 | 2000-12-12 | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 |
| US10/010,840 US7006689B2 (en) | 2000-12-12 | 2001-12-05 | Image search system and image search method thereof |
| CA002364798A CA2364798C (en) | 2000-12-12 | 2001-12-11 | Image search system and image search method thereof |
| EP01129276A EP1215591A3 (en) | 2000-12-12 | 2001-12-12 | Image search system and image search method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000378023A JP3658761B2 (ja) | 2000-12-12 | 2000-12-12 | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002183145A JP2002183145A (ja) | 2002-06-28 |
| JP3658761B2 true JP3658761B2 (ja) | 2005-06-08 |
Family
ID=18846665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000378023A Expired - Lifetime JP3658761B2 (ja) | 2000-12-12 | 2000-12-12 | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7006689B2 (ja) |
| EP (1) | EP1215591A3 (ja) |
| JP (1) | JP3658761B2 (ja) |
| CA (1) | CA2364798C (ja) |
Families Citing this family (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4063486B2 (ja) * | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
| JP2004193818A (ja) * | 2002-12-10 | 2004-07-08 | Hitachi Ltd | ワイヤレス画像送受信システム、ワイヤレス画像送信装置及びワイヤレス画像受信装置 |
| DE10307454B4 (de) * | 2003-02-21 | 2010-10-28 | Vistec Semiconductor Systems Gmbh | Verfahren zur optischen Inspektion eines Halbleitersubstrats |
| KR100689405B1 (ko) | 2005-07-01 | 2007-03-08 | 삼성전자주식회사 | 휴대단말기의 이미지 저장 및 검색방법 |
| US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
| US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
| US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
| US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
| US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
| US9031999B2 (en) | 2005-10-26 | 2015-05-12 | Cortica, Ltd. | System and methods for generation of a concept based database |
| US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
| US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
| US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
| US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
| US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
| US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
| US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
| US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
| US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
| US20130191368A1 (en) * | 2005-10-26 | 2013-07-25 | c/o Cortica, Ltd. | System and method for using multimedia content as search queries |
| US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
| US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
| US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
| US8266185B2 (en) | 2005-10-26 | 2012-09-11 | Cortica Ltd. | System and methods thereof for generation of searchable structures respective of multimedia data content |
| US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
| US9256668B2 (en) | 2005-10-26 | 2016-02-09 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
| US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
| US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
| US9191626B2 (en) | 2005-10-26 | 2015-11-17 | Cortica, Ltd. | System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto |
| US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
| US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
| US9639532B2 (en) | 2005-10-26 | 2017-05-02 | Cortica, Ltd. | Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts |
| US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US9235557B2 (en) | 2005-10-26 | 2016-01-12 | Cortica, Ltd. | System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page |
| US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
| US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
| US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
| US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
| US10380164B2 (en) * | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
| US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
| US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
| US9286623B2 (en) | 2005-10-26 | 2016-03-15 | Cortica, Ltd. | Method for determining an area within a multimedia content element over which an advertisement can be displayed |
| US9558449B2 (en) | 2005-10-26 | 2017-01-31 | Cortica, Ltd. | System and method for identifying a target area in a multimedia content element |
| US9529984B2 (en) | 2005-10-26 | 2016-12-27 | Cortica, Ltd. | System and method for verification of user identification based on multimedia content elements |
| US9466068B2 (en) | 2005-10-26 | 2016-10-11 | Cortica, Ltd. | System and method for determining a pupillary response to a multimedia data element |
| US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
| US9330189B2 (en) | 2005-10-26 | 2016-05-03 | Cortica, Ltd. | System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item |
| US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
| US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
| US9489431B2 (en) | 2005-10-26 | 2016-11-08 | Cortica, Ltd. | System and method for distributed search-by-content |
| US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
| US9087049B2 (en) | 2005-10-26 | 2015-07-21 | Cortica, Ltd. | System and method for context translation of natural language |
| US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
| US9396435B2 (en) | 2005-10-26 | 2016-07-19 | Cortica, Ltd. | System and method for identification of deviations from periodic behavior patterns in multimedia content |
| US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
| US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
| US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
| US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
| US7961938B1 (en) | 2006-06-30 | 2011-06-14 | Adobe Systems Incorporated | Finding and structuring images based on a color search |
| US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
| CN100462978C (zh) * | 2007-04-18 | 2009-02-18 | 北京北大方正电子有限公司 | 一种图像检索方法及系统 |
| US8200025B2 (en) * | 2007-12-07 | 2012-06-12 | University Of Ottawa | Image classification and search |
| JP4772839B2 (ja) | 2008-08-13 | 2011-09-14 | 株式会社エヌ・ティ・ティ・ドコモ | 画像識別方法および撮像装置 |
| JP2010224943A (ja) * | 2009-03-24 | 2010-10-07 | Nec Corp | 電子投票装置およびプログラム並びに電子投票方法 |
| JP5229575B2 (ja) * | 2009-05-08 | 2013-07-03 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5740318B2 (ja) * | 2012-01-30 | 2015-06-24 | 楽天株式会社 | 画像処理システム、画像処理方法、及びプログラム |
| US9678993B2 (en) | 2013-03-14 | 2017-06-13 | Shutterstock, Inc. | Context based systems and methods for presenting media file annotation recommendations |
| CN103207898B (zh) * | 2013-03-19 | 2016-08-03 | 天格科技（杭州）有限公司 | 一种基于局部敏感哈希的相似人脸快速检索方法 |
| US20180107660A1 (en) * | 2014-06-27 | 2018-04-19 | Amazon Technologies, Inc. | System, method and apparatus for organizing photographs stored on a mobile computing device |
| CN104243821B (zh) * | 2014-09-10 | 2018-07-03 | 广东欧珀移动通信有限公司 | 一种大视角照片的获取方法及装置 |
| US10509800B2 (en) * | 2015-01-23 | 2019-12-17 | Hewlett-Packard Development Company, L.P. | Visually interactive identification of a cohort of data objects similar to a query based on domain knowledge |
| DE102015120967A1 (de) * | 2015-12-02 | 2017-06-08 | Carl Zeiss Ag | Verfahren und Vorrichtung zur Bildkorrektur |
| DE102017112484A1 (de) | 2017-06-07 | 2018-12-13 | Carl Zeiss Ag | Verfahren und Vorrichtung zur Bildkorrektur |
| CN111242184B (zh) * | 2020-01-03 | 2022-07-26 | 支付宝(杭州)信息技术有限公司 | 图像特征提取模型的训练方法和图像检索方法 |
| CN111539391B (zh) * | 2020-06-23 | 2020-10-02 | 江西鹭鹭行科技有限公司 | 失物认领方法、装置、可读存储介质及计算机设备 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| JP3234064B2 (ja) * | 1993-09-02 | 2001-12-04 | キヤノン株式会社 | 画像検索方法並びにその装置 |
| US5802361A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Method and system for searching graphic images and videos |
| US5828773A (en) * | 1996-01-26 | 1998-10-27 | Harris Corporation | Fingerprint sensing method with finger position indication |
| JPH09237343A (ja) | 1996-03-01 | 1997-09-09 | Nippon Telegr & Teleph Corp <Ntt> | 物体認識システム |
| JPH09330407A (ja) * | 1996-06-13 | 1997-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像パターン認識装置 |
| JP3466032B2 (ja) * | 1996-10-24 | 2003-11-10 | 富士通株式会社 | 動画像符号化装置および復号化装置 |
| JPH10243402A (ja) * | 1997-02-27 | 1998-09-11 | Toshiba Corp | 画像処理装置及び画像処理方法 |
| JPH11169568A (ja) * | 1997-12-12 | 1999-06-29 | Brother Ind Ltd | 画像データ処理装置及び刺繍データ処理装置及び画像データ処理プログラムを記録した記録媒体及び刺繍データ処理プログラムを記録した記録媒体 |
| JP4298001B2 (ja) * | 1998-04-30 | 2009-07-15 | キヤノン株式会社 | 画像検索装置及び方法 |
| DE69942901D1 (de) | 1998-04-02 | 2010-12-16 | Canon Kk | Einrichtung und Verfahren zum Suchen von Bildern |
| JPH11316837A (ja) * | 1998-05-01 | 1999-11-16 | Mitsubishi Electric Corp | パターンマッチングのための画像処理方法および画像処理装置 |
| US6633685B1 (en) * | 1998-08-05 | 2003-10-14 | Canon Kabushiki Kaisha | Method, apparatus, and storage media for image processing |
| US6141441A (en) * | 1998-09-28 | 2000-10-31 | Xerox Corporation | Decoding data from patterned color modulated image regions in a color image |
| EP0990998A3 (en) * | 1998-09-30 | 2005-04-20 | Canon Kabushiki Kaisha | Information search apparatus and method |
| JP3496559B2 (ja) * | 1999-01-06 | 2004-02-16 | 日本電気株式会社 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
| US6804683B1 (en) * | 1999-11-25 | 2004-10-12 | Olympus Corporation | Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database |
| JP4063486B2 (ja) * | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
-
2000
- 2000-12-12 JP JP2000378023A patent/JP3658761B2/ja not_active Expired - Lifetime
-
2001
- 2001-12-05 US US10/010,840 patent/US7006689B2/en not_active Expired - Lifetime
- 2001-12-11 CA CA002364798A patent/CA2364798C/en not_active Expired - Fee Related
- 2001-12-12 EP EP01129276A patent/EP1215591A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CA2364798C (en) | 2006-07-25 |
| EP1215591A2 (en) | 2002-06-19 |
| EP1215591A3 (en) | 2004-06-09 |
| US7006689B2 (en) | 2006-02-28 |
| CA2364798A1 (en) | 2002-06-12 |
| JP2002183145A (ja) | 2002-06-28 |
| US20020110276A1 (en) | 2002-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3658761B2 (ja) | 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体 | |
| JP4527322B2 (ja) | 画像検索装置、画像検索方法、及び画像検索用プログラム | |
| US6163622A (en) | Image retrieval system | |
| JP3550681B2 (ja) | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 | |
| US7046865B2 (en) | Determination of similarity using weighting value depending on the type of characteristic | |
| US7844139B2 (en) | Information management apparatus, information management method, and computer program product | |
| CA2814401A1 (en) | Vector transformation for indexing, similarity search and classification | |
| US20070223837A1 (en) | Picture retrieving apparatus and method which converts orthogonal transform coefficients into color histogram data | |
| WO2004031991A1 (en) | Reduction of search ambiguity with multiple media references | |
| JP4623920B2 (ja) | 類似度算出方法及び装置、並びにプログラム及び記録媒体 | |
| Wong et al. | Dominant color image retrieval using merged histogram | |
| KR100302366B1 (ko) | 레이아웃기반영상검색장치및방법 | |
| US7697753B2 (en) | Device for creating image feature from image having any shape | |
| JP3983981B2 (ja) | デジタル映像処理方法及びその装置 | |
| Mary et al. | Content based image retrieval using colour, multi-dimensional texture and edge orientation | |
| CN102298699A (zh) | 图像表示和分析方法 | |
| KR100263536B1 (ko) | 칼라 특징벡터를 이용한 영상정보 검색방법 | |
| US8311994B2 (en) | Run total encoded data processing | |
| CN118520153A (zh) | Nft跨模态检索方法、装置及存储介质 | |
| JP2004164654A (ja) | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 | |
| Orzechowski et al. | The Use of Selected Transforms to Improve the Accuracy of Face Recognition for Images with Uneven Illumination | |
| Vyas et al. | Video Search Engine Tool | |
| JPH02181879A (ja) | 画像特徴抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050306 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3658761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080325 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140325 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |