JP3199976B2 - 画像データベース装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報を大量に蓄積
し、キーワードを与えることによって画像の検索を行う
ことのできる画像データベース装置に関し、特に、画像
の登録の際に画像からキーワードを自動抽出する画像デ
ータベース装置に関する。

【０００２】

【従来の技術】近年、大量に蓄積された画像情報から必
要な画像を効率良く検索するための画像データベース装
置への期待が高まっている。従来、画像を登録する際
に、登録者が、その画像の意味的な情報であるキーワー
ドを手動入力によって同時に登録し、検索時に検索者に
よってキーワードが入力されるとこのキーワードに対応
する画像が抽出される画像データベース装置が知られて
いるが、すべての画像に対して登録者がキーワードを手
動入力するのは効率的でないため、画像認識や画像理解
技術を用いて、画像からキーワードの自動抽出を行うた
めの種々の試みがなされている。

【０００３】このような試みとして、例えば、（１）検
索者が感性語を入力し、その感性語に対応する画像を検
索する画像データベース装置（「主観的類似度に適応し
た画像検索」：情報処理学会論文誌，Vol.31,no.2(199
0) 参照）、（２）状態遷移モデルを用いた画像データ
ベース装置（「キーワード自動抽出を考慮した画像デー
タベース」：情報処理学会技報 '91-CV-73-1参照）等が
知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記し
た従来の構成（１）および（２）は、下記のような問題
点をそれぞれ有している。

【０００５】まず、上記（１）の装置では、画像の持つ
色特徴から利用者の主観尺度を反映する感性語への写像
を、サンプル画像に基づいて作成し、検索時には、この
感性語を入力することにより検索を行う構成である。こ
のため、写像作成時に適切なサンプル画像を選択して用
いる必要があると共に、感性語は主観的なものであるの
で汎用性に乏しく、検索者によって写像の調整が必要で
あるという問題点を有している。

【０００６】また、上記（２）の装置では、キーワード
の抽出が状態遷移モデルに完全に依存しているために汎
用性に乏しく、モデルに該当しないものに対しては、キ
ーワードが付与されないために全く検索を行うことがで
きないという問題点を有している。また、検索時には、
検索者が例えば「サッカー」等の上位概念のみをキーワ
ードとして入力することが必要であり、シーン記述はモ
デルのみに依存するものとなり、検索者の意志が反映さ
れない。

【０００７】本発明は上記した各問題点に鑑みなされた
もので、画像の登録時に、より高度な概念レベルのキー
ワードを画像から自動的に抽出できると共に、汎用性の
高い画像データベース装置を実現することを目的として
いる。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の請求項１記載の画像データベース装置
は、画像をキーワードと対応づけて記憶する画像記憶手
段と、画像を入力する画像入力手段と、入力画像を領域
分割する画像分割手段と、分割された各領域の画像特徴
量を求める画像特徴量算出手段と、画像特徴量をシーン
記述言語に変換するシーン記述言語変換手段と、状態遷
移モデルを記憶する状態遷移モデル記憶手段と、各領域
の状態を上位階層へ遷移させる処理を、各領域のシーン
記述言語が状態遷移モデルの遷移ルールに適合する限り
行う状態遷移手段と、上記状態遷移手段の処理によって
状態が遷移した領域については該領域の最終状態をキー
ワードとし、状態が遷移しなかった領域についてはシー
ン記述言語をキーワードとして、上記入力画像と共に上
記画像記憶手段へ記憶させる登録手段とを備えているこ
とを特徴としている。

【０００９】請求項２記載の画像データベース装置は、
請求項１記載の装置において、検索者が検索要求を入力
する検索要求入力手段と、入力された検索要求を解析し
て検索を実行する際の検索キーワードを作成する検索要
求解析手段と、上記検索キーワードに従って画像記憶手
段から画像を検索する画像検索手段と、検索結果の画像
を検索者へ提示する画像提示手段とをさらに備えると共
に、上記検索要求解析手段が、入力された検索要求が状
態遷移モデル中に存在する状態である場合には、該状態
および該状態から遷移ルールを逆行して到達可能な状態
すべてを検索キーワードとして上記画像検索手段へ渡す
一方、入力された検索要求が状態遷移モデル中に状態と
して存在しない場合には、検索者に検索要求入力手段に
よりシーン記述言語を検索要求として入力させ、入力さ
れたシーン記述言語を検索キーワードとして上記画像検
索手段へ渡すことを特徴としている。

【００１０】請求項３記載の画像データベース装置は、
請求項１記載の装置において、シーン記述言語が、入力
画像における各領域の位置を示す位置情報を含むと共
に、上記登録手段が、状態遷移手段の処理によって状態
が遷移した領域については、上記最終状態に加えて上記
位置情報をキーワードとして上記画像記憶手段へ記憶さ
せることを特徴としている。

【００１１】請求項４記載の画像データベース装置は、
請求項２記載の装置において、上記画像検索手段が検索
キーワードに従って画像を検索する際に、検索キーワー
ドが状態遷移モデル中の状態である場合には、該状態の
状態遷移モデルにおける階層に応じて、検索キーワード
と一致するキーワードを有する画像に得点を付与する一
方、検索キーワードがシーン記述言語である場合には、
画像記憶手段に記憶されている画像のキーワードから遷
移ルールを逆行して到達可能な状態遷移モデルの最下位
階層の状態の持つシーン記述言語と、上記検索キーワー
ドとしてのシーン記述言語とを比較し、その一致度に応
じて上記の画像記憶手段に記憶されている画像に得点を
付与すると共に、上記画像提示手段が、所定の得点より
も高い得点を付与された画像を検索結果として提示する
ことを特徴としている。

【００１２】

【作用】請求項１記載の構成によれば、分割された入力
画像の各領域から求められた画像特徴量がシーン記述言
語に変換され、各領域のシーン記述言語が状態遷移モデ
ルの遷移ルールに適合する限り、各領域の状態が上位概
念へ遷移され、状態が遷移した領域についてはその領域
の最終状態がキーワードとして、また状態が遷移しなか
った領域についてはその領域のシーン記述言語がキーワ
ードとして入力画像と共に画像記憶手段に記憶される。

【００１３】これにより、状態遷移モデルに適合しない
概念を有する画像に対しても、シーン記述言語がキーワ
ードとして自動的に付与されて画像記憶手段に記憶され
るので、画像の登録を行う際に登録者がキーワードを付
与する必要がないので登録者の作業負担を軽減すること
が可能となると共に、検索時には、シーン記述言語をキ
ーワードとして与えれば上記画像の検索を行うことがで
きる。すなわち、記憶・検索が可能な画像の種類が画像
データベース装置が保持する状態遷移モデルによって限
定されないので、画像データベース装置の汎用性が向上
すると共に、柔軟な検索が可能となる。

【００１４】請求項２記載の構成によれば、検索者が入
力した検索要求が、画像データベース装置が保持する状
態遷移モデル中に状態として存在する場合には、この状
態と、上記状態から遷移ルールを逆行して到達可能な下
位階層の状態のすべてとが、検索キーワードとして画像
検索手段に渡され、画像検索手段がこの検索キーワード
と一致するキーワードを有する画像を画像記憶手段から
検索し、その検索結果が検索者へ提示される。一方、検
索者が入力した検索要求が、画像データベース装置が保
持する状態遷移モデル中に状態として存在しない場合に
は、検索者に検索入力手段により入力させたシーン記述
言語が検索キーワードとして画像検索手段へ渡され、画
像検索手段は、検索キーワードとして渡されたシーン記
述言語に従って画像の検索を行う。

【００１５】これにより、画像データベース装置が保持
している状態遷移モデルに適合しない画像の検索が要求
された場合であっても、シーン記述言語を検索要求とし
て入力させ、このシーン記述言語に従って画像の検索を
行うことが可能となる。この結果、画像データベース装
置で記憶・検索が可能な画像の種類が状態遷移モデルに
より限定されることがなくなり、画像データベース装置
の汎用性を向上させることが可能となる。

【００１６】請求項３記載の構成によれば、状態遷移手
段の処理によって状態が上位階層へ遷移した領域につい
ては、その領域の入力画像中の位置が、領域の最終状態
と共にキーワードとして入力画像と共に登録されるの
で、検索を行う際に、検索者が位置情報として例えば
「中央部」、領域の状態として例えば「人物」という指
定を行うことにより、「中央部に人物が存在する画像」
という条件を与えて画像を検索することが可能となる。
この結果、検索者が抱いている検索対象の画像イメージ
をより具体的に画像データベース装置へ指示して検索を
行うことが可能となり、検索者の意志が反映された柔軟
な検索が可能となると共に、検索効率を向上させること
ができる。

【００１７】請求項４記載の構成によれば、状態遷移モ
デルにおける状態を検索キーワードとして検索された画
像は、上記状態の状態遷移モデルにおける階層に応じ
て、階層が高くなるほど高い得点が付与され、シーン記
述言語を検索キーワードとして検索された画像は、画像
記憶手段に記憶されている画像のキーワードから遷移ル
ールを逆行して到達可能な状態遷移モデルの最下位階層
の状態が有するシーン記述言語と、上記検索キーワード
としてのシーン記述言語とを比較し、その一致度が高く
なるほど高い得点が付与され、所定の得点よりも高い得
点を付与された画像のみが検索結果として検索者へ提示
される。

【００１８】これにより、検索者が所望する画像である
可能性の高い画像が提示されることとなるため、検索者
が検索結果として提示された画像から所望の画像を選択
する際等の検索効率を向上させることが可能となると共
に、検索者が所望する画像からかけ離れた画像が提示さ
れる可能性を減少させることができ、画像データベース
装置の信頼性を向上させることができる。

【００１９】

【実施例】本発明の一実施例について図１ないし図６に
基づいて説明すれば、以下の通りである。本実施例にお
ける画像データベース装置は、カラー画像を登録・検索
する画像データベース装置であり、画像の登録に関する
構成として、図１に示すように、画像とそのキーワード
とを蓄積する画像データベース１１と、データベースに
登録する画像を入力するための画像入力部１（画像入力
手段）と、この画像入力部１から入力された画像を蓄積
するための入力画像メモリ２と、この入力画像メモリ２
に蓄積されたフルカラー画像を入力し、その色数を減色
しながら画像全体を複数の領域に分割して限定色画像を
作成する限定色画像作成部３（画像分割手段）と、この
限定色画像を蓄積する限定色画像メモリ４と、上記の限
定色画像をラベリングしてラベリング画像を作成するラ
ベリング部５と、ラベリング画像を蓄積するラベリング
画像メモリ６と、各領域の画像特徴量を計算する画像特
徴量計算部７（画像特徴量算出手段）と、画像特徴量を
シーン記述言語に変換するシーン記述言語変換部８（シ
ーン記述言語変換手段）と、上記の各領域の状態が遷移
するためのルールを蓄積した状態遷移モデルデータベー
ス９（状態遷移モデル記憶手段）と、この状態遷移モデ
ルデータベース９を参照しながら各領域の状態を遷移さ
せる状態遷移部１０（状態遷移手段）と、入力画像メモ
リ２の入力画像をキーワードと共に上記画像データベー
ス１１へ登録するデータ登録部１２（登録手段）とを備
えている。

【００２０】ここで、状態遷移モデルについて説明す
る。状態遷移モデルとは、図６に示すような状態遷移図
と、遷移ルールとからなり、同図における例えば"Huma
n" 、"Human-hair"等の状態において、予め設定された
遷移ルールが満たされれば、矢印で示すように状態が上
位階層へ遷移する動作を、満たされる遷移ルールが存在
する限り繰り返すことによって、後述するセグメントの
状態をより上位概念に近づけるためのモデルである。

【００２１】ここで、上記の構成によるカラー画像の登
録について、図２に示すフローチャートを参照しなが
ら、以下に説明する。なお、本実施例では、登録される
カラー画像は、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の各要素
がそれぞれ８ビット（０から２５５までの２５６階調）
のディジタルデータで表現されたフルカラー画像である
とする。

【００２２】まず、画像データベースに登録しようとす
るカラー画像が画像入力部１により入力されて入力画像
メモリ２に蓄積される（ステップ１、以下、Ｓ１のよう
に表記する）。

【００２３】次に、この入力画像から物体等を認識する
わけであるが、この認識のためには、まず、画像から認
識対象となる物体を切り出す必要がある。ここでは、入
力画像はフルカラー画像であるため、同じような色によ
って構成される領域を抽出するカラーセグメンテーショ
ンの手法を用いる。つまり、限定色画像作成部３が、入
力画像メモリ２から取り出したフルカラーの入力画像か
ら、１６色程度に色を限定した限定色画像を作成し（Ｓ
２）、ラベリング部５が、上記Ｓ２で作成された限定色
画像において、同一色の連結領域に対して同一のラベル
を付与し、同一ラベルを有する領域を一つの連結領域と
することにより画像を複数の領域に分割する（Ｓ３）。
以後、これらの分割された領域のそれぞれをセグメント
と呼ぶこととする。

【００２４】次に、画像特徴量計算部７が、各セグメン
トについて、面積、外接矩形、色、主軸方向、主軸方向
に対する占有率、円形度、重心等の画像特徴量をそれぞ
れ算出し（Ｓ４）、シーン記述言語変換部８が、算出さ
れた画像特徴量から、各セグメントのシーン記述言語を
作成する（Ｓ５）。なお、このシーン記述言語は、セグ
メントの大きさ、入力画像全体を縦横それぞれ３分割し
て９個のブロックに分けた場合に該当セグメントが含ま
れるブロック位置、セグメントの色、セグメントの形
状、およびセグメントの主軸方向をそれぞれ表現する複
数種類のパラメータで構成されている。

【００２５】続くＳ６では、状態遷移部１０が、各セグ
メントのシーン記述言語と、状態遷移モデルデータベー
ス９に蓄積されている状態遷移モデルとに基づいて、各
セグメントの概念を決定する作業を以下のように行う。

【００２６】すなわち、状態遷移部１０は、各セグメン
トに対して上記Ｓ５で作成されたシーン記述言語が状態
遷移モデルの遷移ルールを満たしているか否かを、状態
遷移モデルの下位概念から順に調べ、遷移ルールが満た
されていれば、該セグメントの状態を１つ上の階層へ遷
移させる。

【００２７】より具体的には、図６に示すような状態遷
移モデルが与えられ、あるセグメントのシーン記述言語
におけるセグメントの色を示すパラメータが「黒」であ
れば、このセグメントは遷移ルールを満たしていること
となり、最下位の概念である“Color-segment"から１階
層上位へ遷移して“Black-segment"となる。さらに、こ
のセグメントのシーン記述言語が、人間の頭髪部分の画
像である可能性がある条件を満たしている場合には、さ
らに遷移ルールが満たされたこととなり、さらに１階層
上位へ遷移する。これにより、このセグメントは、人間
の頭髪であるという概念"Human-hair"を有するセグメン
トとして認識される。

【００２８】また、上記の状態遷移モデルには、Ｓ３に
おける領域分割時の過分割やシェーディング等のため
に、本来１つの物体であるものが複数セグメントに分割
されてしまった物体や、複数色からなる物体等に対応す
るために、比較的上位の階層において、状態を遷移させ
ずにセグメントどうしの統合のみを行う領域統合ルール
としての遷移ルールも含まれており、この領域統合ルー
ルを満たすセグメントどうしは統合され、新たな１つの
概念を有するセグメントとして認識される。

【００２９】より具体的には、図６に示すような状態遷
移モデルが与えられ、入力画像に含まれるセグメントと
して、上記の概念"Human-hair"を有するセグメントと、
人間の肌部分の画像であるという概念"Human-skin"を有
するセグメントとが存在する場合には、これらのセグメ
ントは領域統合ルールを満たすものとして統合され、人
間の顔部分の画像であるという概念"Human-face"を有す
る１つのセグメントとして認識される。

【００３０】上記したＳ６の動作は、入力画像中のすべ
てのセグメントの状態が遷移しなくなるまで繰り返さ
れ、この動作が終了した後に、データ登録部１２が、各
セグメントに対して上記Ｓ６で求められた最終状態、す
なわち例えば上記の"Human-face"等の概念をキーワード
として、上記Ｓ１で入力された画像と共に画像データベ
ース１１に登録する（Ｓ７）。なお、このとき、所定の
階層よりも上位の概念へ遷移したセグメントについて
は、上記キーワードと共に、シーン記述言語の位置パラ
メータも画像データベース１１へ登録される。また、上
記Ｓ６において状態が全く遷移しなかったセグメントに
ついては、シーン記述言語がキーワードとして登録され
る。

【００３１】なお、上記した状態遷移モデルでは、状態
遷移モデルの下位階層ではシーン記述言語を重要視して
状態を遷移させるように遷移ルールが設定されており、
上位階層になるに従いシーン記述言語の重要性は低くな
り、セグメントどうしの統合を優先的に行うよう領域統
合ルールが設定されている。このようにして下位階層で
はシーン記述言語により状態を遷移させることにより汎
用性を高める一方、上位階層ではシーン記述言語にあま
り頼らず、セグメント間の関係等を大局的に見て状態遷
移を行うことで、認識の信頼性が高められている。

【００３２】なお、ここで、上記Ｓ２における限定色画
像の作成について、図３に示すフローチャートに基づい
てより詳しく説明する。

【００３３】まず、限定色画像作成部３は、フルカラー
の入力画像のヒストグラムを作成する（Ｓ２１）。本実
施例では、Ｒ・Ｇ・Ｂのそれぞれが２５６階調で表現さ
れているため、画像中の各色は、ＲＧＢ空間中の一辺２
５６（０から２５５）の立方体中の点として表される。
この一辺２５６の立方体を、セルと呼ばれる一辺８の立
方体に分割する。次に、画像中の画素のＲＧＢ値を求
め、その画素がＲＧＢ空間中でどのセルに属するかを求
めて、その画素の属するセルの頻度値を１だけ増加させ
る。この処理をすべての画素に対して行い、ヒストグラ
ムを作成する。

【００３４】次に、作成されたヒストグラム中で、最も
頻度値の大きいセルである最頻値セルを検出し（Ｓ２
２）、この最頻値セルの表す色を代表色とし、この最頻
値セルを中心として予め与えられている半径の球内に含
まれるセルの色を上記代表色で置き換える。このように
色が決定されたセルを対象から除外してＳ２２へ戻り、
同様の処理を対象セルがなくなるまで繰り返す。これら
の処理を行う際の上記半径を適当に調整させることでフ
ルカラー画像の色数を１６色程度に減色することができ
る。つまり、色数が少ない場合には、上記半径を小さく
し、多い場合には上記半径を大きくすることにより１つ
の代表色で表すことのできるセルの数を調整し、色数を
希望の数に近づけることができる。

【００３５】次に、以上に説明したように画像がキーワ
ードと共に登録されている画像データベース１１から、
検索者が画像の検索を行うために、本実施例の画像デー
タベース装置が備える構成と、この構成による画像の検
索動作について、図４および図５を参照しながら説明す
る。

【００３６】本実施例の画像データベース装置は、前述
した画像の登録に関する構成にさらに加えて、図４に示
すように、検索を行う検索者が検索要求を入力するため
の検索要求入力部２１（検索要求入力手段）と、入力さ
れた検索要求を解析する検索要求解析部２２（検索要求
解析手段）と、検索要求の解析結果に基づいて該当する
画像を画像データベース１１から検索する検索部２３
（画像検索手段）と、検索部２３によって検索された画
像を検索者に提示する画像提示部２４（画像提示手段）
とを備えた構成である。

【００３７】上記の構成において、画像データベース１
１に蓄積されている画像を検索する場合には、まず、検
索者は、検索要求入力部２１により、検索したい画像を
構成している構成物の名称を検索要求として入力する
（Ｓ１１）。より具体的に説明すると、例えば、検索者
が人物を含んだ画像を検索したい場合には、構成物の名
称として"Human" と入力することになる。

【００３８】検索要求が入力されると、検索要求解析部
２２が状態遷移モデルデータベース９を探索し、Ｓ１１
で検索要求として入力された構成物の名称と一致する概
念が、状態遷移モデルデータベース９に蓄積されている
状態遷移モデルに含まれていれば（Ｓ１２）、Ｓ１１に
戻り、検索要求入力部２１が、画像中における上記構成
物の位置に関する検索要求を入力するように検索者に対
して指示する。

【００３９】これにより、検索者は、例えば「真中に人
物がいる画像」というような検索要求を作成することが
可能となる。この結果、検索者が抱いている検索対象の
画像イメージをより具体的に画像データベース装置へ指
示して検索を行うことが可能となり、検索者の意志を反
映した柔軟な検索が可能となると共に、検索効率が向上
するという効果を奏する。ただし、検索者は上記の指示
に必ずしも従う必要はなく、位置に関する検索要求を入
力せずに次のステップであるＳ１３へ進むこともでき
る。

【００４０】一方、検索要求として入力された構成物の
名称と一致する概念が状態遷移モデルデータベース９に
蓄積されている状態遷移モデルに存在しなければ（Ｓ１
２）、Ｓ１１へ戻り、検索要求入力部２１が、シーン記
述言語による検索要求を検索者に入力させる。なお、シ
ーン記述言語とは、前記したように、対象物の大きさ、
入力画像全体に対する位置、色、形状、および主軸方向
である。ただし、検索要求としてこれらすべてを入力す
る必要はない。

【００４１】このようにして、状態遷移モデルに存在す
る概念と必要に応じてその位置、あるいは、所望の概念
が状態遷移モデルに存在しない場合はシーン記述言語
が、検索要求として検索部２３へ渡される。なお、上記
Ｓ１１およびＳ１２は、検索者がすべての検索要求の作
成を終了するまで繰り返される（Ｓ１３）。

【００４２】なお、検索者が検索要求を入力するための
検索要求入力部２１におけるユーザインターフェイス
は、例えばＧＵＩ（Graphical User Interface）による
メニュー画面において状態遷移モデルに含まれている概
念をアイコンとして表示させ、これらのアイコンから検
索者が所望のものを選択すると、選択されたアイコンに
対応する概念が検索要求として検索部２３へ渡されるよ
うにすることも可能であり、これによれば、検索者にと
っての操作性を向上させることができる。また、検索者
が所望の構成物に対応する概念がアイコンとして表示さ
れていない場合、すなわち所望の概念が状態遷移モデル
に含まれていない場合には、シーン記述言語の各種のパ
ラメータを入力させるよう画面で指示することもでき
る。

【００４３】検索部２３は、上記した検索要求に基づい
て画像データベース１１から該当する画像を検索し（Ｓ
１４）、画像提示部２４が検索部２３の検索結果を検索
者へ提示する（Ｓ１５）。

【００４４】ここで、図６に示す状態遷移モデルの例を
用いて、上記の検索動作についてより詳細に説明する。

【００４５】検索要求解析部２２は、入力された検索要
求が、状態遷移モデルに存在する概念であるか、あるい
はシーン記述言語であるかによって異なった処理を行
う。まず最初に、検索要求として、状態遷移モデルに存
在する概念が入力された場合の処理について説明する。
ここでは、検索者によって、構成物の名称"Human" が検
索要求として入力され、図６に示すように状態遷移モデ
ルに"Human" が概念として存在しているとする。

【００４６】検索要求解析部２２の解析により、上記の
検索要求は状態遷移モデルに存在することが判定する
と、検索要求解析部２２は、この検索要求"Human" を検
索キーワードとして検索部２３へ渡し、検索部２３はこ
の検索キーワードに基づいて画像データベース１１を探
索する。探索の結果、画像データベース１１に"Human"
がキーワードである画像が登録されていれば、該画像を
候補画像とする。さらに、検索要求解析部２２は、上記
状態遷移モデルにおいて"Human" から１階層だけ下位へ
下りた概念である"Human-face"を検索キーワードとして
検索部２３へ渡し、検索部２３はこの検索キーワードと
一致するキーワードを有する画像が画像データベース１
１に登録されているか否かを探索し、存在する場合は該
画像を候補画像としてこの"Human-face"の階層に応じた
得点を与える。なお、上記の得点は、状態遷移モデルの
階層に応じて与えられるものであり、上位の階層に近づ
くほど高得点が与えられるようになっている。

【００４７】上記のような検索キーワードによる探索お
よび得点の付与を、状態遷移モデルの最下位の階層まで
順次行った後、候補画像となった画像の内、あらかじめ
設定されている閾値よりも大きな得点を有する画像が、
検索結果の画像として画像提示部２４によって検索者へ
提示される。また、複数種類の検索要求がある場合は、
候補画像となった画像の内、すべての検索要求に対する
得点の平均値が上記の閾値よりも大きくなった画像が検
索結果として提示される。

【００４８】次に、入力された検索要求がシーン記述言
語であった場合の処理について説明する。ここでも、図
６に示す状態遷移モデルが用いられることとする。

【００４９】この場合、検索要求解析部２２は、入力さ
れたシーン記述言語を検索キーワードとして検索部２３
へ渡す。次に、状態遷移モデルデータベース９の状態遷
移モデルにおける概念の内、登録画像のキーワードとし
て画像データベース１１に登録されているものが状態遷
移モデルから選択される。つまり、例えば図６に示す状
態遷移モデルに存在する概念の内、"Human-face"のみが
キーワードとして画像と共に画像データベース１１に登
録されているものとすると、この"Human-face"が選択さ
れる。

【００５０】そして、検索部２３が、"Human-face"から
下位階層へ、遷移ルールを逆行することにより到達する
最下位階層の概念において、検索要求として与えられた
シーン記述言語との比較を行う。より詳しくは、状態遷
移モデルの下位階層における遷移ルールは、シーン記述
言語の各パラメータが満たすべき条件として与えられて
いるものであり、検索要求として与えられたシーン記述
言語の各パラメータと、上記の条件としてのシーン記述
言語の各パラメータとがどの程度一致しているかに応じ
て、上記の"Human-face"をキーワードとして画像データ
ベース１１に登録されている画像に対して、候補画像と
しての得点が与えられる。なお、上記の各パラメータの
一致度が高いほど、与えられる得点も高くなるものとす
る。

【００５１】上記のように、シーン記述言語の各パラメ
ータに基づく比較および得点の付与を、画像データベー
ス１１に登録されているすべてのキーワードに対して行
った後、候補画像となった画像の内、あらかじめ設定さ
れている閾値よりも大きな得点を有する画像が、検索結
果の画像として画像提示部２４によって検索者へ提示さ
れる。また、複数種類の検索要求がある場合は、候補画
像となった画像の内、すべての検索要求に対する得点の
平均値が上記の閾値よりも大きい画像が検索結果として
提示される。

【００５２】以上のように、本実施例の画像データベー
ス装置は、画像入力部が入力したフルカラーの画像を色
に基づいて複数のセグメントに分割し、各セグメントか
ら算出した画像特徴量からシーン記述言語を作成する。
さらに、このシーン記述言語に状態遷移モデルを適用す
ることによって各セグメントの状態を可能な限り高レベ
ルの概念に遷移させ、画像データベースに画像を登録す
る際は、画像と共に、各セグメントの最終状態をキーワ
ードとして登録する。また、この時、上位階層へ遷移し
たセグメントについては、上記の最終状態と共に画像中
における該セグメントの位置も登録し、上位階層への遷
移が行われなかったセグメントについては、シーン記述
言語を登録する構成である。

【００５３】これにより、登録する画像の各々に対して
登録者がキーワードを付与する作業が不要となるので、
画像データベースの作成時の登録者の作業負担を大幅に
削減することができると共に、登録者の主観によらずに
客観的なキーワードが付与されるので、画像データベー
スの汎用性および信頼性を向上させることができるとい
う効果を奏する。

【００５４】また、このようにして登録された画像を検
索する際に、状態遷移モデルに存在する概念が検索要求
として与えられた場合には、この概念をキーワードとし
て画像データベースを検索すると共に、上記概念へ到達
する遷移ルールにおける下位概念をキーワードとした画
像が画像データベースに登録されているか否かの探索を
最下位概念まで順次行い、画像が登録されている場合に
は、その画像のキーワードとしての概念の状態遷移モデ
ルにおける階層に応じた得点が上記画像に与えられ、こ
の得点が所定の閾値よりも大きい画像のみを検索結果と
して検索者に提示する構成となっている。

【００５５】これにより、検索者が与えた検索要求とし
ての概念がキーワードとして登録されていない場合で
も、その概念の下位階層の概念をキーワードとして登録
されている画像があれば検索結果として提示されるた
め、検索者の所望する画像が検索結果として提示される
可能性を高めることが可能となっている。この結果、よ
り抽象的な高度な概念に基づいた柔軟な検索が可能とな
るという効果を奏する。また、得点が所定の閾値よりも
大きい画像のみが提示されるため、検索者が所望する画
像とかけ離れた画像が提示されることを防止して、検索
者が所望の画像を選択する負担を軽減することが可能と
なると共に、画像データベースの信頼性を向上させるこ
とができる。

【００５６】また、画像の登録の際に、本画像データベ
ース装置が保持する状態遷移モデルにより状態が遷移し
なかったセグメントについては、シーン記述言語がキー
ワードとして画像と共に登録され、検索の際に、本画像
データベース装置が保持している状態遷移モデルに存在
しない概念が検索要求として検索者から与えられた場合
には、シーン記述言語レベルでの検索要求を入力するよ
うに検索者に指示を与えると共に、画像データベースに
キーワードとして登録されている概念から遷移ルールを
逆行することにより到達可能な最下位階層の概念におけ
る遷移ルールと、検索者により検索要求として入力され
たシーン記述言語との各パラメータを比較し、その一致
度に応じて上記キーワードに対応して登録されている画
像に得点を与え、この得点が所定の閾値よりも大きい画
像のみを検索結果として提示する構成である。

【００５７】これにより、本画像データベース装置が保
持している状態遷移モデルに存在しない概念を有する画
像についても、シーン記述言語を利用することにより登
録および検索を行うことが可能となるので、画像データ
ベースが状態遷移モデルのみに依存することがなく、画
像データベースの汎用性を向上させることができるとい
う効果を奏する。

【００５８】なお、本発明は上記実施例に限定されるも
のではなく、例えば本実施例ではシーン記述言語のパラ
メータの種類を、セグメントの大きさ、位置、色、形
状、および主軸方向として説明したが、データベースに
登録する画像の種類に応じてこの他の要素をシーン記述
言語とすることも可能である。また、状態遷移モデルに
ついても、登録する画像の種類やデータベースの利用目
的に応じて、種々のモデルを適用することができる。

【００５９】

【発明の効果】以上のように、本発明の請求項１記載の
画像データベース装置は、画像をキーワードと対応づけ
て記憶する画像記憶手段と、画像を入力する画像入力手
段と、入力画像を領域分割する画像分割手段と、分割さ
れた各領域の画像特徴量を求める画像特徴量算出手段
と、画像特徴量をシーン記述言語に変換するシーン記述
言語変換手段と、状態遷移モデルを記憶する状態遷移モ
デル記憶手段と、各領域の状態を上位階層へ遷移させる
処理を、各領域のシーン記述言語が状態遷移モデルの遷
移ルールに適合する限り行う状態遷移手段と、上記状態
遷移手段の処理によって状態が遷移した領域については
該領域の最終状態をキーワードとし、状態が遷移しなか
った領域についてはシーン記述言語をキーワードとし
て、上記入力画像と共に上記画像記憶手段へ記憶させる
登録手段とを備えている構成である。

【００６０】これにより、状態遷移モデルに適合しない
概念を有する画像に対してもシーン記述言語がキーワー
ドとして自動的に付与されるので、登録者の作業負担を
軽減することが可能となると共に、記憶・検索が可能な
画像の種類が画像データベース装置が保持する状態遷移
モデルによって限定されないので、画像データベース装
置の汎用性が向上するという効果を奏する。

【００６１】請求項２記載の画像データベース装置は、
検索者が検索要求を入力する検索要求入力手段と、入力
された検索要求を解析して検索を実行する際の検索キー
ワードを作成する検索要求解析手段と、上記検索キーワ
ードに従って画像記憶手段から画像を検索する画像検索
手段と、検索結果の画像を検索者へ提示する画像提示手
段とをさらに備えると共に、上記検索要求解析手段が、
入力された検索要求が状態遷移モデル中に存在する状態
である場合には、該状態および該状態から遷移ルールを
逆行して到達可能な状態すべてを検索キーワードとして
上記画像検索手段へ渡す一方、入力された検索要求が状
態遷移モデル中に状態として存在しない場合には、検索
者に検索要求入力手段によりシーン記述言語を検索要求
として入力させ、入力されたシーン記述言語を検索キー
ワードとして上記画像検索手段へ渡す構成である。

【００６２】これにより、画像データベース装置が保持
している状態遷移モデルに適合しない画像の検索が要求
された場合であっても、シーン記述言語を検索要求とし
て入力させて画像の検索を行うことが可能となる。この
結果、画像データベース装置で記憶・検索が可能な画像
の種類が状態遷移モデルにより限定されることがなくな
り、より柔軟な検索が可能となると共に、画像データベ
ース装置の汎用性を向上させることが可能となるという
効果を奏する。

【００６３】請求項３記載の画像データベース装置は、
シーン記述言語が、入力画像における各領域の位置を示
す位置情報を含むと共に、上記登録手段が、状態遷移手
段の処理によって状態が遷移した領域については、上記
最終状態に加えて上記位置情報をキーワードとして上記
画像記憶手段へ記憶させる構成である。

【００６４】これにより、画像に含まれる物体をその位
置と共に検索要求として入力することが可能となるた
め、検索者が抱いている検索対象の画像イメージをより
具体的に画像データベース装置へ指示して検索を行うこ
とが可能となる。この結果、検索者の意志を反映したよ
り柔軟な検索が可能となり、検索効率を向上させること
ができるという効果を奏する。

【００６５】請求項４記載の画像データベース装置は、
上記画像検索手段が検索キーワードに従って画像を検索
する際に、検索キーワードが状態遷移モデル中の状態で
ある場合には、該状態の状態遷移モデルにおける階層に
応じて、検索キーワードと一致するキーワードを有する
画像に得点を付与する一方、検索キーワードがシーン記
述言語である場合には、画像記憶手段に記憶されている
画像のキーワードから遷移ルールを逆行して到達可能な
状態遷移モデルの最下位階層の状態の持つシーン記述言
語と、上記検索キーワードとしてのシーン記述言語とを
比較し、その一致度に応じて上記の画像記憶手段に記憶
されている画像に得点を付与すると共に、上記画像提示
手段が、所定の得点よりも高い得点を付与された画像を
検索結果として提示する構成である。

【００６６】これにより、検索者が所望する画像である
可能性の高い画像が提示されるので、検索者が検索結果
として提示された画像から所望の画像を選択する際等の
検索効率を向上させることが可能となると共に、検索者
が所望する画像からかけ離れた画像が提示される可能性
が減少するので、検索者が所望の画像を選択する負担を
軽減することができると共に、画像データベース装置の
信頼性を向上させることができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例における画像データベース装
置において画像の登録を行うための構成の概略を示すブ
ロック図である。

【図２】上記画像データベース装置における画像の登録
処理の流れを示すフローチャートである。

【図３】上記の画像の登録処理の一部であり、フルカラ
ー画像から限定色画像を作成する処理の流れを示すフロ
ーチャートである。

【図４】上記画像データベース装置において登録されて
いる画像の検索を行うための構成の概略を示すブロック
図である。

【図５】上記画像データベース装置における画像の検索
処理の流れを示すフローチャートである。

【図６】上記画像データベース装置が保持する状態遷移
モデルの一例を示す説明図である。

【符号の説明】

１ 画像入力部（画像入力手段） ３ 限定色画像作成部（画像分割手段） ７ 画像特徴量計算部（画像特徴量算出手段） ８ シーン記述言語変換部（シーン記述言語変換手
段） ９ 状態遷移モデルデータベース（状態遷移モデル記
憶手段） １０ 状態遷移部（状態遷移手段） １１ 画像データベース（画像記憶手段） １２ データ登録部（登録手段） ２１ 検索要求入力部（検索要求入力手段） ２２ 検索要求解析部（検索要求解析手段） ２３ 検索部（画像検索手段） ２４ 画像提示部（画像提示手段）

フロントページの続き (56)参考文献 特開 平６−348758（ＪＰ，Ａ) 特開 平５−108728（ＪＰ，Ａ) 電子情報通信学会論文誌 Ｄ−２，Ｖ ｏｌ．Ｊ79−Ｄ−２ Ｎｏ．４，1996年 ４月，ｐ．476−483 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】画像をキーワードと対応づけて記憶する画
   像記憶手段と、画像を入力する画像入力手段と、入力画
   像を領域分割する画像分割手段と、分割された各領域の
   画像特徴量を求める画像特徴量算出手段と、画像特徴量
   をシーン記述言語に変換するシーン記述言語変換手段
   と、状態遷移モデルを記憶する状態遷移モデル記憶手段
   と、各領域の状態を上位階層へ遷移させる処理を、各領
   域のシーン記述言語が状態遷移モデルの遷移ルールに適
   合する限り行う状態遷移手段と、上記状態遷移手段の処
   理によって状態が遷移した領域については該領域の最終
   状態をキーワードとし、状態が遷移しなかった領域につ
   いてはシーン記述言語をキーワードとして、上記入力画
   像と共に上記画像記憶手段へ記憶させる登録手段とを備
   えていることを特徴とする画像データベース装置。
2. 【請求項２】検索者が検索要求を入力する検索要求入力
   手段と、入力された検索要求を解析して検索を実行する
   際の検索キーワードを作成する検索要求解析手段と、上
   記検索キーワードに従って画像記憶手段から画像を検索
   する画像検索手段と、検索結果の画像を検索者へ提示す
   る画像提示手段とをさらに備えると共に、 上記検索要求解析手段が、入力された検索要求が状態遷
   移モデル中に存在する状態である場合には、該状態およ
   び該状態から遷移ルールを逆行して到達可能な状態すべ
   てを検索キーワードとして上記画像検索手段へ渡す一
   方、入力された検索要求が状態遷移モデル中に状態とし
   て存在しない場合には、検索者に検索要求入力手段によ
   りシーン記述言語を検索要求として入力させ、入力され
   たシーン記述言語を検索キーワードとして上記画像検索
   手段へ渡すことを特徴とする請求項１記載の画像データ
   ベース装置。
3. 【請求項３】シーン記述言語が、入力画像における各領
   域の位置を示す位置情報を含むと共に、上記登録手段
   が、状態遷移手段の処理によって状態が遷移した領域に
   ついては、上記最終状態に加えて上記位置情報をキーワ
   ードとして上記画像記憶手段へ記憶させることを特徴と
   する請求項１記載の画像データベース装置。
4. 【請求項４】上記画像検索手段が検索キーワードに従っ
   て画像を検索する際に、検索キーワードが状態遷移モデ
   ル中の状態である場合には、該状態の状態遷移モデルに
   おける階層に応じて、検索キーワードと一致するキーワ
   ードを有する画像に得点を付与する一方、検索キーワー
   ドがシーン記述言語である場合には、画像記憶手段に記
   憶されている画像のキーワードから遷移ルールを逆行し
   て到達可能な状態遷移モデルの最下位階層の状態の持つ
   シーン記述言語と、上記検索キーワードとしてのシーン
   記述言語とを比較し、その一致度に応じて上記の画像記
   憶手段に記憶されている画像に得点を付与すると共に、
   上記画像提示手段が、所定の得点よりも高い得点を付与
   された画像を検索結果として提示することを特徴とする
   請求項２記載の画像データベース装置。