JPH11259507A - 映像検索方法および映像検索プログラムを格納した記録媒体 - Google Patents
映像検索方法および映像検索プログラムを格納した記録媒体Info
- Publication number
- JPH11259507A JPH11259507A JP10060835A JP6083598A JPH11259507A JP H11259507 A JPH11259507 A JP H11259507A JP 10060835 A JP10060835 A JP 10060835A JP 6083598 A JP6083598 A JP 6083598A JP H11259507 A JPH11259507 A JP H11259507A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representative
- representative image
- video
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 映像から抽出した代表画像によって映像を検
索するシステムにおいて，カメラ操作を含む映像に対し
てもシーン全体の画像内容を表し，かつ，空間的位置関
係を保存した代表画像を抽出できるようにする。また，
時間的な検索を可能とすることを目的とする。 【解決手段】 検索対象の映像から参照画像と類似した
代表画像を検索する類似画像検索工程11で用いるための
代表画像を抽出する代表画像抽出工程10では，カメラ操
作を含む画像列を抽出し，抽出した画像列を合成するこ
とによってパノラマ画像を合成する処理を行うことによ
り，シーン全体の画像内容を表した代表画像を自動的に
抽出する。また，カメラの動きに関する情報を代表画像
と関連付けて保存しておくことにより，時間的検索条件
を空間的検索条件に置き換えて，パノラマ画像として合
成された代表画像に関する時間的な検索を可能とする。
索するシステムにおいて，カメラ操作を含む映像に対し
てもシーン全体の画像内容を表し，かつ，空間的位置関
係を保存した代表画像を抽出できるようにする。また，
時間的な検索を可能とすることを目的とする。 【解決手段】 検索対象の映像から参照画像と類似した
代表画像を検索する類似画像検索工程11で用いるための
代表画像を抽出する代表画像抽出工程10では，カメラ操
作を含む画像列を抽出し，抽出した画像列を合成するこ
とによってパノラマ画像を合成する処理を行うことによ
り，シーン全体の画像内容を表した代表画像を自動的に
抽出する。また，カメラの動きに関する情報を代表画像
と関連付けて保存しておくことにより，時間的検索条件
を空間的検索条件に置き換えて，パノラマ画像として合
成された代表画像に関する時間的な検索を可能とする。
Description
【０００１】
【発明の属する技術分野】本発明は，映像データベース
システム等における映像検索方法および映像検索プログ
ラムを格納した記録媒体に関するものである。
システム等における映像検索方法および映像検索プログ
ラムを格納した記録媒体に関するものである。
【０００２】
【従来の技術】キーワードなどの文字情報ではなく，画
像特徴（色ヒストグラム，エッジ特徴など）に基づいた
画像検索システムが開発されている（M.Flicker, H.Saw
hney,W.Niblack, J.Ashley, Q.Huang, B.Dom, M.Gorkan
i, J.Hafner, D.Lee, D.Petkovic, D.Steele, P.Yanke
r, Query by Image and Video Content: The QBIC Syst
em, IEEE Computer Magazine, Vol.28, No.9, pp.23-3
2, 1997）。
像特徴（色ヒストグラム，エッジ特徴など）に基づいた
画像検索システムが開発されている（M.Flicker, H.Saw
hney,W.Niblack, J.Ashley, Q.Huang, B.Dom, M.Gorkan
i, J.Hafner, D.Lee, D.Petkovic, D.Steele, P.Yanke
r, Query by Image and Video Content: The QBIC Syst
em, IEEE Computer Magazine, Vol.28, No.9, pp.23-3
2, 1997）。
【０００３】文字情報に基づいたキーワード検索は，画
像データベースにおいても重要な検索方法であるが，こ
れはキーワード付与に人手を要すること，画像は人によ
ってあるいは状況によって様々な意味を持つ（多義性）
ためキーワード選択が困難であることが問題であった。
これらの問題点を解決するために，画像特徴に基づいた
検索方式が望まれていた。映像データベースにおける検
索方法にも同様の問題点があり，画像特徴に基づいた検
索方式が望まれていた。
像データベースにおいても重要な検索方法であるが，こ
れはキーワード付与に人手を要すること，画像は人によ
ってあるいは状況によって様々な意味を持つ（多義性）
ためキーワード選択が困難であることが問題であった。
これらの問題点を解決するために，画像特徴に基づいた
検索方式が望まれていた。映像データベースにおける検
索方法にも同様の問題点があり，画像特徴に基づいた検
索方式が望まれていた。
【０００４】利用者がどのような方法で検索要求をシス
テムに与えるかには，次のようなバリエーションがあり
得る。 (a) 第１の方法は，利用者が一枚あるいは複数枚の画像
を与えて，その画像と類似した画像を提示するように要
求するものである。
テムに与えるかには，次のようなバリエーションがあり
得る。 (a) 第１の方法は，利用者が一枚あるいは複数枚の画像
を与えて，その画像と類似した画像を提示するように要
求するものである。
【０００５】(b) 第２の方法は，検索要求文を利用者が
与えて，その文を何らかの知識を用いてシステムが扱い
やすい要求条件に変換することによって検索を行うもの
である。例えば「山と青空の写っているシーンが欲し
い」という利用者の検索要求に対して，システムは
「山」は緑色で「青空」は青色であり，「山」の領域は
「空」の領域の下にあるという知識を用いて，「緑色の
領域の上に青色の領域が存在する画像を検索せよ」とい
うシステムにとって扱い易いものに変換し，予め蓄積さ
れているインデクスと検索要求を照合し合致する画像を
提示する。
与えて，その文を何らかの知識を用いてシステムが扱い
やすい要求条件に変換することによって検索を行うもの
である。例えば「山と青空の写っているシーンが欲し
い」という利用者の検索要求に対して，システムは
「山」は緑色で「青空」は青色であり，「山」の領域は
「空」の領域の下にあるという知識を用いて，「緑色の
領域の上に青色の領域が存在する画像を検索せよ」とい
うシステムにとって扱い易いものに変換し，予め蓄積さ
れているインデクスと検索要求を照合し合致する画像を
提示する。
【０００６】映像は画像が時間的に並んだものであるの
で，以上説明したような画像検索技術を応用することで
映像検索も可能であると考えられていた。しかし，映像
には膨大な数の画像が含まれているので，実用的な検索
を行うためには前段階として，映像の中から重要な画像
（代表画像と呼ぶ）を，少数抽出しておき，代表画像に
ついてだけ画像特徴量を算出し，インデクスとするとい
う方式がある（M.Flicker, H.Sawhney, W.Niblack, J.A
shley, Q.Huang, B.Dom, M.Gorkani, J.Hafner, D.Lee,
D.Petkovic, D.Steele, P.Yanker, Query by Image an
d Video Content: The QBIC System, IEEE Computer Ma
gazine, Vol.28, No.9, pp.23-32, 1997）。
で，以上説明したような画像検索技術を応用することで
映像検索も可能であると考えられていた。しかし，映像
には膨大な数の画像が含まれているので，実用的な検索
を行うためには前段階として，映像の中から重要な画像
（代表画像と呼ぶ）を，少数抽出しておき，代表画像に
ついてだけ画像特徴量を算出し，インデクスとするとい
う方式がある（M.Flicker, H.Sawhney, W.Niblack, J.A
shley, Q.Huang, B.Dom, M.Gorkani, J.Hafner, D.Lee,
D.Petkovic, D.Steele, P.Yanker, Query by Image an
d Video Content: The QBIC System, IEEE Computer Ma
gazine, Vol.28, No.9, pp.23-32, 1997）。
【０００７】代表画像の抽出方法としては，映像の場面
の変り目であるカット点を検出し，カット点の画像を代
表画像とする方法があった。
の変り目であるカット点を検出し，カット点の画像を代
表画像とする方法があった。
【０００８】
【発明が解決しようとする課題】しかし，上記従来技術
には，カメラを動かしながら撮影された映像については
適切な代表画像を抜き出すことが困難であるという問題
点があった。
には，カメラを動かしながら撮影された映像については
適切な代表画像を抜き出すことが困難であるという問題
点があった。
【０００９】図６を用いてこの問題点について説明す
る。図６に示すシーン（池，山，空の映っているシー
ン）を，カメラを下から上に動かしながら撮影した映像
（画像６１，６２，６３，６４，６５）を考える。カッ
ト点を検出する従来の方法で抽出される代表画像は，シ
ーンの先頭画像６１である。この代表画像には，山が映
っていないので「山の写ったシーンを提示せよ」という
検索要求に応えることができない。
る。図６に示すシーン（池，山，空の映っているシー
ン）を，カメラを下から上に動かしながら撮影した映像
（画像６１，６２，６３，６４，６５）を考える。カッ
ト点を検出する従来の方法で抽出される代表画像は，シ
ーンの先頭画像６１である。この代表画像には，山が映
っていないので「山の写ったシーンを提示せよ」という
検索要求に応えることができない。
【００１０】この問題を解決するために，今度は画像６
１，６２，６３，６４，６５の５枚の画像を代表画像と
して抽出した場合を考える。これらの代表画像を画像デ
ータベースに蓄えておけば，「山の写っているシーンを
提示せよ」という検索要求に応えることができる。しか
し，代表画像を抽出した時点で代表画像の間の位置関係
が失われているので，「池の上に山の写っているシーン
を提示せよ」といった検索要求に応えることはできな
い。
１，６２，６３，６４，６５の５枚の画像を代表画像と
して抽出した場合を考える。これらの代表画像を画像デ
ータベースに蓄えておけば，「山の写っているシーンを
提示せよ」という検索要求に応えることができる。しか
し，代表画像を抽出した時点で代表画像の間の位置関係
が失われているので，「池の上に山の写っているシーン
を提示せよ」といった検索要求に応えることはできな
い。
【００１１】結局，以上のような従来の方法では，シー
ン全体の画像内容を表し，かつ，その空間的位置関係を
保存した代表画像を抽出できないという問題点があっ
た。また，映像を扱う場合には，時間的な検索を行える
ことが望まれる。例えば，利用者が２枚の画像Ａ，Ｂを
与えて，「Ａの後にＢが現れるシーンを探せ」といった
検索要求に応えるようにしたいわけである。従来技術で
は，代表画像を抽出した時点で時間的な情報は失われて
いたので，時間的な検索を行えなかった。
ン全体の画像内容を表し，かつ，その空間的位置関係を
保存した代表画像を抽出できないという問題点があっ
た。また，映像を扱う場合には，時間的な検索を行える
ことが望まれる。例えば，利用者が２枚の画像Ａ，Ｂを
与えて，「Ａの後にＢが現れるシーンを探せ」といった
検索要求に応えるようにしたいわけである。従来技術で
は，代表画像を抽出した時点で時間的な情報は失われて
いたので，時間的な検索を行えなかった。
【００１２】本発明は，上記問題点を解決するためにな
されたものであり，カメラ操作を含む映像に対してもシ
ーン全体の画像内容を表し，かつ，空間的位置関係を保
存した代表画像を抽出でき，また，時間的な検索を可能
とすることを目的とする。
されたものであり，カメラ操作を含む映像に対してもシ
ーン全体の画像内容を表し，かつ，空間的位置関係を保
存した代表画像を抽出でき，また，時間的な検索を可能
とすることを目的とする。
【００１３】
【課題を解決するための手段】本発明は，映像から複数
枚の代表画像を抽出する代表画像抽出工程と，参照画像
と類似した代表画像を検索する類似画像検索工程とを具
備する映像検索方法であって，前記代表画像抽出工程
が，カメラ操作を含む画像列を抽出する工程と，抽出し
た画像列を合成することによってパノラマ画像を合成す
る工程を含むことを特徴とする。カメラ操作を含む画像
列を抽出し，その画像列からパノラマ画像を合成するよ
うにしたことで，シーン全体の画像内容を表した代表画
像を自動的に抽出できるようになる。
枚の代表画像を抽出する代表画像抽出工程と，参照画像
と類似した代表画像を検索する類似画像検索工程とを具
備する映像検索方法であって，前記代表画像抽出工程
が，カメラ操作を含む画像列を抽出する工程と，抽出し
た画像列を合成することによってパノラマ画像を合成す
る工程を含むことを特徴とする。カメラ操作を含む画像
列を抽出し，その画像列からパノラマ画像を合成するよ
うにしたことで，シーン全体の画像内容を表した代表画
像を自動的に抽出できるようになる。
【００１４】さらに第２の発明は，前記代表画像抽出工
程においてカメラの動きに関する情報を代表画像と関連
付けて保存しておき，前記類似画像検索工程において時
間的検索条件を空間的検索条件に置き換えることによっ
て検索を行うことを特徴とする。カメラの動きに関する
情報を代表画像と関連付けて保存しておくことにより，
時間的検索条件を空間的検索条件に置き換えることがで
きるようになる。
程においてカメラの動きに関する情報を代表画像と関連
付けて保存しておき，前記類似画像検索工程において時
間的検索条件を空間的検索条件に置き換えることによっ
て検索を行うことを特徴とする。カメラの動きに関する
情報を代表画像と関連付けて保存しておくことにより，
時間的検索条件を空間的検索条件に置き換えることがで
きるようになる。
【００１５】以上の各処理工程をコンピュータによって
実現するためのプログラムは，コンピュータが読み取り
可能な可搬媒体メモリ，半導体メモリ，ハードディスク
などの適当な記録媒体に格納することができる。
実現するためのプログラムは，コンピュータが読み取り
可能な可搬媒体メモリ，半導体メモリ，ハードディスク
などの適当な記録媒体に格納することができる。
【００１６】
【発明の実施の形態】本発明の実施の形態について図を
参照して説明する。 ＜実施の形態１＞図１は本発明の実施の形態の処理フロ
ー図である。大きく二つの工程，(a) 代表画像抽出工
程，(b) 類似画像検索工程，に分けられる。
参照して説明する。 ＜実施の形態１＞図１は本発明の実施の形態の処理フロ
ー図である。大きく二つの工程，(a) 代表画像抽出工
程，(b) 類似画像検索工程，に分けられる。
【００１７】(a) 代表画像抽出工程図１（Ａ）の点線で
囲まれている部分が代表画像抽出工程１０である。この
工程１０は，新たな映像をデータベース（以下，ＤＢと
呼ぶ）に登録する際に実行される。ステップ１００で
は，映像データを入力する。具体的には，映像信号をデ
ジタル化したり，他の媒体に記録されているデジタル映
像データを読み込む処理であったりする。ステップ１０
１〜１１０は，入力映像データを先頭から解析し，カッ
ト点とカメラ操作を検出することによって複数の代表画
像を抽出する処理である。以下，具体的な手続きについ
て説明する。
囲まれている部分が代表画像抽出工程１０である。この
工程１０は，新たな映像をデータベース（以下，ＤＢと
呼ぶ）に登録する際に実行される。ステップ１００で
は，映像データを入力する。具体的には，映像信号をデ
ジタル化したり，他の媒体に記録されているデジタル映
像データを読み込む処理であったりする。ステップ１０
１〜１１０は，入力映像データを先頭から解析し，カッ
ト点とカメラ操作を検出することによって複数の代表画
像を抽出する処理である。以下，具体的な手続きについ
て説明する。
【００１８】ステップ１０１では，カット点を検出する
ための処理を行う。カット点検出の方法は，様々なもの
が開示されているが，単純に，現在着目している画像と
その一つ前の画像の間の輝度差分をとり，その差分の絶
対値和があるしきい値以上である場合にカット点である
と判定することができる。ステップ１０２で，カット有
りと判定された場合には，ステップ１０３において現在
入力されているカット点画像を代表画像として，ステッ
プ１０４で代表画像登録処理手続きに渡す。
ための処理を行う。カット点検出の方法は，様々なもの
が開示されているが，単純に，現在着目している画像と
その一つ前の画像の間の輝度差分をとり，その差分の絶
対値和があるしきい値以上である場合にカット点である
と判定することができる。ステップ１０２で，カット有
りと判定された場合には，ステップ１０３において現在
入力されているカット点画像を代表画像として，ステッ
プ１０４で代表画像登録処理手続きに渡す。
【００１９】ステップ１０４の代表画像登録手続きにつ
いて説明する。図１（Ｃ）のステップ１１１では，登録
しようとしている代表画像から，画像特徴量を抽出す
る。画像特徴量としては，様々なものを利用することが
できるが，例えば画像の輝度の平均値，色ヒストグラム
などを用いることができる。
いて説明する。図１（Ｃ）のステップ１１１では，登録
しようとしている代表画像から，画像特徴量を抽出す
る。画像特徴量としては，様々なものを利用することが
できるが，例えば画像の輝度の平均値，色ヒストグラム
などを用いることができる。
【００２０】ここでは，色ヒストグラムを例にとって説
明する。代表画像の各画素点ｉのＲＧＢ値をＲi ，
Ｇi ，Ｂi （０≦Ｒi ，Ｇi ，Ｂi ≦２５５）とする。
ＲＧＢ値（Ｒi ，Ｇi ，Ｂi ）は，もともと８ビットあ
るが，それぞれを２ビットに圧縮／合成して６ビット値
Ｖi に変換する。ヒストグラムＨ（ｖ），ｖ＝０，１，
…，６３は，Ｖi ＝ｖとなる画素数をカウントしたもの
であり，Ｈ（ｖ）は正の整数値をとる。ステップ１１２
では，代表画像データ，特徴量，映像の先頭からの時間
などをデータベース（ＤＢ）の一つのレコードとして登
録する。なお，画像特徴量としてヒストグラムＨ（ｖ）
を登録する場合には，画像サイズに依存しないよう正規
化してからレコードに登録する。
明する。代表画像の各画素点ｉのＲＧＢ値をＲi ，
Ｇi ，Ｂi （０≦Ｒi ，Ｇi ，Ｂi ≦２５５）とする。
ＲＧＢ値（Ｒi ，Ｇi ，Ｂi ）は，もともと８ビットあ
るが，それぞれを２ビットに圧縮／合成して６ビット値
Ｖi に変換する。ヒストグラムＨ（ｖ），ｖ＝０，１，
…，６３は，Ｖi ＝ｖとなる画素数をカウントしたもの
であり，Ｈ（ｖ）は正の整数値をとる。ステップ１１２
では，代表画像データ，特徴量，映像の先頭からの時間
などをデータベース（ＤＢ）の一つのレコードとして登
録する。なお，画像特徴量としてヒストグラムＨ（ｖ）
を登録する場合には，画像サイズに依存しないよう正規
化してからレコードに登録する。
【００２１】図２を用いて，具体的なＤＢの構成の例に
ついて説明する。ＤＢの一つのレコードは，図２に示す
ように，レコードのＩＤ番号のフィールド２１，画像デ
ータへのポインタのフィールド２２，映像ＩＤのフィー
ルド２３，映像区間のフィールド２４，パノラマ画像か
否かのフラグ２５，カメラ動き情報のフィールド２６か
ら構成される。フィールド２２には，この例では，画像
データへのポインタとして画像ファイルのファイル名を
格納しているが，もちろん画像データ自身を格納しても
よい。フィールド２３には，映像ＩＤとしてオリジナル
の映像に対するポインタ情報が格納される。フィールド
２４には，代表画像が対応する映像区間が格納される
（０〜１００００は０秒から１００００ミリ秒までの区
間）。フィールド２５は，代表画像のタイプを表すフラ
グが格納される。フィールド２６については後述する。
ついて説明する。ＤＢの一つのレコードは，図２に示す
ように，レコードのＩＤ番号のフィールド２１，画像デ
ータへのポインタのフィールド２２，映像ＩＤのフィー
ルド２３，映像区間のフィールド２４，パノラマ画像か
否かのフラグ２５，カメラ動き情報のフィールド２６か
ら構成される。フィールド２２には，この例では，画像
データへのポインタとして画像ファイルのファイル名を
格納しているが，もちろん画像データ自身を格納しても
よい。フィールド２３には，映像ＩＤとしてオリジナル
の映像に対するポインタ情報が格納される。フィールド
２４には，代表画像が対応する映像区間が格納される
（０〜１００００は０秒から１００００ミリ秒までの区
間）。フィールド２５は，代表画像のタイプを表すフラ
グが格納される。フィールド２６については後述する。
【００２２】ステップ１０５では，カメラパラメータを
推定する。カメラパラメータの推定方法としては，様々
なものが開示されており，いずれを使ってもよいが，単
純な例としては，平行移動モデルをカメラモデルとし，
その最適パラメータをcoarse-to-fine戦略で探索すると
いう方法がある（Taniguchi,Y. et al. Panorama Excer
tps: Extracting and Packing Panoramas for Video Br
owsing, Proceedingsof ACM Multimedia 97, pp.427-43
6.)。
推定する。カメラパラメータの推定方法としては，様々
なものが開示されており，いずれを使ってもよいが，単
純な例としては，平行移動モデルをカメラモデルとし，
その最適パラメータをcoarse-to-fine戦略で探索すると
いう方法がある（Taniguchi,Y. et al. Panorama Excer
tps: Extracting and Packing Panoramas for Video Br
owsing, Proceedingsof ACM Multimedia 97, pp.427-43
6.)。
【００２３】ステップ１０６では，ステップ１０５で推
定されたカメラパラメータに基づいてカメラ操作の有無
を判定する。平行移動モデルの場合には，パラメータ値
がすべて０であれば，カメラ操作がないと判定すること
ができる。ノイズを考慮し，より厳密な判定を行うため
に，カメラモデルの当てはまりのよさを定量化する方法
もある（Taniguchi,Y. et al. Panorama Excertps: Ext
racting and PackingPanoramas for Video Browsing, P
roceedings of ACM Multimedia 97, pp.427-436.)。
定されたカメラパラメータに基づいてカメラ操作の有無
を判定する。平行移動モデルの場合には，パラメータ値
がすべて０であれば，カメラ操作がないと判定すること
ができる。ノイズを考慮し，より厳密な判定を行うため
に，カメラモデルの当てはまりのよさを定量化する方法
もある（Taniguchi,Y. et al. Panorama Excertps: Ext
racting and PackingPanoramas for Video Browsing, P
roceedings of ACM Multimedia 97, pp.427-436.)。
【００２４】ステップ１０７で，カメラ操作有りと判定
された場合には，ステップ１０８でパノラマ画像を合成
する。より具体的には，カメラの動きをキャンセルする
ように画像列を重ねあわせることによって，背景に継ぎ
目が見えないように画像を合成することができ，最終的
に広視野のパノラマ画像を生成できる。抽出されたパノ
ラマ画像はステップ１０４′（図１（Ｃ）の処理）で代
表画像として登録される。
された場合には，ステップ１０８でパノラマ画像を合成
する。より具体的には，カメラの動きをキャンセルする
ように画像列を重ねあわせることによって，背景に継ぎ
目が見えないように画像を合成することができ，最終的
に広視野のパノラマ画像を生成できる。抽出されたパノ
ラマ画像はステップ１０４′（図１（Ｃ）の処理）で代
表画像として登録される。
【００２５】ステップ１０３では，カット点直後の画像
を代表画像とする例について説明したが，カットから一
定時間後の画像を代表画像とするようにしてもよい。ま
た，カット点画像を代表画像としてすぐに登録するので
はなく，次のカット点が検出される前にパノラマ画像を
抽出したら，カット点画像は代表画像として登録しない
ようにすることも冗長な処理を省く意味で好適である。
を代表画像とする例について説明したが，カットから一
定時間後の画像を代表画像とするようにしてもよい。ま
た，カット点画像を代表画像としてすぐに登録するので
はなく，次のカット点が検出される前にパノラマ画像を
抽出したら，カット点画像は代表画像として登録しない
ようにすることも冗長な処理を省く意味で好適である。
【００２６】(b) 類似画像検索工程 図１（Ｂ）の点線で囲まれている部分が類似画像検索工
程１１である。この工程１１は，利用者が検索要求をシ
ステムに与えるたびに実行される。
程１１である。この工程１１は，利用者が検索要求をシ
ステムに与えるたびに実行される。
【００２７】ステップ１２０では，利用者からの検索要
求を入力する。ここでは，類似画像検索の例を考える。
つまり，利用者は１枚の画像をシステムに与えて，検索
結果として類似画像を含む映像区間を出力として得ると
いうものである。したがって，ステップ１２０では，画
像データが読み込まれる。
求を入力する。ここでは，類似画像検索の例を考える。
つまり，利用者は１枚の画像をシステムに与えて，検索
結果として類似画像を含む映像区間を出力として得ると
いうものである。したがって，ステップ１２０では，画
像データが読み込まれる。
【００２８】ステップ１２１では，利用者から与えられ
た画像から，画像特徴量を抽出する。どのような種類の
特徴量を算出するかは検索条件によるが，例えば，色に
関して類似しているものが欲しければ，色ヒストグラム
など色の特徴を反映したものとする。
た画像から，画像特徴量を抽出する。どのような種類の
特徴量を算出するかは検索条件によるが，例えば，色に
関して類似しているものが欲しければ，色ヒストグラム
など色の特徴を反映したものとする。
【００２９】ステップ１２２では，ＤＢの一つのレコー
ドに記録されている特徴量と，ステップ１２１で抽出さ
れた特徴量を照合し，距離を計算し，ステップ１２３の
判定でその距離が許容値よりも小さい場合には，類似画
像が見つかったとして，ステップ１２４で対応する映像
区間を出力する。色ヒストグラムの例では，利用者から
与えられた画像から得られたヒストグラムをＨ１
（ｖ），ＤＢ内の代表画像から得られたヒストグラムを
Ｈ２（ｖ）とすれば，二つの画像の間の距離Ｄは，次式
によって計算できる。
ドに記録されている特徴量と，ステップ１２１で抽出さ
れた特徴量を照合し，距離を計算し，ステップ１２３の
判定でその距離が許容値よりも小さい場合には，類似画
像が見つかったとして，ステップ１２４で対応する映像
区間を出力する。色ヒストグラムの例では，利用者から
与えられた画像から得られたヒストグラムをＨ１
（ｖ），ＤＢ内の代表画像から得られたヒストグラムを
Ｈ２（ｖ）とすれば，二つの画像の間の距離Ｄは，次式
によって計算できる。
【００３０】Ｄ＝Σ｜Ｈ１（ｖ）−Ｈ２（ｖ）｜ （ただし，Σはｖ＝０から６３までの総和）。ステップ
１２２からステップ１２４までの処理を，ＤＢに格納さ
れているすべてのレコードについて繰り返す（ステップ
１２５）ことによって，類似映像区間を列挙することが
できる。
１２２からステップ１２４までの処理を，ＤＢに格納さ
れているすべてのレコードについて繰り返す（ステップ
１２５）ことによって，類似映像区間を列挙することが
できる。
【００３１】＜実施の形態２＞次に，請求項２の発明に
対応する第２の実施の形態について説明する。図３に，
その処理フロー図を示す。本処理フロー図のほとんどの
部分は，図１の対応する各ステップと同じであるので，
ここでは，新規に加わったステップ３０１とステップ３
０２についてのみ説明する。
対応する第２の実施の形態について説明する。図３に，
その処理フロー図を示す。本処理フロー図のほとんどの
部分は，図１の対応する各ステップと同じであるので，
ここでは，新規に加わったステップ３０１とステップ３
０２についてのみ説明する。
【００３２】ステップ３０１は，カメラ操作情報（カメ
ラの動き情報）を抽出するステップであり，代表画像が
カット点によって抽出されたものであれば，カメラは固
定されていたとし，パノラマ画像である場合には，前述
した図１（Ａ）の代表画像抽出工程１０におけるステッ
プ１０５で推定されたカメラパラメータに対して，次に
説明するような変換を施して，ステップ１１２でＤＢへ
挿入する。
ラの動き情報）を抽出するステップであり，代表画像が
カット点によって抽出されたものであれば，カメラは固
定されていたとし，パノラマ画像である場合には，前述
した図１（Ａ）の代表画像抽出工程１０におけるステッ
プ１０５で推定されたカメラパラメータに対して，次に
説明するような変換を施して，ステップ１１２でＤＢへ
挿入する。
【００３３】図４において，４１〜４４は入力画像列を
示し，それぞれ時刻ｔ＝０，１，２，３の画像に対応し
ている。この画像列から生成されるパノラマ画像が，画
像４５である。入力画像Ｉｔとパノラマ画像４５の対応
点（Ｉｔの左上角の点）を，Ｐｔ（ｔ＝０，１，２，
３）とする。対応点Ｐｔは，ステップ１０５で求めたカ
メラパラメータを足し合わせていくことで算出できる
（平行移動モデルの場合）。この点列Ｐｔを，図２に示
すＤＢのフィールド２６にカメラ動き情報として格納し
ておく。
示し，それぞれ時刻ｔ＝０，１，２，３の画像に対応し
ている。この画像列から生成されるパノラマ画像が，画
像４５である。入力画像Ｉｔとパノラマ画像４５の対応
点（Ｉｔの左上角の点）を，Ｐｔ（ｔ＝０，１，２，
３）とする。対応点Ｐｔは，ステップ１０５で求めたカ
メラパラメータを足し合わせていくことで算出できる
（平行移動モデルの場合）。この点列Ｐｔを，図２に示
すＤＢのフィールド２６にカメラ動き情報として格納し
ておく。
【００３４】図３に戻って，類似画像検索工程１１につ
いて説明する。本実施の形態では，検索要求として，利
用者から２枚の画像ＩＭＧ１，ＩＭＧ２を受け取り，
「ＩＭＧ１の類似画像のあとにＩＭＧ２の類似画像が現
れる映像区間を検索せよ」というものを考える。
いて説明する。本実施の形態では，検索要求として，利
用者から２枚の画像ＩＭＧ１，ＩＭＧ２を受け取り，
「ＩＭＧ１の類似画像のあとにＩＭＧ２の類似画像が現
れる映像区間を検索せよ」というものを考える。
【００３５】図３の類似画像検索工程１１におけるステ
ップ１２０では，２枚の画像ＩＭＧ１とＩＭＧ２を入力
する。ステップ１２１では，画像特徴量として上記実施
の形態１と同様にして，ＩＭＧ１，ＩＭＧ２からそれぞ
れ色ヒストグラムＨ１，Ｈ２を算出する。ステップ１２
２では，代表画像とＩＭＧ１，ＩＭＧ２を色ヒストグラ
ムＨ１，Ｈ２を用いて照合し，ＩＭＧ１，ＩＭＧ２の類
似領域が同時に見つかったとき，ステップ３０２に処理
を移す。この時点で，現在着目している映像区間には，
ＩＭＧ１，ＩＭＧ２の類似画像領域が存在することが分
かったことになる。
ップ１２０では，２枚の画像ＩＭＧ１とＩＭＧ２を入力
する。ステップ１２１では，画像特徴量として上記実施
の形態１と同様にして，ＩＭＧ１，ＩＭＧ２からそれぞ
れ色ヒストグラムＨ１，Ｈ２を算出する。ステップ１２
２では，代表画像とＩＭＧ１，ＩＭＧ２を色ヒストグラ
ムＨ１，Ｈ２を用いて照合し，ＩＭＧ１，ＩＭＧ２の類
似領域が同時に見つかったとき，ステップ３０２に処理
を移す。この時点で，現在着目している映像区間には，
ＩＭＧ１，ＩＭＧ２の類似画像領域が存在することが分
かったことになる。
【００３６】ステップ３０２では，「ＩＭＧ１のあとに
ＩＭＧ２が現れる」という時間条件を満足するかどうか
を判定する。図４の例で，検索要求がＩＭＧ１＝
“Ａ”，ＩＭＧ２＝“Ｅ”である場合，を例にとって説
明する。ステップ１２２で，ＩＭＧ１（“Ａ”）とＩＭ
Ｇ２（“Ｅ”）に類似した領域４６，４７が見つかる。
ＤＢのフィールド２６に設定されているカメラ動き情報
を参照することにより，領域４６は時刻ｔ＝０に，領域
４７は時刻ｔ＝３に現れることが分かる。したがって，
上記時間条件を満たしていることが分かり，ステップ１
２４で対応する映像区間を出力する。結局，時間的条件
を含んだ映像検索が可能となる。
ＩＭＧ２が現れる」という時間条件を満足するかどうか
を判定する。図４の例で，検索要求がＩＭＧ１＝
“Ａ”，ＩＭＧ２＝“Ｅ”である場合，を例にとって説
明する。ステップ１２２で，ＩＭＧ１（“Ａ”）とＩＭ
Ｇ２（“Ｅ”）に類似した領域４６，４７が見つかる。
ＤＢのフィールド２６に設定されているカメラ動き情報
を参照することにより，領域４６は時刻ｔ＝０に，領域
４７は時刻ｔ＝３に現れることが分かる。したがって，
上記時間条件を満たしていることが分かり，ステップ１
２４で対応する映像区間を出力する。結局，時間的条件
を含んだ映像検索が可能となる。
【００３７】＜システムの構成例＞図５は，本発明を適
用する映像検索システムの簡単な構成例を示している。
処理装置１は，ＣＰＵおよびメモリ等からなり，図１に
示す代表画像抽出工程１０を実現するためのソフトウェ
アプログラム等によって構成される代表画像抽出部２，
代表画像登録処理部３，また図１および図３に示す類似
画像検索工程１１を実現するためのソフトウェアプログ
ラム等によって構成される類似画像検索部４を備える。
これらを実現するプログラムは，例えばコンパクトディ
スク，フロッピーディスクなどの記録媒体から読み出し
てインストールすることができる。
用する映像検索システムの簡単な構成例を示している。
処理装置１は，ＣＰＵおよびメモリ等からなり，図１に
示す代表画像抽出工程１０を実現するためのソフトウェ
アプログラム等によって構成される代表画像抽出部２，
代表画像登録処理部３，また図１および図３に示す類似
画像検索工程１１を実現するためのソフトウェアプログ
ラム等によって構成される類似画像検索部４を備える。
これらを実現するプログラムは，例えばコンパクトディ
スク，フロッピーディスクなどの記録媒体から読み出し
てインストールすることができる。
【００３８】代表画像抽出部２は，カメラから入力した
映像信号をデジタル化したり，他の媒体に記録されてい
る映像データ５を入力し，前述した処理により代表画像
を抽出して，抽出した代表画像を代表画像登録処理部３
により映像データ５とともに映像データベース６に登録
する。
映像信号をデジタル化したり，他の媒体に記録されてい
る映像データ５を入力し，前述した処理により代表画像
を抽出して，抽出した代表画像を代表画像登録処理部３
により映像データ５とともに映像データベース６に登録
する。
【００３９】通信回線等で接続された利用者端末７から
検索したい画像を指定した映像データの検索要求がある
と，類似画像検索部４は，前述した処理により映像デー
タベース６に登録された代表画像を用いて要求された映
像データを検索し，検索結果を利用者端末７へ送信す
る。
検索したい画像を指定した映像データの検索要求がある
と，類似画像検索部４は，前述した処理により映像デー
タベース６に登録された代表画像を用いて要求された映
像データを検索し，検索結果を利用者端末７へ送信す
る。
【００４０】
【発明の効果】本発明によれば，カメラ操作区間を自動
的に検出し，パノラマ画像を合成し，代表画像とするよ
うにしたので，カメラ操作を含む映像に対してもシーン
全体の画像内容を表し，かつ，空間的位置関係を保存し
た代表画像を抽出できるようになるという効果がある。
また，カメラ操作に関する情報を代表画像と関連付けて
おくことで，時間的な検索が可能となるという効果があ
る。
的に検出し，パノラマ画像を合成し，代表画像とするよ
うにしたので，カメラ操作を含む映像に対してもシーン
全体の画像内容を表し，かつ，空間的位置関係を保存し
た代表画像を抽出できるようになるという効果がある。
また，カメラ操作に関する情報を代表画像と関連付けて
おくことで，時間的な検索が可能となるという効果があ
る。
【図１】本発明の実施の形態の処理フロー図である。
【図２】データベースの構成について説明するための図
である。
である。
【図３】本発明の第２の実施の形態の処理フロー図であ
る。
る。
【図４】カメラ動き情報について説明するための図であ
る。
る。
【図５】本発明を適用する映像検索システムの構成例を
示す図である。
示す図である。
【図６】従来技術の問題点について説明するための模式
図である。
図である。
１０ 代表画像抽出工程 １１ 類似画像検索工程 １００〜１１０，３０１ 代表画像抽出工程のステップ １２０〜１２５，３０２ 類似画像検索工程のステップ ２１〜２６ ＤＢのフィールド ４１〜４４ 入力画像列 ４５ パノラマ画像 ４６，４７ 領域
Claims (3)
- 【請求項１】 映像から複数枚の代表画像を抽出する代
表画像抽出工程と，参照画像と類似した代表画像を検索
する類似画像検索工程とを具備する映像検索方法であっ
て，前記代表画像抽出工程が，カメラ操作を含む画像列
を抽出する工程と，抽出した画像列を合成することによ
ってパノラマ画像を合成する工程を含むことを特徴とす
る映像検索方法。 - 【請求項２】 請求項１記載の映像検索方法において，
前記代表画像抽出工程においてカメラの動きに関する情
報を代表画像と関連付けて保存しておき，前記類似画像
検索工程において時間的検索条件を空間的検索条件に置
き換えることによって検索を行うことを特徴とする映像
検索方法。 - 【請求項３】 映像から複数枚の代表画像を抽出する代
表画像抽出工程と，参照画像と類似した代表画像を検索
する類似画像検索工程とを具備する映像検索方法をコン
ピュータによって実現するためのプログラムを格納した
記録媒体であって，前記代表画像抽出工程においてカメ
ラ操作を含む画像列を抽出する工程と，抽出した画像列
を合成することによってパノラマ画像を合成する工程と
を含む処理を，コンピュータに実行させるプログラムを
格納したことを特徴とする映像検索プログラムを格納し
た記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10060835A JPH11259507A (ja) | 1998-03-12 | 1998-03-12 | 映像検索方法および映像検索プログラムを格納した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10060835A JPH11259507A (ja) | 1998-03-12 | 1998-03-12 | 映像検索方法および映像検索プログラムを格納した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11259507A true JPH11259507A (ja) | 1999-09-24 |
Family
ID=13153826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10060835A Pending JPH11259507A (ja) | 1998-03-12 | 1998-03-12 | 映像検索方法および映像検索プログラムを格納した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11259507A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099913A (ja) * | 2000-07-21 | 2002-04-05 | Lg Electronics Inc | 漸進的ヒストグラムを利用したマルチメディアの検索方法 |
| JP2003196297A (ja) * | 2001-12-28 | 2003-07-11 | Canon Inc | 動画像管理装置及び方法 |
| US6928231B2 (en) | 2000-03-31 | 2005-08-09 | Nec Corporation | Method and system for video recording and computer program storing medium thereof |
| JP2006178974A (ja) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | 情報処理方法、情報処理装置及びデータ処理装置 |
| JP2010225172A (ja) * | 2003-07-04 | 2010-10-07 | Mitsubishi Electric R&D Centre Europe Bv | 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09293082A (ja) * | 1996-04-26 | 1997-11-11 | Toshiba Corp | 画像検索装置及び画像検索方法 |
-
1998
- 1998-03-12 JP JP10060835A patent/JPH11259507A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09293082A (ja) * | 1996-04-26 | 1997-11-11 | Toshiba Corp | 画像検索装置及び画像検索方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6928231B2 (en) | 2000-03-31 | 2005-08-09 | Nec Corporation | Method and system for video recording and computer program storing medium thereof |
| JP2002099913A (ja) * | 2000-07-21 | 2002-04-05 | Lg Electronics Inc | 漸進的ヒストグラムを利用したマルチメディアの検索方法 |
| JP2003196297A (ja) * | 2001-12-28 | 2003-07-11 | Canon Inc | 動画像管理装置及び方法 |
| US6965701B2 (en) | 2001-12-28 | 2005-11-15 | Canon Kabushiki Kaisha | Moving image data management apparatus and method |
| US7155064B2 (en) | 2001-12-28 | 2006-12-26 | Canon Kabushiki Kaisha | Moving image data management apparatus and method |
| US7269290B2 (en) | 2001-12-28 | 2007-09-11 | Canon Kabushiki Kaisha | Moving image data management apparatus and method |
| JP2010225172A (ja) * | 2003-07-04 | 2010-10-07 | Mitsubishi Electric R&D Centre Europe Bv | 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム |
| JP2006178974A (ja) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | 情報処理方法、情報処理装置及びデータ処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1244025B1 (en) | Image retrieval system and image retrieval method | |
| JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
| US6502105B1 (en) | Region-based image archiving and retrieving system | |
| US7149755B2 (en) | Presenting a collection of media objects | |
| US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
| US7212666B2 (en) | Generating visually representative video thumbnails | |
| WO2018028583A1 (zh) | 字幕提取方法及装置、存储介质 | |
| JP2994177B2 (ja) | ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法 | |
| US8200669B1 (en) | Management of smart tags via hierarchy | |
| US8515933B2 (en) | Video search method, video search system, and method thereof for establishing video database | |
| US7243101B2 (en) | Program, image managing apparatus and image managing method | |
| US20070237225A1 (en) | Method for enabling preview of video files | |
| US20130041903A1 (en) | Categorization of Digital Media Based on Media Characteristics | |
| JP2002125178A (ja) | メディア・セグメント化システムおよび関連する方法 | |
| KR100471927B1 (ko) | 웹 기반 영상 데이터 검색 시스템 및 그 방법 | |
| JP4613569B2 (ja) | キーフレーム識別選択方法、この方法をコンピュータに実行させるプログラム、およびキーフレーム識別選択システム | |
| US20050100221A1 (en) | Systems and methods for indexing and retrieving images | |
| US20040098750A1 (en) | Method for fixing up last uniform resource locator representing path and file name of multiphoto/video asset | |
| JPH11259507A (ja) | 映像検索方法および映像検索プログラムを格納した記録媒体 | |
| US7755646B2 (en) | Image management through lexical representations | |
| Aner-Wolf et al. | Video summaries and cross-referencing through mosaic-based representation | |
| JPH113346A (ja) | 動画像ファイル管理装置 | |
| JPH0944639A (ja) | 映像ブロック分類方法及び装置 | |
| US11283945B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| KR20050025483A (ko) | 내용 기반 검색을 위한 개선된 질의 방법 및 그 방법을구현하기 위한 프로그램을 저장한 기록매체 |