JP4536940B2 - 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、動画を処理するコンピュータやビデオ録画装置等に用いられる、画像処理装置、画像処理方法、コンピュータ読取可能な記憶媒体、及びコンピュータプログラムに関するものである。
【０００２】
【従来の技術】
例えば、動画はその構成上、階層構造を形成することが多い。ここでは、以下の説明において混乱を避けるために、動画の階層構造に関する主なる用語について、次のように定義する。
・撮影を中断せずに一台のカメラで撮影して得られた一連の動画像を「ショット」と言う。
・動画像の構成や内容の連続性等に基づいて複数の「ショット」を統合したもの、あるいは、1つの場面を複数のカメラで撮影して得られた複数の「ショット」を統合したものを「シーン」と言う。また、複数のシーンを統合したものも同じく「シーン」と言う。
・パンやズーム等のカメラの動きを考慮して「ショット」を分割、あるいは、写っている物体の出入りを考慮して「ショット」を分割したものを「サブシヨット」と言う。
【０００３】
そこで、上記の階層構造を利用して動画の検索や編集等を行う画像処理装置として、例えば、特開平５−３０４６４号や特開平５−２８２３７９号等で提案された装置がある。このような画像処理装置では、動画を階層構造として画面表示し、当該表示画面上から動画の検索や編集等を行えるようになされている。
【０００４】
図１５は、上記画像処理装置において、動画を階層構造として表示した画面を示したものである。
上記図１５において、“７０５”は、シーンの代表画像を示し、“７０４”は、当該シーンに含まれるショットの代表画像を示し、“７０１”〜“７０３”は、当該ショットに含まれるサブショットの代表画像を示す。
【０００５】
上記の代表画像としては、サブショツトや、ショット及びシーンを代表するフレームを１つだけ選び、そのフレーム（代表フレーム）の縮小画像を用いている。
代表フレームの選択方法としては、例えば、ショットやシーンの先頭のフレームを自動的に選択する方法や、ユーザから指定されたフレームを代表フレームとする方法等が提案されている。
【０００６】
一方、複数のショットを統合してシーンを形成する方法としては、例えば、「繰り返しショットの統合による階層化アイコンを用いたビデオ・インターフェース」（情報処理学会論文誌：Ｖｏ１．３９、Ｎｏ．５,１９９８）等に記載された方法がある。この方法では、ドラマ等で複数の人間が対話するシーンでは各発話者をアップにしたショットが発話毎に切り替わり同一シーン中に類似するショットが複数回出現する、という規則性を利用して、自動的にショットをシーンに統合するようになされている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したような従来の画像処理装置及び方法では、動画を階層構造として画面表示するために、シーンやショットの代表フレームを１枚だけを選択しても、その代表フレームが、当該シーンやショットの内容を十分に表現しているとは言えなかった。このため、あるシーン或いはショットの内容を把握するためには、それ下位のノードの代表フレームを見なければならなかった。
【０００８】
また、複数のショットを自動的に統合して形成されたシーンが、例えば、対話シーンである場合、統合して得られた当該シーンの代表フレームとして、発話者の１人のみが存在するフレームが選択される場合があった。このため、この代表フレームからは、対話シーンであるということが把握できない場合があった。
【０００９】
また、動画中に人間が存在するショットは、人間が存在しないショットに比べて重要なショットであることが一般的であるが、任意のショットの代表フレームを選択するようにすると、人間が存在しないショットの代表フレームが選択される場合があった。これは、シーンの内容を十分に代表していない。
【００１０】
また、選択された代表フレームに人間が存在する場合、これを縮小して画面表示することになるため、当該表示画面上で、誰が出現しているのか識別しづらかった。
【００１１】
そこで、本発明は、上記の欠点を除去するために成されたもので、動画が階層構造として表示された画面から、各階層の動画（部分動画）の内容を容易に且つ正確に認識することが可能な、画像処理装置、画像処理方法、コンピュータ読取可能な記憶媒体、及びコンピュータプログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、動画を処理する画像処理装置であって、対象動画を時間的に部分動画に分割する分割手段と、上記分割手段で得られた部分動画から第１の代表画像を抽出する抽出手段と、上記分割手段で得られた部分動画を上記第１の代表画像の類似性に基づいて統合する統合手段と、上記統合手段で得られた統合部分動画を構成する複数の部分動画に対応する第１の代表画像から所定数の第１の代表画像を選択する選択手段と、上記選択手段で選択された所定数の第１の代表画像を合成することにより、上記統合手段で得られた統合部分動画に対する第２の代表画像を生成する生成手段とを備えることを特徴とする。
【００２３】
本発明の画像処理方法は、動画を処理するための画像処理方法であって、対象動画を時間的に部分動画に分割する分割ステップと、上記分割ステップにより得られた部分動画を代表する第１の代表画像を抽出する抽出ステップと、上記分割ステップにより得られた部分動画を上記第１の代表画像の類似性に基づいて統合する統合ステップと、上記統合ステップで得られた統合部分動画を構成する複数の部分動画に対応する第１の代表画像から所定数の第１の代表画像を選択する選択ステップと、上記選択ステップで選択された所定数の第１の代表画像を合成することにより、上記統合ステップにより得られた統合部分動画に対する第２の代表画像を生成する生成ステップとを含むことを特徴とする。
【００３０】
また、本発明の画像処理方法の他の特徴とするところは、動画を処理するための画像処理方法であって、動画を時間的に部分動画に分割する分割ステップと、上記部分動画を代表する第１の代表画像を抽出する抽出ステップと、上記部分動画を上記第１の代表画像の類似性に基づいて統合する統合ステップと、上記第１の代表画像から特定のオブジェクト領域を検出する検出ステップと、上記検出ステップでの検出結果により、上記特定のオブジェクト領域が存在すると判定された第１の代表画像を優先的に、上記統合ステップにより統合される前の各部分動画に対する第１の代表画像の中から所定数の第１の代表画像を選択する選択ステップと、上記選択ステップにより選択された第１の代表画像を合成することにより、上記統合ステップにより統合された後の統合部分動画を代表する第２の代表画像を生成する生成ステップとを含むことを特徴とする。
【００３３】
また、本発明の画像処理方法のその他の特徴とするところは、動画を処理するための画像処理方法であって、動画を時間的に部分動画に分割する分割ステップと、上記部分動画を代表する第１の代表画像を抽出する抽出ステップと、上記第１の代表画像の中の特定のオブジェクト領域を検出する検出ステップと、上記部分動画を上記第１の代表画像の類似性に基づいて統合する統合ステップと、上記統合ステップにより統合される前の各部分動画に対する第１の代表画像の中から、上記統合ステップによる統合部分動画に対する第１の代表画像を選択する選択ステップと、上記選択ステップにより選択された第１の代表画像を合成することにより、上記統合部分動画を代表する画像を生成する生成ステップとを含み、上記生成ステップは、上記検出ステップにより、上記第１の代表画像に特定のオブジェクト領域が存在する場合、上記特定のオブジェクト領域を拡大した部分画像から上記統合部分動画に対する第２の代表画像を生成するステップを含むことを特徴とする。
【００３５】
本発明の記憶媒体は、上記の何れかに記載の画像処理方法の処理ステップをコンピュータに実行させるためのコンピュータプログラムを記録したことを特徴とする。
【００３７】
本発明のコンピュータプログラムは、上記の何れかに記載の画像処理方法の処理ステップをコンピュータに実行させることを特徴とする。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３９】
本発明は、例えば、図１に示すような画像処理装置１００に適用される。
本実施の形態の画像処理装置１００は、上記図１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＣＤ−ＲＯＭドライブ１０４、ＨＤドライブ１０６、キーボード１０７、ディスプレイ１０８、マウス１０９、及びプリンタ１１０が、システムバス１１１を介して互いに通信可能なように接続された構成としている。
【００４０】
ＣＰＵ１０１は、画像処理装置１００全体の動作制御を司るものであり、例えば、ＲＯＭ１０２等に予め記憶された処理プログラムを読み出して実行することで、図２に示すような機能を実現する。
すなわち、画像処理装置１００は、上記図２に示すように、処理対象動画を時間的に分割する動画分割部１５１と、動画分割部１５１で得られた部分動画を代表する画像（代表画像）を抽出する代表画像抽出部１５３と、動画分割部１５１で得られた一連の部分動画を意味的にまとまりのある部分動画として統合する部分動画統合１５２と、代表画像抽出部１５３で得られた代表画像（部分動画統合１５２での統合前の部分画像の代表画像）の中から人物（顔）が存在する画像を優先的に規定枚数選択する代表画像選択部１５５と、代表画像選択部１５５で選択された代表画像に基づいて部分動画統合１５２での統合後の部分動画（統合部分動画）の代表画像を作成する代表画像作成部１５４とを備えている。
【００４１】
ＲＯＭ１０２には、例えば、図３に示すように、ＣＰＵ１０１での動作制御に必要な処理プログラム（制御手順プログラム）１０２ａ等が格納されている。
【００４２】
ＲＡＭ１０３は、例えば、図４に示すように、基本Ｉ／Ｏプログラムの格納領域１０３ａ及びオペレーションシステムプログラムの格納領域１０３ｂと共に、動画検索プログラムの格納領域１０３ｃ、動画データベース１０３ｄ、ショット情報の格納領域１０３ｅ、シーン統合情報の格納領域１０３ｆ、及び代表画像分類情報の格納領域１０３ｇ等を含んでいる。
【００４３】
ＲＡＭ１０３の格納領域１０３ｃに格納される動画検索プログラムは、例えば、図５に示すように、ＣＤ−ＲＯＭ１０５に記憶されている。
したがって、図６に示すように、動画検索プログラム１０５ａが記憶されたＣＤ−ＲＯＭ１０５が、画像処理装置１００のＣＤ−ＲＯＭドライブ１０４にセットされることで、動画検索プログラム１０５ａは、上記図４に示したように、ＲＡＭ１０３の格納領域１０３ｃへ格納（ロード）されることになる。
【００４４】
動画検索プログラム１０５ａがＲＡＭ１０３へ格納されＣＰＵ１０１から実行可能状態となると、これと同時に、ＲＡＭ１０３の格納領域１０３ｅへのショット情報の格納等が、ＨＤドライブ１０６から行なわれる。また、動画検索プログラム１０５ａの実行で使用されるメモリとしてのＲＡＭ１０３の動画データベース１０３ｄの確保や、ＲＡＭ１０３のシーン統合情報用の格納領域１０３ｆ及び代表画像分類情報用の格納領域１０３ｇ等の確保が行なわれる。
【００４５】
図７は、ＲＡＭ１０３の格納領域１０３ｅに格納されたショット情報を示したものである。
ショット情報は、動画データベース１０３ｄに格納されている動画に対するショットの情報を含んでいる。具体的には例えば、ショット情報は、ショットを一意に識別するためのショットＩＤ、動画中における開始位置を示す開始時間、ショットの時間の長さを表すショット時間、ショットを代表する画像のファイル名、ショット中に出現する人物のＩＤ、及びショット中の人物の顔の向きを表す顔方向の情報を含んでいる。
【００４６】
図８は、ＲＡＭ１０３の格納領域１０３ｆに格納されたシーン統合情報を示したものである。
シーン統合情報は、類似するショットを統合するための情報を含んでいる。具体的には例えば、シーン統合情報は、対象ショットを識別するためのショットＩＤ、対象ショットに類似するショットのショットＩＤ、当該類似するショットの時間の合計時間、当該類似するショットの中で最も長いショットを示す最長ショットＩＤ、及び当該類似するショットに出現する人物の情報を含んでいる。
【００４７】
図９は、ＲＡＭ１０３の格納領域１０３ｇに格納された代表画像分類情報を示したものである。
代表画像分類情報は、統合されたショットの代表画像を選択する際に使用され、シーン統合情報を人物別にまとめた情報を含んでいる。具体的には例えば、代表画像分類情報は、対象人物を識別するための人物の情報、対象人物が出現する類似のショットのＩＤ、対象人物が出現する時間の合計時間、及び最も長く人物が出現するショットを示す最長ショットＩＤを含んでいる。
【００４８】
図１０〜図１３は、画像処理装置１００の動作を示したものである。
例えば、ＣＰＵ１０１は、図１０〜図１３のフローチャートに従った処理プログラム（制御手順プログラム）をＲＯＭ１０２から読み出して実行する。これにより、画像処理装置１００は、次のように動作する。
【００４９】
＜メイン処理＞
ステップＳ１０１：図１０参照
ＣＰＵ１０１は、例えば、ＣＲ−ＲＯＭドライブ１０４を介して、ＣＤ−ＲＯＭ１０５に格納された動画検索プログラム等をＲＡＭ１０３へロードすると共に、ＨＤドライブ１０６から対象動画及びショット情報等をＲＡＭ１０３へロードする。
また、ＣＰＵ１０１は、ＲＡＭ１０３に対して、シーン統合情報及び代表画像分類情報等の格納領域を確保し、必要な初期化処理を実行する。
【００５０】
ステップＳ１０２〜ステップＳ１０４：
ＣＰＵ１０１は、キーボード１０７或いはマウス１０９によるユーザ指示に従って、処理を分岐させる（ステップＳ１０２）。
すなわち、ＣＰＵ１０１は、ユーザから動画検索の指示がなされた場合にはステップＳ１０３の処理を実行し、ユーザから動画登録の指示がなされた場合にはステップＳ１０４の処理を実行する。
【００５１】
＜動画検索処理：ステップＳ１０３＞
ＣＰＵ１０１は、ＲＡＭ１０３の動画データベース１０３ｄに格納された対象動画の中から、ユーザが所望するシーン（ユーザから指定されたシーン）を検索する処理を実行する。
【００５２】
具体的には例えば、ＣＰＵ１０１は、上記図１５に示したような動画像の階層構造の画面を、ディスプレイ１０８へ表示させる。
これにより、ユーザは、ディスプレイ１０８の表示画面から、キーボード１０７或いはマウス１０９を用いて、所望するシーンの代表画像を検索指示する。
【００５３】
尚、ここでの動画検索処理は、例えば、特開平５−３０４６４号等に記載された方法や、任意の方法を適用可能である。ただし、特開平５−３０４６４号等に記載された処理が、シーンを代表する画像として、シーン中のフレームを直接使用している構成であるのに対して、本実施の形態では、後述するステップＳ１０４で作成されるシーンの代表画像を使用する。
【００５４】
＜動画登録処理：ステップＳ１０４＞
動画登録処理は、ＣＰＵ１０１により実現される上記図２に示した構成により、指定された動画像をＲＡＭ１０３の動画データベース１０３ｄへ登録する処理である。
図１１は、当該動画登録処理を示したものである。
【００５５】
ステップＳ２０１：
動画分割部１５１は、対象動画（指定動画）を先頭から解析して、シーンチェンジ（ショットの切り替わり）を検出し、その検出結果の情報をショット情報として、ＲＡＭ１０３の格納領域１０３ｅ（上記図７参照）に格納する。
シーンチェンジの検出方法としては、例えば、特開平５−３０４６４号等に記載されているような、フレーム間の変化量の大きさから、ショットとショットの境界を検出する方法を適用可能である。
【００５６】
このときＲＡＭ１０３の格納領域１０３ｅに格納されるショット情報は、ショットＩＤ、開始時間、及びショット時間のみの情報である。ショットＩＤとしては、使用されているショットＩＤの最大値に“１”を加えた値を用いる。開始時間及びショット時間については、シーンチェンジが検出されるフレームの、動画先頭からのフレーム番号から自動的に求めることが可能である。
【００５７】
ステップＳ２０１において、シーンチェンジ（ショットの切り替わり）が検出された場合、或いは処理が対象動画の末尾に到達した場合に、次のステップＳ２０２へ進む。
【００５８】
ステップＳ２０２：
代表画像抽出部１５３は、ステップＳ２０１で動画分割部１５１により検出されたショットに対するキーフレーム（部分動画を代表するフレーム）を抽出する。
キーフレームの抽出方法としては、例えば、ショットの先頭や中心、或いは末尾等、ショットの位置を指定することによって、ショットのキーフレームを決定する方法を適用可能である。
【００５９】
代表画像抽出部１５３は、キーフレームを抽出後、そのキーフレームの画像情報をファイルとして保持するために、そのファイル名を、ショット情報の代表画像ファイル名として、ＲＡＭ１０３の格納領域１０３ｅに格納する。
ここでのファイル名としては、上記図７に示されるように、例えば、ショットＩＤ＝“１００”のショットに関しては、そのショットＩＤを利用して、ファイル名＝“１００．ｂｍｐ”とすることで、ファイル名の重複を避けることができる。
【００６０】
ステップＳ２０３：
対象画像の全てに対して、ステップＳ２０１及びステップＳ２０２の処理を実行し終えるまで、ステップＳ２０１及びステップＳ２０２の処理を繰り返し実行する。そして、対象画像の全てに対して、ステップＳ２０１及びステップＳ２０２の処理を実行し終えた場合に、すなわち動画の末尾まで処理が到達した場合に、次のステップＳ２０４へ進む。
【００６１】
ステップＳ２０４：
部分動画統合部１５２は、ステップＳ２０２において代表画像抽出部１５３により抽出されたキーフレームの類似性に基づいて、複数のショットをまとめて１つのシーンとして統合し、その統合結果をシーン統合情報として、ＲＡＭ１０３の格納領域１０３ｆ（上記図８参照）に格納する。
ここでのシーン統合処理方法については、例えば、「繰り返しショットの統合による階層化アイコンを用いたビデオ・インターフェース」（情報処理学会論文誌：Ｖｏ１．３９，Ｎｏ．５，１９９８）等に記載された方法を適用可能である。
【００６２】
シーン統合情報は、本ステップＳ２０４で実行した統合に関する一時的な情報であり、本ステップＳ２０４の実行前に、最初に必ず初期化されるようになされている。
例えば、本ステップＳ２０４の処理実行後、上記図７に示したショット情報に対して、上記図８に示したようなシーン統合情報が得られる。ただし、当該シーン統合情報として格納される情報としては、類似ＩＤ、ショットＩＤ、合計時間、及び最長ショットＩＤのみの情報であり、人物の情報は含まれない。
【００６３】
ステップＳ２０５：
代表画像選択部１５５は、詳細は後述するが、ステップＳ２０４で部分動画統合部１５２により得られたシーンを代表するフレーム画像を、ステップＳ２０２で代表画像抽出部１５３により得られたショットのキーフレーム（統合前のショットのキーフレーム）の中から２枚選択する。
【００６４】
ステップＳ２０６：
代表画像作成部１５４は、詳細は後述するが、ステップＳ２０５で代表画像選択部１５５により得られた２枚のキーフレームに基づいて、ステップＳ２０４で部分動画統合１５２により得られたシーンの代表フレーム（代表画像）を作成する。
【００６５】
ステップＳ２０７：
対象画像の全てに対して、ステップＳ２０４〜ステップＳ２０６の処理を実行し終えるまで、ステップＳ２０４〜ステップＳ２０６の処理を繰り返し実行する。そして、対象画像の全てに対して、ステップＳ２０４〜ステップＳ２０６の処理を実行し終えた場合に、すなわち動画の末尾まで処理が到達した場合に、本処理終了となる。
【００６６】
＜代表画像選択処理：ステップＳ２０５＞
図１２は、代表画像選択部１５５による代表画像選択処理を示したものである。
【００６７】
ステップＳ３０１：
代表画像選択部１５５は、ＲＡＭ１０３の格納領域１０３ｆに格納されたシーン統合情報に含まれるショットＩＤにより示されるショットのキーフレームに対して、当該フレームに存在する人物の顔領域を推定し、その人物と顔の方向を特定し、その結果をショット情報としてＲＡＭ１０３の格納領域１０３ｅ（上記図７参照）に格納すると共に、ＲＡＭ１０３の格納領域１０３ｆ（上記図８参照）のシーン統合情報を更新する。
人物の顔領域を推定して当該人物を特定する方法としては、例えば、特開平９−２５１５３４号等に記載されている方法を適用可能である。また、顔の方向を特定する方法としては、例えば、特開平９−２５１５３４号等に記載されているような、人物の顔を上下左右等の様々な向きから撮った画像を辞書画像として用意しておく方法が適用可能である。
【００６８】
ここで、上記図７に示したＲＡＭ１０３の格納領域１０３ｅのショット情報において、顔領域の情報が示されていないが、当該ショット情報のショットＩＤに対しては、キーフレームに存在する人物の顔領域を矩形で表現したときの当該矩形を示す２点の座標の情報が対応付けられている。
また、上記図７に示したショット情報の格納領域１０３ｅ、及び上記図８に示したシーン統合情報の格納領域１０３ｆが、本ステップＳ３０１の処理後の状態である。上記図８において、例えば、類似ＩＤ＝“５”に対する人物の情報の欄が空欄であるのは、そのショットに人物が存在しないことを意味する。
【００６９】
ステップＳ３０２：
代表画像選択部１５５は、代表フレーム（代表画像）を選択するために、ＲＡＭ１０３の格納領域１０３ｅ及び格納領域１０３ｆに格納されたショット情報及びシーン統合情報に基づいて、ＲＡＭ１０３の格納領域１０３ｇに格納する代表画像分類情報を生成する。
【００７０】
具体的には、代表画像選択部１５５は、ＲＡＭ１０３の格納領域１０３ｆに格納されたシーン統合情報の先頭から順番に、対象類似ＩＤの情報を取得し、その人物に対する代表画像分類情報を生成する。
すなわち、対象人物が代表画像分類情報に登録されていなければ、ＲＡＭ１０３の格納領域１０３ｇ（上記図９参照）において、新たに、代表画像分類情報に対してエントリを生成し、これに対応する類似ＩＤを格納し、当該類似ＩＤに対応させて合計時間及び最長ショットＩＤを格納する。
一方、対象人物が代表画像分類情報に登録されていれば、ＲＡＭ１０３の格納領域１０３ｇにおいて、対象人物に対して、類似ＩＤを追加し、合計時間を加算し、最長ショットＩＤの大小を比較して、必要に応じて最長ショットＩＤの更新を行う。
また、対象類似ＩＤの情報に対して人物の情報が含まれていない場合、ＲＡＭ１０３の格納領域１０３ｇにおいて、人物の情報欄は空欄にし、類似ＩＤ及び合計時間最長ショットＩＤをそのまま格納する。
【００７１】
したがって、上記図７に示したＲＡＭ１０３の格納領域１０３ｅに格納されたショット情報、及び上記図８に示したＲＡＭ１０３の格納領域１０３ｆに格納されたシーン統合情報からは、上記図９に示したような代表画像分類情報が生成される。
【００７２】
上記図９では、その一例として、それぞれのシーンに１人しか出現していないものとしているが、２人同時に出現している場合であっても、代表画像分類情報の人物の欄には必ず１人の情報しか格納しないように構成しているので、１つの類似シーンに対して出現する人数分、同様の処理を実行すればよい。ただし、この場合、最長ショットＩＤとして、１人のみのショットが選ばれるようにする。
【００７３】
ステップＳ３０３：
代表画像選択部１５５は、上記図９の代表画像分類情報に基づいて、人物が出現する代表画像を選択する。
具体的には、代表画像選択部１５５は、当該代表画像分類情報において、人物の情報が存在する行で、且つ、合計時間が長い行から順番に、各行のソーティングを行う。これにより、当該ソーティング後の代表画像分類情報の先頭の行から選択することで、人物を優先的に、且つ、同一人物が重複して選ばれないように、代表画像を選ぶことができる。また、長時間出現する人物を優先的に代表画像として選ぶこともできる。
【００７４】
ステップＳ３０４：
代表画像選択部１５５は、人物に基づいた代表画像の選択が終了したか否かを判別する。
具体的には例えば、代表画像選択部１５５は、上記図９の代表画像分類情報において、人物のエントリーが規定枚数（ここでは“２”）以上あれば、代表画像の選択が終わったものと判別して本処理を終了し、そうでなければ次のステップＳ３０５へ進む。
【００７５】
ステップＳ３０５：
代表画像選択部１５５は、上記図９の代表画像分類情報に基づいて、人物が出現しないショットから代表画像を選択する。
具体的には例えば、代表画像選択部１５５は、上記図９の代表画像分類情報において、人物の情報が存在しない行を合計時間が長いものから順に並ぶようにソーティングを行う。このとき、人物の情報欄に人物のＩＤが格納されている行の位置は変更しないようにする。これにより、代表画像分類情報の先頭から規定枚数（ここでは“２”）分の行の最長ショットＩＤに対応した代表画像を選ぶことにより、人物が出現しないショットに関しては、ショットの時間が長いショットから代表画像が選ばれることになる。
本ステップＳ３０５の処理の終了後、本処理終了となる。
【００７６】
＜代表画像作成処理：ステップＳ２０６＞
図１３は、代表画像作成部１５４による代表画像作成処理を示したものである。
【００７７】
ステップＳ４０１：
代表画像作成部１５４は、上記図９の代表画像分類情報の先頭から順番に一行ずつの情報を取り出し、これに対応する代表画像を取り出す。ここでは、最長ショットＩＤに対応した上記図７に示したようなショット情報の代表画像ファイル名に示される代表画像が取り出されることになる。これにより、人物が存在する代表画像が人物が存在しない代表画像よりも優先され、それぞれの画像中で、ショットの合計時間が長い画像の方が優先され、人物が重複することなく代表画像が取り出せることになる。
【００７８】
ステップＳ４０２：
代表画像作成部１５４は、ステップＳ４０１で取り出した代表画像に人物が存在しているか否かを判別する。
具体的には例えば、代表画像作成部１５４は、上記図７のショット情報の対象となる情報に人物の情報が含まれている場合（当該情報欄が空欄でない場合）、人物が存在するものとして、次のステップＳ４０３へ進み、そうでない場合には、後述するステップＳ４０５へ進む。
【００７９】
ステップＳ４０３：
代表画像作成部１５４は、ステップＳ４０１で取り出した代表画像を、統合されたシーンの代表画像の中にはめ込む位置を決定する。
【００８０】
具体的には例えば、本実施の形態では、統合前のショットの代表画像２枚を用いて、統合後のシーンの代表画像を作成する構成としているので、はめ込み位置としては、左側と右側の２箇所としており、スナッブＳ４０１で取り出した代表画像の人物の顔の向きによって、はめ込み位置を決定する。すなわち、最長ショットＩＤに対応したショット情報中の顔方向が右であれば、シーン統合後の代表画像の左側をはめ込み位置として決定し、顔方向が左であれば、シーン統合後の代表画像の右側をはめ込み位置として決定する。また、既にはめ込まれている場合には、はめ込まれていないほうをはめ込み位置として決定する。
この結果、例えば、２枚の代表画像が、図１４（ａ）に示されるような人物Ａが存在する画像、及び同図（ｂ）に示されるような人物Ｂが存在する画像である場合、同図（ｃ）に示すように、人物Ａが左向きであることにより人物Ａの代表画像は右側に、人物Ｂが右向きであることにより人物Ｂの代表画像を左側に、それぞれのめ込み位置を決定する。
【００８１】
ステップＳ４０４：
代表画像作成部１５４は、ステップＳ４０３で決定したはめ込み位置に基づいて、ステップＳ４０１で取り出した代表画像を、シーン統合後の代表画像にはめ込む。
このとき、上記図１４（ｃ）に示すように、顔領域の部分を拡大してはめ込みを行う。例えば、ショットの代表画像中の顔領域は、既に矩形として求まっているので、はめ込み先のはめ込み領域の形と顔領域の形（矩形）を勘案し、顔領域ができるだけ大きくなり、顔領域がはめ込み領域に収まる程度に拡大、或いは縮小してはめ込みを行う。
その後、後述するステップＳ４０６へ進む。
【００８２】
ステップＳ４０５：
ステップＳ４０２の判別の結果、人物が存在しない場合、すなわち代表画像が人物以外のショットの画像である場合、代表画像作成部１５４は、当該代表画像をそのままシーン統合後の代表画像にはめ込む。このときのはめ込み位置は、空いているはめ込み位置から左から順番に選ぶ等、任意の規則で選択するようにしてもよい。また、はめ込み領域の形に合わせて、必要に応じて縮小を行って、はめ込みを行う。
その後、次のステップＳ４０６へ進む。
【００８３】
ステップＳ４０６：
代表画像作成部１５４は、上記図９の代表画像分類情報の全ての情報に対して、規定枚数以上のショットの代表画像を取り出し終えている場合には本処理終了とし、そうでない場合には再びステップＳ４０１へと戻る。
【００８４】
したがって、特に、ステップＳ４０３及びステップＳ４０４の処理により、シーン統合後の代表画像として、上記図１４（ｃ）に示したような画像が得られることになる。すなわち、対話シーンでは、シーン統合後の代表画像が、人物がお互いに向き合った状態で、また、顔領域の部分がはめ込み領域のサイズに合わせてはめ込まれた状態の画像となるので、対話シーンであるということが容易に且つ明確に認識できる。
【００８５】
尚、本発明は、本実施の形態に限られることはなく、以下のような形態をも含まれる。
【００８６】
（１）本実施の形態では、ＣＰＵ１０１が、外部記憶装置としてのＣＤ−ＲＯＭ１０５から、上述したような画像処理装置１００の機能を実施するための処理プログラム（動画検索プログラム）を直接ＲＡＭ１０３にロードして実行するように構成したが、これに限られることはなく、ＣＤ−ＲＯＭ１０５から当該処理プログラムを一旦ＨＤドライブ１０６に格納（インストール）しておき、当該処理プログラムを動作させる時点で、ＨＤドライブ１０６からＲＡＭ１０３にロードするようにしてもよい。
また、当該処理プログラムを記録する媒体としては、ＣＤ−ＲＯＭ１０５に限られることはなく、例えば、ＦＤ（フロッピーディスク）やＩＣメモリカード等であってもよい。
また、当該処理プログラムを、ＲＯＭ１０２に記録しておき、これをメモリマップの一部となるように構成し、直接ＣＰＵ１０１で実行するように構成してもよい。
【００８７】
（２）上記図１１に示した動画登録の処理において、ステップＳ２０４では、ショットをまとめて１つのシーンとして統合するために、ショットの代表フレームの類似性を利用して自動的に行うように構成したが、これに限られることはなく、例えば、類似するショットを人手で指定することで統合を行うようにしてもよい。
【００８８】
（３）上記図１１に示した動画登録の処理では、ステップＳ２０１でシーンチェンジを検出した後に、対応するショットのキーフレームを抽出して代表画像とするように構成したが、これに限られることはなく、例えば、シーンチェンジを検出した後に、対応するショットを、ズームやパン等のカメラの動き等に基づいて、サブショツトに分割し、その分割サブシヨットに対してキーフレームを検出し、ステップＳ２０４〜ステップＳ２０６と同様の処理を実行することで、サブシヨットのキーフレームを合成してショットの代表画像を作成するようにしてもよい。
【００８９】
（４）上記図１１に示した動画登録の処理において、ステップＳ２０７では、全てのショットに対してシーンの統合が終了した場合に本処理終了とするように構成したが、これに限られることはなく、例えば、さらに、階層を重ねてシーンとシーンの統合を行い、当該統合後のシーンに対して、ステップＳ２０５及びステップＳ２０６と同様の処理を実行して代表画像を作成するようにしてもよい。
【００９０】
（５）本実施の形態では、シーンの代表画像を、２つのショットの代表フレームとしたが、これに限られることはなく、例えば、３つ以上のショットの代表フレームとしてもよい。この場合、予め、使用する代表フレームの個数に応じて、代表フレームをはめ込む領域を決定する。例えば、４つの代表フレームを使用する場合は、代表画像の上下左右の４分割した領域を用意しておく。
【００９１】
（６）本実施の形態では、上記図１１に示したステップＳ２０５の処理において、代表画像選択部１５５が顔領域の存在を判定するように構成したが、これに限られることはなく、例えば、同図に示したステップＳ２０２の処理において、代表画像抽出部１５３が顔領域の存在を判定するようにしてもよい。これにより、より適切なキーフレームを抽出することができる。
【００９２】
（７）本発明の目的は、本実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が本実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
（８）本実施の形態では、人物（顔）により画像の選択・分類・登録処理を行なっているが、人物（顔）に限定されるものではい、様々なオブジェクト（例えば、車、動物等）に対応できることは言うまでもない。
【００９４】
【発明の効果】
以上説明したように本発明では、統合部分動画を構成する複数の部分動画（統合前の部分動画）に対応する代表画像群から所定数の代表画像を選択し、上記選択した所定数の各代表画像を合成することにより、統合部分動画の代表画像を生成するように構成したので、当該代表画像により、長いシーンのほうが短いシーンよりも重要なシーンであると言われる当該シーンを、明確に把握することができ、統合部分動画の内容を充分に表現できることが可能となる。
【００９５】
また、統合部分動画の代表画像の生成に使用する代表画像を選択する際に、所定画像の領域（顔領域等）が存在するものを優先的に代表画像として選択するように構成すれば、重要なショットを用いた代表画像を生成することができる。
このとき、さらに、異なる所定画像のものを代表画像として選択するように構成すれば、例えば、同一人物の顔領域が存在する代表画像が複数選択されてしまうことを防ぐことができるため、できるだけ多くの登場人物が含まれる統合部分動画の代表画像を作成することができ、統合部分動画の内容を十分に表すことができる。
また、所定画像の向き（登場人物の顔の向き等）を考慮して、統合部分動画の作成を行うように構成した場合、対話シーン等の内容をより明確に表現することができる。
また、所定画像を拡大して統合部分動画の代表画像を作成するように構成した場合、統合前の部分動画の代表画像が縮小画像であっても、どのような登場人物が存在するか等、統合部分動画の内容を、より明確に把握することができる。
【００９６】
よって、本発明は、動画を階層構造として画面表示するための装置或いはシステムに対して非常に有効であり、当該階層構造の各階層の動画（部分動画）の内容を容易に且つ正確に認識することができるようになる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置の機能的構成を示すブロック図である。
【図３】上記画像処理装置のＲＯＭを説明するための図である。
【図４】上記画像処理装置のＲＡＭを説明するための図である。
【図５】上記画像処理装置の動作制御のための処理プログラム等が記憶されたＣＤ−ＲＯＭを説明するための図である。
【図６】上記ＣＤ−ＲＯＭから処理プログラムが上記画像処理装置へ供給されることを説明するための図である。
【図７】上記ＲＡＭ上のショット情報を説明するための図である。
【図８】上記ＲＡＭ上のシーン統合情報を説明するための図である。
【図９】上記ＲＡＭ上の代表画像分類情報を説明するための図である。
【図１０】上記画像処理装置のメイン動作を説明するためのフローチャートである。
【図１１】上記メイン動作の動画登録処理を説明するためのフローチャートである。
【図１２】上記動画登録処理の代表画像選択処理を説明するためのフローチャートである。
【図１３】上記動画登録処理の代表画像作成処理を説明するためのフローチャートである。
【図１４】上記代表画像作成処理で得られる統合後のシーンの代表画像を説明するための図である。
【図１５】画面表示された動画の階層構造を説明するための図である。
【符号の説明】
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＣＤ−ＲＯＭドライブ
１０５ ＣＤ−ＲＯＭ
１０６ ＨＤドライブ
１０７ キーボード
１０８ ディスプレイ
１０９ マウス
１１０ プリンタ
１１１ システムバス
１５１ 画像分割部
１５２ 部分動画統合部
１５３ 代表画像抽出部
１５４ 代表画像作成部
１５５ 代表画像選択部

Claims (16)

1. 動画を処理する画像処理装置であって、
   対象動画を時間的に部分動画に分割する分割手段と、
   上記分割手段で得られた部分動画から第１の代表画像を抽出する抽出手段と、
   上記分割手段で得られた部分動画を上記第１の代表画像の類似性に基づいて統合する統合手段と、
   上記統合手段で得られた統合部分動画を構成する複数の部分動画に対応する第１の代表画像から所定数の第１の代表画像を選択する選択手段と、
   上記選択手段で選択された所定数の第１の代表画像を合成することにより、上記統合手段で得られた統合部分動画に対する第２の代表画像を生成する生成手段とを備えることを特徴とする画像処理装置。
2. 上記選択手段は、上記複数の部分動画の再生時間に基づいて、上記第１の代表画像の選択を行うことを特徴とする請求項１記載の画像処理装置。
3. 上記選択手段は、上記再生時間の長い順に第１の代表画像を選択することを特徴とする請求項２記載の画像処理装置。
4. 上記選択手段は、類似する第１の代表画像の組に対応した部分画像の再生時間の合計に基づいて、上記第１の代表画像の選択を行うことを特徴とする請求項１記載の画像処理装置。
5. 上記選択手段は、上記第１の代表画像の中に所定画像の領域が存在するか否かの判定に基づいて、上記第１の代表画像の選択を行い、
   上記生成手段は、上記選択手段で選択された第１の代表画像に基づいて、上記統合部分動画に対する第２の代表画像の生成を行うことを特徴とする請求項１記載の画像処理装置。
6. 上記所定画像の領域は、顔領域を含むことを特徴とする請求項５記載の画像処理装置。
7. 上記選択手段は、異なる上記第１の所定画像の領域が存在するか否かの判定に基づいて、上記第１の代表画像の選択を行うことを特徴とする請求項５記載の画像処理装置。
8. 上記生成手段は、上記選択手段で選択された第１の代表画像に存在する所定画像の向きに基づいて、上記統合部分動画に対する第２の代表画像の生成を行うことを特徴とする請求項５記載の画像処理装置。
9. 上記生成手段は、上記選択手段で選択された第１の代表画像に存在する所定画像の拡大画像に基づいて、上記統合部分動画に対する第２の代表画像の生成を行うことを特徴とする請求項５記載の画像処理装置。
10. 動画を処理するための画像処理方法であって、
    対象動画を時間的に部分動画に分割する分割ステップと、
    上記分割ステップにより得られた部分動画を代表する第１の代表画像を抽出する抽出ステップと、
    上記分割ステップにより得られた部分動画を上記第１の代表画像の類似性に基づいて統合する統合ステップと、
    上記統合ステップで得られた統合部分動画を構成する複数の部分動画に対応する第１の代表画像から所定数の第１の代表画像を選択する選択ステップと、
    上記選択ステップで選択された所定数の第１の代表画像を合成することにより、上記統合ステップにより得られた統合部分動画に対する第２の代表画像を生成する生成ステップとを含むことを特徴とする画像処理方法。
11. 動画を処理するための画像処理方法であって、
    動画を時間的に部分動画に分割する分割ステップと、
    上記部分動画を代表する第１の代表画像を抽出する抽出ステップと、
    上記部分動画を上記第１の代表画像の類似性に基づいて統合する統合ステップと、
    上記第１の代表画像から特定のオブジェクト領域を検出する検出ステップと、
    上記検出ステップでの検出結果により、上記特定のオブジェクト領域が存在すると判定された第１の代表画像を優先的に、上記統合ステップにより統合される前の各部分動画に対する第１の代表画像の中から所定数の第１の代表画像を選択する選択ステップと、
    上記選択ステップにより選択された第１の代表画像を合成することにより、上記統合ステップにより統合された後の統合部分動画を代表する第２の代表画像を生成する生成ステップとを含むことを特徴とする画像処理方法。
12. 上記特定のオブジェクト領域は、顔領域を含み、
    上記検出ステップは、上記顔領域の人物をも特定するステップを含み、
    上記選択ステップは、異なる人物が存在する第１の代表画像を優先的に選択するステップを含むことを特徴とする請求項１１記載の画像処理方法。
13. 上記検出ステップは、上記特定のオブジェクト領域のオブジェクトの向きをも特定するステップを含み、
    上記生成ステップは、上記特定のオブジェクトが存在する各第１の代表画像の特定のオブジェクトの向きが中心を向いた状態の画像を、上記統合部分動画に対する第２の代表画像として生成するステップを含むことを特徴とする請求項１１記載の画像処理方法。
14. 動画を処理するための画像処理方法であって、
    動画を時間的に部分動画に分割する分割ステップと、
    上記部分動画を代表する第１の代表画像を抽出する抽出ステップと、
    上記第１の代表画像の中の特定のオブジェクト領域を検出する検出ステップと、
    上記部分動画を上記第１の代表画像の類似性に基づいて統合する統合ステップと、
    上記統合ステップにより統合される前の各部分動画に対する第１の代表画像の中から、上記統合ステップによる統合部分動画に対する第１の代表画像を選択する選択ステップと、
    上記選択ステップにより選択された第１の代表画像を合成することにより、上記統合部分動画を代表する画像を生成する生成ステップとを含み、
    上記生成ステップは、上記検出ステップにより、上記第１の代表画像に特定のオブジェクト領域が存在する場合、上記特定のオブジェクト領域を拡大した部分画像から上記統合部分動画に対する第２の代表画像を生成するステップを含むことを特徴とする画像処理方法。
15. 請求項１０〜１４の何れか１項に記載の画像処理方法の処理ステップをコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読取可能な記憶媒体。
16. 請求項１０〜１４の何れか１項に記載の画像処理方法の処理ステップをコンピュータに実行させるためのコンピュータプログラム。

Images