JP3583970B2 - 映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像または音声を含む映像からなる映像ストリームを構造化して構造情報を作成したり、該構造情報を編集する際に使用する映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、映像ストリームの構造そのものの編集と構造要素への内容記述を行うための映像構造編集装置、さらに１つまたは複数の映像ストリームから構造要素を選択して論理的に結合可能な再構成が行える構造要素再構成装置、および記録媒体に関するものである。これら映像構造の編集、内容記述、構造要素の再構成の技術は、映像管理、映像の検索結果のブラウズ、ダイジェスト作成などの技術分野に応用される。
【０００２】
【従来の技術】
近年、映像のみの映像ストリームや、映像と音声を含む映像ストリームにおいても、映像ストリームを構造化して構造情報を作成し、この構造情報を用いて映像の管理・編集・活用するための種々の方法が開発されている。
【０００３】
映像ストリームを構造化する例として、例えば、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を他の複数のセグメントの集合で表現できる場合に複数のセグメントの集合をパッケージとして定義することにより、映像ストリームの階層構造を作成する方法が提案されている。
【０００４】
また、従来の映像編集装置における映像の表示例として、時系列に映像クリップを並べて映像を画像アイコンで示す方法がしばしば用いられているが、このような映像編集装置は、映像そのものを編集するためのものであり、構造化された映像ストリームの構造要素を利用して映像ストリームを編集したり、構造そのものを再構成する装置は提供されていなかった。
【０００５】
換言すれば、映像編集ソフトやノンリニア映像編集機では、各ビデオクリップを配置し、重ね合わせて編集する過程で最も細かい縮尺の場合には連続フレームを一列に並べて表示する場合もあるが、これはあくまでも各ビデオ素材を重ねることを目的としているものであり、映像ストリームを構造化したり、構造化された映像ストリームの構造を再編集するための使い易い支援ツールは提供されていなかった。
【０００６】
【発明が解決しようとする課題】
そこで、本出願人は、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を他の複数のセグメントの集合で表現できる場合に複数のセグメントの集合をパッケージとして定義することにより、映像ストリームの階層構造を定義した構造情報を用いて、映像ストリームの構造を編集する映像構造編集装置を提案する。
【０００７】
また、構造化された映像ストリームのセグメントの分割状態や長さ（フレームの範囲）を視覚的に分かりやすく表示すると共に、映像ストリームの構造情報を構成するセグメントやパッケージ等の構造要素を簡単に作成できる映像構造編集装置を提案する。
【０００８】
また、従来より、構造化された複数の映像ストリームの構造要素を対象として、検索結果のブラウジングや、ダイジェスト作成など横断的にある視点でまとめて連続的に再生したり、ファイルに保存したり、新たな映像ストリームとして生成したりしたいといった要求があったが、このような作業・処理は、映像編集処理ではなく、映像ストリームの構造要素の横断的収集（または検索）であるため、従来の映像編集装置では実現できなかった。
【０００９】
本発明は上記に鑑みてなされたものであって、映像ストリームの階層構造を定義した構造情報を用いて一目で映像ストリームの構造が把握できるように表示を行うと共に、直感的な分かりやすい操作で、構造化された映像ストリームの構造を再編集できる映像構造編集装置を提供することを目的とする。
【００１０】
また、本発明は上記に鑑みてなされたものであって、１つまたは複数の映像ストリームから構造要素を選択して、選択した構造要素を論理的に編集し、１つの映像ストリームとして再構成することができる構造要素再構成装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る映像構造編集装置は、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を、編集で用いる目的に応じて分割し、他の複数のセグメントの集合を形成した場合、該他の複数のセグメントの集合をパッケージとして定義することにより、このパッケージを親パッケージとし、この親パッケージを構成する該他の複数のセグメントのうち一つのセグメントの範囲と同一の範囲がさらに他の複数のセグメントに分割され、さらに分割された他の複数のセグメントの集合を子パッケージとして定義し、これにより前記映像ストリームの階層構造を定義した構造情報を対象にして、前記映像ストリームの階層構造、パッケージおよびセグメントの範囲を表示すると共に、表示したパッケージおよびセグメントの選択が可能な構造構成表示手段と、前記構造構成表示手段で選択されているセグメントの範囲と同一の範囲を他の複数のセグメントの集合に分割した場合、該他の複数のセグメントの集合の各セグメントの一対の開始フレームおよび終了フレームの縮小画像で表示するセグメント範囲表示手段と、前記構造構成表示手段で選択されているパッケージにおいて、該パッケージを示すセグメントの集合の各セグメントを代表する代表フレームを表示する代表フレーム表示手段と、前記構造構成表示手段で表示されているセグメントに属するフレーム範囲から２つのフレームを選択し、選択されたフレームの一方を開始フレーム、他方を終了フレームとして該セグメントを代表するフレームの代表範囲として表示する代表範囲表示手段と、を備えたものである。
【００１２】
また、請求項２に係る映像構造編集装置は、請求項１に記載の映像構造編集装置において、前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段が、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、個別の映像ストリームごとに各編集画面を纏めた１つのウィンドウ画面として表示されるものである。
【００１３】
また、請求項３に係る映像構造編集装置は、請求項２に記載の映像構造編集装置において、前記ウィンドウ画面の各編集画面は、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示するものである。
【００１４】
また、請求項４に係る映像構造編集装置は、請求項３に記載の映像構造編集装置において、前記編集操作とは、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することを含むものである。
【００１５】
また、請求項５に係る映像構造編集装置は、請求項１〜３のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段でパッケージが選択されると、前記セグメント範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて前記縮小画像を表示し、前記代表フレーム表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表フレームを表示し、前記代表範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表範囲を表示するものである。
【００１６】
また、請求項６に係る映像構造編集装置は、請求項２〜５のいずれか一つに記載の映像構造編集装置において、前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面中において表示および非表示を指定することが可能であり、これら編集画面の少なくとも１つの非表示が指定されると、指定された編集画面が前記ウィンドウ画面中において非表示となり、前記構造構成表示手段に対応する編集画面が前記非表示となった編集画面の領域分拡がり、他の編集画面が前記非表示となった編集画面の領域を埋めるように移動するものである。
【００１７】
また、請求項７に係る映像構造編集装置は、請求項２〜６のいずれか一つに記載の映像構造編集装置において、前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示可能であるものである。
【００１８】
また、請求項８に係る映像構造編集装置は、請求項１〜７のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、前記セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するものである。
【００１９】
また、請求項９に係る映像構造編集装置は、請求項８に記載の映像構造編集装置において、前記構造構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略するものである。
【００２０】
また、請求項１０に係る映像構造編集装置は、請求項８または９に記載の映像構造編集装置において、前記構造構成表示手段は、前記縮小画像の表示および非表示を指定することが可能であるものである。
【００２１】
また、請求項１１に係る映像構造編集装置は、請求項１〜１０のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、各セグメントに対応する代表フレームの位置を示す位置情報を、セグメントの範囲の該当する位置に表示し、表示した位置情報が選択されると、選択された位置情報の表示状態を変更し、前記代表フレーム表示手段は、前記構造構成表示手段に表示されているセグメントの代表フレームを所定数一列に並べて表示し、前記セグメントの総数が所定数以上である場合には、スクロールバーを表示して表示する代表フレームの範囲を変更可能とすると共に、表示されている代表フレームの中から任意の代表フレームを選択すると、選択された代表フレームの表示状態を変更し、さらに前記構造構成表示手段の位置情報および代表フレーム表示手段の代表フレームは、それぞれ対応する位置情報および代表フレームの表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるものである。
【００２２】
また、請求項１２に係る映像構造編集装置は、請求項１〜１０のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に表示し、表示した範囲情報が選択されると、選択された範囲情報の表示状態を変更し、前記代表範囲表示手段は、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、前記一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示して表示する一対の縮小画像の範囲を変更可能とすると共に、表示されている一対の縮小画像の中から任意の一対の縮小画像を選択すると、選択された一対の縮小画像の表示状態を変更し、さらに前記構造構成表示手段の範囲情報および代表フレーム表示手段の一対の縮小画像は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるものである。
【００２３】
また、請求項１３に係る映像構造編集装置は、請求項１〜１２のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報の表示が重なる場合には、直前の範囲情報の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示するものである。
【００２４】
また、請求項１４に係る映像構造編集装置は、請求項１〜１３のいずれか一つに記載の映像構造編集装置において、さらに、前記代表フレームまたは代表範囲の持つ属性を選択する属性選択手段を有し、前記代表フレーム表示手段または代表範囲表示手段は、前記属性選択手段で属性が選択されると、選択された属性を有する代表フレームまたは代表範囲のみを表示するものである。
【００２５】
また、請求項１５に係る映像構造編集装置は、請求項１〜１４のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、選択したセグメントの再生を指定する再生指定手段と、前記再生指定手段で指定されたセグメントで定義された範囲のフレームを再生するセグメント映像再生手段と、前記セグメント映像再生手段で再生中のセグメントの再生、停止、巻き戻し、早送り、一時停止、指定フレームへのスキップ等の操作を行うための映像再生操作手段と、を有するものである。
【００２６】
また、請求項１６に係る映像構造編集装置は、請求項１〜１５のいずれか一つに記載の映像構造編集装置において、さらに、前記セグメント映像再生手段で所望のフレームが再生された際に目的フレームとして指定し、指定されたフレームを含む所定数の連続フレームを一列に並べて表示する連続フレーム表示手段を備え、前記代表フレーム表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から任意のフレームをドラッグしてドロップすると、該当するフレームを前記セグメント映像再生手段で再生中のセグメントの代表フレームとして生成して表示するものである。
【００２７】
また、請求項１７に係る映像構造編集装置は、請求項１６に記載の映像構造編集装置において、前記代表範囲表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレームとし、もう一方を終了フレームとして選択中のセグメントの新たな代表範囲を生成して表示するものである。
【００２８】
また、請求項１８に係る映像構造編集装置は、請求項１〜１７のいずれか一つに記載の映像構造編集装置において、さらに、前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段または代表範囲表示手段で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示するための内容記述表示手段を備え、前記内容記述表示手段は、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報および任意の情報である自由記述情報の入力および変更が可能であり、かつ、前記５Ｗ１Ｈ情報を登録することにより、次回から候補として表示され、次回から入力しなくても選択可能であるものである。
【００２９】
また、請求項１９に係る映像構造編集装置は、請求項１８に記載の映像構造編集装置において、前記構造構成表示手段は、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧で表示し、編集するための一覧表示手段を有することを特徴とする。
【００３０】
また、請求項２０に係る記録媒体は、前記請求項１〜１９のいずれか一つに記載された映像構造編集装置の各手段としてコンピュータに実行させるプログラムを記録したものである。これによって、そのプログラムを機械読み取り可能となり、請求項１〜１９の動作をコンピュータによって実現することが可能となる。
【００３１】
また、請求項２１に係る構造要素再構成装置は、前記請求項１〜１９のいずれか一つに記載された映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置であって、前記構造要素を前記構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示手段と、フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段と、を備えたものである。
【００３２】
また、請求項２２に係る構造要素再構成装置は、請求項２１に記載の構造要素再構成装置において、さらに、前記再構成表示手段は、前記構造要素を選択および操作するためのマウス操作手段を有し、前記再構成表示手段は、各構造要素をその結合順に横一列に並べて矩形で表示し、前記マウス操作手段を用いて、前記表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして所望の位置にドロップすると、その前後の構造要素の間に前記新たな構造要素が組み込まれて再配列され、また任意の構造要素を選択して削除すると、前記任意の構造要素の前後の構造要素が結合されて再配列されるものである。
【００３３】
また、請求項２３に係る構造要素再構成装置は、請求項２２に記載の構造要素再構成装置において、前記再構成表示手段は、横一列に並べて表示された構造要素の列から、前記マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列するものである。
【００３４】
また、請求項２４に係る構造要素再構成装置は、請求項２１〜２３のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、前記構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示し、前記構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示し、パッケージ単位での操作のみを許可するものである。
【００３５】
また、請求項２５に係る構造要素再構成装置は、請求項２４に記載の構造要素再構成装置において、前記再構成表示手段は、前記パッケージ単位の操作を解除して、パッケージを構成するセグメントの集合をセグメント単位で操作できるものである。
【００３６】
また、請求項２６に係る構造要素再構成装置は、請求項２１〜２５のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、前記マウス操作手段を介してマウスポインタを構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報を表示するものである。
【００３７】
また、請求項２７に係る構造要素再構成装置は、請求項２１〜２６のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段および目盛り表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、１つのウィンドウ画面として表示され、前記ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更できるものである。
【００３８】
また、請求項２８に係る構造要素再構成装置は、請求項２１〜２７のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するものである。
【００３９】
また、請求項２９に係る構造要素再構成装置は、請求項２８に記載の構造要素再構成装置において、前記再構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略するものである。
【００４０】
また、請求項３０に係る構造要素再構成装置は、請求項２１〜２９のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして再生可能であるものである。
【００４１】
また、請求項３１に係る構造要素再構成装置は、請求項２１〜３０のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、構造要素を選択することにより、対応するフレームの範囲を再生可能であるものである。
【００４２】
また、請求項３２に係る構造要素再構成装置は、請求項２１〜３１のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして記録媒体に保存可能であるものである。
【００４３】
また、請求項３３に係る構造要素再構成装置は、請求項３２に記載の構造要素再構成装置において、前記再構成表示手段は、前記再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存するものである。
【００４４】
また、請求項３４に係る記録媒体は、前記請求項２１〜３３のいずれか一つに記載された構造要素再構成装置の各手段としてコンピュータに実行させるプログラムを記録したことを特徴とする。これによって、そのプログラムを機械読み取り可能となり、請求項２１〜３３の動作をコンピュータによって実現することが可能となる。
【００４５】
【発明の実施の形態】
以下、本発明の映像構造編集装置および構造要素再構成装置の実施の形態について、実施の形態１、実施の形態２の順で添付の図面を参照して詳細に説明する。
【００４６】
実施の形態１．
先ず、実施の形態１の映像構造編集装置について、〔映像構造編集装置の概略構成〕、〔構造情報の構成〕、〔構造表示ソフトによる構造情報の表示例〕、〔構造編集ソフトの機能の具体的な説明〕の順序で、添付の図面を参照して詳細に説明する。
【００４７】
〔映像構造編集装置の概略構成〕
図１は、実施の形態１の映像構造編集装置１００の一例を示す概略構成図である。映像構造編集装置１００は、映像ストリームおよび／または映像ストリームを構造化した構造情報を記憶した記憶手段１０３から映像ストリームを入力して映像ストリームの構造を解析すると共に、解析した結果に基づいて、映像ストリームの構造を表示画面１０２に視覚的に表示する処理を行うコンピュータ１０１で構成される。
【００４８】
ここで、記憶手段１０３としては、コンピュータ１０１中に内蔵されたハードディスクを用いても良いが、ここでは、ネットワークを介してコンピュータ１０１と接続されている映像情報ライブラリや、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の記録媒体を用いるものとする。また、記憶手段１０３は、映像ストリームまたは構造情報のいずれか一方が記憶されているものや、映像ストリームと構造情報の両方が記憶されているもののどちらでも良く、映像構造編集装置１００で構造編集を行う前に、対象となる映像ストリームと構造情報をコンピュータ１０１内に読み込んで置くことができれば良い。
【００４９】
図２は、図１に示したコンピュータ１０１のブロック構成図である。コンピュータ１０１は、後述するソフトウエアに基づく処理を実行するＣＰＵ２０１と、ブートプログラム等を記憶したＲＯＭ２０２と、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３と、各種の入力操作を行なうためのキーボード２０４およびマウス２０５と、映像ストリームの解析過程や映像ストリームの構造を表示するための表示画面１０２を有したＣＲＴや液晶ディスプレイ等の表示装置２０６と、実施の形態１に係る映像構造編集装置の機能を実現するための構造解析ソフト２０７，構造編集ソフト２０８，構造表示ソフト２０９等の各種アプリケーションプログラムやデータを記憶したハードディスク２１０と、図１に示した記憶手段１０３とコンピュータ１０１とを接続する各種ドライバー，ネットワークアダプタ等のインタフェース部２１１と、上記各部を接続するバス２１２と、を少なくとも備えている。
【００５０】
なお、図１および図２に示した映像構造編集装置１００の構成は、あくまでも一例を示すものであって、後述する実施の形態１の各機能を実現することが可能であれば、いかなるシステム構成であっても良い。また、映像ストリームを解析して構造情報を生成し、その構造を表示画面に表示する構造表示方法の基本的な技術としては、本出願人によって特願平１０−２４９５９８号で提案された技術を適用することができる。さらに映像ストリームの構造化の方法は、特に限定するものではないが、少なくとも、映像ストリーム中の任意の範囲をセグメントとして定義し、或るセグメントで定義された範囲と同一の範囲を他の複数のセグメントの集合で表現できる場合に、複数のセグメントの集合をパッケージとして定義し、また、これら複数のセグメントを上記或るセグメントの部分セグメントとして定義することにより、映像ストリームの全体を構造化したものを対象とする。
【００５１】
〔構造情報の構成〕
次に、図３を参照して、実施の形態１の映像構造編集装置で使用する構造情報の構造例について説明する。実施の形態１では、一つの映像ストリーム全体の構造の入口をルートＲとして定義し、このルートＲの下に階層的に存在する構造を表す構造要素として、映像ストリーム中の任意の範囲をセグメントＳとして定義し、或るセグメントＳで定義された範囲と同一の範囲を他の複数のセグメントＳの集合で表現できる場合に、これら複数のセグメントＳの集合をパッケージＰとして定義する。
【００５２】
すなわち、図３に示す構造例において、ルートＲの直下にある第１階層には、映像全体を表すパッケージＰ（符号Ａ参照）とそのパッケージＰを構成する１つのセグメントＳが存在する。
また、第２階層には、パッケージＰ（符号Ｂ参照）とそのパッケージＰを構成する６つのセグメントＳと、パッケージＰ（符号Ｃ参照）とそのパッケージＰを構成する３つのセグメントＳと、パッケージＰ（符号Ｄ参照）とそのパッケージＰを構成する２つのセグメントＳとが存在する。
また、第３階層には、パッケージＰ（符号Ｅ参照）とそのパッケージＰを構成する３つのセグメントＳと、パッケージＰ（符号Ｆ参照）とそのパッケージＰを構成する２つのセグメントＳと、パッケージＰ（符号Ｇ参照）とそのパッケージＰを構成する１つのセグメントＳと、パッケージＰ（符号Ｈ参照）とそのパッケージＰを構成する２つのセグメントＳと、パッケージＰ（符号Ｉ参照）とそのパッケージＰを構成する５つのセグメントＳとが存在する。
また、第４階層には、パッケージＰ（符号Ｊ参照）とそのパッケージＰを構成する２つのセグメントＳとが存在する。
【００５３】
なお、図３の構造例では、階層として第１階層〜第４階層が存在するが、この階層の深さおよび各階層のパッケージＰの数は特に限定するものではなく、必要に応じて設定されたものである。また、実施の形態１では、上位の階層のセグメントで定義された範囲と同一の範囲を下位の複数のセグメントの集合で表現できる場合に、これら複数のセグメントを上位の階層のセグメントに対する部分セグメントと定義する。
【００５４】
次に、パッケージＰをどのような基準で生成するかについて、例を挙げて説明する。たとえば、図３に示した構造の映像ストリームが、映画を記録した映像ストリームである場合に、第２階層の３つのパッケージＰのうち、１番目のパッケージＰ（符号Ｂ参照）は、映像を静止画の特徴により分けたものであり、２番目のパッケージＰ（符号Ｃ参照）は登場人物別に分けたものであり、３番目のパッケージＰ（符号Ｄ参照）は時間で分けたものである。この例では、親セグメント（上位の階層のセグメント）を分割する形式で部分セグメント（親セグメントの一つ下の階層のセグメント）を生成しているので、１つのパッケージを構成する部分セグメントの範囲は互いに重ならずに、部分セグメントの範囲を集めると親セグメントの範囲となっている。
【００５５】
また、前述したように映像ストリームの構造は、あらかじめ生成された構造情報から抽出または読み出してもよく、映像ストリームを読み込んで、その場で直接構造化し、構造情報を生成しても良い。
【００５６】
〔構造表示ソフトによる構造情報の表示例〕
図４は、実施の形態１の構造表示ソフト２０９による構造編集画面４０１の表示例を示す説明図である。この構造表示ソフト２０９が本発明の構造構成表示手段に相当し、以下に示すように、構造情報に基づいて映像ストリームの階層構造を表示する。ただし、ここでは説明を簡単にするために表示画面１０２の１画面のサイズで全ての構造情報の表示が可能な映像ストリームを例とし、さらに構造表示ソフト２０９の基本的な機能のみを表示した構造編集画面４０１を示すものとする。
【００５７】
構造編集画面４０１は、図４に示すように、各パッケージをノード３０１ａとして構造情報をツリー状の親子関係で表した構造情報３０１を表示する構造表示部４０１Ａと、各パッケージの範囲を示すパッケージ識別表示３０２ａおよびパッケージ識別表示３０２ａの構成要素となる各セグメントの範囲を示すセグメント識別表示３０２ｂから成る構成情報３０２を該当するノードの表示行に合わせて表示すると共に、各セグメントの範囲を数値目盛と対応させて認識するためのスケール３０３を表示する構成表示部４０１Ｂとから構成される。なお、３０４は、構造表示部４０１Ａと構成表示部４０１Ｂの対応する表示行を視覚的に認識し易くするための行表示部を示し、３０５は選択したセグメントの再生を指定する再生指定手段としての再生ボタンアイコンを示す。
【００５８】
以上の構成において、図４および図５の実施の形態１における表示画面１０２の表示例を参照して、その動作について説明する。先ず、図３に示したような映像ストリームの構造を表示画面１０２に表示すると、図５に示すようになる。ここで、構造表示部４０１Ａに表示される構造情報３０１および構成表示部４０１Ｂに表示される構成情報３０２は、以下の▲１▼〜▲５▼のルール（条件）に基づいて表示されている。なお、ここでは各ノード３０１ａを区別して分かり易くするために、ノードを示す□（または点線の□）の表示内に図３に示した符号Ａ〜Ｊを記述する。同様の理由からパッケージ識別表示３０２ａおよびセグメント識別表示３０２ｂをＰＡ，ＳＡ等で記述する。
【００５９】
ルール▲１▼
ツリー状の親子関係において、同一の階層に属するノードは、同一の表示行または表示列に表示され、それぞれ直線で結ばれる。なお、このルール▲１▼は、以下のように換言することができる。すなわち、構造情報３０１のツリー状の親子関係の配置において、任意のパッケージを親パッケージとした際に、親パッケージの構成要素の一つであるセグメントの範囲と同一の範囲を他の複数のセグメントの集合で表現した子パッケージが複数定義されている場合には、当該複数の子パッケージ同士を兄弟パッケージとして定義し、これら兄弟パッケージを示す複数のノードを縦方向に並べて配置し、かつ、これらのノードを線で結んで表示する。また、ツリー状の親子関係において、任意のパッケージを親パッケージとした際に、親パッケージの構成要素である複数のセグメントのいずれか一つのセグメントの範囲と同一の範囲を他の複数のセグメントの集合で表現した子パッケージが複数定義されており、かつ、当該複数の子パッケージの範囲が重ならない場合には、これらの複数の子パッケージを示す複数のノード同士を横方向に並べて配置し、かつ、これらのノードを線で結んで表示する。
【００６０】
したがって、図５において、ノードＢとノードＣとノードＤは同一の表示列に表示され、かつ、直線で結ばれているので、同一の階層であり、これらのノードＢ，Ｃ，Ｄに対応したパッケージは兄弟パッケージである。また、ノードＧとノードＨとノードＩは同一の表示行に表示され、かつ、直線で結ばれているので、同一の階層であるが、これらのノードＧ，Ｈ，Ｉに対応したパッケージは兄弟パッケージではない。
【００６１】
ルール▲２▼
ツリー状の親子関係において、映像ストリームの全体を表すパッケージのノードは最上位のパッケージとして定義し、対応するノードを構造情報３０１（構造表示部４０１Ａ）の左上部に配置する。したがって、映像全体を表すパッケージＰを示すノードＡが構造情報３０１の左上部に配置されている。
【００６２】
ルール▲３▼
ツリー状の親子関係において、任意のパッケージを親パッケージとした際に、親パッケージの構成要素の一つであるセグメントの範囲と同一の範囲を他の複数のセグメントの集合で表現した子パッケージが定義されてる場合には、当該子パッケージを示すノードを親パッケージを示すノードの右下に配置し、かつ、これらのノードを折れ線で結んで表示する。たとえば、ノードＥを親パッケージとした場合、その子パッケージであるノードＪは、構造表示部４０１Ａの表示においてノードＥの右下に配置され、かつ、ノードＥと折れ線で結ばれている。
【００６３】
ルール▲４▼
ツリー状の親子関係において、兄弟パッケージを親パッケージとする子パッケージが存在する場合、当該子パッケージを示すノードを該当する兄弟パッケージを示すノードの右下に配置し、かつ、該当する兄弟パッケージの下方に位置する兄弟パッケージを右下に配置した子パッケージの位置より下方になるように配置する。
【００６４】
したがって、図５において、ノードＥとノードＦとノードＪに注目すると、ノードＥとノードＦのそれぞれのパッケージは、兄弟パッケージの関係にあり、ノードＥとノードＪのそれぞれのパッケージは、親パッケージと子パッケージの関係にある。そのため、ノードＥの右下にノードＪが配置され、ノードＦはノードＪの存在する行の次の行に配置されている。
【００６５】
ルール▲５▼
構成表示部４０１Ｂは、画面の横方向を時系列方向としており、構造表示部４０１Ａの行表示部３０４で特定される各ノードに対応する行に、該当するパッケージの範囲に対応した長さで、かつ、時系列上の該当する位置に細い帯状のパッケージ識別表示３０２ａを表示する。また、パッケージ識別表示３０２ａで表示されたパッケージを構成する各セグメント毎に、セグメントの範囲に対応させた長さで、かつ、時系列上の該当する位置にブロック形状のセグメント識別表示３０２ｂを表示する。
【００６６】
したがって、図５において、たとえば、ノードＡに対応するパッケージ識別表示（符号ＰＡ）は、ノードＡと同一行で、かつ、映像ストリームの全体を示す長さの細い帯状で表示される。また、ノードＡに対応するセグメント識別表示（符号ＳＡ）は、ノードＡと同一行で、かつ、セグメントの範囲（ここでは映像ストリームの全体）に対応した長さのブロック形状で表示される。
【００６７】
また、ノードＥに対応するパッケージ識別表示（符号ＰＥ）は、ノードＥと同一行に、ノードＥに対応するパッケージの長さで、かつ、時系列上の該当する位置に細い帯状で表示される。また、ノードＥに対応するセグメント識別表示（符号ＳＥ１〜ＳＥ３）は、ノードＥと同一行に、それぞれのセグメントの範囲で、かつ、時系列上の該当する位置にブロック形状で表示される。
【００６８】
実施の形態１の映像構造編集装置１００は、構造表示ソフト２０９でルール▲１▼〜▲５▼を実行することにより、構造情報の内部の論理構造を視覚化して容易に把握できるようにすると共に、各セグメントのもつ範囲の割合を直感的に知ることができ、複数のパッケージの構造やセグメントの構成を簡単に比較検討することができ、さらに構造情報全体の構造中における各パッケージまたはセグメントの範囲や配置を直感的かつ定量的に理解できるように表示することができる。
【００６９】
また、実施の形態１の構造表示ソフト２０９を応用することにより、たとえば、後述する構造編集ソフト２０８によるセグメントの追加、削除、範囲変更などの編集結果を随時反映し表示することが容易であることは明らかである。また、このような構造表示方法を用いて編集した構造は、検索やブラウズのための情報として利用することができ、後日、利用するために再度記憶手段１０３に保存するとよい。
【００７０】
〔構造編集ソフトの機能の具体的な説明〕
次に、図６の表示画面を参照して、構造編集ソフト２０８の機能ついて説明する。実施の形態１において構造編集ソフト２０８は前述した構造表示ソフト２０９と連動して動作することにより、本発明のセグメント範囲表示手段、代表フレーム表示手段、代表範囲表示手段および属性選択手段の役割を果たすものである。
【００７１】
なお、４０２はセグメント範囲編集画面、４０３は代表フレーム編集画面、４０４は代表範囲編集画面、４０５は属性選択画面を示し、図示の如く、構造編集画面４０１と共に、各編集画面４０１〜４０５が１つのウィンドウ画面として表示される。
【００７２】
構造編集画面４０１には、前述した映像ストリームの階層構造と、パッケージおよびセグメントの範囲の表示に加えて、各セグメントの範囲の先頭（または終了）部分に、該当するセグメントの開始フレーム（または終了フレーム）の縮小画像を、図中の６０１で示すようにセグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、図中の６０２で示すように該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示する。
【００７３】
また、構造編集画面４０１は、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に、換言すれば、縮小画像を変倍（縮小）して表示すると画像の識別が困難になる場合に、縮小画像の表示を省略する。さらに、構造編集画面４０１において、例えば、図示しないアイコン等によって開始フレームの縮小画像の表示および非表示を指定することが可能であり、表示を選択すると図６の構造編集画面４０１の表示状態となり、非表示を選択すると図４に示した構造編集画面４０１の表示状態となる。
【００７４】
さらに、図６の構造編集画面４０１では、６０３で示すパッケージ識別表示の２つのパッケージ（セグメントの集合）が選択された状態を示しており、他のパッケージ識別表示６０４と表示状態を異ならせて（例えば、表示色を変えて）表示している。また、図６の構造編集画面４０１では、全てのセグメントを１画面で表示できないため、構造編集画面４０１の下側にスクロールバーが表示し、必要に応じてスクロール可能としている。また、図６ではパッケージが選択された例を示したが、１つまたは複数のセグメントを選択することもできる。この場合には選択されたセグメントの表示状態を異ならせ、表示する。
【００７５】
セグメント範囲編集画面４０２は、本発明のセグメント範囲表示手段に相当し、図示の如く、パッケージ識別表示６０３で選択されているセグメントの集合の各セグメントの範囲を一対の開始フレームおよび終了フレームの縮小画像６０５，６０６で表示する。また、このセグメント範囲編集画面４０２は、ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示することも可能である。具体的な操作としては、例えば、予めツールバー等に編集画面のウィンドウ化を指定するアイコンを登録しておき、セグメント範囲編集画面４０２を指定した後、該当するアイコンを選択することで、容易に実現することができる。さらに、セグメント範囲編集画面４０２の下側に表示されたスクロールバーを操作することにより、１画面で表示できないセグメントの範囲（縮小画像の対）をスクロールさせて表示させることができる。
【００７６】
代表フレーム編集画面４０３は、本発明の代表フレーム表示手段に相当し、図示の如く、構造編集画面４０１で選択されているセグメント（ここでは、パッケージ識別表示６０３で選択された２つのパッケージに属する全てのセグメント）を代表する代表フレーム６０７を表示する。なお、代表フレーム６０７は、１つのセグメントに対して複数設定することができ、設定されている全ての代表フレームが代表フレーム６０７として表示される。ただし、１画面で表示できない代表フレーム６０７がある場合には、代表フレーム編集画面４０３の下側に表示されたスクロールバーを操作することにより、代表フレーム６０７をスクロールさせて表示させることができる。
【００７７】
代表範囲編集画面４０４は、選択されているセグメントに属するフレーム範囲からそのセグメントを代表するフレームの範囲を代表範囲として表示するものである。ただし、図６の代表範囲編集画面４０４は、代表範囲が表示されていない状態を示している。代表範囲の表示状態については、後述する構造編集画面４０１とのリンク関係において詳述する。代表範囲編集画面４０４においても、１画面で表示できない場合には、代表範囲編集画面４０４の下側にスクロールバーが表示され、スクロールバーを操作することにより、代表範囲をスクロールさせて表示させることができる。
【００７８】
属性選択画面４０５は、代表フレームまたは代表範囲の持つ属性を選択する属性選択手段の役割を果たす。例えば、代表フレーム編集画面４０３の操作中に、属性選択画面４０５の『Ｓｐａｔｉａｌ Ｋｅｙ：場所・空間的な属性を指定するキー』を操作して、場所に関する属性を入力または選択すると、該当する代表フレームのみが代表フレーム編集画面４０３の代表フレーム６０７として表示される。
【００７９】
なお、各編集画面４０１〜４０４は、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示するものである。
【００８０】
また、編集操作としては、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することなどが挙げられる。この編集操作の具体的な技術は、本出願人によって既に出願済みの構造表示方法等を用いて容易に実現することができる。
【００８１】
次に、図７を参照して、実施の形態１の映像構造編集装置１００で２つの映像ストリームの構造を同時に表示する場合の表示例について説明する。ウィンドウ画面７０１，７０２は、それぞれ個別の映像ストリームごとに各編集画面（編集画面４０１〜４０５）を纏めた１つのウィンドウ画面として表示されている。このように複数の映像ストリームの映像編集を同時に行うことができる。このように１つの映像ストリームに１つのウィンドウ画面が用意されるので、複数の映像ストリームの操作、比較が行い易い。また、後述する実施の形態２の構造要素再構成装置を利用する際に、構造要素の再構成の作業を容易にすることができる。
【００８２】
次に、図８を参照して、セグメント範囲編集画面４０２、代表フレーム編集画面４０３および代表範囲編集画面４０４の各編集画面の表示／非表示の選択処理について説明する。実施の形態１では、各編集画面４０２〜４０４に対して、ウィンドウ画面中において表示および非表示を指定することが可能である。具体的には、例えば、予めツールバー等に編集画面の表示／非表示を指定するアイコンを登録しておき、所望の編集画面を指定した後、該当するアイコンを選択することで、容易に実現することができる。
【００８３】
図８は、図６のウィンドウ画面からセグメント範囲編集画面４０２と代表範囲編集画面４０４とを非表示にした状態を示している。図示の如く、編集画面４０２〜４０４の少なくとも１つの非表示が指定されると、指定された編集画面（ここでは、編集画面４０２，４０４）がウィンドウ画面中において非表示となり、構造編集画面４０１が非表示となった編集画面の領域分拡がり、他の編集画面（ここでは、編集画面４０３）が非表示となった編集画面の領域を埋めるように移動する。
【００８４】
ウィンドウ画面では、全部で５種類の表示（編集画面４０１〜４０５）が行われるが、映像ストリームの構造編集を行う場合の目的によっては、必要のない編集画面も存在する。また、特に重視したい部分にのみ注目して表示したり、ウィンドウの表示速度を重視して映像ストリームの構造だけを見たい場合など、様々な利用方法が想定される。そこで、５種類の表示（編集画面４０１〜４０５）のうち、不可欠な構造編集画面４０１を常に表示し、それ以外の部分の表示／非表示を選択可能とし、必要に応じて非表示を指示することで操作性の向上を図ることができる。
【００８５】
なお、図６のウィンドウ画面からセグメント範囲編集画面４０２と代表範囲編集画面４０４とを別のウィンドウ画面として取り外した場合も、ウィンドウ画面は、図８と同様に表示される。
【００８６】
図８のウィンドウ画面の表示状態から、構造編集画面４０１の横方向の縮小により、セグメントの表示サイズが変わり、開始フレームの表示が変化した様子を図９に示す。図示の如く、構造編集画面４０１の開始フレームは、横方向にのみ縮小されていたり、表示状態から非表示状態に変わっている。
【００８７】
また、図９のウィンドウ画面の表示状態から、構造編集画面４０１のセグメントの開始フレームの表示を非表示とした場合の変化を図１０に示す。ここで、さらに図１０を参照して、代表範囲編集画面４０４の位置情報の表示状態および代表範囲編集画面４０４と代表フレーム編集画面４０３のリンク関係について説明する。構造編集画面４０１は、各セグメントに対応する代表フレームの位置を示す位置情報１００１を、セグメントの範囲の該当する位置に表示し、表示した位置情報１００１が選択されると、選択された位置情報１００１Ａの表示状態を変更して、選択状態とする。
【００８８】
一方、代表フレーム編集画面４０３は、選択されているパッケージ識別表示６０３の各セグメントの代表フレーム１００２を所定数一列に並べて表示し、セグメントの総数が所定数以上（図１０では、所定数＝９）である場合には、スクロールバーを表示して表示する代表フレーム１００２の表示範囲を変更可能とする。また、表示されている代表フレーム１００２の中から任意の代表フレーム１００２Ａを選択すると、選択された代表フレーム１００２Ａの表示状態を変更して、選択状態とする。
【００８９】
さらに、この構造編集画面４０１の位置情報１００１および代表フレーム編集画面４０３の代表フレーム１００２は、それぞれ対応する位置情報１００１および代表フレーム１００２の表示状態がリンクされており、一方が選択されると他方の表示状態も変更される。例えば、図１０において、構造編集画面４０１の位置情報１００１Ａが選択されると、代表フレーム編集画面４０３の対応する代表フレーム１００２Ａの表示状態も選択状態に変化する。このとき、構造編集画面４０１で選択された位置情報と対応する代表フレームが代表フレーム編集画面４０３に表示されていない場合には、代表フレーム編集画面４０３は該当する代表フレームが表示されるように、自動的に画面をスクロールする。
【００９０】
次に、図１１を参照して、代表範囲編集画面４０４の代表範囲の表示状態および代表範囲編集画面４０４と構造編集画面４０１のリンク関係について説明する。代表範囲編集画面４０４には、図示の如く、構造編集画面４０１で選択されているパッケージ識別表示１１０１（ここでは、１つのセグメント）に属するフレーム範囲からそのセグメントを代表するフレームの範囲が代表範囲１１０３として複数表示されている。なお、代表範囲編集画面４０４は、選択されたパッケージに含まれる全てのセグメントに対応させて、かつ、全ての代表範囲を表示する。
【００９１】
ここで、代表範囲１１０３の表示方法としては、図示の如く、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示する。スクロールバーを操作することにより、一対の縮小画像の範囲を変更して表示されていない代表範囲を表示させることができる。また、表示されている一対の縮小画像１１０３の中から任意の一対の縮小画像１１０３Ａを選択すると、選択された一対の縮小画像１１０３Ａの表示状態を変更して、選択状態とする。
【００９２】
一方、構造編集画面４０１は、各セグメントに属する代表範囲の位置を示す範囲情報１１０２を、セグメントの範囲の該当する位置に表示し、表示した範囲情報１１０２が選択されると、選択された範囲情報１１０２Ａの表示状態を変更し、選択状態とする。代表範囲の位置を示す範囲情報１１０２は、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報１１０２の表示が重なる場合には、範囲情報１１０２Ａで示すように、直前の範囲情報１１０２の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示する。
【００９３】
さらに、この構造編集画面４０１の範囲情報１１０２と代表範囲編集画面４０４の一対の縮小画像１１０３は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更される。例えば、図１１において、構造編集画面４０１の範囲情報１１０２Ａが選択されると、代表範囲編集画面４０４の対応する一対の縮小画像（代表範囲）１１０３Ａの表示状態も選択状態に変化する。このとき、構造編集画面４０１で選択された範囲情報と対応する一対の縮小画像（代表範囲）が代表範囲編集画面４０４に表示されていない場合には、代表範囲編集画面４０４は該当する一対の縮小画像（代表範囲）が表示されるように、自動的に画面をスクロールする。
【００９４】
次に、構造編集画面４０１の再生ボタンアイコン３０５を用いてセグメントの再生を行った場合の動作について説明する。例えば、図５の構造編集画面４０１において、再生するセグメント（以下、再生セグメントと記載する）として再生セグメント３０６を選択し、再生ボタンアイコン３０５で再生を指定すると、先ず、表示装置２０６の表示画面１０２上に、図１２（ａ），（ｂ）に示すような、セグメント映像再生ウィンドウ１２０１および再生操作ウィンドウ１２０２が表示される。セグメント映像再生ウィンドウ１２０１および再生操作ウィンドウ１２０２は、構造編集画面４０１で選択されたセグメントを再生セグメント３０６として、該再生セグメント３０６で定義された範囲のフレームを再生するものであり、本発明のセグメント映像再生手段に相当する。
【００９５】
また、再生操作ウィンドウ１２０２の各種キーを操作することにより、再生セグメント３０６の再生開始、セグメント映像再生ウィンドウ４０１で再生中の再生セグメントの再生速度の調整、巻き戻し、早送り、一時停止、再生終了、指定フレームへのスキップを行うことができる。特に、『ｐｌａｙ／ｄｅｔｅｃｔ』キーを押下することにより、一時停止中であれば再生を開始し、再生中であれば再生中の再生セグメントから所望のフレームを目的フレームとして指定することができる。
【００９６】
また、セグメント映像再生ウィンドウ１２０１および再生操作ウィンドウ１２０２を介して目的フレームが指定されると、表示装置２０６の表示画面１０２上には、図１３に示すような、連続フレーム表示ウィンドウ１３０１が表示される。連続フレーム表示ウィンドウ１３０１は、再生操作ウィンドウ４０２上の所定キー（『ｐｌａｙ／ｄｅｔｅｃｔ』キー）が操作されたタイミングでフレームを特定し、特定したフレーム１３０１ａを中心とする所定数の連続フレームを一列に並べて表示するものであり、本発明の連続フレーム表示手段に相当する。なお、図１３では、所定数の連続フレームとして９個の連続するフレームを一列に並べて表示した例を示すが、この数は特に限定するものではなく、オペレータが必要に応じて適宜変更可能なものとする。また、特定したフレーム１３０１ａの上部には他のフレームと区別するために識別バー１３０１ｂが表示されている。
【００９７】
また、連続フレーム表示ウィンドウ１３０１には、特定したフレーム１３０１ａを中心とする所定数の連続フレームを一列に並べて表示した後、表示する連続フレームをスクロールするためのスクロールバー１３０１ｃが設けられており、このスクロールバー１３０１ｃを操作することにより、再生セグメントの範囲内（換言すれば、再生セグメントの開始フレームから終了フレームの間）で連続フレームとして表示するフレームを変更することができる。
【００９８】
また、連続フレーム表示ウィンドウ１３０１で表示されている連続フレームの中から任意のフレームをドラッグ＆ドロップで同一表示画面上にマルチウィンドウで表示されている代表フレーム編集画面４０３にプロットすると、代表フレーム編集画面４０３は、ドロップされたフレームをセグメント映像再生ウィンドウ１２０１で再生中の再生セグメント３０６を代表する代表フレームとして生成し、表示する。
【００９９】
図１４は、前述した再生操作ウィンドウ１２０２および連続フレーム表示ウィンドウ１３０１と、構造編集画面４０１および代表範囲編集画面４０４を含むウィンドウ画面とが、表示画面１０２にマルチウィンドウで表示された状態を示している。代表範囲編集画面４０４は、連続フレーム表示ウィンドウ１３０１で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレーム１４０１とし、もう一方を終了フレーム１４０２として選択中のセグメントの新たな代表範囲を生成して表示する。
【０１００】
次に、図１５を参照して、内容記述ウィンドウ１５０１について説明する。内容記述ウィンドウ１５０１は、構造編集画面４０１、セグメント範囲編集画面４０２、代表フレーム編集画面４０３または代表範囲編集画面４０４で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示する機能を有している。
【０１０１】
内容記述ウィンドウ１５０１には、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報１５０２および任意の情報である自由記述情報１５０３の入力および変更を行う領域が設けられている。
【０１０２】
また、図中の『Ａｄｄ』ボタンを用いて登録を指定し、５Ｗ１Ｈ情報１５０２を登録することにより、登録された内容が５Ｗ１Ｈ情報１５０２の領域に次回から候補として表示され、次回から入力しなくても選択可能となる。
【０１０３】
例えば、構造編集画面４０１でセグメントを選択すると、そのセグメントの内容が予め保存されている場合、内容記述ウィンドウ１５０１の該当する領域にその記述内容が表示される。また、新規入力や、変更の場合には『Ａｐｐｌｙ』ボタンで指示する。他のセグメントを選択するとその内容記述が表示される。
【０１０４】
図１６は、このように内容記述ウィンドウ１５０１を用いて入力した記述内容を、表形式の一覧で表示する一覧表示画面１６０１を示す説明図である。一覧表示画面１６０１は、構造編集画面４０１において所定のキー操作を行うことで表示される。例えば、構造編集画面４０１で、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧表示を指定すると、一覧表示画面１６０１のように表示される。
【０１０５】
なお、一覧表示画面１６０１の各項目は、項目ごとの境界を自由に移動させることができ、内容記述の項目が多い場合には、カラムを拡大・縮小させることで、必要な項目を見やすくすることができる。また、表示する項目を選択して、表示／非表示を行えるようにしても良い。
【０１０６】
また、内容記述の一覧には、編集モードと読取モードとを用意し、いずれか選択したモードで作業するようにする。このとき、モードの違いは背景色の違いで表現する。
【０１０７】
また、１つのカラムに記述が入りきらないときは、枠の色を変えて表示し、その部分にカーソルを入れ、キーで上下移動させるか、スクロールバーを動的に用意して、スクロールさせて表示させることにより、全ての記述を表示できるようにする。
【０１０８】
セグメントなどの構造要素に対する付加価値の高い内容記述は、映像ストリーム（コンテンツ）の流れを見ながら記述することが必要である。内容記述ウィンドウ１５０１のように、対象セグメントの情報（代表フレーム、内容記述、範囲など）だけが表示された状態で記述する方法でも良いが、これだけでは、前のセグメントや次のセグメントに対する記述内容の参照や対比がしにくく、同じレベルで記述を行うことが難しい。文章を書くとき、何度も前から読みなおしながら記述すると作業性が向上するが、文書を単語ごと、あるいは文節ごとに別のウィンドウに対して記述し、しかもそれらのウィンドウが同じに参照できない状況を考えれば、同じレベルで記述することが困難であるのは明らかである。
【０１０９】
前述したように実施の形態１の映像構造編集装置によれば、映像ストリームの階層構造を定義した構造情報を用いて一目で映像ストリームの構造が把握できるように表示を行うと共に、直感的な分かりやすい操作で、構造化された映像ストリームの構造を再編集できる映像構造編集装置を提供することができる。
【０１１０】
また、実施の形態１の映像構造編集装置の各手段を実現するプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上述したような記録媒体を介して配布したり、またはインターネット等の通信ネットワークを介して配布することができる。
【０１１１】
実施の形態２．
実施の形態２は、実施の形態１の映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置に関する。実施の形態２の構造要素再構成装置のハード構成は、実施の形態１の映像構造編集装置と同様であるため、ここでは異なる部分のみ説明する。
【０１１２】
図１７〜図１９は、実施の形態２の構造要素再構成装置の表示画面１７０１（ウィンドウ画面）を示し、セグメントおよびパッケージなどの構造要素を、各構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示部１７０２と、フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段としてのスケール表示部１７０３とを備えている。
【０１１３】
また、再構成表示部１７０２は、セグメントやパッケージなどの構造要素を選択および操作するためのマウス操作手段を有している。なお、このマウス操作手段としは、一般的なマウスなどのポインデイングデバイスで容易に実現できる。再構成表示部１７０２は、図１７に示すように、各構造要素（例えば、セグメント１７０５、パッケージ１７０６、パッケージ１７０７）をその結合順に横一列に並べて矩形で表示し、マウス操作手段を用いて、実施の形態１の構造要素再構成装置で表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして、例えば、所望の位置１７０８にドロップすると、図１８に示すように、その前後の構造要素（ここでは、パッケージ１７０６、パッケージ１７０７）の間に新たな構造要素（セグメント１８０１）が組み込まれて再配列される。
【０１１４】
また、例えば、図１８の状態の再構成表示部１７０２において、セグメント１８０１を選択して削除を指定すると、セグメント１８０１の前後の構造要素（ここでは、パッケージ１７０６、パッケージ１７０７）が結合されて、図１７に示すように再配列される。
【０１１５】
また、再構成表示部１７０２は、横一列に並べて表示された構造要素の列から、マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列する。例えば、図１７において、セグメント１７０５をドラッグしてパッケージ１７０７の後の位置にドロップすると、セグメント１７０５が最後の位置に移動する。
【０１１６】
また、再構成表示部１７０２は、構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示する。構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示され、パッケージ単位での操作のみを許可する。例えば、図１７において、パッケージ１７０６およびパッケージ１７０７は、それぞれのパッケージに属するセグメントの集合が確認できる状態で、かつ、網かけ（図中の斜線部分）の矩形で表示されている。
【０１１７】
このようにパッケージの網かけの矩形内に表示されているセグメントの集合は、直接操作することができないが、例えば、図示しないパッケージ解除ボタンなどを操作してパッケージ単位の操作を解除することにより、パッケージを構成するセグメントの集合がセグメント単位で操作できるようになる。具体的には、図１８において、パッケージ１７０７の解除を行うと、図１９に示すように、網かけの矩形表示部分がなくなり、パッケージ１７０７のセグメントの集合であるセグメント１９０１〜１９０４がセグメント単位で操作可能となる。図１９では、セグメント１９０１を選択した状態を示している。
【０１１８】
さらに、図１７に示すように、再構成表示部１７０２は、マウス操作手段を介してマウスポインタを所望の構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報１７０４を表示する。
【０１１９】
また、再構成表示部１７０２およびスケール表示部１７０３は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されている。したがって、前述したように他のウィンドウ画面からドラッグしてドロップすることで、構造要素を入力したり、表示することができる。また、１つのウィンドウ画面として表示されているので、ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更でき、マルチウィンドウで表示している場合、必要な画面の大きさで作業を効率よく行うことができる。
【０１２０】
再構成表示部１７０２においても、実施の形態１の構造編集画面４０１のように、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するようにしても良い。また、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に縮小画像を省略するようにしても良い。
【０１２１】
また、実施の形態１の構造編集画面４０１の再生ボタンアイコン３０５のように、再構成表示部１７０２上に再生ボタンアイコンを設けて、実施の形態１と同様の方法で、再構成表示部１７０２で再構成した構造要素を１つの映像ストリームとして再生しても良い。構造要素を選択することにより、対応するフレームの範囲を再生しても良い。
【０１２２】
さらに、構造要素再構成装置で再構成した構造要素を１つの映像ストリームとして記録媒体に保存しても良い。このとき、再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存することにより、汎用のブラウザで再構成情報（再構成した構造要素の集合）をそのまま再生することが可能となる。
【０１２３】
前述したように実施の形態２の構造要素再構成装置は、１つまたは複数の映像ストリームから構造要素を選択して、選択した構造要素を論理的に編集し、１つの映像ストリームとして再構成することができる。
【０１２４】
また、実施の形態２の構造要素再構成装置の各手段を実現するプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上述したような記録媒体を介して配布したり、またはインターネット等の通信ネットワークを介して配布することができる。
【０１２５】
【発明の効果】
以上説明したように、本発明の映像構造編集装置（請求項１〜１７）は、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を、編集で用いる目的に応じて分割し、他の複数のセグメントの集合を形成した場合、該他の複数のセグメントの集合をパッケージとして定義することにより、このパッケージを親パッケージとし、この親パッケージを構成する該他の複数のセグメントのうち一つのセグメントの範囲と同一の範囲がさらに他の複数のセグメントに分割され、さらに分割された他の複数のセグメントの集合を子パッケージとして定義し、これにより前記映像ストリームの階層構造を定義した構造情報を対象にして、前記映像ストリームの階層構造、パッケージおよびセグメントの範囲を表示すると共に、表示したパッケージおよびセグメントの選択が可能な構造構成表示手段と、前記構造構成表示手段で選択されているセグメントの範囲と同一の範囲を他の複数のセグメントの集合に分割した場合、該他の複数のセグメントの集合の各セグメントの一対の開始フレームおよび終了フレームの縮小画像で表示するセグメント範囲表示手段と、前記構造構成表示手段で選択されているパッケージにおいて、該パッケージを示すセグメントの集合の各セグメントを代表する代表フレームを表示する代表フレーム表示手段と、前記構造構成表示手段で表示されているセグメントに属するフレーム範囲から２つのフレームを選択し、選択されたフレームの一方を開始フレーム、他方を終了フレームとして該セグメントを代表するフレームの代表範囲として表示する代表範囲表示手段とを備えたため、映像ストリームの階層構造を定義した構造情報を用いて一目で映像ストリームの構造が把握できるように表示を行うと共に、直感的な分かりやすい操作で、構造化された映像ストリームの構造を再編集できる映像構造編集装置を提供することができる。
【０１２６】
また、構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段が、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、個別の映像ストリームごとに各編集画面を纏めた１つのウィンドウ画面として表示されるため、複数の映像ストリームの構造編集を同時に行うことができると共に、複数の映像ストリームの操作や比較を行うことが容易である。
【０１２７】
また、ウィンドウ画面の各編集画面が、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示するため、操作性の向上を図ることができる。加えて、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することにより、さらに構造編集の作業を効率良く行うことができる。
【０１２８】
また、構造構成表示手段でパッケージが選択されると、セグメント範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて縮小画像を表示し、代表フレーム表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて代表フレームを表示し、代表範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて代表範囲を表示するため、直感的に構造を把握することが容易となり、操作性の向上を図ることができる。
【０１２９】
また、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、ウィンドウ画面中において表示および非表示を指定することが可能であり、これら編集画面の少なくとも１つの非表示が指定されると、指定された編集画面がウィンドウ画面中において非表示となり、構造構成表示手段に対応する編集画面が非表示となった編集画面の領域分拡がり、他の編集画面が非表示となった編集画面の領域を埋めるように移動するため、目的に応じて必要な部分または必要でない部分を選択的に表示したり、非表示にすることができ、さらに操作性の向上を図ることができる。
【０１３０】
また、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示可能であるため、必要に応じて作業中の各編集画面のレイアウトを変更でき、作業効率の向上および操作性の向上を図ることができる。
【０１３１】
また、構造構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するため、常に表示されている内容の見やすさを保つことができる。
【０１３２】
また、構造構成表示手段は、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に縮小画像を省略するため、常に表示されている内容の見やすさを保つことができる。
【０１３３】
また、構造構成表示手段は、縮小画像の表示および非表示を指定することが可能であるため、作業内容に応じた適切な表示状態を選択することができる。また、画面上に表示する画像の量を調整できるので、縮小画像の非表示を利用して、処理速度の向上を図ることができ、また、代表フレームや代表範囲の位置を明確にしたい場合などにも、不要な縮小画像をなくして見やすくすることができる。
【０１３４】
また、構造構成表示手段は、各セグメントに対応する代表フレームの位置を示す位置情報を、セグメントの範囲の該当する位置に表示し、表示した位置情報が選択されると、選択された位置情報の表示状態を変更し、代表フレーム表示手段は、構造構成表示手段に表示されているセグメントの代表フレームを所定数一列に並べて表示し、セグメントの総数が所定数以上である場合には、スクロールバーを表示して表示する代表フレームの範囲を変更可能とすると共に、表示されている代表フレームの中から任意の代表フレームを選択すると、選択された代表フレームの表示状態を変更し、さらに構造構成表示手段の位置情報および代表フレーム表示手段の代表フレームは、それぞれ対応する位置情報および代表フレームの表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるため、片方を操作するだけで他方の該当部分を自動的に特定でき、作業効率化を図ることができると共に、操作性の向上を図ることができる。
【０１３５】
また、構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に表示し、表示した範囲情報が選択されると、選択された範囲情報の表示状態を変更し、代表範囲表示手段は、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示して表示する一対の縮小画像の範囲を変更可能とすると共に、表示されている一対の縮小画像の中から任意の一対の縮小画像を選択すると、選択された一対の縮小画像の表示状態を変更し、さらに構造構成表示手段の範囲情報および代表フレーム表示手段の一対の縮小画像は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるため、片方を操作するだけで他方の該当部分を自動的に特定でき、作業効率化を図ることができると共に、操作性の向上を図ることができる。
【０１３６】
また、構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報の表示が重なる場合には、直前の範囲情報の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示するため、複数の範囲情報が存在する場合でも、できるだけ重ならないで見やすくすることができる。
【０１３７】
また、代表フレームまたは代表範囲の持つ属性を選択する属性選択手段を有し、代表フレーム表示手段または代表範囲表示手段は、属性選択手段で属性が選択されると、選択された属性を有する代表フレームまたは代表範囲のみを表示するため、表示内容の絞り込みを行うことができ、作業効率化および操作性の向上を図ることができる。
【０１３８】
また、構造構成表示手段は、選択したセグメントの再生を指定する再生指定手段と、再生指定手段で指定されたセグメントで定義された範囲のフレームを再生するセグメント映像再生手段と、セグメント映像再生手段で再生中のセグメントの再生、停止、巻き戻し、早送り、一時停止、指定フレームへのスキップ等の操作を行うための映像再生操作手段と、を有するため、セグメントの再生を容易に行えると共に、セグメント選択によって映像再生の対象部分が限定され、その範囲を越えて再生されることはなく、また映像ストリームの全体に対する対象セグメントの位置も明確になるので、全体の構造を把握しながら再生でき、映像全体の再生よりも分かりやすいという効果を奏する。
【０１３９】
また、セグメント映像再生手段で所望のフレームが再生された際に目的フレームとして指定し、指定されたフレームを含む所定数の連続フレームを一列に並べて表示する連続フレーム表示手段を備え、代表フレーム表示手段は、連続フレーム表示手段で表示されている連続フレームの中から任意のフレームをドラッグしてドロップすると、該当するフレームをセグメント映像再生手段で再生中のセグメントの代表フレームとして生成して表示するため、一連の操作が簡単であり、作業を効率的に行うことができる。
【０１４０】
また、代表範囲表示手段は、連続フレーム表示手段で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレームとし、もう一方を終了フレームとして選択中のセグメントの新たな代表範囲を生成して表示するため、一連の操作が簡単であり、作業を効率的に行うことができる。
【０１４１】
また、本発明の映像構造編集装置（請求項１８）は、構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段または代表範囲表示手段で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示するための内容記述表示手段を備え、内容記述表示手段は、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報および任意の情報である自由記述情報の入力および変更が可能であり、かつ、５Ｗ１Ｈ情報を登録することにより、次回から候補として表示され、次回から入力しなくても選択可能であるため、内容の記述を容易に行うことができる。また、５Ｗ１Ｈ情報によって記述内容の全体の統一をとることができる。
【０１４２】
また、本発明の映像構造編集装置（請求項１９）は、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧で表示し、編集するための一覧表示手段を有するため、前のセグメントや次のセグメントに対する記述内容の参照や対比を容易に行え、常に同じレベルで記述を行うことができる。
【０１４３】
また、本発明の記録媒体（請求項２０）は、請求項１〜１９のいずれか一つに記載された各手段をコンピュータに実行させるプログラムを記録したため、そのプログラムを機械読み取り可能となり、請求項１〜１９の動作をコンピュータによって実現することが可能な記録媒体を得られるという効果を奏する。
【０１４４】
また、本発明の構造要素再構成装置（請求項２１〜３３）は、請求項１〜１９のいずれか一つに記載された映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置であって、構造要素を構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示手段と、フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段と、を備えたため、１つまたは複数の映像ストリームから構造要素を選択して、選択した構造要素を論理的に編集し、１つの映像ストリームとして再構成することができる構造要素再構成装置を提供できる。
【０１４５】
また、再構成表示手段は、構造要素を選択および操作するためのマウス操作手段を有し、再構成表示手段は、各構造要素をその結合順に横一列に並べて矩形で表示し、マウス操作手段を用いて、表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして所望の位置にドロップすると、その前後の構造要素の間に新たな構造要素が組み込まれて再配列され、また任意の構造要素を選択して削除すると、任意の構造要素の前後の構造要素が結合されて再配列されるため、簡単なマウス操作により構造要素の編集が可能となり、操作性の向上を図ることができる。
【０１４６】
また、再構成表示手段は、横一列に並べて表示された構造要素の列から、マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列するため、簡単なマウス操作により構造要素の編集が可能となり、操作性の向上を図ることができる。
【０１４７】
また、再構成表示手段は、構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示し、構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示し、パッケージ単位での操作のみを許可するため、各構造要素の持つ情報を視覚的に認識して、構造要素の操作をセグメント単位およびパッケージ単位で行い、操作性の向上を図ることができる。
【０１４８】
また、再構成表示手段は、パッケージ単位の操作を解除して、パッケージを構成するセグメントの集合をセグメント単位で操作できるため、必要な時にパッケージ単位の操作からセグメント単位の操作に移ることができ、作業の効率化および操作性の向上を図ることができる。
【０１４９】
また、再構成表示手段は、マウス操作手段を介してマウスポインタを構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報を表示するため、構造要素の属性を明確に認識することができ、作業を正確に行うことができる。
【０１５０】
また、再構成表示手段および目盛り表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、１つのウィンドウ画面として表示され、ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更できるため、作業の効率的に行うことができる。
【０１５１】
また、再構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するため、縮小画像の見やすく表示することができ、作業の効率的に行うことができる。
【０１５２】
また、再構成表示手段は、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に縮小画像を省略するため、常に表示されている内容の見やすさを保つことができる。
【０１５３】
また、再構成表示手段は、再構成した構造要素を１つの映像ストリームとして再生可能であるため、検索結果のブラウジングが可能となる。
【０１５４】
また、再構成表示手段は、構造要素を選択することにより、対応するフレームの範囲を再生可能であるため、構造要素の再構成を行う際の利便性の向上を図ることができる。また、保存前に内容を確認することができる。
【０１５５】
また、再構成表示手段は、再構成した構造要素を１つの映像ストリームとして記録媒体に保存可能であるため、構造要素再構成装置で構造要素を再構成して保存することで、ダイジェスト映像などの作成が可能となる。また、再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存することにより、汎用のブラウザでそのまま再生することが可能となる。
【０１５６】
また、本発明の記録媒体（請求項３４）は、請求項２１〜３３のいずれか一つに記載された各手段をコンピュータに実行させるプログラムを記録したため、そのプログラムを機械読み取り可能となり、請求項２１〜３３の動作をコンピュータによって実現することが可能な記録媒体を得られるという効果を奏する。
【図面の簡単な説明】
【図１】実施の形態１の映像構造編集装置の一例を示す概略構成図である。
【図２】図１に示したコンピュータのブロック構成図である。
【図３】実施の形態１の映像構造編集装置で使用する構造情報の構造例を示す説明図である。
【図４】実施の形態１の構造表示ソフトによる構造編集画面の表示例を示す説明図である。
【図５】実施の形態１の構造表示ソフトによる構造編集画面の表示例を示す説明図である。
【図６】実施の形態１の構造編集ソフトの機能を示す説明図である。
【図７】実施の形態１の映像構造編集装置で２つの映像ストリームの構造を同時に表示する場合の表示例を示す説明図である。
【図８】図６のウィンドウ画面からセグメント範囲編集画面と代表範囲編集画面とを非表示にした状態を示す説明図である。
【図９】構造編集画面の横方向の縮小による開始フレームの表示状態の変化を示す説明図である。
【図１０】代表範囲編集画面の位置情報の表示状態および代表範囲編集画面と代表フレーム編集画面のリンク関係を示す説明図である。
【図１１】代表範囲編集画面の代表範囲の表示状態および代表範囲編集画面と構造編集画面のリンク関係を示す説明図である。
【図１２】セグメント映像再生ウィンドウおよび再生操作ウィンドウが表示画面を示す説明図である。
【図１３】連続フレーム表示ウィンドウを示す説明図である。
【図１４】再生操作ウィンドウおよび連続フレーム表示ウィンドウと、構造編集画面を含むウィンドウ画面が表示画面にマルチウィンドウで表示された状態を示す説明図である。
【図１５】内容記述ウィンドウを示す説明図である。
【図１６】内容記述ウィンドウを用いて入力した記述内容を、表形式の一覧で表示する一覧表示画面を示す説明図である。
【図１７】実施の形態２の構造要素再構成装置の表示画面（ウィンドウ画面）を示す説明図である。
【図１８】実施の形態２の構造要素再構成装置の表示画面（ウィンドウ画面）を示す説明図である。
【図１９】実施の形態２の構造要素再構成装置の表示画面（ウィンドウ画面）を示す説明図である。
【符号の説明】
１００ 映像構造編集装置
１０１ コンピュータ
１０２ 表示画面
１０３ 記憶手段
２０７ 構造解析ソフト
２０８ 構造編集ソフト
２０９ 構造表示ソフト

Claims (34)

1. 映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を、編集で用いる目的に応じて分割し、他の複数のセグメントの集合を形成した場合、該他の複数のセグメントの集合をパッケージとして定義することにより、このパッケージを親パッケージとし、この親パッケージを構成する該他の複数のセグメントのうち一つのセグメントの範囲と同一の範囲がさらに他の複数のセグメントに分割され、さらに分割された他の複数のセグメントの集合を子パッケージとして定義し、これにより前記映像ストリームの階層構造を定義した構造情報を対象にして、前記映像ストリームの階層構造、パッケージおよびセグメントの範囲を表示すると共に、表示したパッケージおよびセグメントの選択が可能な構造構成表示手段と、
   前記構造構成表示手段で選択されているセグメントの範囲と同一の範囲を他の複数のセグメントの集合に分割した場合、該他の複数のセグメントの集合の各セグメントの一対の開始フレームおよび終了フレームの縮小画像で表示するセグメント範囲表示手段と、
   前記構造構成表示手段で選択されているパッケージにおいて、該パッケージを示すセグメントの集合の各セグメントを代表する代表フレームを表示する代表フレーム表示手段と、
   前記構造構成表示手段で表示されているセグメントに属するフレーム範囲から２つのフレームを選択し、選択されたフレームの一方を開始フレーム、他方を終了フレームとして該セグメントを代表するフレームの代表範囲として表示する代表範囲表示手段と、
   を備えたことを特徴とする映像構造編集装置。
2. 前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、個別の映像ストリームごとに各編集画面を纏めた１つのウィンドウ画面として表示されることを特徴とする請求項１に記載の映像構造編集装置。
3. 前記ウィンドウ画面の各編集画面は、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示することを特徴とする請求項２に記載の映像構造編集装置。
4. 前記編集操作とは、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することを含むことを特徴とする請求項３に記載の映像構造編集装置。
5. 前記構造構成表示手段でパッケージが選択されると、前記セグメント範囲表示手段は、選択されたパッケージに含まれる全てのセグメントに対応させて前記縮小画像を表示し、前記代表フレーム表示手段は、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表フレームを表示し、前記代表範囲表示手段は、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表範囲を表示することを特徴とする請求項１〜３のいずれか一つに記載の映像構造編集装置。
6. 前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面中において表示および非表示を指定することが可能であり、これら編集画面の少なくとも１つの非表示が指定されると、指定された編集画面が前記ウィンドウ画面中において非表示となり、前記構造構成表示手段に対応する編集画面が前記非表示となった編集画面の領域分拡がり、他の編集画面が前記非表示となった編集画面の領域を埋めるように移動することを特徴とする請求項２〜５のいずれか一つに記載の映像構造編集装置。
7. 前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示可能であることを特徴とする請求項２〜６のいずれか一つに記載の映像構造編集装置。
8. 前記構造構成表示手段は、前記セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示することを特徴とする請求項１〜７のいずれか一つに記載の映像構造編集装置。
9. 前記構造構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略することを特徴とする請求項８に記載の映像構造編集装置。
10. 前記構造構成表示手段は、前記縮小画像の表示および非表示を指定することが可能であることを特徴とする請求項８または９に記載の映像構造編集装置。
11. 前記構造構成表示手段は、各セグメントに対応する代表フレームの位置を示す位置情報を、セグメントの範囲の該当する位置に表示し、表示した位置情報が選択されると、選択された位置情報の表示状態を変更し、
    前記代表フレーム表示手段は、前記構造構成表示手段に表示されているセグメントの代表フレームを所定数一列に並べて表示し、前記セグメントの総数が所定数以上である場合には、スクロールバーを表示して表示する代表フレームの範囲を変更可能とすると共に、表示されている代表フレームの中から任意の代表フレームを選択すると、選択された代表フレームの表示状態を変更し、
    さらに前記構造構成表示手段の位置情報および代表フレーム表示手段の代表フレームは、それぞれ対応する位置情報および代表フレームの表示状態がリンクされており、一方が選択されると他方の表示状態も変更されることを特徴とする請求項１〜１０のいずれか一つに記載の映像構造編集装置。
12. 前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に表示し、表示した範囲情報が選択されると、選択された範囲情報の表示状態を変更し、
    前記代表範囲表示手段は、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、前記一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示して表示する一対の縮小画像の範囲を変更可能とすると共に、表示されている一対の縮小画像の中から任意の一対の縮小画像を選択すると、選択された一対の縮小画像の表示状態を変更し、
    さらに前記構造構成表示手段の範囲情報および代表フレーム表示手段の一対の縮小画像は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更されることを特徴とする請求項１〜１０のいずれか一つに記載の映像構造編集装置。
13. 前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報の表示が重なる場合には、直前の範囲情報の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示することを特徴とする請求項１〜１２のいずれか一つに記載の映像構造編集装置。
14. さらに、前記代表フレームまたは代表範囲の持つ属性を選択する属性選択手段を有し、
    前記代表フレーム表示手段または代表範囲表示手段は、前記属性選択手段で属性が選択されると、選択された属性を有する代表フレームまたは代表範囲のみを表示することを特徴とする請求項１〜１３のいずれか一つに記載の映像構造編集装置。
15. 前記構造構成表示手段は、選択したセグメントの再生を指定する再生指定手段と、前記再生指定手段で指定されたセグメントで定義された範囲のフレームを再生するセグメント映像再生手段と、前記セグメント映像再生手段で再生中のセグメントの再生、停止、巻き戻し、早送り、一時停止、指定フレームへのスキップ等の操作を行うための映像再生操作手段と、を有することを特徴とする請求項１〜１４のいずれか一つに記載の映像構造編集装置。
16. さらに、前記セグメント映像再生手段で所望のフレームが再生された際に目的フレームとして指定し、指定されたフレームを含む所定数の連続フレームを一列に並べて表示する連続フレーム表示手段を備え、
    前記代表フレーム表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から任意のフレームをドラッグしてドロップすると、該当するフレームを前記セグメント映像再生手段で再生中のセグメントの代表フレームとして生成して表示することを特徴とする請求項１〜１５のいずれか一つに記載の映像構造編集装置。
17. 前記代表範囲表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレームとし、もう一方を終了フレームとして選択中のセグメントの新たな代表範囲を生成して表示することを特徴とする請求項１６に記載の映像構造編集装置。
18. さらに、前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段または代表範囲表示手段で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示するための内容記述表示手段を備え、
    前記内容記述表示手段は、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報および任意の情報である自由記述情報の入力および変更が可能であり、かつ、前記５Ｗ１Ｈ情報を登録することにより、次回から候補として表示され、次回から入力しなくても選択可能であることを特徴とする請求項１〜１７のいずれか一つに記載の映像構造編集装置。
19. 前記構造構成表示手段は、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧で表示し、編集するための一覧表示手段を有することを特徴とする請求項１８に記載の映像構造編集装置。
20. 前記請求項１〜１９のいずれか一つに記載された映像構造編集装置の各手段としてコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。
21. 前記請求項１〜１９のいずれか一つに記載された映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置であって、
    前記構造要素を前記構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示手段と、
    フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段と、を備えたことを特徴とする構造要素再構成装置。
22. さらに、前記再構成表示手段は、前記構造要素を選択および操作するためのマウス操作手段を有し、
    前記再構成表示手段は、各構造要素をその結合順に横一列に並べて矩形で表示し、前記マウス操作手段を用いて、前記表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして所望の位置にドロップすると、その前後の構造要素の間に前記新たな構造要素が組み込まれて再配列され、また任意の構造要素を選択して削除すると、前記任意の構造要素の前後の構造要素が結合されて再配列されることを特徴とする請求項２１に記載の構造要素再構成装置。
23. 前記再構成表示手段は、横一列に並べて表示された構造要素の列から、前記マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列することを特徴とする請求項２２に記載の構造要素再構成装置。
24. 前記再構成表示手段は、前記構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示し、前記構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示し、パッケージ単位での操作のみを許可することを特徴とする請求項２１〜２３のいずれか一つに記載の構造要素再構成装置。
25. 前記再構成表示手段は、前記パッケージ単位の操作を解除して、パッケージを構成するセグメントの集合をセグメント単位で操作できることを特徴とする請求項２４に記載の構造要素再構成装置。
26. 前記再構成表示手段は、前記マウス操作手段を介してマウスポインタを構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報を表示することを特徴とする請求項２１〜２５のいずれか一つに記載の構造要素再構成装置。
27. 前記再構成表示手段および目盛り表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、１つのウィンドウ画面として表示され、前記ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更できることを特徴とする請求項２１〜２６のいずれか一つに記載の構造要素再構成装置。
28. 前記再構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示することを特徴とする請求項２１〜２７のいずれか一つに記載の構造要素再構成装置。
29. 前記再構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略することを特徴とする請求項２８に記載の構造要素再構成装置。
30. 前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして再生可能であることを特徴とする請求項２１〜２９のいずれか一つに記載の構造要素再構成装置。
31. 前記再構成表示手段は、構造要素を選択することにより、対応するフレームの範囲を再生可能であることを特徴とする請求項２１〜３０のいずれか一つに記載の構造要素再構成装置。
32. 前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして記録媒体に保存可能であることを特徴とする請求項２１〜３１のいずれか一つに記載の構造要素再構成装置。
33. 前記再構成表示手段は、前記再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存することを特徴とする請求項３２に記載の構造要素再構成装置。
34. 前記請求項２１〜３３のいずれか一つに記載された構造要素再構成装置の各手段としてコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。

Images