JP4960121B2 - コンテンツ撮影装置 - Google Patents

Description

本発明はコンテンツ撮影装置に関し、さらに詳しくは、ムービー撮影においてクリップ記録の開始から終了までの間で、不要部を削除したコンテンツや、重要であると推察されるシーンにより構成されるダイジェストを簡単に作成できるコンテンツ撮影装置に関する。

従来より、映画やテレビドラマ等の撮影は、絵コンテ等を元に作成したシナリオ（台本）に基づいて行われている。シナリオにはタイトル（名前）が付けられており、複数のシーンにより構成されている。またシーンは複数のカットより構成されている。監督はシナリオに従って演出を行ない、俳優、女優、およびエキストラなどの出演者はシナリオの記述に従って演技する。生本番の舞台やコンサート等においては、シナリオに示されているシーンの順番通りに演じられる。

一方、映画やドラマ等においては、シナリオに示されたシーンの順番通りに撮影が行われることは稀である。

従来の技術におけるメタデータの作成や編集について説明する。メタデータの入力方法と編集システムとして、特許文献１に記載されたものが知られている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって効率のよいメタデータの付与が可能である。また、メタデータを検索するキーワードとして、シーン検索もできる。

また、シナリオ情報を解析する装置として、特許文献２に記載されたものが知られている。同装置はシナリオ情報格納部、参照情報格納部、算出部および出力部を備えている。情報格納部はシーン毎に区分されたシナリオ情報を格納する。参照情報格納部はシナリオ情報に含まれるデータに関する参照情報を格納する。算出部はシナリオ情報からデータを抽出し、抽出されたデータおよび参照情報に基づいて出力情報を算出して、出力部に出力する。

このように構成されたシナリオ情報解析装置は、シナリオに含まれるデータおよびそのデータに関係付けられた参照情報に基づいて、適切な撮影スケジュール等の出力情報を自動的に算出し出力すると共に、シナリオ情報を解析できる。結果、撮影スジュールの立案時間の短縮化に加えて、出力された撮影スケジュールに従って撮影を行なうことにより、撮影を早く完了することができるので、撮影費用を低減できる。
特許第３７８１７１５号公報 特開２００４−３６２６１０号公報

上述の特許文献１および特許文献２に代表される従来の装置および方法においては、ムービー撮影においてクリップ記録の開始から終了までの間に、パンやズームなどのカメラワークパターンや、収録音や、ユーザ操作等に基づいて、特徴のある場面でメタデータが生成されてリスト化される。

そして、記録終了後にリスト中のメタデータを用いて関連したクリップで構成されるダイジェストを作成することができる。コンテンツの内容にも依存するが、コンテンツのダイジェストは、一般的に全体（元の撮影量）の１／３以下の量であることが望ましい。しかしながら、上述の方法では、コンテンツによっては、メタデータ数が膨大になり、作成されるダイジェスト中に撮影コンテンツの半分以上が残ってしまうことがある。このような場合、とてもダイジェストとはいえない長いダイジェストが出来上がる。これは、従来の構成では、撮影コンテンツよりダイジェストを生成する場合、ダイジェストを構成するシーン、クリップの数を絞り込むことができないことに起因する。

さらに、様々な観点にたつダイジェスト作成に対するユーザの要望も多い。具体的には、カメラワークに重点を置いたダイジェストや、音に重点を置いたダイジェスト、ユーザのボタン入力に重点を置いたダイジェスト、希望の時間長に収めるダイジェスト、複数の撮影クリップのうちから特徴シーンの多い（たとえば、優先度が高いクリップが多い）クリップだけを選択してダイジェスト化などが挙げられる。しかしながら、従来の技術では、このような要望を満たすユーザの好みのダイジェストを自動的に生成できない。

上述の問題に鑑みて、本発明はメタデータ数を優先度の高い順または優先度の低い順に事前に設定した個数以下に絞り込むことにより、シーンやクリップの数を絞り込んだダイジェストを簡単に生成できる、あるいは自動的に好みのダイジェストを生成できるコンテンツ撮影装置を提供することを目的とする。

上記目的を達成するため本発明は、映像、音声またはデータのいずれかを含むコンテンツをそのシーン情報と組み合わせて情報記憶媒体に記録し、シーン情報を参照してコンテンツの特定部分にアクセスするコンテンツ撮影装置であって、
撮影収録する映像音声または撮影装置の動作情報のいずれかに含まれるパラメータを参照して特徴あるシーンを検出してシーン情報を生成するシーン情報生成手段と、
事前に決めてある規則により、前記シーン情報にその種別、優先度、開始時刻、終了時刻、代表時刻かのいずれかを補助情報として付加する手段と、
前記シーン情報とその補助情報とをシーンリストに記述するシーンリスト記述手段と、
前記情報記憶媒体への記録動作の終了後に、前記シーンリストに記述されている複数のシーン情報から前記優先度に基づいてあらかじめ決められた個数以内のシーン情報を選別するシーン選別手段とを備える。

前記シーン選別手段は、優先度の高い順にシーン情報を選別する高優先度シーン選別手段および優先度の低い順にシーン情報を選別する低優先度シーン選別手段の少なくとも一方を備えることが望ましい。

前記高優先度シーン選別手段は、前記低優先度シーン選別手段により選別されたシーンを除外した撮影コンテンツより高優先度シーンを選別することが望ましい。

前記コンテンツ撮影装置は、
前記シーン情報選択方法の設定手段と、
前記設定手段により決められた演算方式により、前記シーンリスト記述メモリに記述された複数のシーン情報の組み合わせを演算して前記シーン情報に第２の優先度を付加する第２優先度手段と、
前記第２の優先度を持つ特徴あるシーンの開始時刻と終了時刻と代表時刻との少なくともいずれかを前記シーン情報の補助情報として付加する補助情報付加手段と、
前記シーンリスト記述メモリにリストとして保持されている複数のシーン情報から前記第２の優先度の高い順にあらかじめ決まられた個数以内のシーン情報を選別して第２優先度リストを生成する第２優先度リスト生成手段とをさらに備えることが望ましい。

前記第２優先度リストを撮影コンテンツの再生時参照ファイルに記述する第２優先リスト記述手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、再生時に前記第２優先度リストを参照することにより、特徴あるシーンの開始点または代表点または終了点を参照した点にスキップするスキップ手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、前記第２優先度リストを参照することにより、特徴あるシーン区間を指定順序で再生するシーン再生手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、前記特徴あるシーン区間を指定順序で再生する場合に、各々の特徴あるシーン区間の再生時にその特徴シーンの説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、
ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、コンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、再生時参照ファイルを生成する手段と、
前記再生時参照ファイルを再生オブジェクトリストに登録する登録手段とをさらに備えることが望ましい。

前記コンテンツ撮影装置は、前記再生時参照ファイルを参照して再生する場合に、各々の特徴あるシーン区間の再生時にその特徴シーンの説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、
ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、コンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、指定された特徴あるシーンの集合体としてのファイルを生成するファイ生成手段とをさらに備えることが望ましい。

前記コンテンツ撮影装置は、
ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、およびコンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、指定されない特徴あるシーン区間を繋ぎ合わせて再生する再生手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、
ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、およびコンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、再生時に指定されない撮影区間を集めたファイルを生成するファイル生成手段とをさらに備えることが望ましい。

前記コンテンツ撮影装置は、前記再生時参照ファイルの補助データである第２優先度リストを参照することにより、再生時に指定される区間は通常再生を行い、再生時に指定されない撮影区間は「再生速度を通常より変更した再生」または「再生映像に処理を加えた映像の再生」を行う再生手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、撮影映像のスロー再生または高速再生またはスキップ再生または静止画表示を行う再生表示手段をさらに備え、前記「再生速度を通常より変更した再生」を行うことが望ましい。

前記コンテンツ撮影装置は、カメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する映像生成手段をさらに備え、前記「再生映像に処理を加えた映像の再生」を行うことが望ましい。

前記コンテンツ撮影装置は、
前記再生オブジェクトリストに登録された再生時参照ファイルから、優先度があらかじめ決めた値上のシーンまたは特定のカメラワークを持ったシーンより構成されるお勧め再生時参照ファイルを生成するファイル生成手段と、
前記お勧め再生時参照ファイルをお勧め再生オブジェクトリストに登録する登録手段をさらに備えることが望ましい。

前記コンテンツ撮影装置は、
前記再生オブジェクトリストに登録された再生時参照ファイルの再生時にＢＧＭを生成する手段と、
再生時参照ファイルの特徴あるシーンの切り替わり付近でＢＧＭのメロディー、音色、およびテンポの少なくとも一つを変える変更手段をさらに備えることが望ましい。

本発明のコンテンツ撮影装置によれば、特に、映像撮影において、撮影コンテンツの不要部削除やダイジェスト生成が容易に実現できる。

（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係るコンテンツ撮影装置の動作について説明する。すなわち、コンテンツ撮影装置であるカメラ１０１の内部の記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを生成して、メタデータを参照してダイジェスト再生機能などを提供するシステムモデルの一例について説明する。

図１において参照符号１０１はカメラを示し、参照符号１０２はカメラ１０１のレンズ部を示し、参照符号１０３はカメラ１０１のマイクを示し、そして参照符号１０４はカメラ１０１の撮影対象を示している。なお、撮影対象１０４とは、例えば、風景や人やペットなどの動物、車、建造物などである。

参照符号１１４は、メタデータ入力用ボタンを示し、参照符号１０５はカメラ１０１で撮影したデータを示し、参照符号１０６はメタデータを含むＡＶストリームデータファイル１０６を示している。参照符号１０７は、撮影シーン情報ＩＳ（シーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留）等のメタデータを示している。参照符号１０９は、カメラ１０１に対するリモコンを示している。ユーザはメタデータ入力用ボタン１１４およびリモコン１０９を操作して、カメラ１０１にメタデータ１０７を入力する。なお、カメラ１０１に用いられる撮像素子は、好ましくはＣＣＤやＣ−ＭＯＳなどで構成される。

参照符号１０８はカメラ１０１で撮影されたデータシーケンスを示している。データシーケンス１０８においては、時間軸上に映像データ、音声データ、およびメタデータ１０７が配置されている。メタデータ１０７はテキスト形式の文字データとして扱うが、バイナリィ形式のデータとしても良い。データシーケンス１０８は、特定のシーンにおけるクリップ＃１からクリップ＃５までを含んでいる。

参照符号１１０は編集により、クリップ＃１からクリップ＃５までがつなぎ合わされたデータシーケンスを示している。参照符号１１１は、カメラ１０１に接続可能なテレビを示している。参照符号１１２は、カメラ１０１からテレビ１１１に信号を送る接続ケーブルを示している。参照符号１１３は、テレビ１１１からカメラ１０１へ信号を送る接続ケーブルを示している。ユーザは、カメラ１０１から離れた場所でリモコン１０９を操作して、信号ケーブル１１２を経由して、不要部を削除したコンテンツやダイジェスト（または、要約コンテンツ）をテレビ１１１に表示できる。

符号１１５はマイク１０３と同様に、音声を検出して音声信号としてカメラ１０１に入力するマイクを示している。参照符号１１５はカメラ１０１に内蔵されているマイクを示している。但し、マイク１１５は、マイク１０３およびマイク１１７がカメラ１０１に直接取り付けられてカメラ１０１の近傍の音声を収録するのに比べて、ケーブルなどでカメラ１０１に接続されてカメラ１０１の遠方の音声の収録に用いられる。マイク１１５は後述するように、マイクの代わりに光センサを用いることもできる。

テレビ１１１による一覧表示について簡単に説明する。テレビ１１１の画面において、横軸は時間の経過を表しており、それぞれのクリップの有効部（有効なシーン）と無効部（無効なシーン）が表示されている。

有効部は、例えば、
・ パンやズーム後のフィックスシーン、および
・ 歓声や拍手などの音声で特徴付けられるシーン等からなる。
一方、無効部は、例えば、
・ カメラの揺れによる画像の振れ（一般に、「グラグラ」）が大きいシーン、
・ ピンボケのシーン、パン／ティルト／ズームが早すぎるシーン、
・ 逆光になって画面が真っ黒になっているシーン、
・ ハウリングがあるシーン、
・ 地面を撮影しているシーン、および・
・ カメラのキャップが閉まっているシーン等からなる。

図１の例では、テレビ１１１の一覧表示において３つある有効部それぞれの代表クリップを代表サムネイルで画面上に表示している。この代表クリップは、それぞれの有効部の先頭フレームであってもよいし、有効部分の途中にある代表フレームであってもよい。また、それぞれの有効部と無効部には、それぞれ優先度が付与されていて、特定の優先度のシーンだけを選択してダイジェストを生成することもできる。

上述のメタデータ入力用ボタン１１４は、好ましくは３つのボタンにより構成されている。カメラで撮影中に重要な場面で、ユーザがメタデータ入力用ボタン１１４を操作することにより、その重要な撮影場面（クリップ）にマークをつけることができる（「マーキング機能」と言う）。この重要クリップを指すマークもメタデータ１０７であり、このメタデータ１０７を利用することにより、撮影後にマーク検索によりマークを付けたクリップ（クリップの先頭または代表となるフレームの映像、またはそれらのサムネイル映像）を素早く呼び出すことができる。メタデータ入力用ボタン１１４の３つのボタンは、例えば、１つ目のボタンは重要クリップの登録に、２つ目のボタンはボタン操作を有効にしたり文字入力モードに切替えたりするモード切替えに、３つ目のボタンは登録のキャンセル等の用途に使用される。

また、１つ目のボタンを押している期間を重要クリップとして登録するモードに切替えることもできる。さらに、１つ目のボタンを押した時点の前後５秒、あるいは前５秒、後１０秒の合計１５秒を重要クリップとして登録するモードに切替えることもできる。ボタンが３つあれば、押すボタンの種類、タイミング、押す長さの組み合わせにより、多くの機能を実現できる。

メタデータ１０７として入力された撮影シーン情報ＩＳはクリップのタイムコード（たとえば、２７ＭＨｚのクロック周波数において３２ｂｉｔで表現されるタイムコード）に関連付けられる。そして、タイムコードに関連づけられたメタデータ１０７は、カメラ１０１の本体内で電子的にカチンコ音や収録コンテンツと関連付けて、新たなメタデータ１０７として生成される。これにより、カチンコを鳴らした時刻への即時アクセスはもちろん、カチンコを鳴らした時刻以前の不要な収録データの削除や、収録結果が採用のシーンやカット等の並べ替えが簡単にできる。例えば、運動会の撮影において、かけっこ（短距離競争）、リレーなどの長距離競争、綱引き、および玉入れ等の開始タイミングにおけるフレーム画像もすぐに呼び出すことができる。

本明細書においては、撮影開始から撮影終了までの期間、または撮影開始から撮影ポーズまでの期間に撮影されたコンテンツをクリップと定義する。ユーザは、カメラで撮影した素材のシーケンスに基づいて、各クリップの開始位置（時刻）と終了位置（時刻）、または長さを指定して、クリップを並べ替えることができる。また各クリップをＴＶモニタなどに表示する場合、そのクリップの先頭または先頭以降から最後尾に至るフレーム（またはフィールド）映像や、パンやズームの前後などにおけるフィックス画像など、あるクリップで最も特徴的なフレームを、そのクリップを代表する映像として指定できる。

また、記録・ポーズ・停止などのムービーのボタン操作や、マイク１１５で検出される撮影者の声などを、クリップの特定のタイムコードと関連付けた（マーキングした）メタデータとして登録することができる。撮影者の声の例として、撮影対象に関するメタ情報がある。具体例としては、前述した撮影日（日付、朝昼夕夜など）、撮影方法（レンズ、カメラ、ショット、光源など）、イベントの参加者（目線、動き、表情、テンション、メイク、衣装の状態など）、セリフ（アドリブなどのキーワード）、および音（サウンド）等の他注目ポイントなどコンテンツの撮影に関する情報が挙げられる。

次に、図２を参照してカメラ１０１の内部構成と動作について説明する。カメラ１０１の内部には、ズーム制御部２０１、フォーカス制御部２０２、露出制御部２０３、撮像素子２０４、シャッタ速度制御部２０５、カメラマイコン２０６、絶対傾きセンサ２０７、角速度センサ２０８、前後／左右／垂直の加速度センサ２０９、ユーザ入力系２１０、カメラ信号処理部２１１、音声処理系２１２、Ｈ．２６４方式エンコーダ２１３、記録メディア２１４、および出力インタフェース２１５が備えられている。

なお、カメラマイコン２０６は、不要シーンや重要シーンの検出を行うシーン情報生成手段（Ｉｎｄｅｘ生成手段）を備える。不要シーンや重要シーンの検出は、撮像装置のパン、ティルト、ズーム、フォーカス、音声入力レベルなどのデータに関して、それぞれに特定の演算を行うことに実現される。

ズーム制御部２０１はレンズ部１０２のズーム動作を制御する。フォーカス制御部２０２は、レンズ部１０２のフォーカス動作を制御する。露出制御部２０３はレンズ部１０２の露出調整動作を制御する。シャッタ速度制御部２０５は撮像素子２０４のシャッタ速度調整動作を制御する。絶対傾きセンサ２０７はカメラ１０１の水平／垂直方向の絶対傾きを検出する。角速度センサ２０８は、カメラ１０１の水平／垂直方向の角速度を検出する。加速度センサ２０９はカメラ１０１の前後／左右／垂直の加速度を検出する。

ユーザ入力系２１０は、ボタンなどでユーザの操作を受け付けて指示信号を生成する。音声処理系２１２は、内蔵マイク１１７、外部マイク１０３、あるいはマイク１１５からの入力を受け付ける。Ｈ．２６４方式エンコーダ２１３は、音声処理系２１２に入力された音声から、カチンコによる音を検出してカチンコ音検出メタデータを生成する。

撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報、白色の座標、および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報の少なくとも１つの撮像素子動作データがある。本実施の形態においては、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。なお、３原色点の色度空間情報が分かれば色空間における色再現が可能な範囲が分かる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。なお、色温度検出用の専用センサを具備して、そのセンサから色温度情報を受け取るように構成してもよい。

レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータ１０７（カメラメタと呼ぶ）として取り扱われる。

撮像素子２０４で撮影された情報（画像のデータ）は、カメラ信号処理部２１１による画素単位あるいは複数の画素により構成されるブロック単位で画素欠陥補正やガンマ補正などの処理を経て、Ｈ．２６４方式エンコーダ２１３で圧縮された後に、前述のカメラメタと共に記録メディア２１４に蓄積される。また、Ｈ．２６４方式エンコーダ２１３のＡＶ出力と、カメラマイコン２０６のカメラメタ出力は、出力インタフェース２１５より、それぞれ出力される。

次に、図３を参照してムービーカメラにおいて作成されるメタデータについて説明する。Ｈ．２６４ストリームのＳＥＩにマッピングされるリアルタイムメタデータの例としては、例えば、
・ムービーなどのカメラで撮影したＡＶコンテンツに関連付けたメタデータ
・一般的にはデータをメタデータ化したメタデータ
・デジタル放送のＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）より得るメタデータ
・ＥＰＧ提供事業者より得たＥＰＧ情報などのメタデータ
・Ｉｎｔｅｒｎｅｔから得たＥＰＧなどのメタデータ
などがある。

カメラで撮影したＡＶコンテンツに関連付けたメタデータとして、例えば、
・重要シーンでユーザが押したボタン情報（ナンバーなど識別情報を付加できる）
・撮影データ
なお、撮像データには、撮像素子の動作モード、逆光補正、絞り・露出情報、フォーカス、シャッタ速度情報、色温度、ホワイトバランス、ズーム、仰角、地面撮影、グラグラした揺れ、グラグラ、パン／ティルト／ズーム（ＰＴＺと略す）の状態、ハウリングの状態、カメラのキャップ閉まり状態、およびカメラの姿勢状態（水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報など）が含まれる。
・タイムコード（映像フレーム、音声フレーム）
・撮影フレームレート、記録フレームレートなどの映像や音声のフォーマット情報
などがある。

また、ノン（非）リアルタイムメタデータとしては、例えば、
・メニュー情報
・タイトルリスト（代表イベント、ユーザが登録したイベント）
・シーン番号、カット番号、テーク番号、その収録テークの採用／不採用／保留などに関する情報
・映像ブロックの輝度、色情報
・画像認識データ（顔、人、ペットなどの検出、認識）
・音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）
・音声認識データ
・撮像素子の３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）などの撮像システムの動作データ
・外部との通信で入力されたファイル（シナリオなどのテキストをＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）
・３原色または輝度信号のガンマ情報
・静止画
・サムネイル
などがある。上述のメタデータのうちで必要なものが選択されて使用される。メタデータの記述形式としては、ＵＰｎＰやＵＰｎＰ−ＡＶで導入されているプロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）がある。これらは、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、テキストやＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の利用を意識した設計を行うト効率的な運用ができる。

なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。

以下に、録画機器と録画条件に関する情報について一例を説明する。ムービーの機器メーカー識別ＩＤ、機種識別ＩＤ、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が作成し、そして登録するメタデータの価値が高く使用許諾が必要と考える場合、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んで構成をすることによって効率的な運用ができる。
この場合、撮影者は撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにそのファイルをアップロードして公開してもよいし、暗号化したファイルをアップロード・告知して、気にいった人に購入してもらう構成もとれる。また、ハプニング映像などニュース価値があるコンテンツが録画できた場合、複数の放送局間でオークションにかけることもできる。メタデータの活用により、増大するコンテンツの分類、検索を効率的にすることができる。

次に、図４を参照して、実施の一形態として映像圧縮方式（Ｈ．２６４／ＡＶＣ方式）および音声圧縮方式（ＡＡＣ方式）における以下の４つの方法について説明する。
・リアルタイムメタデータのマッピング方法
・リアルタイムメタデータから不要シーン検出
・重要シーンの検出を行いそのシーン情報（シーンのインデックス、タグ、または、メタデータと呼ばれる）のマッピング方法

図４は、図１におけるカメラ１０１内部のＡＶ信号圧縮記録制御部における映像と音声の圧縮エンジンとその周辺処理手段のより詳細な説明図である。図４において、参照符号４０１は映像符号化部を示し、参照符号４０２はＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）−ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットバッファを示し、参照符号４０３はＡＡＣ方式による音声符号化部を示している。

参照符号４０４はＰＳ（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）バッファを示し、参照符号４０５はＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）バッファを示し、参照符号３０６はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）バッファを示し、参照符号４０７はｎｏｎ−ＶＣＬ−ＮＡユニットバッファを示し、参照符号４０８はＭＰＥＧ−ＰＥＳパケット生成部を示している。また、参照符号４０９はＭＰＥＧ−ＴＳ（ＭＰＥＧ Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔ）生成部を示し、参照符号４１０はＡＴＳ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｓｔａｍｐ）パケット生成部を示し、参照符号４１１はＥＰ−ｍａｐ生成部を示している。

図４に示すように、映像信号は映像符号化部４０１によってＶＣＬ−ＮＡユニット形式のデータに変換された後に、ＶＣＬ−ＮＡユニットバッファ４０２によって一時保持される。音声信号、外部入力ＰＳデータおよび外部入力ＶＵＩデータは、音声符号化部４０３、ＰＳバッファ４０４、およびＶＵＩバッファ４０５によってそれぞれＮｏｎ ＶＣＬ−ＮＡユニット形式のデータに変換された後に、Ｎｏｎ ＶＣＬ−ＮＡユニットバッファ４０７で一時保持される。同様に、撮像装置のパン、ティルト、ズーム、フォーカス、音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）などのリアルタイム系メタデータは、Ｈ．２６４／ＡＶＣのＳＥＩのＵｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩ ｍｅｓｓａｇｅにマッピングされた後に、更にＳＥＩバッファ４０６によって、Ｎｏｎ ＶＣＬ−ＮＡユニット形式のデータに変換され、Ｎｏｎ ＶＣＬ−ＮＡユニットバッファ４０７で一時保持される。

映像信号（４ａ）は映像符号化部４０１、および顔・人物検出手段４０８に入力される。顔・人物検出手段４０８は、人の顔の位置／大きさ／数を検出して検出データ（４ｑ）をシーン情報のメタデータ生成手段４０９に出力する。音声信号（４ｂ）は、音声符号化部４０３、および、シーン情報のメタデータ生成手段４０９に入力される。また、外部入力ＰＳデータ（４ｃ）、外部入力ＶＵＩデータ（４ｄ）、タイムコード（４ｅ）、撮影／記録フレームレート（４ｆ）、ユーザが操作ボタンを押した時刻データ（４ｇ）、逆光補正／絞りデータ（４ｈ）、色温度／ホワイトバランスデータ（４ｉ）、フォーカスデータ（４ｊ）、ズームデータ（４ｋ）、ジャイロセンサーのヨー／ロール／ピッチのデータ（４ｍ）、仰角／地面撮り検出データ（４ｎ）、カメラのレンズキャップの閉まり具合の状態データ（４ｐ）が、それぞれ、シーン情報のメタデータ生成手段４０９に入力される。

シーン情報のメタデータ生成手段４０９は、内部にハウリング検出手段４１０、不要シーン検出手段４１１、重要シーン検出手段４１２、リアルタイムデータ選択／マッピング手段４１３を備えている。ハウリング検出手段４１０は音声信号（４ｂ）に基づいて、ハウリングを検出する。

ここで、不要シーン検出例について説明する。不要シーン検出手段４１１は、図７に示す不要シーンのメタデータ（ＵＡ、ＵＢ、ＵＣ、ＵＤ、ＵＥ、ＵＦ、ＵＧ）を検出する。なお、
ＵＡは、カメラのキャップが閉まっている状態を表し、
ＵＢは、カメラの揺れ、ぐらぐらが大きい状態を表し、
ＵＣは、フォーカスが合わないで、ピンボケになっている状態を表し、
ＵＤは、パン／ティルト／ズームが早すぎる状態を表し、
ＵＥは、逆光になっている状態を表し、
ＵＦは、ハウリングがある状態を表し、そして
ＵＧは、地面を撮影している状態を表す。

上述のメタデータが表す上状態の画像は、一般常識的な感性や感情を持った人であれば、ほぼ万国共通に不要シーンと認識されるものである。これは、受け入れがたいものに対する価値観は、一般に人の生理的な知覚、認知メカニズムに基づくところが多く、ほぼ万国共通であるためと考えられる。

具体的に言えば、メタデータＵＡ、ＵＢ、ＵＣ、ＵＤ、ＵＥ、ＵＦ、およびＵＧは、それぞれ、優先度（ポイント）をＵＡ（５０点）、ＵＢ（４０点）、ＵＣ（２５点）、ＵＤ（２０点）、ＵＥ（４０点）、ＵＦ（３５点）、ＵＧ（２５点）と重み付けられる。

図７において、不要シーンの選択アルゴリズムとしては、単一で扱うだけでなく、複数の不要シーンの間隔が映像フレームで６０フレーム以内の場合には１つの連続した不要シーンとしてまとめて扱うアルゴリズムを用いる。すなわち、「不要シーン区間の定義式」として、（単一不要シーン区間）＋（間隔が６０フレーム以内の複数の不要シーン区間）が規定できる。

なお、複数の不要シーンの間隔が６０フレーム以内の場合に、これらの複数の不要シーンを１つの不要シーンとして扱う理由は、６０フレーム以内でとぎれとぎれの映像を繋げると、忙しくて落ち着かない映像になるからである。不要シーンのシーン情報としては、不要シーンを構成する最も優先度の高いメタデータの種別と、不要シーンの時刻と期間（不要シーンの長さ）がシーン情報の詳細記述としてプレイリストのマーカー情報（マーカースキップに使用できる）や、マーカー情報の選択アルゴリズムとしてはと関連つけた補助データなどに使用される。

なお、不要シーンの数はコンテンツ長に応じて、予め決めておくこともできる。たとえば不要シーンは、１分当たり５個以内で、かつ、最大１００個と決めることができる。また、不要シーンの種別指定や、コンテンツ毎に縮小率を指定することができる。また、３脚などを用いて安定した映像を撮影している場合は、不要シーンの検出機能を手動でＯＦＦにして撮影することもできる。

不要シーン削除の例として、図５に撮影コンテンツより揺れが大きな２つの区間（シーン）を削除して、揺れのない３つの区間（シーン）を組み合わせて、１つの揺れのない映像シーケンスを構成する手順を示す。なお、揺れ以外の原因による不要区間の削除も同様の方法で行うことができる。

次に、重要シーン検出例について説明する。重要シーン検出手段４１２は、図８に示す重要シーンのメタデータ（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）を以下のごとく検出する。
メタデータ（Ａ）に関しては、クリップのはじめ（ＣＬＩＰ−ＩＮ）、または、クリップのおわり（ＣＬＩＰ−ＯＵＴ）における、１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる）。たとえば、１００点とする。

メタデータ（Ｂ）に関しては、音検出のメタデータ１０７（メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、歓声、などの入力を検出したメタデータ部分）を重要部分として抽出するアルゴリズムを作成できる）。たとえば、７０点とする。

メタデータ（Ｃ）に関しては、ジャイロの出力よりカメラのパン、ティルト後のフィックス（静止）シーンを検出することができる。フィックスシーン（カメラマンが興味を持って固定映像を撮影している部分、Ｉｎｔｅｒｅｓｔ部分）を、たとえば、４０点とする。

メタデータ（Ｄ）に関しては、カメラのズーム値の時間変化をモニタして、ズームアップ、ズームダウンした部分を検出することができる。より詳細には、ズームアップ、ズームダウンの前後における１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる。たとえば、３０点とする。

メタデータ（Ｅ）に関しては、ジャイロの出力よりカメラのパン、ティルトを検出することができる。たとえば、２５点とする。

メタデータ（Ｆ）に関しては、撮像素子から得られる撮影映像を複数のブロックに分割し、各ブロックの色相、色度が、あらかじめ決めた色相、色度の範囲内にあるかどうかの情報が検出できる。たとえば、検出ブロックの大きさと形状、および肌色度から人の顔を検出することができる。さらに、パン、ティルトやズームの後のフィックス映像の検出ブロックの形状および肌色度から人の顔をより精度よく検出することができる。）。たとえば、５０点とする。

注意すべき点は、上述の状態は一般的な感性・感情を持った人でも、撮影の素人と撮影のカメラワークに慣れた人では重要シーンとして認識するレベルが人によって少し異なる場合がありえることである。すなわち、撮影に慣れた人には映像撮影技法に準拠したカメラワークを意識して撮影するが、素人はそのような知識がないのでカメラワークを考えないで被写体を撮影することが往々にしてあるからである。ただ、素人でも撮影しているうちに、アドバイスを受けたり、自分できづいたりしながら、次第に一般に良いとされるカメラワークを習熟していくことが通例である。

図６に、重要シーンを抽出してダイジェストを生成する例として、撮影コンテンツよりズームアップ、およびズームダウン後の２つのフィックス区間（シーン）を抽出して、１つのダイジェストを構成する手順を示す。なお、ズームアップ、ズームダウン以外の要因による重要シーンの抽出とダイジェスト生成も同様の方法で行うことができる。

Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆはそれぞれ優先度（それぞれ、ポイントを持つ）であり、重み付けを行う。図８において不要シーンは、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆのメタデータのいずれかで表される重要シーン、もしくは、映像フレームで、Ｎを整数として、（Ｎ）フレームの窓内に存在する複数の重要シーンの中で最も優先度の高いメタデータ代表させる。

たとえば、３００フレーム幅の窓を用いた場合、この窓内に存在する複数の重要シーンから、「優先度ポイントの算出式」としては、
（３００フレーム区間の窓内で最大優先度のシーンの優先度）＋（その他の優先シーンの優先度に一定の係数で重み付けをした値）を定義して、「複数の重要シーンの優先度」を計算することができる。最優先シーン以外の優先シーンの優先度の重み付けは、たとえば０．２とする。

図８に示した例では、重要シーンの検出窓に、Ｄ（３０点）、Ｃ（４０点）、Ｅ（２５点）、Ｅ（２５点）が含まれる。そのために、優先度合計値は、
０．２×３０＋４０＋０．２×２５＋０．２×２５ ＝ ６＋４０＋５＋５
＝ ５６
となる。

なお、重要シーンのシーン情報としては、重要シーンを構成する最も優先度の高いメタデータ（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）の種別と、重要シーンの時刻と期間（重要シーンの長さ）がシーン情報の詳細記述としてプレイリストのマーカー情報（マーカースキップに使用できる）や、マーカー情報と関連つけた補助データなどに使用される。ここで、重要シーンの数はコンテンツ長に応じて、あらかじめ決めておくこともできる。また、重要シーンによるコンテンツの縮小率もあらかじめ決めておくこともできる。

たとえば、図８の例にでは、一定期間の窓Ｗ１の中で最大の優先度を持ったメタデータを、ダイジェスト生成のために用いる第２のメタデータとして設定される。この場合、約８００フレームに存在する、フィックス状態を表すＩｎｔｅｒｅｓｔメタデータＣを選択する。この時、事前に決めた規則により、このメタデータにイベントの種別、イベントの優先度、および、イベントの開始時刻と終了時刻と代表時刻とをアトリビュートとして付加する。これによって、第２のメタデータとそのアトリビュートであるイベントの開始時刻と終了時刻と代表時刻を参照することにより、たとえばズームアップ（３秒間）からフィックス（２秒間）までの５秒間の撮影シーンを１つのメタデータで表現することができる。

そこで、このメタデータの優先度の順、あるいは、メタデータのイベントの種別を指定することによりダイジェスト映像を生成することができる。
また、このメタデータの優先度の順、あるいは、メタデータのイベントの種別（たとえば、ズームアップした部分）を指定して、メタデータ位置を参照することにより、撮影コンテンツ内の意味のある部分（たとえば、ズームアップした部分）へと、スキップ再生（メタデータによるスキップ再生）ができる。

なお、図８において、一定期間の窓の中で優先度を持ったメタデータの合計値が、あらかじめ設定した値（たとえば、２５０）を超えた場合にのみ、第２のメタデータの選択を行うように設定するモードを追加することもできる。

また、高優先度シーンの選別は、まず低優先度シーンを除外したコンテンツより高優先度シーンを選別することにより、より安定したシーンの選別が可能となる。たとえば、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、ピンボケになっている場合があり、そのような低優先度シーンを優先的に除外できる。

同様に、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、逆光になって画面が真っ黒になっている場合があり、そのような低優先度シーンを優先的に除外できる。また、運動会のカケッコにおけるピストルの発射音が検出できていて高優先度シーンとしては有効であっても、ズームアップが早すぎたり、パンが早すぎたりして見るに耐えないシーンなどは、低優先度シーンを優先的に除外できる。

上述のように、まず第１段階として、低優先度シーンを除外した安定的に撮影されているシーンにより構成されるプレイリストを生成する。次に、第２段階として、安定したシーンより高優先度シーンを選別する。たとえば、第１段階で作成したプレイリストに高優先度シーンを追加して不要部ないコンテンツから重要シーンを選別する。以上の段階を経ることにより、揺れピンボケなどのない、視覚的にもより安定した、重要シーンの選別が可能となる。

なお、不要シーンのメタデータ（ＵＡ、ＵＢ、ＵＣ、ＵＤ、ＵＥ、ＵＦ、ＵＧ）は、不要というマイナスの意味を持つことから、符号にマイナスを付けて処理してもよい。ただし、この場合でも、前述した不要シーンの計算アルゴリズム（複数の不要シーンを１つの不要シーンにたばねる処理）と、重要シーンの計算アルゴリズム（複数の重要シーンから代表シーンを決め、代表シーンの優先度を計算する処理）は異なる処理であり、同じアルゴリズムで実現することはできない。

なお、高優先度のシーン（重要シーン）と低優先度のシーン（不要シーン）の中間の値をもつシーンは普通のシーン（一般的なシーン）であると取り扱える。

リアルタイムデータ選択／マッピング手段４１３は、前述したリアルタイムメタデータをＳＥＩにマッピング方法することにより、以後、パソコンなど別の再生機器でも、このデータから不要シーンや重要シーンのシーン情報を再計算することができる。不要シーンや重要シーンのシーン情報を再計算するアルゴリズムが更新された場合に有効である。

ＶＣＬ−ＮＡユニットバッファ４０２から出力されたＶＣＬ−ＮＡユニット形式のデータと、Ｎｏｎ ＶＣＬ−ＮＡユニットバッファ４０７から出力されたＮｏｎ ＶＣＬ−ＮＡユニット形式のデータに基づいて、ＭＰＥＧ−ＰＥＳパケット（図９（Ｃ）参照）を生成し、１８８バイト長のＭＰＥＧ−ＴＳ（図９（Ｄ）参照）を生成する。次に、ＭＰＥＧ−ＴＳのそれぞれにタイムスタンプを含む４バイトのヘッダーを付加して、１９２バイトのＡＴＳパケット（図９（Ｅ）参照）を生成する。

このタイムスタンプは、たとえば、各ＭＰＥＧ−ＴＳパケットがＡＴＳパケットを生成する処理ブロックに到着した時刻を示す。一般に、タイムスタンプのクロックは２７ＭＨｚであり、４バイト全てがタイムスタンプとして用いる場合や、４バイトの内の３０ビットをタイムスタンプとし、残りの２ビットはコンテンツ保護のためのフラグなどに用いる場合がある。

また、ストリームが包含する各ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）の先頭ピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、および各ＧＯＰの先頭ピクチャにおける先頭ＡＴＳの連番をペアで、ＥＰ−ＭＡＰとして出力する。なお、ＰＴＳやＤＴＳ（Ｄｅｃｏｄｅ Ｔｉｍｅ Ｓｔａｍｐ）はＰＥＳパケットのヘッダーに含まれるので抽出は容易である。

また、各ＧＯＰの先頭ピクチャにおける先頭ＡＴＳの連番とは、ストリーム先頭のＡＴＳの連番を１とし、ストリーム先頭からのＡＴＳの個数を順次数えた番号である。各ＧＯＰの先頭ピクチャのＰＴＳとＡＴＳ連番のペアとして定義されるＥＰ−ＭＡＰは、プレイリストを用いた再生やストリーム編集の際に用いる。

これらのＨ．２６４／ＡＶＣ方式については、例えば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行、などの書籍に詳述されている。また、ＭＰＥＧ−ＴＳ信号はＩＥＣ ６１８８３−４で規定されている。

ＭＰＥＧ−ＴＳのＰＡＴ、ＰＭＴなど、ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ Ｉ Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。

また、ＰＳＩやＳＩの階層構造、処理手順の例、選局処理の例として、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ、２００４、第７４号、３１ページから４４ページでも解説されている。

次に、図９を参照して、Ｈ．２６４／ＡＶＣのファイル構成例について説明する。左側の四角枠はディレクトリ構成、右側の四角枠はファイル構成であり、ＳＤカードやＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＢＤ−ＲＥなどの情報記録メディア上に構成される。

図９において、左側の四角枠はディレクトリ構成を示している。ｒｏｏｔ下には、参照ファイル（ｒｅｆ．ｆｉｌｅ）と、「ＰｌａｙＬｉｓｔ」、「ＣＬＩＰ」、および、「ＳＴＲＥＡＭ」ディレクトリが存在する。「ＰｌａｙＬｉｓｔ」ディレクトリ下には、プレイリスト（ファイル）である「＊．ｐｌｓ」ファイルが存在する。また、「ＣＬＩＰ」（クリップ）ディレクトリには、クリップファイルであるである「＊．ｃｌｐ」ファイルが存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ａｔｓ」ファイルが存在する。

図９において、右側の四角枠はファイル構成について説明する。インデックスファイルは、コンテンツのタイトル情報を管理し、複数のチャプタ情報を管理する。プレイリストは、複数の再生パート情報（Ｐａｒｔ＃（ｎ）、ｎは自然数）を管理する。また、クリップファイルは、ＥＰマップを持つ。ＥＰマップはＰＴＳとストリームファイルを構成するＡＴＳパケットのＡＴＳ連番の相互対照マップテーブルであり、タイムコードとデータ位置の相互変換を行うものであり、プレイリスト再生やストリームファイル編集において不可欠のものである。

上述のように、タイトルはプレイリストファイル、プレイリストファイルはクリップファイル、そして、クリップファイルはＡＴＳパケットによるストリームファイルと、それぞれ関連付けられる。

前述のリアルタイムメタデータやノンリアルタイムメタデータはＳＥＩにマッピングされた後、ＡＴＳのストリームファイルに変換される。また、リアルタイムあるいはノンリアルタイムのメタデータから演算して生成したメタデータをクリップのシーン情報として、プレイリストのパート情報や補助エリアに付加情報としてマッピングする。すなわち、優先度をもったリストを撮影コンテンツの再生時に参照するプレイリストファイルの補助データとしてマッピングする。これにより、プレイリストファイルのデータを見るだけで、クリップのシーン情報メタデータを参照できるという大きな特徴を持つ。

そこで、コンテンツの再生機器でプレイリストの付加情報を参照して不要シーンや重要シーンなど撮影コンテンツ中のイベントの開始点または代表点に即座にアクセス（スキップ）できる。また、再生時に参照するプレイリストファイルの補助データであるメタデータのリストを参照することにより、指定したイベント区間（イベントの開始点から終了点までを参照して生成したイベント区間）を順番に再生できる。

重要シーンにより構成されるダイジェストを生成する場合には、シーンの優先度の指定、またはシーン種別の指定、またはダイジェスト時間長の指定、またはダイジェストへの縮小率指定を入力するダイジェスト方式指定手段や、プレイリストの補助データであるシーンのリストを参照して、新たなプレイリストファイルを生成することもできる。

さらに、プレイリストを参照することにより、重要シーンとして指定される区間は通常再生を行い、それ以外のシーンは高速速度で再生することもできる。また、プレイリストを参照することにより、不要シーンとして指定される区間は高速再生を行い、それ以外のシーンは通常速度で再生することもできる。また、プレイリストを参照することにより、不要シーンとして指定される区間は検出した代表シーンや予め撮影して登録した静止画を３秒ずつ表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。

特に、子供の音楽会などの撮影コンテンツに対しては、揺れていたりピンボケになっていたりする不要な映像は見たくないが、ピアノや合唱などの演奏は連続して聞きたいというような要望を考慮して、再生する映像は代表シーンや予め撮影して登録してある映像（青空、建物、花、子供の顔など）に切り替えて、音声のみ連続再生することもできる。

プレイリストを参照することにより、不要シーンとして指定される区間はカメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する手段を具備し、不要シーンとして指定される区間は画像処理により画像の揺れを取り除いた映像を生成して表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。

プレイリストを参照することにより、優先度があらかじめ決めた値以上のシーンまたは特定のカメラワークを持ったシーンより構成されるプレイリストを新たに生成して、タイトルに登録してもよい。

プレイリストを参照することにより、各シーンの種別に応じたＢＧＭを生成して再生し、シーンの切り替わり付近でＢＧＭのメロディー、音色、テンポを変えより芸術性、文化度の高いコンテンツの再生を行うこともできる。

図１０を参照して、Ｈ．２６４／ＡＶＣのストリームの構成について説明する。図１０（Ａ）は、Ｈ．２６４／ＡＶＣストリームのＧＯＰ構造である。図１０（Ｂ）は、各ピクチャがＶＣＬおよびＮｏｎ−ＶＣＬのＮＡＬユニットによって構成されていることを示す。ＮＡＬ（ｖｉｄｅｏ）は映像のＮＡＬユニットであり、ＮＡＬ（Ａｕｄｉｏ）は音声のＮＡＬユニットであり、ＮＡＬ（ＳＥＩ）はＳＥＩのＮＡＬユニットである。ＮＡＬ（ＳＥＩ）には前述したリアルタイムメタデータを挿入できる。

なお、実験の結果から、撮像装置のパン、ティルト、レンズのズーム情報、レンズのフォーカス情報等は、ＧＯＰ構造における全ピクチャに挿入する必要はなく、２フレーム毎に間引いた場合でも、タイムコードが復元できれば、通常視聴に適した速さのパン、ティルト、ズーム、フォーカスなどのカメラワークを復元できるという知見が得られている。

図１０（Ｃ）はＰＥＳパケットの構造を示し、図１０（Ｂ）に示したピクチャデータデータにＰＥＳパケットヘッダが付加されている。なお、ＰＥＳパケットヘッダには、ヘッダーオプションとしてＭＰＥＧのＰＴＳ／ＤＴＳを含めることができる。Ｈ．２６４の観点よりは、ＰＥＳパケットを１ＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）として扱う。本例では、図１０（Ｄ）に示すように、ＰＥＳパケットを１８８バイト毎に分割して、ＭＰＥＧ−ＴＳパケットを生成す。図１０（Ｅ）は、ＭＰＥＧ−ＴＳパケットにタイムコードを含む４バイトのヘッダーが付加して、ＡＴＳパケットを構成することを示している。

つぎに、図１１を参照して撮影コンテンツの編集例を説明する。まず、ファイルの取り扱いモードとしては、
モードＡ: オリジナルの撮影コンテンツ
モードＢ： 不要シーンのコンテンツ（３０点未満のシーン）
モードＣ： 不要シーンのないコンテンツ（３０点以上のシーン）
モードＤ： 重要シーンのコンテンツ（５０点以上のシーン）
の４種類がある。

編集ステップとしては、以下の３ステップがある。具体的には、
ステップ１） オリジナルの撮影コンテンツファイルから不要シーンのコンテンツのみと取り出して確認する。ＯＫであれば、不要シーンを削除する。
ステップ２） 不要シーンのないコンテンツを生成する。
ステップ３） さらに、不要シーンのないコンテンツから、メタデータにより重要シーンであることを示されたコンテンツを生成する。

ここで、ステップ１、ステップ２、ステップ３は、ａｔｓファイルをなんら変更することなく、プレイリストファイルの操作のみで実現できる。

また、モードＢで不要シーンのコンテンツを再生する場合、映像にテロップでどういう条件で不要かを挿入して、ユーザに知らせることができる。

さらに、モードＣの不要シーンのないコンテンツや、モードＤの重要シーンのコンテンツを１つの完パケファイルとして作成することもできる。

図１２は図１１の動作のシーン情報を生成するムービー、シーン情報を利用するパソコン（ＰＣ）、ＤＶＤレコーダーおよびテレビで実施する場合の説明図である。たとえば、ムービーでは図１１のモードＡ、また、パソコンではモードＢとモードＣとモードＤ、ＤＶＤレコーダーやテレビではモードＣとモードＤを用いる。

本発明は、不要部のないコンテンツやダイジェストを簡単に生成できるため、ホームビデオ等に代表されるコンテンツ撮影装置に利用できる。

本発明の実施の形態に係るコンテンツ撮影装置のモデル図 図１に示すカメラの内部構成の説明図 メタデータの分類例を示す図 メタデータからシン情報の生成ブロックの説明図 撮影コンテンツより揺れが大きな２つの区間を削除して、揺れのない３つの区間を組み合わせて、１つの揺れのない映像シーケンスを構成する手順の説明図。 撮影コンテンツよりズームアップ、ズームダウン後の２つのフィックス区間を抽出して、１つのダイジェストを構成する手順の説明図 不要シーン情報の生成の説明図 重要シーン情報の生成の説明図 ディレクトリ構成とファイル構成の説明図 Ｈ．２６４のピクチャ構造とＭＰＥＧ−ＴＳへの変換方法の説明図 コンテンツの編集概念の説明図 機器間でのコンテンツの編集例

符号の説明

１０１ カメラ
１０２ カメラのレンズ部
１０３ カメラのマイク
１０４ カメラの撮影対象
１０５ カメラで撮影したデータ
１０６ ＡＶストリームファイルデータ
１０７ メタデータ
１０８ カメラで撮影されたデータシーケンス
１０９ リモコン
１１０ 編集によりシーン＃１から＃５までを繋いだデータシーケンス
１１１ テレビ（ＴＶ）
１１２ 信号接続ケーブル
１１３ 信号接続ケーブル
１１４ メタデータ入力用ボタン（重要シーン登録ボタン、静止画撮影ボタン）
１１５、１１７ マイク
２０１ ズーム制御部
２０２ フォーカス制御部
２０３ 露出制御部
２０４ 撮像素子
２０５ シャッタ速度制御部
２０６ カメラマイコン
２０７ 絶対傾きセンサ
２０８ 角速度センサ
２０９ 加速度センサ
２１０ ユーザ入力系
２１１ カメラ信号処理部
２１２ 音声処理系
２１３ Ｈ．２６４方式エンコーダ
２１４ 記録メディア
２１５ 出力インタフェース
４０１ 映像符号化部
４０２ ＶＣＬ−ＮＡユニットバッファ
４０３ 音声符号化部
４０４ ＰＳバッファ
４０５ ＶＵＩバッファ
４０６ ＳＥＩバッファ
４０７ Ｎｏｎ ＶＣＬ−ＮＡユニットバッファ
４０８ 顔・人物検出手段
４０９ シーン情報のメタデータ生成手段
４１０ ハウリング検出手段
４１１ 不要シーン検出手段
４１２ 重要シーン検出手段
４１３ リアルタイムデータ／選択マッピング手段

Claims (18)

1. 映像、音声またはデータのいずれかを含むコンテンツをそのシーン情報と組み合わせて情報記憶媒体に記録し、シーン情報を参照してコンテンツの特定部分にアクセスするコンテンツ撮影装置であって、
   撮影収録する映像音声または撮影装置の動作情報のいずれかに含まれるパラメータを参照して特徴あるシーンを検出してシーン情報を生成するシーン情報生成手段と、
   事前に決めてある規則により、前記シーン情報にその種別、優先度、開始時刻、終了時刻、代表時刻かのいずれかを補助情報として付加する補助情報付加手段と、
   前記シーン情報とその補助情報とをシーンリストに記述するシーンリスト記述手段と、
   前記情報記憶媒体への記録動作の終了後に、前記シーンリストに記述されている複数のシーン情報から前記優先度に基づいてあらかじめ決められた個数以内のシーン情報を選別するシーン選別手段とを備えるコンテンツ撮影装置。
2. 前記シーン選別手段は、優先度の高い順にシーン情報を選別する高優先度シーン選別手段および優先度の低い順にシーン情報を選別する低優先度シーン選別手段の少なくとも一方を備える請求項１に記載のコンテンツ撮影装置。
3. 前記高優先度シーン選別手段は、前記低優先度シーン選別手段により選別されたシーンを除外した撮影コンテンツより高優先度シーンを選別する請求項２に記載のコンテンツ撮影装置。
4. 前記シーン情報選択方法の設定手段と、
   前記設定手段により決められた演算方式により、前記シーンリスト記述メモリに記述された複数のシーン情報の組み合わせを演算して前記シーン情報に第２の優先度を付加する第２優先度手段と、
   前記第２の優先度を持つ特徴あるシーンの開始時刻と終了時刻と代表時刻との少なくともいずれかを前記シーン情報の補助情報として付加する補助情報付加手段と、
   前記シーンリスト記述メモリにリストとして保持されている複数のシーン情報から前記第２の優先度の高い順にあらかじめ決まられた個数以内のシーン情報を選別して第２優先度リストを生成する第２優先度リスト生成手段とをさらに備える請求項１に記載のコンテンツ撮影装置。
5. 前記第２優先度リストを撮影コンテンツの再生時参照ファイルに記述する第２優先リスト記述手段をさらに備える請求項４に記載のコンテンツ撮影装置。
6. 再生時に前記第２優先度リストを参照することにより、特徴あるシーンの開始点または代表点または終了点を参照した点にスキップするスキップ手段をさらに備える請求項４に記載のコンテンツ撮影装置。
7. 前記第２優先度リストを参照することにより、特徴あるシーン区間を指定順序で再生するシーン再生手段をさらに備える請求項５に記載のコンテンツ撮影装置。
8. 前記特徴あるシーン区間を指定順序で再生する場合に、各々の特徴あるシーン区間の再生時にその特徴シーンの説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備える請求項５に記載のコンテンツ撮影装置。
9. ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、コンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
   前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、再生時参照ファイルを生成する手段と、
   前記再生時参照ファイルを再生オブジェクトリストに登録する登録手段とをさらに備える請求項５に記載のコンテンツ撮影装置。
10. 前記再生時参照ファイルを参照して再生する場合に、各々の特徴あるシーン区間の再生時にその特徴シーンの説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備える請求項５に記載のコンテンツ撮影装置。
11. ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、コンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
    前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、指定された特徴あるシーンの集合体としてのファイルを生成するファイ生成手段とをさらに備える請求項５に記載のコンテンツ撮影装置。
12. ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、およびコンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
    前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、指定されない特徴あるシーン区間を繋ぎ合わせて再生する再生手段をさらに備える請求項５に記載のコンテンツ撮影装置。
13. ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、およびコンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
    前記再生時参照ファイルの補助データである第２優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、再生時に指定されない撮影区間を集めたファイルを生成するファイル生成手段とをさらに備える請求項５に記載のコンテンツ撮影装置。
14. 前記再生時参照ファイルの補助データである第２優先度リストを参照することにより、再生時に指定される区間は通常再生を行い、再生時に指定されない撮影区間は「再生速度を通常より変更した再生」または「再生映像に処理を加えた映像の再生」を行う再生手段をさらに備える請求項５に記載のコンテンツ撮影装置。
15. 撮影映像のスロー再生または高速再生またはスキップ再生または静止画表示を行う再生表示手段をさらに備え、前記「再生速度を通常より変更した再生」を行う請求項１４に記載のコンテンツ撮影装置。
16. カメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する映像生成手段をさらに備え、前記「再生映像に処理を加えた映像の再生」を行う請求項１４に記載のコンテンツ撮影装置。
17. 前記再生オブジェクトリストに登録された再生時参照ファイルから、優先度があらかじめ決めた値上のシーンまたは特定のカメラワークを持ったシーンより構成されるお勧め再生時参照ファイルを生成するファイル生成手段と、
    前記お勧め再生時参照ファイルをお勧め再生オブジェクトリストに登録する登録手段をさらに備える請求項９に記載のコンテンツ撮影装置。
18. 前記再生オブジェクトリストに登録された再生時参照ファイルの再生時にＢＧＭを生成する手段と、
    再生時参照ファイルの特徴あるシーンの切り替わり付近でＢＧＭのメロディー、音色、およびテンポの少なくとも一つを変える変更手段をさらに備える請求項９に記載のコンテンツ撮影装置。

Images