JP2010199666A - 動画像を記録する動画処理装置、動画処理方法及び動画処理プログラム - Google Patents

Abstract

【課題】本発明は、簡単な構成で複数の動画像を同時に記録できるようにする。
【解決手段】本発明は、撮像系より得られる動画データから少なくとも一部の領域の動画データを切り出して子画面用の動画データを生成し、この子画面用の動画データを元の動画データと画像合成して記録する。
【選択図】図２

Description

本発明は、デジタルカメラにおける動画像を記録する動画処理に関し、例えば、複数の動画像を同時に記録することができる動画処理装置、動画処理方法及び動画処理プログラムに関する。

従来、デジタルカメラは、所望の被写体を撮影して動画像を取得し、この動画像をメモリカード等の記録媒体に記録する。またユーザの操作に応動して記録媒体に記録した動画像を再生して表示する。

また、テレビジョン受像機では、複数の動画データを通常サイズの画面である親画面用と、親画面の中に小画面として表示される子画面用とに分けて同時に表示する、いわゆるピクチャーインピクチャーという手法が行われている。

静止画像の記録において、例えば、撮像系から取得される静止画像と、この静止画像を部分的に拡大した静止画像とを並べて表示し、ユーザ操作によりこれらの静止画像を記録するものが開示されている（特許文献１参照）。

特開２００８−２２３０６号公報

複数の動画像を同時に記録することは効率的ではあるが、複数の動画像をそれぞれ取得する撮像系を設けることが必要になる。また、複数の動画像を同じ画面で表示するとした場合、その関係性が分かりづらくなり、使い勝手が悪くなるなどという課題があった。

本発明は以上の点を考慮してなされたもので、簡単な構成で複数の動画像等を同時に記録することができ、利便性も向上する動画像処理装置、動画像処理方法及び動画処理プログラムを提供することを目的とする。

上記の課題を解決するため請求項１の発明は、動画像処理装置に適用して、入力動画データを入力する動画データ入力部と、前記入力動画データから少なくとも一部の領域の動画データを切り出し、子画面用の動画データを生成する子画面データ生成部と、前記入力動画データ及び前記子画面用の動画データをそれぞれ親画面及び子画面に割り当てて、前記入力動画データ及び前記子画面用の動画データを画像合成し、合成動画データを生成する画像合成部と、前記合成動画データをデータ圧縮処理して記録媒体に記録する記録部とを有する。

また請求項２の発明は、請求項１の構成において、前記記録部は、前記子画面と対応する前記少なくとも一部の領域との対応関係を示す子画面情報を前記合成動画データに多重化して記録する。

また請求項３の発明は、請求項１、又は請求項２の構成において、前記合成動画データを表示する画像表示部を有し、前記画像表示部は、前記合成動画データに基づいて、前記子画面と対応する前記少なくとも一部の領域との対応関係を示す表示を表示する。

また請求項４の発明は、請求項１、請求項２、又は請求項３の構成において、前記少なくとも一部の領域の位置、前記少なくとも一部の領域のサイズ、前記子画面の位置、前記子画面のサイズ、子画面の追加、の少なくとも一つの指示を入力する指示入力部を有する。

また請求項５の発明は、請求項２の構成において、前記子画面情報に基づいて子画面を設定する子画面設定部を有し、前記子画面設定部は、子画面の数または被写体の位置に応じて前記子画面の位置、子画面のサイズを自動的に決定する。

また請求項６の発明は、動画像処理装置に適用して、記録媒体から動画データを再生する再生部と、前記再生部により再生された動画データを表示する表示部とを有し、前記動画データは、ユーザの指示により入力動画データから少なくとも一部の領域に対応する動画データを子画面用の動画データとして切り出し、前記子画面用の動画データを前記入力動画データと画像合成して生成された合成動画データであり、前記入力動画データと、前記子画面用の動画データが対応する前記入力動画データの少なくとも一部の領域との対応関係を示す子画面情報とが多重化されて記録され、前記表示部は、ユーザの指示により、前記子画面情報に基づいて前記子画面と対応する前記少なくとも一部の領域との対応関係を示す表示を表示する。

また請求項７の発明は、動画像処理方法に適用して、入力動画データを入力するステップと、前記入力された入力動画データから少なくとも一部の領域の動画データを切り出し、子画面用の動画データを生成するステップと、前記入力された入力動画データ及び前記生成された子画面用の動画データをそれぞれ親画面及び子画面に割り当てて、前記入力動画データ及び前記子画面用の動画データを画像合成し、合成動画データを生成するステップと、前記生成された合成動画データをデータ圧縮処理して記録媒体に記録するステップと、を有する。

また請求項８の発明は、動画像処理方法に適用して、記録媒体から動画データを再生するステップと、前記再生された動画データを表示するステップとを有し、前記動画データは、ユーザの指示により入力動画データから少なくとも一部の領域に対応する動画データを子画面用の動画データとして切り出し、前記子画面用の動画データを前記入力動画データと画像合成して生成された合成動画データであり、前記入力動画データと、前記子画面用の動画データが対応する前記入力動画データの少なくとも一部の領域との対応関係を示す子画面情報とが多重化されて記録され、前記動画データを表示するステップは、ユーザの指示により、前記子画面情報に基づいて前記子画面用の動画データと対応する前記少なくとも一部の領域との対応関係を示す表示を表示するステップを含む。

また請求項９の発明は、動画像処理プログラムに適用して、動画像処理装置を制御するコンピュータに、入力動画データを入力する機能と、前記入力された入力動画データから少なくとも一部の領域の動画データを切り出し、子画面用の動画データを生成する機能と、前記入力された入力動画データ及び前記生成された子画面用の動画データをそれぞれ親画面及び子画面に割り当てて、前記入力動画データ及び前記子画面用の動画データを画像合成し、合成動画データを生成する機能と、前記生成された合成動画データをデータ圧縮処理して記録媒体に記録する機能と、を実現させる。

また請求項１０の発明は、動画像処理プログラムに適用して、動画像処理装置を制御するコンピュータに、記録媒体から動画データを再生する機能と、前記再生された動画データを表示する機能とを実現させる動画処理プログラムであって、前記動画データは、ユーザの指示により入力動画データから少なくとも一部の領域に対応する動画データを子画面用の動画データとして切り出し、前記子画面用の動画データを前記入力動画データと画像合成して生成された合成動画データであり、前記入力動画データと、前記子画面用の動画データが対応する前記入力動画データの少なくとも一部の領域との対応関係を示す子画面情報が多重化されて記録され、前記動画データを表示する機能は、ユーザの指示により、前記子画面情報に基づいて前記子画面用の動画データと対応する前記少なくとも一部の領域との対応関係を示す表示を表示する機能を含む。

本発明によれば、複数の動画像等を簡単な構成で同時に記録することができる。

本発明の第１の実施の形態に係るデジタルカメラのブロック図である。 図１のデジタルカメラにおける子画面合成モードの原理を説明する図である。 図１のデジタルカメラの主要部の機能構成図である。 図１のデジタルカメラにおける子画面情報を示す図表である。 図１のデジタルカメラにおける子画面設定の処理を説明するフローチャートである。 図１のデジタルカメラにおける対応付け表示の処理を説明するフローチャートである。

以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
（１）一実施の形態
（１−１）一実施の形態の構成
（１−１−１）全体構成
図１は、本発明の一実施の形態に係るデジタルカメラのブロック図である。このデジタルカメラ１は、撮像系２、メモリカード３、バス４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５、フレームバッファ６、画像表示部７、メモリ８、キー入力部９等を有し、撮像系２で取得した動画像をメモリカード３に記録する。

撮像系２は、このデジタルカメラ１で動画データ入力部として機能し、レンズ駆動ブロック１０、レンズ１１、絞り１２、固体撮像素子１３、ドライバ１４、タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１５、信号処理部１６等を有する。

レンズ駆動ブロック１０は、バス４を介したＣＰＵ５の制御により、レンズ１１のフォーカス、倍率、絞り１２を変化させる。レンズ１１は、絞り１２を介して固体撮像素子１３の撮像面に入射光を集光し、撮像対象の光学像を固体撮像素子１３の撮像面に形成する。

固体撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子である。固体撮像素子１３は、ドライバ１４から出力される各種駆動信号により動作し、撮像面に形成された光学像の撮像結果を撮像信号として出力する。固体撮像素子１３が撮像するフレームレート、電荷蓄積時間等はＣＰＵ５が制御する。撮像系２においてドライバ１４は、タイミングジェネレータ１５から出力される各種タイミング信号に従って固体撮像素子１３の駆動信号を生成する。ＣＰＵ５はバス４を介してタイミングジェネレータ１５を制御する。従って、ドライバ１４に出力するタイミング信号もＣＰＵ５によって制御される。

信号処理部１６は、固体撮像素子１３から出力される撮像信号を相関二重サンプリング処理（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）した後、自動利得調整（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、アナログデジタル変換処理（ＡＤ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）し、動画データＤ１をバス４に出力する。

フレームバッファ６は、信号処理部１６、すなわち撮像系２から出力される動画データＤ１を一時格納する作業用メモリである。撮像時、フレームバッファ６は、撮像系２から出力される動画データＤ１をバス４を介して入力して一時格納する。ＣＰＵ５は動画データＤ１をこのフレームバッファ６との間で入出力して処理した後、画像表示部７に出力して表示させる。またユーザから記録開始の指示を受けると、ＣＰＵ５は、動画データＤ１に圧縮等の処理を行う。ＣＰＵ５は再生時には、メモリカード３から動画データＤ３を読み出して伸張し、伸張したデータＤ３をフレームバッファ６に一次保持した後、画像表示部７に出力して表示させる。圧縮及び伸張処理には、種々の手法が適用可能であるが、本実施の形態では一例として、ＭＰＥＧ２に準拠するものとする。

画像表示部７は、液晶表示パネル等により構成される表示部であり、撮像時、ＣＰＵ５の制御により、フレームバッファ６からバス４を介して動画データＤ１を取得して表示する。画像表示部７は、再生時にも同様に、ＣＰＵ５の制御により、フレームバッファ６からバス４を介して動画データを取得して表示する。

ＣＰＵ５は、デジタルカメラ１の動作を制御するコントローラであり、メモリ８に格納したプログラムを実行して、キー入力部９で検出されるユーザの操作に応動して、本実施の形態のデジタルカメラ１の各部の動作を制御し、さらにフレームバッファ６に格納された動画データの処理等を行う。なお、本実施の形態では、このプログラムは、メモリ８に事前に格納されて提供されるものとして説明するが、本発明はこれに限定されない。例えば、このプログラムをメモリカード等の記録媒体に記録して提供するようにしてもよく、ネットワークを介したダウンロードにより提供するようにしてもよい。キー入力部９は、本実施の形態のデジタルカメラ１で、操作子であり、ユーザから各種の指示を受ける指示入力部として機能する。以後、ユーザからの指示は、特に記載がない限り、キー入力部９を介して入力されるものとする。

また、ユーザから撮影の指示を受けると、ＣＰＵ５は、撮像系２を制御して取得した動画データＤ１を順次フレームバッファ６に格納する。また、ＣＰＵ５は、この動画データＤ１に対して、ガンマ補正処理、デモザイク処理、ホワイトバランス処理等を実行してフレームバッファ６に格納し直し、この格納し直した動画データを画像表示部７に転送して表示させる。これによりＣＰＵ５は、撮像したモニタ画像を画像表示部７で表示する。

撮像した動画像をモニタに表示している状態で、ユーザから撮像した動画像の記録の指示を受けると、ＣＰＵ５は、フレームバッファ６に格納した動画データＤ１を順次読み出して圧縮処理し、メモリカード３に記録する。これによりＣＰＵ５は、撮像した動画像をメモリカード３に記録する。

ユーザからメモリカード３に記録した動画像の再生の指示を受けると、ＣＰＵ５は、メモリカード３から対応する動画データを順次取得し、この動画データを伸張してフレームバッファ６に格納する。さらに、ＣＰＵ５は、動画データをこのフレームバッファ６から画像表示部７に順次転送して画像表示部７に表示させる。こうして、ＣＰＵ５は、メモリカード３に記録した動画データを再生して画像表示部７で表示させる。

これら動画像の記録再生において、撮像結果の記録時、ＣＰＵ５は、ユーザの操作に応じて動作モードを後述する子画面合成モードに切り替え、メモリカード３に記録する動画データＤ１の処理を切り替える。

（１−１−２）子画面合成モード
ここで図２は、この子画面合成モードの原理を説明する図である。子画面合成モードにおいて、ＣＰＵ５は、撮像系２から得られる動画データＤ１を親画面に割り当てる。さらにユーザの指示した親画面の一部の領域をこの親画面から切り出し、拡大、縮小して子画面に割り当てる。ＣＰＵ５は、この子画面を親画面と画像合成してメモリカード３に記録する。またこの画像合成した動画像のモニタ画像を画像表示部７に表示する。

さらにＣＰＵ５は、ユーザの指示により、モニタ画像上において、子画面と対応する領域との対応関係を示す対応付けを表示する。さらにこの対応関係を示す情報（以下、子画面情報と呼ぶ）を、動画データＤ１に一定の時間間隔で繰り返し多重化してメモリカード３に記録する。

なお、図２では、各子画面をそれぞれ縁取りして表示して、親画面と対応する領域を枠形状により囲って示すと共に、破線を表示して親画面の枠形状と対応する子画面の縁取りとを結び付けて、関係を対応付けて示している。図２の例では、ユーザが指定した４つの領域を子画面表示するという指示に従って、４つの領域を子画面表示しており、さらに、４つの子画面のうちの１つについて、親画面との関係の対応付けが表示されている。なお、対応付けを示す表示については、子画面に割り当てられた領域が親画面の何れの領域に対応するかをユーザが把握できればよく、対応する子画面の縁取りを例えば点滅表示する、異なる太さ、色彩に表示を切り替える、破線に代えて矢印を表示する等、種々の表示方法を広く適用可能である。

図３は、この子画面合成モードに係るデジタルカメラ１の主要部の機能構成図である。ＣＰＵ５は、子画面合成モードにおいて、子画面生成部５Ａ、画像圧縮部５Ｂ、データ多重ファイル化部５Ｃ、子画面設定部５Ｄの機能ブロックとして機能する。これらの機能ブロック５Ａ〜５Ｄが記録系を構成する。

ここで子画面生成部５Ａは、子画面情報Ｄ２に基づいて、動画データＤ１からユーザが指定した領域を切り出し、拡大、縮小して子画面の動画データを生成する。子画面生成部５Ａは、この子画面の動画データを元の動画データＤ１と画像合成して出力する。画像圧縮部５Ｂは、子画面生成部５Ａから出力される動画データをデータ圧縮して出力する。また、ユーザの指示に応じて、子画面用に用いる動画データの圧縮率を下げてもよい。例えば、このデータ圧縮処理において、画像圧縮部５Ｂは、ユーザの指示に応じて、子画面用の動画データに対して目標符号量を一時的に増大させるデータ圧縮処理を実行し、これにより子画面に対応する動画データのデータ圧縮率を一時的に低下させてもよい。これによって、子画面の画像をより鮮明にすることができる。子画面設定部５Ｄは、ユーザによるキー入力部９の操作に応動して子画面の位置、子画面のサイズ、子画面の追加などの設定を受け付け、子画面情報Ｄ２を生成する。データ多重ファイル化部５Ｃは、画像圧縮部５Ｂの出力データを音声データ、子画面情報Ｄ２と共に多重化処理、ファイル化処理し、メモリカード３に記録する。

なおＣＰＵ５は、これら記録系の構成に対応して、再生時、ファイル読み込みデータ分離部５Ｅ、画像伸張部５Ｆ、対応付け表示部５Ｇの機能ブロックを構成する。これらの機能ブロック５Ｅ〜５Ｇが再生系を構成する。

ファイル読み込みデータ分離部５Ｅは、ユーザが指示したファイルのデータをメモリカード３から再生して入力し、このデータを動画データ、音声データ、子画面情報Ｄ２に分離して出力する。画像伸張部５Ｆは、ファイル読み込みデータ分離部５Ｅで分離された動画データをデータ伸張して出力する。対応付け表示部５Ｇは、ファイル読み込みデータ分離部５Ｅで分離された子画面情報Ｄ２により、再生画面上に、上述した対応付けを表示する。

図４は、子画面情報のフォーマットを示す図表である。子画面情報Ｄ２には、子画面を識別する子画面番号（数字１〜ｎにより示す）がそれぞれ設定されており、子画面番号で識別される子画面毎に情報を記録している。子画面情報Ｄ２には、「子画面指定」の項目に親画面上での表示位置を示す座標（ｘ，ｙ）及びサイズ（ｗ，ｈ）の情報が記録されており、さらに、「親画面指定」の項目に子画面を切り出す親画面の対応する領域の位置を示す座標（ｘ，ｙ）及びサイズ（ｗ，ｈ）の情報が記録されている。

図４は、ユーザがｎ個の子画面を設定している場合を示している。例えば、子画面番号１の子画面は、親画面の動画データＤ１から、親画面の座標ｐｘ１，ｐｙ１を中心にサイズｐｗ１，ｐｈ１の領域を切り出した後、親画面の座標ｃｘ１，ｃｙ１を中心にサイズｃｗ１，ｃｈ１に設定され領域に貼り付けて生成することが示されている。

ＣＰＵ５は、親画面の動画データＤ１からこの子画面情報Ｄ２に記録された座標とサイズに従って対応するデータをそれぞれ切り出した後、親画面に設定されたサイズと子画面に設定されたサイズとの比に応じて切り出した動画像を拡大又は縮小する。さらに、ＣＰＵ５は、こうして拡大又は縮小した動画像を、子画面情報Ｄ２に記録された座標に従って元の動画像Ｄ１と画像合成してメモリカード３に記録する。

ＣＰＵ５は、ユーザからの指示に従って、動作モードを子画面合成モードに切り替え、また動作モードを子画面合成モードから元の動作モードに切り替える。図５は、この子画面合成モードにおいて、子画面の設定を受け付けるＣＰＵ５の処理手順を示すフローチャートである。

ＣＰＵ５は、ユーザにより子画面設定の指示を受けると、子画面設定処理を開始する（ステップＳ１）。具体的には、ＣＰＵ５は、子画面情報Ｄ２に設定されている子画面の個数を１インクリメントし（ステップＳ２）、子画面情報をディフォルトの設定に仮登録する。ここで、子画面情報のディフォルトの設定とは、例えば枠形状を一定の大きさで親画面の中央に表示し、この枠形状に囲まれた領域の動画を、何ら拡大、縮小しないで、表示画面の隅に子画面により表示する設定とする。

ＣＰＵ５は、親画面を選択状態に設定する（ステップＳ３）。続いて、ＣＰＵ５は、仮登録した子画面情報Ｄ２及び選択状態に基づいて子画面、枠形状を表示する（ステップＳ４）。また選択状態に設定された親画面、子画面を認識できるように、親画面に表示した枠形状の表示、又は子画面の縁取りを例えば点滅表示に切り替える。

続いてＣＰＵ５は、ユーザにより選択切替えキーが操作されたか否か判断する（ステップＳ５）。選択切替えキーが操作されたと判断されると、ＣＰＵ５は、親画面が選択状態に設定されているか否か判断する（ステップＳ６）。ここで親画面が選択状態に設定されていると判断されると、選択状態を親画面から子画面に切り替える（ステップＳ７）。選択状態の子画面への切り替えを行うと、ステップ４に戻り、親画面の枠形状の点滅表示を中止し、対応する子画面の縁取りの点滅表示を開始する。これに対してステップＳ６で親画面が選択状態に設定されていないと判断されると、ＣＰＵ５は、選択状態を子画面から親画面に切り替える（ステップＳ８）。またこの選択状態の切り替えを行うと、ステップ４に戻り、子画面の縁取りにおける点滅表示を中止し、親画面の枠形状の点滅表示を開始する。

またステップＳ５で、ユーザにより選択切替えキーが操作されていないと判断されると、ＣＰＵ５は、位置設定キーが操作されたか否か判断する（ステップＳ９）。位置設定キーが操作されたと判断されると、ＣＰＵ５は、ユーザによる操作子の操作に応動して子画面情報を更新して、選択状態にある枠形状、又は選択状態にある子画面の位置（表示位置）を変更する（ステップＳ１０）。子画面情報Ｄ２の更新を行うと、ステップＳ４に戻る。

これに対してステップＳ９で位置設定キーが操作されていないと判断されると、ＣＰＵ５は、サイズ設定キーが操作されたか否か判断する（ステップＳ１１）。サイズ設定キーが操作されたと判断されると、ＣＰＵ５は、ユーザによる操作子の操作に応動して子画面情報を更新して、選択状態にある枠形状の大きさ、又は選択状態にある子画面のサイズを変更する（ステップＳ１２）。子画面情報Ｄ２の更新を行うと、ステップＳ４に戻る。

これに対して、ステップＳ１１でサイズ設定キーが操作されていないと判断されると、ＣＰＵ５は、キャンセルキーが操作されたか否か判断する（ステップＳ１３）。キャンセルキーが操作されたと判断されると、ＣＰＵ５は、子画面情報Ｄ２を更新して仮登録した子画面を一つ削除し（ステップＳ１４）、親画面の枠形状の表示を取り消して、この処理手順の開始前の状態に戻した後（ステップＳ１５）、この処理手順を終了する（ステップＳ１６）。

またステップＳ１３でキャンセルキーが操作されていないと判断されると、ＣＰＵ５は、登録キーが操作されたか否か判断する（ステップＳ１７）。ここで登録キーが操作されていないと判断されると、ステップＳ４に戻る。これに対してステップＳ１７で、登録キーが操作されたと判断されると、仮登録した子画面情報Ｄ２を本登録する。これによりＣＰＵ５は、ユーザの設定に応じてメモリカード３に記録する子画面情報Ｄ２を更新し、親画面枠表示を消して（ステップＳ１５）、この処理手順を終了する（ステップＳ１６）。

本実施の形態のデジタルカメラ１は、ユーザからの指示に応じて、子画面情報Ｄ２に設定された子画面番号を順次選択状態に設定し、枠形状の位置、サイズの変更、子画面の表示位置、サイズの変更を行い、子画面情報Ｄ２の削除も行う。さらに対応付け表示を開始し、対応付けの表示対象を順次循環的に切り替える。

図６は、これらの処理に係るＣＰＵ５の処理手順を示すフローチャートである。ＣＰＵ５は、ユーザが対応付けの表示を指示すると、この処理手順を開始して（ステップＳ２１）、子画面情報Ｄ２が設定されているか否か判断する（ステップＳ２２）。こうして、ＣＰＵ５は、表示中の動画像に子画面情報Ｄ２が未設定か否か、具体的には、設定されている子画面の個数が０か否かを判断する。

ここで表示中の動画像に子画面情報Ｄ２が設定されていないと判断した場合、具体的には、設定されている子画面の個数が０であると判断した場合、ＣＰＵ５は、この処理手順を終了する（ステップＳ２３）。これに対して表示中の動画像に子画面情報Ｄ２が設定されていると判断した場合、ＣＰＵ５は、情報番号を１に設定する（ステップＳ２４）。ここで情報番号とは、図４を参照して説明した、子画面情報に記録された子画面番号に対応する番号であり、対応付けを表示する子画面を特定する番号となる。

ＣＰＵ５は、続いて、情報番号に対応する子画面情報Ｄ２の子画面番号を対応付けの表示対象に設定し、図２に示すように、親画面に対応する枠形状を表示すると共に、対応付けを表示する（ステップＳ２５）。

ＣＰＵ５は、ユーザにより、次の子画面キーの操作があったか否か、具体的には、表示対象の子画面を切り替える切替えキーが操作されたか否か判断する（ステップＳ２６）。表示対象の子画面を切り替える切替えキーが操作されたと判断されると、ＣＰＵ５は、情報番号を１インクリメントし（ステップＳ２７）、情報番号の数が子画面の個数を越えたか否か判断する（ステップＳ２８）。情報番号の数が子画面の個数を越えたと判断されると、ＣＰＵ５は、情報番号を１に設定した後（ステップＳ２９）、ステップＳ２５に戻る。これに対してステップＳ２８で情報番号の数が子画面の個数を越えていないと判断されると、直接、ステップＳ２５に戻る。以後、ＣＰＵ５は、対応付けの表示を順次循環的に切り替える。

ステップＳ２６で表示対象の子画面を切り替える切替えキーが操作さていない判断されると、ＣＰＵ５は、削除キーが操作されたか否か判断し（ステップＳ３０）、ここで削除キーが操作されたと判断されると、ＣＰＵ５は、情報番号に対応する子画面情報Ｄ２の子画面番号を登録から削除した後（ステップＳ３１）、子画面番号を再設定し、ステップＳ２２に戻る。

これに対してステップＳ３０で削除キーが操作されていないと判断されると、ＣＰＵ５は、設定キーが操作されたか否か判断する（ステップＳ３２）。ここで設定キーが操作されたと判断されると、ＣＰＵ５は、情報番号の子画面設定を行う（ステップＳ３３）。具体的には、ＣＰＵ５は、上述したステップＳ５〜ステップＳ１７と同様の処理手順を実行し、情報番号により特定される子画面について、サイズ等の変更を受け付けてステップＳ２５に戻る。

これに対してステップＳ３２で設定キーが操作されていないと判断されると、ＣＰＵ５は、終了キーが操作されたか否か判断し（ステップＳ３４）、終了キーが操作されたと判断されると、この処理手順を終了する（ステップＳ３５）。これに対してステップＳ３４で終了キーが操作されていないと判断されると、ステップＳ２５に戻る。

再生時、ＣＰＵ５は、子画面合成モードにより記録されたファイルを再生する処理を行う場合、ユーザの操作に応じて多重化して記録された子画面情報に基づいて、対応付けの表示をモニタ画像に表示する。このとき、図６と同様の処理手順を実行して対応付けの表示対象を順次循環的に切り替える。またユーザが子画面の選択表示を指示すると、子画面のみ選択的に全画面表示し、ユーザの操作に応じてこの全画面表示の表示対象を順次循環的に切り替えるようにしてもよい。なおこのように子画面を全画面表示する場合、親画面を子画面により表示してもよい。

（１−２）実施の形態の動作
以上説明したように、本実施の形態のデジタルカメラ１は（図１）、レンズ１１によって生成された光学像を固体撮像素子１３が光電変換処理して撮像結果である撮像信号を生成する。信号処理部１６はこの撮像信号を処理して動画データＤ１を生成する。本実施の形態のデジタルカメラ１では、ＣＰＵ５は、この動画データＤ１をフレームバッファ６を介して入力し、データ圧縮等の処理を行った後、メモリカード３に記録する。これに対してユーザから再生の指示を受けると、ＣＰＵ５は、メモリカード３に記録された動画データを順次読み込み、データ伸張した後、画像表示部７で表示する。

これらの処理において、ユーザから子画面合成モードによる動画像の記録の指示を受けると、ＣＰＵ５は、撮像系２より得られる動画データＤ１からユーザが指示した領域の動画データを切り出して、子画面用の動画データを生成し、この子画面用の動画データを元の動画データＤ１と画像合成して圧縮処理してメモリカード３に記録する。具体的には、動画データＤ１に、子画面の情報を有する子画面情報Ｄ２を多重化して生成する

これにより、本実施の形態のデジタルカメラ１は、簡単な構成で、複数の動画像を同時に記録することができる。すなわち、本実施の形態のデジタルカメラ１は、親画面及び子画面にそれぞれ対応する撮像系を設けることなく、１つの撮像系から得られる動画データを処理して複数の動画像を記録することができ、全体構成を簡略化できる。また１回の圧縮処理でこれら複数の動画像を処理することができることから、構成を一層簡略化できる。

また再生時、全画面表示の表示対象を親画面、子画面で切り替えて、複数の動画像を選択的に表示することができるので、ユーザの利便性を向上することができる。

このように、本実施の形態のデジタルカメラ１では、子画面と、親画面の対応する領域との対応関係を示す子画面情報Ｄ２を動画データＤ１に多重化して圧縮を行い、記録する。従って本実施の形態のデジタルカメラ１では、動画データＤ１に基づいて表示する親画面に子画面情報Ｄ２に基づいて画像合成した子画面を選択的に全画面等に表示することができるので、ユーザの利便性を向上することができる。

また、本実施の形態のデジタルカメラ１では、ユーザの指示により、記録時、モニタ画像において、子画面と、親画面の対応する領域との対応関係を示す表示を表示する。したがって、本実施の形態のデジタルカメラ１では、ユーザは親画面と子画面との対応関係を簡易かつ確実に把握することができるので、利便性を向上することができる。

さらに、本実施の形態のデジタルカメラ１では、子画面の追加設定、親画面に設定する領域の位置及びサイズ、子画面の位置及びサイズの設定をユーザが指示できるので、ユーザの利便性は一段と向上する。すなわち、ユーザは、子画面を貼り付ける親画面の領域の位置を設定することができるので、子画面に割り当てる親画面の箇所を種々に変更して、親画面の所望の箇所に子画面を表示できる。また、ユーザは、親画面に設定する表示領域のサイズ、子画面のサイズ、子画面を貼り付ける位置、貼り付ける子画面の数なども設定することができるので、ユーザの利便性を一段と向上することができる。

さらに、再生時においては、動画データに多重化して記録された子画面情報に基づいて、記録時と同様に、子画面と親画面の対応する領域との対応関係を示す表示が表示される。これによりこのデジタルカメラ１では、再生時においても、親画面と子画面との対応関係を簡易かつ確実に把握することができる。

（２）他の実施の形態
なお上述の実施の形態では、ユーザが子画面に設定する領域等の設定を受け付ける場合について説明したが、本発明はこれに限定されず、子画面の位置や大きさなどを、例えば、親画面の被写体の位置や子画面の数などにより自動的に調整するようにしてもよい。さらに、対象とする被写体を、例えば、注目領域を検出する手法等を適用して追跡するようにしてもよい。

また、上述の実施の形態では、子画面でデータ圧縮率を低下させる場合について説明したが、本発明はこれに限定されず、一定のデータ圧縮率でデータ圧縮してもよく、データ圧縮率を増加して圧縮する場合等にも広く適用することができる。

また、上述の実施の形態では、子画面に設定する領域等をユーザが設定して動画像を処理する場合について説明したが、本発明はこれに限定されず、例えば、動き追跡手法を用いて、親画面に設定した領域の動きを追跡し、この追跡結果に基づいて親画面に設定した領域の位置及び又はサイズを動的に変化するようにしてもよい。なお動き追跡手法は、動きベクトルを統計的に処理する方法、特徴点を追跡する方法等、各種の手法を適用することができる。

また、上述の実施の形態では、親画面から一部の領域を切り出して子画面に設定する場合について説明したが、本発明はこれに限定されず、親画面の全部の領域を子画面に割り当て、子画面が倍率を変更して当該領域を表示するようにしてもよい。

また、上述の実施の形態では、キー操作により各種子画面の設定等を受け付ける場合について説明したが、本発明はこれに限定されず、例えばタッチパネルインターフェース等、種々のインターフェースを広く適用することができる。

さらに、上述の実施の形態では、動画データに子画面情報を多重化して記録する場合について説明したが、本発明はこれに限定されず、必要に応じて子画面情報の記録を省略するようにしてもよい。具体的には、再生時に子画面と親画面の対応付け表示が不要な場合は、子画面情報をファイル化しなくてもよい。

このように本発明によると、モニタ画像で、子画面と親画面の対応する領域との対応関係を示す表示を表示するので、子画面と親画面との対応関係を簡易かつ確実に把握可能に設定できるので、ユーザの利便性を向上することができる。

さらに、本発明によると、親画面と子画面で動画データを再生する場合に、子画面情報に基づいて子画面と対応する領域との対応関係を表示するので、ユーザの利便性を向上することができる。

さらに、本発明によると、親画面用の画像、及び子画面と親画面の対応する領域との対応関係を示す子画面情報を動画データに多重化して同時に圧縮して記録することができるので、圧縮処理も伸張処理も増えることがない。従って、簡単な構成で実現できる。

また、上述の実施の形態では、本発明をデジタルカメラに適用して、撮像系による動画データ入力部から入力する動画データＤ１を処理する場合について説明したが、本発明はこれに限定されず、例えばネットワーク、各種記録媒体により提供される動画データＤ１をハードディスク等の記録媒体に記録する場合等にも広く適用することができる。また、ＣＰＵとメモリを含む、動画像処理装置を制御するコンピュータを上述した各手段として機能させる動画処理プログラムによって動作させることができる。動画処理プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

なお本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態を種々に組み合わせ、さらには上述の実施の形態に種々に変形を加えた形態とすることができる。

本発明は、例えばデジタルカメラに適用することができる。

１・・・デジタルカメラ、２・・・撮像系、３・・・メモリカード、５・・・ＣＰＵ、６・・・フレームバッファ、１３・・・固体撮像素子、１６・・・信号処理部

Claims (10)

1. 入力動画データを入力する動画データ入力部と、
   前記入力動画データから少なくとも一部の領域の動画データを切り出し、子画面用の動画データを生成する子画面データ生成部と、
   前記入力動画データ及び前記子画面用の動画データをそれぞれ親画面及び子画面に割り当てて、前記入力動画データ及び前記子画面用の動画データを画像合成し、合成動画データを生成する画像合成部と、
   前記合成動画データをデータ圧縮処理して記録媒体に記録する記録部とを有する、動画像処理装置。
2. 前記記録部は、前記子画面と対応する前記少なくとも一部の領域との対応関係を示す子画面情報を前記合成動画データに多重化して記録する、請求項１に記載の動画像処理装置。
3. 前記合成動画データを表示する画像表示部を有し、
   前記画像表示部は、前記合成動画データに基づいて、前記子画面と対応する前記少なくとも一部の領域との対応関係を示す表示を表示する、請求項１、又は請求項２に記載の動画像処理装置。
4. 前記少なくとも一部の領域の位置、前記少なくとも一部の領域のサイズ、前記子画面の位置、前記子画面のサイズ、子画面の追加、の少なくとも一つの指示を入力する指示入力部を有する、請求項１、請求項２、又は請求項３に記載の動画像処理装置。
5. 前記子画面情報に基づいて子画面を設定する子画面設定部を有し、前記子画面設定部は、子画面の数または被写体の位置に応じて前記子画面の位置、子画面のサイズを自動的に決定する、請求項２記載の動画像処理装置。
6. 記録媒体から動画データを再生する再生部と、
   前記再生部により再生された動画データを表示する表示部とを有し、
   前記動画データは、
   ユーザの指示により入力動画データから少なくとも一部の領域に対応する動画データを子画面用の動画データとして切り出し、前記子画面用の動画データを前記入力動画データと画像合成して生成された合成動画データであり、
   前記入力動画データと、前記子画面用の動画データが対応する前記入力動画データの少なくとも一部の領域との対応関係を示す子画面情報とが多重化されて記録され、
   前記表示部は、
   ユーザの指示により、前記子画面情報に基づいて前記子画面用の画像データと対応する前記少なくとも一部の領域との対応関係を示す表示を表示する、動画像処理装置。
7. 入力動画データを入力するステップと、
   前記入力された入力動画データから少なくとも一部の領域の動画データを切り出し、子画面用の動画データを生成するステップと、
   前記入力された入力動画データ及び前記生成された子画面用の動画データをそれぞれ親画面及び子画面に割り当てて、前記入力動画データ及び前記子画面用の動画データを画像合成し、合成動画データを生成するステップと、
   前記生成された合成動画データをデータ圧縮処理して記録媒体に記録するステップと、を有する、動画像処理方法。
8. 記録媒体から動画データを再生するステップと、
   前記再生された動画データを表示するステップとを有し、
   前記動画データは、
   ユーザの指示により入力動画データから少なくとも一部の領域に対応する動画データを子画面用の動画データとして切り出し、前記子画面用の動画データを前記入力動画データと画像合成して生成された合成動画データであり、
   前記入力動画データと、前記子画面用の動画データが対応する前記入力動画データの少なくとも一部の領域との対応関係を示す子画面情報とが多重化されて記録され、
   前記動画データを表示するステップは、
   ユーザの指示により、前記子画面情報に基づいて前記子画面用の動画データと対応する前記少なくとも一部の領域との対応関係を示す表示を表示するステップを含む、動画像処理方法。
9. 動画像処理装置を制御するコンピュータに、
   入力動画データを入力する機能と、
   前記入力された入力動画データから少なくとも一部の領域の動画データを切り出し、子画面用の動画データを生成する機能と、
   前記入力された入力動画データ及び前記生成された子画面用の動画データをそれぞれ親画面及び子画面に割り当てて、前記入力動画データ及び前記子画面用の動画データを画像合成し、合成動画データを生成する機能と、
   前記生成された合成動画データをデータ圧縮処理して記録媒体に記録する機能と、を実現させる動画処理プログラム。
10. 動画像処理装置を制御するコンピュータに、
    記録媒体から動画データを再生する機能と、
    前記再生された動画データを表示する機能とを実現させる動画処理プログラムであって、
    前記動画データは、
    ユーザの指示により入力動画データから少なくとも一部の領域に対応する動画データを子画面用の動画データとして切り出し、前記子画面用の動画データを前記入力動画データと画像合成して生成された合成動画データであり、
    前記入力動画データと、前記子画面用の動画データが対応する前記入力動画データの少なくとも一部の領域との対応関係を示す子画面情報が多重化されて記録され、
    前記動画データを表示する機能は、
    ユーザの指示により、前記子画面情報に基づいて前記子画面用の動画データと対応する前記少なくとも一部の領域との対応関係を示す表示を表示する機能を含む、動画処理プログラム。
    

Images