JP5457092B2 - デジタルカメラ及びデジタルカメラの合成画像表示方法 - Google Patents

Description

本発明は、外部機器を用いて動画像を再生する機能を有するデジタルカメラ及びデジタルカメラの合成画像表示方法に関する。

近年、デジタルカメラや携帯電話機等の各種の携帯機器において動画像撮影が可能となっている。しかしながら、決まった動きをしない被写体の動きを的確に捉えた動画像を撮影するのは、一般のユーザには困難である。このため、一般のユーザでは単調な動画像しか撮影することができなかった。これに対し、専門家が作るテレビ番組等では複数のカメラで頻繁に構図を切り替えながら撮影を行うことができるので単調でない動画像を撮影することができる。しかしながら、一般のユーザがこうした撮影方法を取るのは大変困難である。

撮影時には単調な動画像であっても適切な編集作業を経たものであれば鑑賞に耐えるものとなる。近年では、テレビ画面上に再生した動画像に対して動画像編集を行えるようにするための技術も各種提案されている（例えば、特許文献１参照）。

特許第２８２２１８７号公報

特許文献１等の従来の動画像編集技術においては、編集後に得られる動画像を鑑賞する鑑賞者のことについては何ら考慮されておらず、編集後に得られる動画像が鑑賞者にとって必ずしも興味のある動画像となるとは限らない。このため、動画像の鑑賞者が退屈してしまったりするおそれがある。

本発明は、上記の事情に鑑みてなされたもので、動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及びデジタルカメラの合成画像表示方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様のデジタルカメラは、動画像を取得する撮像部と、上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、上記顔検出部によって検出された顔画像をトリミングするトリミング部と、上記撮像部で取得された動画像を記録する記録部と、表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部とを具備し、上記撮像部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、上記顔検出部によって検出された顔画像の表情の変化のタイミングで上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させることを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様のデジタルカメラの合成画像表示方法は、表示部を有する外部装置へ、第１の動画像を送信し、上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、上記取得した第２の動画像中の顔画像を検出し、上記検出された顔画像をトリミングし、上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された顔画像の表情の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とする。

また、上記の目的を達成するために、本発明の第３の態様のデジタルカメラは、動画像を取得する撮像部と、上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、上記顔検出部によって検出された顔画像をトリミングするトリミング部と、上記撮像部で取得された動画像を記録する記録部と、表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部と、集音部とを具備し、上記撮像部及び上記集音部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させるタイミングは、上記集音部によって検出された音の変化に基づくタイミングであることを特徴とする。
また、上記の目的を達成するために、本発明の第４の態様のデジタルカメラの合成画像表示方法は、表示部を有する外部装置へ第１の動画像を送信し、外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、上記取得した第２の動画像中の顔画像を検出し、上記検出された顔画像をトリミングし、上記第２の動画像の取得と同時に周囲の音を集音し、上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された音の大小の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とする。

本発明によれば、動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及びデジタルカメラの合成画像表示方法を提供することができる。

本発明の一実施形態に係るデジタルカメラを有する動画像再生システムの構成を示す図である。 動画像再生システムの使用時の様子を示す図である。 デジタルカメラのメインの動作を示すフローチャートの第１図である。 デジタルカメラの再生モード時における表示部の表示例を示す図である。 デジタルカメラのメインの動作を示すフローチャートの第２図である。 顔画像の合成の例について示す図である。 位置変更処理について示すフローチャートである。 デジタルカメラのメインの動作を示すフローチャートの第３図である。 リモコン操作表示画像の例について示す図である。 外部再生終了処理について示すフローチャートである。 確認画面の表示例について示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係るデジタルカメラを有する動画像再生システムの構成を示す図である。図１に示すように、本動画像再生システムは、デジタルカメラ１００と、テレビジョン受像機２００と、が通信ケーブル３００を介して通信自在に接続されて構成されている。

本実施形態に係るデジタルカメラ１００は、撮像部１０１と、顔検出部１０２と、表示部１０３と、集音部１０４と、記録部１０５と、時計部１０６と、制御部１０７と、操作部１０８と、通信インタフェース部１０９とを有している。なお、本実施形態におけるデジタルカメラ１００は動作モードとして、動画像撮影をするための動画像撮影モードと、動画像の再生をするための動画像再生モードと、ＴＶ２００とデータ通信を行うための通信モードとを少なくとも有している。

撮像部１０１は、図示しない被写体の像を集光するためのレンズや、レンズによって集光された被写体の像を電気信号に変換する撮像素子等を有している。この撮像部１０１は、被写体に対して撮像を実行して被写体の静止画像を取得する。また、撮像部１０１による撮像を連続的に実行することで動画像も取得可能である。

顔検出部１０２は、撮像部１０１による撮像によって得られる画像中の被写体の顔を検出する。顔検出部１０２によって検出された顔の情報は、例えば、撮像部１０１を構成するレンズのフォーカスを顔位置に合わせるような制御や、画像中の顔の露出を適正にする制御に用いることができる。なお、顔検出部１０２における顔検出は、例えば、画像中の顔の特徴量（目や鼻の形状や位置関係等）を検出することによって行う。また、本実施形態における顔検出部１０２は顔の表情（特に笑顔）も検出可能になされている。

表示部１０３は、撮像部１０１で取得された静止画像又は動画像を表示する。この表示部１０３は、例えばデジタルカメラ１００の背面に配された液晶ディスプレイである。

集音部１０４は、動画像撮影時におけるデジタルカメラ１００の周囲の音声を取得し、取得した音声信号を電気信号に変換する。

記録部１０５は、撮像部１０１で取得された静止画像又は動画像が記録される。この記録部１０５は、例えば、デジタルカメラ１００に対して着脱自在になされた半導体メモリカードである。時計部１０６は、撮像部１０１において静止画像撮影又は動画像撮影がなされた日時を計時する。この時計部１０６で計時された撮影日時は撮像部１０１で取得された静止画像又は動画像に関連付けられて記録部１０５に記録される。

制御部１０７は、撮像部１０１の撮像動作の制御、表示部１０３の表示動作の制御、集音部１０４の動作制御等を含む、デジタルカメラ１００内部の各ブロックの制御を行う。この他、制御部１０７は、撮像部１０１で得られた画像に対する画像処理、集音部１０４で得られた音声に対する音声処理等の各種データ処理も行う。ここで、本実施形態における制御部１０７は、合成部としての機能も有している。即ち、制御部１０７は記録部１０５に記録された動画像に、この動画像を鑑賞している鑑賞者の画像を合成するとともに、鑑賞者の音声を記録部１０５に記録された動画像に関連付ける処理も行う。さらに、制御部１０７はトリミング部としての機能も有しており、撮像部１０１で得られた画像における顔部の画像（顔画像）をトリミングして抽出することも行う。

操作部１０８は、ユーザがデジタルカメラ１００の各種の操作を行うための操作部である。操作部１０８の操作を識別して制御部１０７は、操作部１０８の操作に対応する処理を実行する。なお、操作部１０８としては、例えばデジタルカメラ１００の動作モードを設定するための操作部、デジタルカメラ１００による撮影の実行・終了を指示するための操作部、各種の選択動作を行うための操作部等が含まれる。

通信インタフェース部１０９は、デジタルカメラ１００がテレビジョン受像機（以下、ＴＶと略記する）２００との間でデータ通信を行うためのインタフェースである。本実施形態では、通信インタフェース部１０９としてＨＤＭＩ（High Definition Multimedia Interface）（登録商標）を用いる。しかしながら、通信インタフェース部１０９は、動画像の転送に適したインタフェースであれば特に限定されるものではない。また、図１では有線インタフェースを示しているが、赤外線通信や電波通信等に対応した無線インタフェースを用いるようにしても良い。

本実施形態の外部機器の一例としてのＴＶ２００は、放送受信部２０１と、表示部２０２と、ネットワーク通信部２０３と、情報重畳部２０４と、制御部２０５と、リモコン信号受信部２０６と、通信インタフェース部２０７とを有している。

放送受信部２０１は、図示しないテレビ局等からテレビジョン放送を受信するためのアンテナ等を含む。表示部２０２は、放送受信部２０１を介して受信されたテレビジョン放送に基づく動画像を表示する。また、本実施形態における表示部２０２は、デジタルカメラ１００からデジタルデータとして転送されてくる動画像を表示可能にもなされている。

ネットワーク通信部２０３は、ＴＶ２００が図示しないサーバ等とインターネットを介して通信するためのインタフェースである。情報重畳部２０４は、ネットワーク通信部２０３を介して図示しないサーバ等から得られる各種データを表示部２０２に表示される動画像に重畳させる。

制御部２０５は、表示部２０２の表示動作の制御や情報重畳部２０４の動作制御等を含む、ＴＶ２００内部の各ブロックの制御を行う。リモコン信号受信部２０６は、ＴＶ２００のリモートコントローラ（リモコン）４００からのリモコン信号を受信する。リモコン信号受信部２０６で受信されたリモコン信号を識別して制御部２０５は、リモコン４００の操作に対応した処理を実行する。

通信インタフェース部２０７は、ＴＶ２００がデジタルカメラ１００との間でデータ通信を行うためのインタフェースである。この通信インタフェース部２０７も例えばＨＤＭＩである。

図２は、本実施形態に係る動画像再生システムの使用時の様子を示す図である。図２に示すように、デジタルカメラ１００は通信ケーブル３００を介してＴＶ２００に接続されている。このような状態において、鑑賞者５００はＴＶ２００の表示部２０２に表示された動画像２０２ａを見ることができる。また、鑑賞者５００がリモコン４００を操作することで、ＴＶ２００を遠隔操作することが可能である。

ここで、本実施形態においては、デジタルカメラ１００から通信ケーブル３００を介して転送される動画像２０２ａの再生中にデジタルカメラ１００の撮像部１０１によって鑑賞者５００の顔の画像を取得し、鑑賞者５００の顔の画像２０２ｂをデジタルカメラ１００から転送される動画像に合成してＴＶ２００の表示部２０２に表示可能である。このような表示を行うことにより、例えば図２のようにして２人の鑑賞者５００が動画像２０２ａを鑑賞している際にお互いの反応を表示部２０２上で確認でき、これによって動画像２０２ａの鑑賞の場を盛り上げることが可能である。このように、実際には再生される動画像が前もって編集されていなくても、その動画像に単にその動画像を見るだけでない楽しみが付与されることとなる。つまり、本実施形態においては、ＴＶ２００の表示部２０２上にあたかも編集された画像を見るのと同様の効果を持った画像が表示されることとなる。

以下、図２で示したような動画像再生システムの動作の詳細について図３〜図１１を参照して説明する。なお、本実施形態におけるＴＶ２００はデジタルカメラ１００から送信される動画像を表示する動作とリモコン４００が操作された場合にリモコン４００の操作内容を示す操作信号を外部信号としてデジタルカメラ１００に送信する動作とを行うだけである。したがって、以後の説明においてはデジタルカメラ１００側の動作について特に説明する。また、本実施形態におけるデジタルカメラ１００は静止画像の撮影及び再生も可能であるが、以後の説明においては動画撮影及び動画再生に係る動作について特に説明する。

図３において、デジタルカメラ１００の制御部１０７は、まず、デジタルカメラ１００の動作モードが動画像撮影モードであるか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、デジタルカメラ１００の動作モードが動画像撮影モードである場合に、制御部１０７は撮像部１０１を連続動作させて画像の取り込みを行い（ステップＳ１０２）、撮像部１０１の連続動作によって得られる動画像をリアルタイムで表示部１０３に表示させる（ステップＳ１０３）。この表示部１０３に表示される動画像を見ながら撮影者は撮影開始のタイミングや構図等を決定することが可能である。表示部１０３への動画像の表示後、制御部１０７は、撮影者による操作部１０８の操作によって動画像の撮影開始の指示がなされたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、動画像の撮影開始の指示がなされていない場合に、制御部１０７はステップＳ１０１の動作モードの判定を再び行う。また、ステップＳ１０４の判定において、動画像の撮影開始の指示がなされた場合に、制御部１０７は、撮像部１０１を介して得られる動画像と集音部１０４を介して得られる音声との記録部１０５への記録を開始させる（ステップＳ１０５）。ここで、動画像の記録方式として本実施形態では、例えばＭｏｔｉｏｎ ＪＰＥＧ方式を用いる。Ｍｏｔｉｏｎ ＪＰＥＧ方式を用いるのは、動画像のフレーム単位での編集（詳細は後述する顔画像の合成）が容易であるためである。もちろん、合成されるタイミングの限定等、所定の条件さえ許す仕様であれば、Ｈ．２６４等のフレーム間圧縮プロセスを持つものでもよい。また、撮像部１０１を介した動画像の記録と集音部１０４を介した音声の記録とは互いに同期されるように同時に行われるものとする。

動画像の撮影開始後、制御部１０７は、撮影者による操作部１０８の操作によって動画像の撮影終了の指示がなされたか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、動画像の撮影終了の指示がなされていない場合には、処理がステップＳ１０５に戻り、制御部１０７は動画像の記録を継続する。また、ステップＳ１０６の判定において、動画像の撮影終了の指示がなされた場合に、制御部１０７は動画像の記録を終了する。この際、制御部１０７は、記録部１０５に記録された動画像に時計部１０６で記録された撮影日時が関連付けして記録する。動画像の記録終了後、制御部１０７はステップＳ１０１以後の処理を行う。

また、ステップＳ１０１の判定において、デジタルカメラ１００の動作モードが動画像撮影モードでない場合に、制御部１０７は、デジタルカメラ１００の動作モードが動画像再生モードであるか否かを判定する（ステップＳ１０７）。ステップＳ１０７の判定において、デジタルカメラ１００の動作モードが動画像再生モードである場合に、制御部１０７は、記録部１０５に記録されている動画像（音声も関連付けられている）を示すサムネイル画像を図４（ａ）に示すようにして表示部１０３に表示させる（ステップＳ１０８）。なお、サムネイル画像として表示させる画像は各動画像の代表画像とする。この代表画像は、例えば動画像中の最初のフレームの画像や後述するインデックスが付されたフレームの画像である。

サムネイル画像の表示後、制御部１０７は、鑑賞者の操作部１０８の操作によって動画像の選択がなされたか否かを判定する（ステップＳ１０９）。ステップＳ１０９の判定において、動画像の選択がなされていない場合に、制御部１０７は、サムネイル画像の表示を継続する。また、ステップＳ１０９の判定において、動画像の選択がなされた場合に、制御部１０７は、図４（ｂ）に示すような、動画像の再生先を選択させる画面を表示部１０３に表示させる。図４（ｂ）の例では、「１．再生」が動画像の再生先がデジタルカメラ１００の表示部１０３であることを示しており、「２．ＴＶ」が動画像の再生先がＴＶ２００の表示部２０２であることを示している。図４（ｂ）の画面の表示後、制御部１０７は動画像の再生先が表示部１０３であるか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、動画像の再生先が表示部１０３である場合に、制御部１０７は、現在、鑑賞者によって選択されている動画像を記録部１０５から読み出し、図４（ｃ）に示すようにして、読み出した動画像の表示部１０３への再生を開始する（ステップＳ１１１）。この際、図４（ｃ）に示すように動画像が再生中であることを示すメッセージを表示させるようにしても良い。

動画像の再生開始後、制御部１０７は、ユーザの操作部１０８の操作によって表示部１０３に再生する動画像の切り替えがなされたか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、動画像の切り替えがなされた場合に、制御部１０７は、動画像の再生を終了した後、再生する動画像の切り替えを行う（ステップＳ１１３）。この切り替えは、例えば、操作部１０８が操作される毎に再生中の動画像に対して撮影日時が古い（または、新しい）動画像に切り替えることで行う。動画像の切り替え後、制御部１０７は切り替えによって選択された動画像に対してステップＳ１０９以後の処理を行う。

また、ステップＳ１１２の判定において、動画像の切り替えがなされていない場合に、制御部１０７は、ユーザの操作部１０８の操作によって動画像の再生終了が指示されたか否かを判定する（ステップＳ１１４）。ステップＳ１１４の判定において、動画像の終了が指示なされていない場合に、制御部１０７はステップＳ１０９以後の処理を行う。一方、ステップＳ１１４の判定において、動画像の終了操作がなされた場合に、制御部１０７はステップＳ１０１以後の処理を行う。

また、ステップＳ１０７の判定において、デジタルカメラ１００の動作モードが動画像再生モードでない場合に、制御部１０７は、図５に示すフローチャートの処理を実行する。この図５の処理は通信モードに対応した処理である。詳細は後述するが、通信モードにおいては、ＴＶ２００の表示部２０２に動画像が再生される。そして、デジタルカメラ１００は、鑑賞者によるリモコン４００の操作に応じてＴＶ２００から入力される外部信号に従って動作する。

通信モード中において、制御部１０７は、通信インタフェース部１０９を介してＴＶ２００から外部信号が受信されたか否かを判定する（ステップＳ２０１）。ステップ２０１の判定において、ＴＶ２００から外部信号が入力されていない場合には、処理が図３のステップＳ１０１に戻る。また、ステップＳ２０１の判定において、ＴＶ２００から外部信号が入力された場合に、制御部１０７は、入力された外部信号の識別を行う（ステップＳ２０２）。そして、制御部１０７は、外部信号が顔画像の合成命令を示す信号であるか否かを判定する（ステップＳ２０３）。ステップＳ２０３の判定において、外部信号が顔画像の合成命令を示す信号でない場合に、制御部１０７は、現在、撮像部１０１が動作中であれば、撮像部１０１の動作を停止させる（ステップＳ２０４）。詳細は後述するが、通信モード中においては、撮像部１０１は顔画像の合成命令を示す信号が入力されている間に動作するものである。撮像部１０１の動作を停止させた後、制御部１０７は、外部信号が動画像の再生命令を示す信号であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５の判定において、外部信号が動画像の再生命令を示す信号である場合に、制御部１０７は、次に送信すべきフレームの画像をＴＶ２００に送信する（ステップＳ２０６）。一方、ステップＳ２０６の判定において、外部信号が動画像の再生命令を示す信号でない場合に、制御部１０７は、例えば所定時間の経過後に外部再生終了処理を行う（ステップＳ２０７）。この外部再生終了処理については後述する。ステップＳ２０６又はステップＳ２０７における処理の終了後、制御部１０７は図３のステップＳ１０１以後の処理を行う。

また、ステップＳ２０３の判定において、外部信号が合成命令を示す信号である場合に、制御部１０７は、再生中の動画の再生を一時停止した後、撮像部１０１を起動して鑑賞者の画像をフレーム単位で取得する（ステップＳ２０８）。そして、制御部１０７は、撮像部１０１を介して得られる鑑賞者の画像における顔部を顔検出部１０２によって検出し、検出した顔画像をトリミングしてＴＶ２００の表示部２０２に再生中の動画像の枠外に合成して表示できるようにし、例えば記録部１０５に後から、必要に応じて、鑑賞者の顔画像と現在再生中の動画像とを合成して保存できるように、顔画像を仮記録させる（ステップＳ２０９）。このように、顔画像のみをトリミングすることにより、記録部１０５の記録容量を節約することが可能である。また、合成する範囲を狭い範囲に限定することで、余計な背景等までもが写ることがなく、鑑賞者の表情を見易くすることができる。この時、集音部１０４を起動させ、音声を同時に取り込んで、必要に応じて声の変化がモニタできるようにして、後述のように、音声の変化で顔を、再生中の動画像内に合成するタイミングを決めるようにしてもよい。もちろん、顔画像、音声の、どちらか一方を指定できるようにしてもよい。

顔画像の再生画面外（または、再生中の動画像の周辺部）への合成表示処理と仮記録後、制御部１０７は、位置変更処理を行う（ステップＳ２１０）。この位置変更処理について図６、図７を参照して説明する。位置変更処理は、図６（ａ）や図６（ｂ）に示すようにして、ＴＶ２００の表示部２０２に再生表示されている動画像２０２ａの所定位置に鑑賞者の顔画像２０２ｂを合成したり、合成されている顔画像２０２ｂの位置を変更したりする処理である。この時、顔の大きさを変えられるようにしてもよい。

図７において、制御部１０７は、位置変更処理における処理モードが自動変更モードであるか否かを判定する（ステップＳ３０１）。

ステップ３０１の判定において、処理モードが自動変更モードである場合には、制御部１０７は、図５のステップＳ２０９において記録部１０５に記録した鑑賞者の顔画像から、鑑賞者の顔の表情を顔検出部１０２によって検出し、検出した顔の表情が例えば笑顔に変化したか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、鑑賞者の顔の表情が笑顔に変化した場合に、制御部１０７は、次にＴＶ２００に送信するフレームの画像におけるコントラストなし部（例えば図６（ｂ）に示すような画像中の背景部）に、撮像中の顔画像を合成する（ステップＳ３０３）。この再生中の動画像内への顔画像の合成表示のタイミング決定には、表情の変化を用いる以外に、笑い声や話し声の大小変化を利用してもよい。盛り上がった時の表情は、皆が気になるからである。顔画像の再生中の動画像内への合成時に、制御部１０７は、顔画像の合成を行ったタイミングや、その時の顔画像や、フレームの位置を示す情報を合成履歴として記録部１０５に記録しておく。この時、前述のように、笑い声や話し声などの音声を記録しておくようにしてもよい。これによって、鑑賞者がどんな反応をしたかを、後から知ることができる。このようにして、適宜、再生中の動画像に顔画像が合成されるので、変化にとんだ表示にすることができる。単調に陥りがちなアマチュアの撮影した動画であっても、時折、画面内に鑑賞者の顔画像が侵入してくるので、変化のある動画像となる。ここでは、笑顔のみ再生中の動画像内に侵入したが、つまらなそうな顔が入ってくれば、単調な画像に変化がつく、という考え方で、そうした表情を利用してもよい。

また、常に、再生中の動画像に顔画像が侵入したままでは、めりはりがなくなるので、表情や音声の大きさが戻った場合、あるいは、リモコン４００での操作があった場合には、侵入していた顔画像は再生中の画面の外、または、周辺部に待避させる。デジタルカメラ１００においては、このような再生形態を実現させるために、再生中の動画像と顔画像とを合成してＴＶ２００に表示させている（ＨＤＭＩで送っている）が、この場合、合成情報（履歴）としては、合成は解除されたこととする。

また、再生中の動画像の枠外、または、周辺部に顔画像が位置している場合は、なるべく目立たなく、小さく表示した方が良いので、ＴＶ２００の表示部２０２の画面サイズに応じて、顔画像の表示大きさを変更してもよい。大きな画面のＴＶ２００であれば、画面の広い範囲を使わなくとも、顔が映っていることを確認可能である。

なお、動画像の鑑賞者は複数人であることも考えられ、この場合には、必ずしも全員の表情が笑顔に変化するとは限らない。このような撮像部１０１を介して得られる鑑賞者の画像として複数の顔が存在している場合には例えば表情が笑顔に変化した顔画像のみを合成する。勿論、全員の顔画像を合成するようにしても良い。こうした切り替えを声の大小によって決定してもよい。大きな声なら全員の顔を再生画像の中に合成、小さな声なら笑顔の顔のみを再生画像の中に合成するといった具合である。また、説明の単純化のため、省略したが、鑑賞者の表情が笑顔でなくなった場合は、ステップＳ３０３での合成は解除され、顔画像は再生画像の画面外、または周辺部に待避する。また、コントラストなし部と書いたが、時間変化がない部分であってもよい。人物が被写体である場合、人物の顔を隠さない位置なら、その他の場所でもよい。

また、ステップＳ３０１の判定において、処理モードが自動変更モードでない場合、又はステップＳ３０２の判定において、鑑賞者の顔の表情が笑顔に変化していない場合に、制御部１０７は、鑑賞者によるリモコン４００の操作によって顔画像の合成位置を変更する旨を示す外部信号が入力されたか否かを判定する（ステップＳ３０４）。ステップＳ３０４の判定において、顔画像の合成位置を変更する旨を示す外部信号が入力された場合に、制御部１０７は、次にＴＶ２００に送信するフレームの画像中の鑑賞者によるリモコン４００の操作に従って指定された位置に、記録部１０５に記録した顔画像を合成する（ステップＳ３０５）。顔画像の合成後に、制御部１０７は、顔画像の合成を行ったフレームの位置を示す情報を合成履歴として記録部１０５に記録しておく。

ステップＳ３０３又はステップＳ３０５の合成の後、制御部１０７は、次にＴＶ２００の送信するフレームの画像に対してインデックス情報を付与する（ステップＳ３０６）。こうした工夫によって、後から見直す時の検索の補助とすることができる。その後に、制御部１０７は、顔画像を合成したフレームの画像をＴＶ２００に送信する（ステップＳ３０７）。その後に、制御部１０７は図７の処理を終了させる。なお、顔画像の合成後に、制御部１０７は、顔画像の合成を行ったフレームの位置を示す情報を合成履歴として記録部１０５に記録しておく。

このように、本実施形態では、自動又は手動で動画像中にインデックス情報を付与することにより、動画像の再生中に盛り上がったと考えられるポイントを自動又は手動で指定することができる。これにより、次回の鑑賞時において、動画像中の盛り上がったポイントの特定が容易である。また、特に、複数人で動画像を鑑賞していたときには、その当時の各鑑賞者の表情も見ることができ、より鑑賞者にとって興味の高い動画像を作成することが可能である。

また、ステップＳ３０４の判定において、外部信号が入力されていない場合に、制御部１０７は、例えば所定時間の経過後に、次にＴＶ２００に送信するフレームの画像中のメインの表示部以外の位置（例えば図６（ａ）に示すような動画像２０２ａの外部）に、記録部１０５に記録した顔画像を合成し、顔画像を合成したフレームの画像をＴＶ２００に送信する（ステップＳ３０８）。

ここで、再び図３の説明に戻る。図３のステップＳ１１０の判定において、動画像の再生先がＴＶ２００の表示部２０２である場合に、制御部１０７は、図８に示す通信モードへの移行処理を行う。即ち、制御部１０７は、通信インタフェース部１０９を介してＴＶ２００に、現在、鑑賞者によって選択されている動画像の代表画像（例えば、最初のフレームの画像やインデックス情報が付与されているフレームの画像）を送信する（ステップＳ４０１）。

代表画像の送信後、制御部１０７は、通信インタフェース部１０９を介してＴＶ２００に、リモコン操作表示画像を送信する（ステップＳ４０２）。リモコン操作表示画像とは、図９（ａ）や図９（ｂ）に示すような、デジタルカメラ１００からの動画像をＴＶ２００の表示部２０２に表示させている際の、リモコン４００の操作を案内するための表示画像２０２ｃである。このようなリモコン操作表示画像２０２ｃを見ることにより、鑑賞者はリモコン４００のどのボタンを操作すればどのような操作を行うことができるかを理解し易い。

ここで、図９（ａ）に示すリモコン操作表示画像２０２ｃは、代表画像の送信後にＴＶ２００の表示部２０２に表示される画像である。図９（ａ）に示すリモコン操作表示画像２０２ｃがなされている際にリモコン４００の再生ボタンが押された場合には、ＴＶ２００からデジタルカメラ１００に対して再生命令を示す信号が入力される。一方、リモコン４００の撮像ボタンが押された場合には、ＴＶ２００からデジタルカメラ１００に対して合成命令を示す信号が入力される。また、図９（ｂ）に示すリモコン操作表示画像２０２ｃは、リモコン４００の撮像ボタンが押された後にＴＶ２００の表示部２０２に表示される画像である。図９（ｂ）に示すリモコン操作表示画像２０２ｃがなされている際にリモコン４００の再生ボタンが押された場合には、ＴＶ２００からデジタルカメラ１００に対して再生命令を示す信号が入力される。一方、リモコン４００の位置変更ボタンが押された場合には、表示部２０２に表示されている顔画像２０２ｂの位置が変更されるとともに、ＴＶ２００からデジタルカメラ１００に対して顔画像２０２ｂの合成位置を変更する旨を示す信号が入力される。

リモコン操作表示画像２０２ｃの送信後、制御部１０７は、デジタルカメラ１００の表示部１０３の表示をオフする（ステップＳ４０３）。表示部１０３の表示をオフした後、制御部１０７は、図１のステップＳ１０１以後の処理を行う。即ち、通信モードにおいてはデジタルカメラ１００に記録されている動画像がＴＶ２００の表示部２０２に表示されるため、鑑賞者がデジタルカメラ１００の表示部１０３を見ることはないと考えられる。したがって、省エネルギー化を図るため、表示部１０３の表示をオフする。表示部１０３の表示をオフした後、制御部１０７は、デジタルカメラ１００の動作モードを通信モードに移行させる（ステップＳ４０４）。なお、表示部１０３の表示をオフさせずに図４（ｄ）で示すような通信モード中であることを示す表示を行うようにしても良い。

次に、外部再生終了処理について図１０、図１１を参照して説明する。図１０において、制御部１０７は、再生が終了した動画像に対応した合成履歴が記録部１０５に記録されているか否かを判定する（ステップＳ５０１）。ステップＳ５０１の判定において、合成履歴が記録部１０５に記録されている場合に、制御部１０７は、顔画像を合成した動画像を記録部１０５に記録するか否かを鑑賞者に確認するための画面を表示させるための画像をＴＶ２００に送信する（ステップＳ５０２）。図１１はＴＶ２００の表示部２０２に表示される確認画面の一例を示した図である。図１１の例では、再生が終了した動画像の代表画像２０２ａを表示部２０２に表示させるとともに、この外部再生終了処理中における鑑賞者のリモコン４００の操作を案内するためのリモコン操作表示画像２０２ｃを表示させる。

図１１に示すような確認画面を表示させるための画像の送信後、制御部１０７は、鑑賞者によるリモコン４００の操作により動画像の保存が指示されたか否かを判定する（ステップＳ５０３）。ステップＳ５０３の判定において、保存が指示された場合には合成履歴に従って動画像中において合成を行ったフレームを特定し、特定したフレームの画像に、記録部１０５に記録しておいた顔画像を合成して記録部１０５に記録する（ステップＳ５０４）。顔画像を合成した動画像を再記録することにより、例えば皆で動画像を鑑賞したときの様子を他のメンバーも後から追体験することができる。例えば、運動会の様子等をデジタルカメラ１００によって撮影した場合に、この運動会の様子を記録した動画像を、まず、親子で鑑賞し、そのときの動画像を祖父母に送る等すれば、祖父母はあたかも親子の団欒に参加したかのような体験を味わうことができる。前述のように、再生中の動画像内に顔画像の侵入の処理がない場合、顔画像が再生中の動画像の画面外にあったり、図６（ａ）のように周辺部にある場合は、合成履歴はないとする。図６（ｂ）のような顔画像侵入シーンのみが合成履歴の対象となる。この場合、顔の大きさをリモコン４００で変更できるようにしてもよい。また、顔をそのまま表示すると、自分の顔が見られるのが嫌な人もいるので、アバターなど他の顔画像を代用して表示するようにしてもよい。

このように、本実施形態においては、顔画像の合成履歴が記録されていく形であるので、記録された顔画像を別の画像に置換えるのも簡単にできる。

ステップＳ５０１において合成履歴が記録部１０５に記録されていない場合、ステップＳ５０３において動画像の保存が指示されていない場合、又はステップＳ５０４の後、制御部１０７は、鑑賞者によるリモコン４００の操作により通信モード時の動画像の再生の終了が指示されたか否かを判定する（ステップＳ５０５）。ステップＳ５０５の判定において、通信モード時の動画像の再生の終了が指示された場合に、制御部１０７は、デジタルカメラ１００の動作モードを再生モードに変更する（ステップＳ５０６）。その後、ステップＳ１０１以後の処理を行う。一方、ステップＳ５０５の判定において、通信モード時の動画像の再生の終了が指示されていない場合に、制御部１０７は、鑑賞者によるリモコン４００の操作によりリプレイが指示されたか否かを判定する（ステップＳ５０７）。ステップＳ５０７の判定において、リプレイが指示されていない場合に、制御部１０７は、ステップＳ５０５以後の処理を行う。また、ステップＳ５０７の判定において、リプレイが指示された場合に、制御部１０７は、図５のステップＳ２０１以後の処理を実行する。

以上説明したように、本実施形態によれば、デジタルカメラ１００の記録部１０５に記録された動画像をＴＶ２００の表示部２０２に再生している際に、この動画像を鑑賞している鑑賞者の顔画像も合わせて再生することができる。これにより、動画像の鑑賞者が興味を持ち易い動画像を得ることができる。また、鑑賞者の顔の表情が笑顔になって顔画像の合成がなされたフレームや、鑑賞者によって顔画像の合成位置が指定されたフレームに対してインデックス情報を付与することで、後の検索において動画像中の重要シーンを特定することも可能である。

さらに、ＴＶ２００において再生する動画像はデジタルカメラ１００で選択された動画像のみとすることにより、デジタルカメラ１００に記録されているプライベートな動画像がＴＶ２００の表示部２０２で不意に大画面表示されることがない。

ここで、上述した実施形態においては、ＴＶ２００の表示部２０２に再生している動画像に鑑賞者の顔画像を合成している。これに対し、本実施形態はデジタルカメラ１００の表示部１０３に再生している動画像に鑑賞者の顔画像を合成するような場合にも適用可能である。また、ＴＶ２００に鑑賞者の顔画像を撮像するための撮像部を持たせるようにしても良い。

また、上述した実施形態では顔画像を動画像のフレーム単位で合成するようにしているので、顔画像の合成位置をフレーム毎にずらすようにすれば顔画像をアニメーションさせる等することも可能である。

さらに、上述した実施形態ではデジタルカメラ１００に記録されている動画像に顔画像を合成してＴＶ２００で再生するようにしているが、これに限らず本実施形態の手法は動画撮影機能を有する各種の携帯機器に対して適用可能である。

また、ここでは動画像に変化をつける前提で説明を行ったが、ＴＶ２００に静止画を表示しながら、再生中に得られた顔画像、または、顔画像情報に基づくアバターなどの画像を合成していくような用途にも利用可能であることは言うまでもない。これによって、沢山の静止画を見る場合に、どの画像に人気があったかなどを、その場で、または、他の人が知ることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…デジタルカメラ、１０１…撮像部、１０２…顔検出部、１０３…表示部、１０４…集音部、１０５…記録部、１０６…時計部、１０７…制御部、１０８…操作部、１０９…通信インタフェース部、２００…テレビジョン受像機（ＴＶ）、２００…ＴＶ、２０１…放送受信部、２０２…表示部、２０３…ネットワーク通信部、２０４…情報重畳部、２０５…制御部、２０６…リモコン信号受信部、２０７…通信インタフェース部、３００…通信ケーブル、４００…リモートコントローラ（リモコン）

Claims (11)

1. 動画像を取得する撮像部と、
   上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、
   上記顔検出部によって検出された顔画像をトリミングするトリミング部と、
   上記撮像部で取得された動画像を記録する記録部と、
   表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、
   上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部と
   を具備し、
   上記撮像部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、
   上記顔検出部によって検出された顔画像の表情の変化のタイミングで上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させることを特徴とするデジタルカメラ。
2. 上記顔画像の表情の変化のタイミングは、当該顔画像の表情が笑顔に変化したタイミングであることを特徴とする請求項１に記載のデジタルカメラ。
3. 上記合成部が上記トリミングされた顔画像を合成する位置は、上記外部装置へ送信された動画像においてコントラストがない部位又は時間変化のない部分であることを特徴とする請求項１に記載のデジタルカメラ。
4. 上記記録部に、顔画像の合成を行ったタイミング及びそのタイミングの顔画像を合成履歴として記録しておくことを特徴とする請求項２又は３に記載のデジタルカメラ。
5. 上記トリミングされた顔画像が上記動画像内に侵入して合成されていた場合であって、表情又は音声の大きさが戻った場合に、当該顔画像を再生中の画面の外、又は、周辺部に待避させることを特徴とする請求項２又は３に記載のデジタルカメラ。
6. 上記顔検出部によって複数の顔画像が検出された場合、上記合成部は表情が笑顔に変化した顔画像のみを合成することを特徴とする請求項１に記載のデジタルカメラ。
7. 表示部を有する外部装置へ、第１の動画像を送信し、
   上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、
   上記取得した第２の動画像中の顔画像を検出し、
   上記検出された顔画像をトリミングし、
   上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された顔画像の表情の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、
   上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とするデジタルカメラの合成画像表示方法。
8. 動画像を取得する撮像部と、
   上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、
   上記顔検出部によって検出された顔画像をトリミングするトリミング部と、
   上記撮像部で取得された動画像を記録する記録部と、
   表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、
   上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部と、
   集音部と、
   を具備し、
   上記撮像部及び上記集音部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、
   上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させるタイミングは、上記集音部によって検出された音の変化に基づくタイミングであることを特徴とするデジタルカメラ。
9. 上記音の変化は、上記集音部によって検出された音の大小の変化であることを特徴とする請求項８に記載のデジタルカメラ。
10. 上記顔検出部によって複数の顔画像が検出された場合、上記集音部によって検出された音が大きな声なら全員の顔画像を上記動画像の中に合成し、小さな声なら笑顔の顔画像のみを上記動画像の中に合成することを特徴とする請求項８に記載のデジタルカメラ。
11. 表示部を有する外部装置へ第１の動画像を送信し、
    外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、
    上記取得した第２の動画像中の顔画像を検出し、
    上記検出された顔画像をトリミングし、
    上記第２の動画像の取得と同時に周囲の音を集音し、
    上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された音の大小の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、
    上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とするデジタルカメラの合成画像表示方法。

Images