JP5457092B2 - Digital camera and composite image display method of digital camera - Google Patents
Digital camera and composite image display method of digital camera Download PDFInfo
- Publication number
- JP5457092B2 JP5457092B2 JP2009158881A JP2009158881A JP5457092B2 JP 5457092 B2 JP5457092 B2 JP 5457092B2 JP 2009158881 A JP2009158881 A JP 2009158881A JP 2009158881 A JP2009158881 A JP 2009158881A JP 5457092 B2 JP5457092 B2 JP 5457092B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- unit
- face
- external device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
Description
本発明は、外部機器を用いて動画像を再生する機能を有するデジタルカメラ及びデジタルカメラの合成画像表示方法に関する。 The present invention relates to a digital camera having a function of reproducing a moving image using an external device and a composite image display method of the digital camera .
近年、デジタルカメラや携帯電話機等の各種の携帯機器において動画像撮影が可能となっている。しかしながら、決まった動きをしない被写体の動きを的確に捉えた動画像を撮影するのは、一般のユーザには困難である。このため、一般のユーザでは単調な動画像しか撮影することができなかった。これに対し、専門家が作るテレビ番組等では複数のカメラで頻繁に構図を切り替えながら撮影を行うことができるので単調でない動画像を撮影することができる。しかしながら、一般のユーザがこうした撮影方法を取るのは大変困難である。 In recent years, it has become possible to shoot moving images in various portable devices such as digital cameras and mobile phones. However, it is difficult for a general user to shoot a moving image that accurately captures the movement of a subject that does not perform a fixed movement. For this reason, ordinary users can only capture monotonous moving images. On the other hand, in a television program or the like created by an expert, it is possible to shoot while frequently changing the composition with a plurality of cameras, so that it is possible to shoot a non-monotonous moving image. However, it is very difficult for a general user to take such a photographing method.
撮影時には単調な動画像であっても適切な編集作業を経たものであれば鑑賞に耐えるものとなる。近年では、テレビ画面上に再生した動画像に対して動画像編集を行えるようにするための技術も各種提案されている（例えば、特許文献１参照）。 Even if it is a monotonous moving image at the time of shooting, it can withstand viewing if it has undergone appropriate editing work. In recent years, various techniques for enabling moving image editing on a moving image reproduced on a television screen have been proposed (see, for example, Patent Document 1).
特許文献１等の従来の動画像編集技術においては、編集後に得られる動画像を鑑賞する鑑賞者のことについては何ら考慮されておらず、編集後に得られる動画像が鑑賞者にとって必ずしも興味のある動画像となるとは限らない。このため、動画像の鑑賞者が退屈してしまったりするおそれがある。
In the conventional moving image editing technology such as
本発明は、上記の事情に鑑みてなされたもので、動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及びデジタルカメラの合成画像表示方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a digital camera and a composite image display method of the digital camera that can obtain a moving image that is easily interested by a viewer who appreciates the moving image. And
上記の目的を達成するために、本発明の第１の態様のデジタルカメラは、動画像を取得する撮像部と、上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、上記顔検出部によって検出された顔画像をトリミングするトリミング部と、上記撮像部で取得された動画像を記録する記録部と、表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部とを具備し、上記撮像部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、上記顔検出部によって検出された顔画像の表情の変化のタイミングで上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させることを特徴とする。 In order to achieve the above object, a digital camera according to a first aspect of the present invention includes an imaging unit that acquires a moving image, and a face detection unit that detects a face image in the moving image obtained by the imaging unit. A trimming unit that trims a face image detected by the face detection unit, a recording unit that records a moving image acquired by the imaging unit, and a moving image recorded in the recording unit to an external device having a display unit In order to synthesize and display the trimmed face image on the moving image being reproduced on the display unit of the external device, the trimmed moving image transmitted to the external device ; and a combining unit for combining a face image, the imaging unit is started at the timing of receiving the signal indicating the composition instructions of the face image from the external apparatus, the facial expression of a face image detected by the face detection unit The trimmed facial image moving image transmitted to the external apparatus at the timing of change, characterized in that for composite display.
また、上記の目的を達成するために、本発明の第２の態様のデジタルカメラの合成画像表示方法は、表示部を有する外部装置へ、第１の動画像を送信し、上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、上記取得した第２の動画像中の顔画像を検出し、上記検出された顔画像をトリミングし、上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された顔画像の表情の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とする。 In order to achieve the above object, a composite image display method for a digital camera according to a second aspect of the present invention transmits a first moving image to an external device having a display unit, and the face from the external device. The imaging unit is activated at a timing when a signal indicating an image compositing command is received, a second moving image different from the first moving image transmitted to the external device is acquired, and the acquired second moving image The detected face image is detected, the detected face image is trimmed, and the trimmed face image is combined and displayed on the first moving image being reproduced on the display unit of the external device. The trimmed face image is synthesized with the first moving image transmitted to the external device at the timing of the change in facial expression of the face image, and the trimmed face image is synthesized with the first moving image transmitted to the external device. To display And butterflies.
また、上記の目的を達成するために、本発明の第３の態様のデジタルカメラは、動画像を取得する撮像部と、上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、上記顔検出部によって検出された顔画像をトリミングするトリミング部と、上記撮像部で取得された動画像を記録する記録部と、表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部と、集音部とを具備し、上記撮像部及び上記集音部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させるタイミングは、上記集音部によって検出された音の変化に基づくタイミングであることを特徴とする。
また、上記の目的を達成するために、本発明の第４の態様のデジタルカメラの合成画像表示方法は、表示部を有する外部装置へ第１の動画像を送信し、外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、上記取得した第２の動画像中の顔画像を検出し、上記検出された顔画像をトリミングし、上記第２の動画像の取得と同時に周囲の音を集音し、上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された音の大小の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とする。
In order to achieve the above object, a digital camera according to a third aspect of the present invention includes an imaging unit that acquires a moving image, and a face detection that detects a face image in the moving image obtained by the imaging unit. , A trimming unit for trimming the face image detected by the face detection unit, a recording unit for recording a moving image acquired by the imaging unit, and an external device having a display unit recorded in the recording unit A communication interface unit for transmitting a moving image and the trimmed face image transmitted to the external device in order to synthesize and display the trimmed face image on the moving image being reproduced on the display unit of the external device. And a sound collection unit. The image pickup unit and the sound collection unit are activated when a signal indicating a face image synthesis command is received from the external device, and apparatus Timing of the cropped face image to the moving image transmitted combined display is characterized by a timing based on the change in the detected sound by the sound collection unit.
In order to achieve the above object, a composite image display method of a digital camera according to a fourth aspect of the present invention transmits a first moving image to an external device having a display unit, and the face image of the external device is transmitted from the external device. The imaging unit is activated at a timing at which a signal indicating a compositing command is received, a second moving image that is different from the first moving image transmitted to the external device is acquired, and the acquired second moving image is in the acquired second moving image The detected face image, trimming the detected face image, collecting the surrounding sound simultaneously with the acquisition of the second moving image, and reproducing the first moving image on the display unit of the external device In order to synthesize and display the trimmed face image, the trimmed face image is synthesized with the first moving image transmitted to the external device at the timing of the detected change in magnitude of the sound, and sent to the external device. The above trie is added to the transmitted first moving image. Characterized in that for the synthesis display the ring face image.
本発明によれば、動画像を鑑賞する鑑賞者が興味を持ち易い動画像を得ることができるデジタルカメラ及びデジタルカメラの合成画像表示方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the digital camera which can obtain the moving image in which the viewer who appreciates a moving image is easy to be interested, and the composite image display method of a digital camera can be provided.
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係るデジタルカメラを有する動画像再生システムの構成を示す図である。図１に示すように、本動画像再生システムは、デジタルカメラ１００と、テレビジョン受像機２００と、が通信ケーブル３００を介して通信自在に接続されて構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a moving image reproduction system having a digital camera according to an embodiment of the present invention. As shown in FIG. 1, the moving image playback system is configured by a
本実施形態に係るデジタルカメラ１００は、撮像部１０１と、顔検出部１０２と、表示部１０３と、集音部１０４と、記録部１０５と、時計部１０６と、制御部１０７と、操作部１０８と、通信インタフェース部１０９とを有している。なお、本実施形態におけるデジタルカメラ１００は動作モードとして、動画像撮影をするための動画像撮影モードと、動画像の再生をするための動画像再生モードと、ＴＶ２００とデータ通信を行うための通信モードとを少なくとも有している。
The
撮像部１０１は、図示しない被写体の像を集光するためのレンズや、レンズによって集光された被写体の像を電気信号に変換する撮像素子等を有している。この撮像部１０１は、被写体に対して撮像を実行して被写体の静止画像を取得する。また、撮像部１０１による撮像を連続的に実行することで動画像も取得可能である。
The
顔検出部１０２は、撮像部１０１による撮像によって得られる画像中の被写体の顔を検出する。顔検出部１０２によって検出された顔の情報は、例えば、撮像部１０１を構成するレンズのフォーカスを顔位置に合わせるような制御や、画像中の顔の露出を適正にする制御に用いることができる。なお、顔検出部１０２における顔検出は、例えば、画像中の顔の特徴量（目や鼻の形状や位置関係等）を検出することによって行う。また、本実施形態における顔検出部１０２は顔の表情（特に笑顔）も検出可能になされている。
The
表示部１０３は、撮像部１０１で取得された静止画像又は動画像を表示する。この表示部１０３は、例えばデジタルカメラ１００の背面に配された液晶ディスプレイである。
The
集音部１０４は、動画像撮影時におけるデジタルカメラ１００の周囲の音声を取得し、取得した音声信号を電気信号に変換する。
The
記録部１０５は、撮像部１０１で取得された静止画像又は動画像が記録される。この記録部１０５は、例えば、デジタルカメラ１００に対して着脱自在になされた半導体メモリカードである。時計部１０６は、撮像部１０１において静止画像撮影又は動画像撮影がなされた日時を計時する。この時計部１０６で計時された撮影日時は撮像部１０１で取得された静止画像又は動画像に関連付けられて記録部１０５に記録される。
The
制御部１０７は、撮像部１０１の撮像動作の制御、表示部１０３の表示動作の制御、集音部１０４の動作制御等を含む、デジタルカメラ１００内部の各ブロックの制御を行う。この他、制御部１０７は、撮像部１０１で得られた画像に対する画像処理、集音部１０４で得られた音声に対する音声処理等の各種データ処理も行う。ここで、本実施形態における制御部１０７は、合成部としての機能も有している。即ち、制御部１０７は記録部１０５に記録された動画像に、この動画像を鑑賞している鑑賞者の画像を合成するとともに、鑑賞者の音声を記録部１０５に記録された動画像に関連付ける処理も行う。さらに、制御部１０７はトリミング部としての機能も有しており、撮像部１０１で得られた画像における顔部の画像（顔画像）をトリミングして抽出することも行う。
The
操作部１０８は、ユーザがデジタルカメラ１００の各種の操作を行うための操作部である。操作部１０８の操作を識別して制御部１０７は、操作部１０８の操作に対応する処理を実行する。なお、操作部１０８としては、例えばデジタルカメラ１００の動作モードを設定するための操作部、デジタルカメラ１００による撮影の実行・終了を指示するための操作部、各種の選択動作を行うための操作部等が含まれる。
The
通信インタフェース部１０９は、デジタルカメラ１００がテレビジョン受像機（以下、ＴＶと略記する）２００との間でデータ通信を行うためのインタフェースである。本実施形態では、通信インタフェース部１０９としてＨＤＭＩ（High Definition Multimedia Interface）（登録商標）を用いる。しかしながら、通信インタフェース部１０９は、動画像の転送に適したインタフェースであれば特に限定されるものではない。また、図１では有線インタフェースを示しているが、赤外線通信や電波通信等に対応した無線インタフェースを用いるようにしても良い。
The
本実施形態の外部機器の一例としてのＴＶ２００は、放送受信部２０１と、表示部２０２と、ネットワーク通信部２０３と、情報重畳部２０４と、制御部２０５と、リモコン信号受信部２０６と、通信インタフェース部２０７とを有している。
The
放送受信部２０１は、図示しないテレビ局等からテレビジョン放送を受信するためのアンテナ等を含む。表示部２０２は、放送受信部２０１を介して受信されたテレビジョン放送に基づく動画像を表示する。また、本実施形態における表示部２０２は、デジタルカメラ１００からデジタルデータとして転送されてくる動画像を表示可能にもなされている。
The
ネットワーク通信部２０３は、ＴＶ２００が図示しないサーバ等とインターネットを介して通信するためのインタフェースである。情報重畳部２０４は、ネットワーク通信部２０３を介して図示しないサーバ等から得られる各種データを表示部２０２に表示される動画像に重畳させる。
The
制御部２０５は、表示部２０２の表示動作の制御や情報重畳部２０４の動作制御等を含む、ＴＶ２００内部の各ブロックの制御を行う。リモコン信号受信部２０６は、ＴＶ２００のリモートコントローラ（リモコン）４００からのリモコン信号を受信する。リモコン信号受信部２０６で受信されたリモコン信号を識別して制御部２０５は、リモコン４００の操作に対応した処理を実行する。
The
通信インタフェース部２０７は、ＴＶ２００がデジタルカメラ１００との間でデータ通信を行うためのインタフェースである。この通信インタフェース部２０７も例えばＨＤＭＩである。
The
図２は、本実施形態に係る動画像再生システムの使用時の様子を示す図である。図２に示すように、デジタルカメラ１００は通信ケーブル３００を介してＴＶ２００に接続されている。このような状態において、鑑賞者５００はＴＶ２００の表示部２０２に表示された動画像２０２ａを見ることができる。また、鑑賞者５００がリモコン４００を操作することで、ＴＶ２００を遠隔操作することが可能である。
FIG. 2 is a diagram showing a state in use of the moving image reproduction system according to the present embodiment. As shown in FIG. 2, the
ここで、本実施形態においては、デジタルカメラ１００から通信ケーブル３００を介して転送される動画像２０２ａの再生中にデジタルカメラ１００の撮像部１０１によって鑑賞者５００の顔の画像を取得し、鑑賞者５００の顔の画像２０２ｂをデジタルカメラ１００から転送される動画像に合成してＴＶ２００の表示部２０２に表示可能である。このような表示を行うことにより、例えば図２のようにして２人の鑑賞者５００が動画像２０２ａを鑑賞している際にお互いの反応を表示部２０２上で確認でき、これによって動画像２０２ａの鑑賞の場を盛り上げることが可能である。このように、実際には再生される動画像が前もって編集されていなくても、その動画像に単にその動画像を見るだけでない楽しみが付与されることとなる。つまり、本実施形態においては、ＴＶ２００の表示部２０２上にあたかも編集された画像を見るのと同様の効果を持った画像が表示されることとなる。
Here, in the present embodiment, an image of the face of the
以下、図２で示したような動画像再生システムの動作の詳細について図３〜図１１を参照して説明する。なお、本実施形態におけるＴＶ２００はデジタルカメラ１００から送信される動画像を表示する動作とリモコン４００が操作された場合にリモコン４００の操作内容を示す操作信号を外部信号としてデジタルカメラ１００に送信する動作とを行うだけである。したがって、以後の説明においてはデジタルカメラ１００側の動作について特に説明する。また、本実施形態におけるデジタルカメラ１００は静止画像の撮影及び再生も可能であるが、以後の説明においては動画撮影及び動画再生に係る動作について特に説明する。
The details of the operation of the moving image reproduction system as shown in FIG. 2 will be described below with reference to FIGS. Note that the
図３において、デジタルカメラ１００の制御部１０７は、まず、デジタルカメラ１００の動作モードが動画像撮影モードであるか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、デジタルカメラ１００の動作モードが動画像撮影モードである場合に、制御部１０７は撮像部１０１を連続動作させて画像の取り込みを行い（ステップＳ１０２）、撮像部１０１の連続動作によって得られる動画像をリアルタイムで表示部１０３に表示させる（ステップＳ１０３）。この表示部１０３に表示される動画像を見ながら撮影者は撮影開始のタイミングや構図等を決定することが可能である。表示部１０３への動画像の表示後、制御部１０７は、撮影者による操作部１０８の操作によって動画像の撮影開始の指示がなされたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、動画像の撮影開始の指示がなされていない場合に、制御部１０７はステップＳ１０１の動作モードの判定を再び行う。また、ステップＳ１０４の判定において、動画像の撮影開始の指示がなされた場合に、制御部１０７は、撮像部１０１を介して得られる動画像と集音部１０４を介して得られる音声との記録部１０５への記録を開始させる（ステップＳ１０５）。ここで、動画像の記録方式として本実施形態では、例えばＭｏｔｉｏｎ ＪＰＥＧ方式を用いる。Ｍｏｔｉｏｎ ＪＰＥＧ方式を用いるのは、動画像のフレーム単位での編集（詳細は後述する顔画像の合成）が容易であるためである。もちろん、合成されるタイミングの限定等、所定の条件さえ許す仕様であれば、Ｈ．２６４等のフレーム間圧縮プロセスを持つものでもよい。また、撮像部１０１を介した動画像の記録と集音部１０４を介した音声の記録とは互いに同期されるように同時に行われるものとする。
In FIG. 3, the
動画像の撮影開始後、制御部１０７は、撮影者による操作部１０８の操作によって動画像の撮影終了の指示がなされたか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、動画像の撮影終了の指示がなされていない場合には、処理がステップＳ１０５に戻り、制御部１０７は動画像の記録を継続する。また、ステップＳ１０６の判定において、動画像の撮影終了の指示がなされた場合に、制御部１０７は動画像の記録を終了する。この際、制御部１０７は、記録部１０５に記録された動画像に時計部１０６で記録された撮影日時が関連付けして記録する。動画像の記録終了後、制御部１０７はステップＳ１０１以後の処理を行う。
After the start of moving image shooting, the
また、ステップＳ１０１の判定において、デジタルカメラ１００の動作モードが動画像撮影モードでない場合に、制御部１０７は、デジタルカメラ１００の動作モードが動画像再生モードであるか否かを判定する（ステップＳ１０７）。ステップＳ１０７の判定において、デジタルカメラ１００の動作モードが動画像再生モードである場合に、制御部１０７は、記録部１０５に記録されている動画像（音声も関連付けられている）を示すサムネイル画像を図４（ａ）に示すようにして表示部１０３に表示させる（ステップＳ１０８）。なお、サムネイル画像として表示させる画像は各動画像の代表画像とする。この代表画像は、例えば動画像中の最初のフレームの画像や後述するインデックスが付されたフレームの画像である。
In step S101, when the operation mode of the
サムネイル画像の表示後、制御部１０７は、鑑賞者の操作部１０８の操作によって動画像の選択がなされたか否かを判定する（ステップＳ１０９）。ステップＳ１０９の判定において、動画像の選択がなされていない場合に、制御部１０７は、サムネイル画像の表示を継続する。また、ステップＳ１０９の判定において、動画像の選択がなされた場合に、制御部１０７は、図４（ｂ）に示すような、動画像の再生先を選択させる画面を表示部１０３に表示させる。図４（ｂ）の例では、「１．再生」が動画像の再生先がデジタルカメラ１００の表示部１０３であることを示しており、「２．ＴＶ」が動画像の再生先がＴＶ２００の表示部２０２であることを示している。図４（ｂ）の画面の表示後、制御部１０７は動画像の再生先が表示部１０３であるか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、動画像の再生先が表示部１０３である場合に、制御部１０７は、現在、鑑賞者によって選択されている動画像を記録部１０５から読み出し、図４（ｃ）に示すようにして、読み出した動画像の表示部１０３への再生を開始する（ステップＳ１１１）。この際、図４（ｃ）に示すように動画像が再生中であることを示すメッセージを表示させるようにしても良い。
After displaying the thumbnail image, the
動画像の再生開始後、制御部１０７は、ユーザの操作部１０８の操作によって表示部１０３に再生する動画像の切り替えがなされたか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、動画像の切り替えがなされた場合に、制御部１０７は、動画像の再生を終了した後、再生する動画像の切り替えを行う（ステップＳ１１３）。この切り替えは、例えば、操作部１０８が操作される毎に再生中の動画像に対して撮影日時が古い（または、新しい）動画像に切り替えることで行う。動画像の切り替え後、制御部１０７は切り替えによって選択された動画像に対してステップＳ１０９以後の処理を行う。
After starting the reproduction of the moving image, the
また、ステップＳ１１２の判定において、動画像の切り替えがなされていない場合に、制御部１０７は、ユーザの操作部１０８の操作によって動画像の再生終了が指示されたか否かを判定する（ステップＳ１１４）。ステップＳ１１４の判定において、動画像の終了が指示なされていない場合に、制御部１０７はステップＳ１０９以後の処理を行う。一方、ステップＳ１１４の判定において、動画像の終了操作がなされた場合に、制御部１０７はステップＳ１０１以後の処理を行う。
Further, when the moving image is not switched in the determination of step S112, the
また、ステップＳ１０７の判定において、デジタルカメラ１００の動作モードが動画像再生モードでない場合に、制御部１０７は、図５に示すフローチャートの処理を実行する。この図５の処理は通信モードに対応した処理である。詳細は後述するが、通信モードにおいては、ＴＶ２００の表示部２０２に動画像が再生される。そして、デジタルカメラ１００は、鑑賞者によるリモコン４００の操作に応じてＴＶ２００から入力される外部信号に従って動作する。
In the determination in step S107, when the operation mode of the
通信モード中において、制御部１０７は、通信インタフェース部１０９を介してＴＶ２００から外部信号が受信されたか否かを判定する（ステップＳ２０１）。ステップ２０１の判定において、ＴＶ２００から外部信号が入力されていない場合には、処理が図３のステップＳ１０１に戻る。また、ステップＳ２０１の判定において、ＴＶ２００から外部信号が入力された場合に、制御部１０７は、入力された外部信号の識別を行う（ステップＳ２０２）。そして、制御部１０７は、外部信号が顔画像の合成命令を示す信号であるか否かを判定する（ステップＳ２０３）。ステップＳ２０３の判定において、外部信号が顔画像の合成命令を示す信号でない場合に、制御部１０７は、現在、撮像部１０１が動作中であれば、撮像部１０１の動作を停止させる（ステップＳ２０４）。詳細は後述するが、通信モード中においては、撮像部１０１は顔画像の合成命令を示す信号が入力されている間に動作するものである。撮像部１０１の動作を停止させた後、制御部１０７は、外部信号が動画像の再生命令を示す信号であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５の判定において、外部信号が動画像の再生命令を示す信号である場合に、制御部１０７は、次に送信すべきフレームの画像をＴＶ２００に送信する（ステップＳ２０６）。一方、ステップＳ２０６の判定において、外部信号が動画像の再生命令を示す信号でない場合に、制御部１０７は、例えば所定時間の経過後に外部再生終了処理を行う（ステップＳ２０７）。この外部再生終了処理については後述する。ステップＳ２０６又はステップＳ２０７における処理の終了後、制御部１０７は図３のステップＳ１０１以後の処理を行う。
During the communication mode, the
また、ステップＳ２０３の判定において、外部信号が合成命令を示す信号である場合に、制御部１０７は、再生中の動画の再生を一時停止した後、撮像部１０１を起動して鑑賞者の画像をフレーム単位で取得する（ステップＳ２０８）。そして、制御部１０７は、撮像部１０１を介して得られる鑑賞者の画像における顔部を顔検出部１０２によって検出し、検出した顔画像をトリミングしてＴＶ２００の表示部２０２に再生中の動画像の枠外に合成して表示できるようにし、例えば記録部１０５に後から、必要に応じて、鑑賞者の顔画像と現在再生中の動画像とを合成して保存できるように、顔画像を仮記録させる（ステップＳ２０９）。このように、顔画像のみをトリミングすることにより、記録部１０５の記録容量を節約することが可能である。また、合成する範囲を狭い範囲に限定することで、余計な背景等までもが写ることがなく、鑑賞者の表情を見易くすることができる。この時、集音部１０４を起動させ、音声を同時に取り込んで、必要に応じて声の変化がモニタできるようにして、後述のように、音声の変化で顔を、再生中の動画像内に合成するタイミングを決めるようにしてもよい。もちろん、顔画像、音声の、どちらか一方を指定できるようにしてもよい。
In the determination in step S203, when the external signal is a signal indicating a compositing command, the
顔画像の再生画面外（または、再生中の動画像の周辺部）への合成表示処理と仮記録後、制御部１０７は、位置変更処理を行う（ステップＳ２１０）。この位置変更処理について図６、図７を参照して説明する。位置変更処理は、図６（ａ）や図６（ｂ）に示すようにして、ＴＶ２００の表示部２０２に再生表示されている動画像２０２ａの所定位置に鑑賞者の顔画像２０２ｂを合成したり、合成されている顔画像２０２ｂの位置を変更したりする処理である。この時、顔の大きさを変えられるようにしてもよい。
After the combined display process and provisional recording of the face image outside the reproduction screen (or the peripheral part of the moving image being reproduced), the
図７において、制御部１０７は、位置変更処理における処理モードが自動変更モードであるか否かを判定する（ステップＳ３０１）。
In FIG. 7, the
ステップ３０１の判定において、処理モードが自動変更モードである場合には、制御部１０７は、図５のステップＳ２０９において記録部１０５に記録した鑑賞者の顔画像から、鑑賞者の顔の表情を顔検出部１０２によって検出し、検出した顔の表情が例えば笑顔に変化したか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、鑑賞者の顔の表情が笑顔に変化した場合に、制御部１０７は、次にＴＶ２００に送信するフレームの画像におけるコントラストなし部（例えば図６（ｂ）に示すような画像中の背景部）に、撮像中の顔画像を合成する（ステップＳ３０３）。この再生中の動画像内への顔画像の合成表示のタイミング決定には、表情の変化を用いる以外に、笑い声や話し声の大小変化を利用してもよい。盛り上がった時の表情は、皆が気になるからである。顔画像の再生中の動画像内への合成時に、制御部１０７は、顔画像の合成を行ったタイミングや、その時の顔画像や、フレームの位置を示す情報を合成履歴として記録部１０５に記録しておく。この時、前述のように、笑い声や話し声などの音声を記録しておくようにしてもよい。これによって、鑑賞者がどんな反応をしたかを、後から知ることができる。このようにして、適宜、再生中の動画像に顔画像が合成されるので、変化にとんだ表示にすることができる。単調に陥りがちなアマチュアの撮影した動画であっても、時折、画面内に鑑賞者の顔画像が侵入してくるので、変化のある動画像となる。ここでは、笑顔のみ再生中の動画像内に侵入したが、つまらなそうな顔が入ってくれば、単調な画像に変化がつく、という考え方で、そうした表情を利用してもよい。
If it is determined in
また、常に、再生中の動画像に顔画像が侵入したままでは、めりはりがなくなるので、表情や音声の大きさが戻った場合、あるいは、リモコン４００での操作があった場合には、侵入していた顔画像は再生中の画面の外、または、周辺部に待避させる。デジタルカメラ１００においては、このような再生形態を実現させるために、再生中の動画像と顔画像とを合成してＴＶ２００に表示させている（ＨＤＭＩで送っている）が、この場合、合成情報（履歴）としては、合成は解除されたこととする。
In addition, when the face image always invades the moving image being played back, there is no inflection, so when the facial expression or the sound volume returns, or when there is an operation with the
また、再生中の動画像の枠外、または、周辺部に顔画像が位置している場合は、なるべく目立たなく、小さく表示した方が良いので、ＴＶ２００の表示部２０２の画面サイズに応じて、顔画像の表示大きさを変更してもよい。大きな画面のＴＶ２００であれば、画面の広い範囲を使わなくとも、顔が映っていることを確認可能である。
Also, if the face image is located outside or around the moving image frame being played, it is better to display the face image as inconspicuously as possible. The display size of the image may be changed. If the
なお、動画像の鑑賞者は複数人であることも考えられ、この場合には、必ずしも全員の表情が笑顔に変化するとは限らない。このような撮像部１０１を介して得られる鑑賞者の画像として複数の顔が存在している場合には例えば表情が笑顔に変化した顔画像のみを合成する。勿論、全員の顔画像を合成するようにしても良い。こうした切り替えを声の大小によって決定してもよい。大きな声なら全員の顔を再生画像の中に合成、小さな声なら笑顔の顔のみを再生画像の中に合成するといった具合である。また、説明の単純化のため、省略したが、鑑賞者の表情が笑顔でなくなった場合は、ステップＳ３０３での合成は解除され、顔画像は再生画像の画面外、または周辺部に待避する。また、コントラストなし部と書いたが、時間変化がない部分であってもよい。人物が被写体である場合、人物の顔を隠さない位置なら、その他の場所でもよい。
Note that there may be a plurality of viewers of the moving image, and in this case, not all the facial expressions change to smiles. When there are a plurality of faces as an image of the viewer obtained through such an
また、ステップＳ３０１の判定において、処理モードが自動変更モードでない場合、又はステップＳ３０２の判定において、鑑賞者の顔の表情が笑顔に変化していない場合に、制御部１０７は、鑑賞者によるリモコン４００の操作によって顔画像の合成位置を変更する旨を示す外部信号が入力されたか否かを判定する（ステップＳ３０４）。ステップＳ３０４の判定において、顔画像の合成位置を変更する旨を示す外部信号が入力された場合に、制御部１０７は、次にＴＶ２００に送信するフレームの画像中の鑑賞者によるリモコン４００の操作に従って指定された位置に、記録部１０５に記録した顔画像を合成する（ステップＳ３０５）。顔画像の合成後に、制御部１０７は、顔画像の合成を行ったフレームの位置を示す情報を合成履歴として記録部１０５に記録しておく。
If the processing mode is not the automatic change mode in the determination in step S301, or if the facial expression of the viewer has not changed to a smile in the determination in step S302, the
ステップＳ３０３又はステップＳ３０５の合成の後、制御部１０７は、次にＴＶ２００の送信するフレームの画像に対してインデックス情報を付与する（ステップＳ３０６）。こうした工夫によって、後から見直す時の検索の補助とすることができる。その後に、制御部１０７は、顔画像を合成したフレームの画像をＴＶ２００に送信する（ステップＳ３０７）。その後に、制御部１０７は図７の処理を終了させる。なお、顔画像の合成後に、制御部１０７は、顔画像の合成を行ったフレームの位置を示す情報を合成履歴として記録部１０５に記録しておく。
After combining in step S303 or step S305, the
このように、本実施形態では、自動又は手動で動画像中にインデックス情報を付与することにより、動画像の再生中に盛り上がったと考えられるポイントを自動又は手動で指定することができる。これにより、次回の鑑賞時において、動画像中の盛り上がったポイントの特定が容易である。また、特に、複数人で動画像を鑑賞していたときには、その当時の各鑑賞者の表情も見ることができ、より鑑賞者にとって興味の高い動画像を作成することが可能である。 As described above, according to the present embodiment, by adding index information to a moving image automatically or manually, it is possible to automatically or manually specify a point that is considered to have risen during reproduction of the moving image. This makes it easy to identify the raised points in the moving image during the next appreciation. In particular, when a plurality of people are watching a moving image, the facial expressions of each viewer at that time can be seen, and a moving image that is more interesting to the viewer can be created.
また、ステップＳ３０４の判定において、外部信号が入力されていない場合に、制御部１０７は、例えば所定時間の経過後に、次にＴＶ２００に送信するフレームの画像中のメインの表示部以外の位置（例えば図６（ａ）に示すような動画像２０２ａの外部）に、記録部１０５に記録した顔画像を合成し、顔画像を合成したフレームの画像をＴＶ２００に送信する（ステップＳ３０８）。
In the determination in step S304, if no external signal is input, the
ここで、再び図３の説明に戻る。図３のステップＳ１１０の判定において、動画像の再生先がＴＶ２００の表示部２０２である場合に、制御部１０７は、図８に示す通信モードへの移行処理を行う。即ち、制御部１０７は、通信インタフェース部１０９を介してＴＶ２００に、現在、鑑賞者によって選択されている動画像の代表画像（例えば、最初のフレームの画像やインデックス情報が付与されているフレームの画像）を送信する（ステップＳ４０１）。
Here, it returns to description of FIG. 3 again. In the determination in step S110 of FIG. 3, when the playback destination of the moving image is the
代表画像の送信後、制御部１０７は、通信インタフェース部１０９を介してＴＶ２００に、リモコン操作表示画像を送信する（ステップＳ４０２）。リモコン操作表示画像とは、図９（ａ）や図９（ｂ）に示すような、デジタルカメラ１００からの動画像をＴＶ２００の表示部２０２に表示させている際の、リモコン４００の操作を案内するための表示画像２０２ｃである。このようなリモコン操作表示画像２０２ｃを見ることにより、鑑賞者はリモコン４００のどのボタンを操作すればどのような操作を行うことができるかを理解し易い。
After transmitting the representative image, the
ここで、図９（ａ）に示すリモコン操作表示画像２０２ｃは、代表画像の送信後にＴＶ２００の表示部２０２に表示される画像である。図９（ａ）に示すリモコン操作表示画像２０２ｃがなされている際にリモコン４００の再生ボタンが押された場合には、ＴＶ２００からデジタルカメラ１００に対して再生命令を示す信号が入力される。一方、リモコン４００の撮像ボタンが押された場合には、ＴＶ２００からデジタルカメラ１００に対して合成命令を示す信号が入力される。また、図９（ｂ）に示すリモコン操作表示画像２０２ｃは、リモコン４００の撮像ボタンが押された後にＴＶ２００の表示部２０２に表示される画像である。図９（ｂ）に示すリモコン操作表示画像２０２ｃがなされている際にリモコン４００の再生ボタンが押された場合には、ＴＶ２００からデジタルカメラ１００に対して再生命令を示す信号が入力される。一方、リモコン４００の位置変更ボタンが押された場合には、表示部２０２に表示されている顔画像２０２ｂの位置が変更されるとともに、ＴＶ２００からデジタルカメラ１００に対して顔画像２０２ｂの合成位置を変更する旨を示す信号が入力される。
Here, the remote control
リモコン操作表示画像２０２ｃの送信後、制御部１０７は、デジタルカメラ１００の表示部１０３の表示をオフする（ステップＳ４０３）。表示部１０３の表示をオフした後、制御部１０７は、図１のステップＳ１０１以後の処理を行う。即ち、通信モードにおいてはデジタルカメラ１００に記録されている動画像がＴＶ２００の表示部２０２に表示されるため、鑑賞者がデジタルカメラ１００の表示部１０３を見ることはないと考えられる。したがって、省エネルギー化を図るため、表示部１０３の表示をオフする。表示部１０３の表示をオフした後、制御部１０７は、デジタルカメラ１００の動作モードを通信モードに移行させる（ステップＳ４０４）。なお、表示部１０３の表示をオフさせずに図４（ｄ）で示すような通信モード中であることを示す表示を行うようにしても良い。
After transmitting the remote control
次に、外部再生終了処理について図１０、図１１を参照して説明する。図１０において、制御部１０７は、再生が終了した動画像に対応した合成履歴が記録部１０５に記録されているか否かを判定する（ステップＳ５０１）。ステップＳ５０１の判定において、合成履歴が記録部１０５に記録されている場合に、制御部１０７は、顔画像を合成した動画像を記録部１０５に記録するか否かを鑑賞者に確認するための画面を表示させるための画像をＴＶ２００に送信する（ステップＳ５０２）。図１１はＴＶ２００の表示部２０２に表示される確認画面の一例を示した図である。図１１の例では、再生が終了した動画像の代表画像２０２ａを表示部２０２に表示させるとともに、この外部再生終了処理中における鑑賞者のリモコン４００の操作を案内するためのリモコン操作表示画像２０２ｃを表示させる。
Next, the external reproduction end process will be described with reference to FIGS. In FIG. 10, the
図１１に示すような確認画面を表示させるための画像の送信後、制御部１０７は、鑑賞者によるリモコン４００の操作により動画像の保存が指示されたか否かを判定する（ステップＳ５０３）。ステップＳ５０３の判定において、保存が指示された場合には合成履歴に従って動画像中において合成を行ったフレームを特定し、特定したフレームの画像に、記録部１０５に記録しておいた顔画像を合成して記録部１０５に記録する（ステップＳ５０４）。顔画像を合成した動画像を再記録することにより、例えば皆で動画像を鑑賞したときの様子を他のメンバーも後から追体験することができる。例えば、運動会の様子等をデジタルカメラ１００によって撮影した場合に、この運動会の様子を記録した動画像を、まず、親子で鑑賞し、そのときの動画像を祖父母に送る等すれば、祖父母はあたかも親子の団欒に参加したかのような体験を味わうことができる。前述のように、再生中の動画像内に顔画像の侵入の処理がない場合、顔画像が再生中の動画像の画面外にあったり、図６（ａ）のように周辺部にある場合は、合成履歴はないとする。図６（ｂ）のような顔画像侵入シーンのみが合成履歴の対象となる。この場合、顔の大きさをリモコン４００で変更できるようにしてもよい。また、顔をそのまま表示すると、自分の顔が見られるのが嫌な人もいるので、アバターなど他の顔画像を代用して表示するようにしてもよい。
After transmitting the image for displaying the confirmation screen as shown in FIG. 11, the
このように、本実施形態においては、顔画像の合成履歴が記録されていく形であるので、記録された顔画像を別の画像に置換えるのも簡単にできる。 As described above, in the present embodiment, since the face image synthesis history is recorded, it is possible to easily replace the recorded face image with another image.
ステップＳ５０１において合成履歴が記録部１０５に記録されていない場合、ステップＳ５０３において動画像の保存が指示されていない場合、又はステップＳ５０４の後、制御部１０７は、鑑賞者によるリモコン４００の操作により通信モード時の動画像の再生の終了が指示されたか否かを判定する（ステップＳ５０５）。ステップＳ５０５の判定において、通信モード時の動画像の再生の終了が指示された場合に、制御部１０７は、デジタルカメラ１００の動作モードを再生モードに変更する（ステップＳ５０６）。その後、ステップＳ１０１以後の処理を行う。一方、ステップＳ５０５の判定において、通信モード時の動画像の再生の終了が指示されていない場合に、制御部１０７は、鑑賞者によるリモコン４００の操作によりリプレイが指示されたか否かを判定する（ステップＳ５０７）。ステップＳ５０７の判定において、リプレイが指示されていない場合に、制御部１０７は、ステップＳ５０５以後の処理を行う。また、ステップＳ５０７の判定において、リプレイが指示された場合に、制御部１０７は、図５のステップＳ２０１以後の処理を実行する。
If the composite history is not recorded in the
以上説明したように、本実施形態によれば、デジタルカメラ１００の記録部１０５に記録された動画像をＴＶ２００の表示部２０２に再生している際に、この動画像を鑑賞している鑑賞者の顔画像も合わせて再生することができる。これにより、動画像の鑑賞者が興味を持ち易い動画像を得ることができる。また、鑑賞者の顔の表情が笑顔になって顔画像の合成がなされたフレームや、鑑賞者によって顔画像の合成位置が指定されたフレームに対してインデックス情報を付与することで、後の検索において動画像中の重要シーンを特定することも可能である。
As described above, according to the present embodiment, when a moving image recorded in the
さらに、ＴＶ２００において再生する動画像はデジタルカメラ１００で選択された動画像のみとすることにより、デジタルカメラ１００に記録されているプライベートな動画像がＴＶ２００の表示部２０２で不意に大画面表示されることがない。
Furthermore, the moving image to be played back on the
ここで、上述した実施形態においては、ＴＶ２００の表示部２０２に再生している動画像に鑑賞者の顔画像を合成している。これに対し、本実施形態はデジタルカメラ１００の表示部１０３に再生している動画像に鑑賞者の顔画像を合成するような場合にも適用可能である。また、ＴＶ２００に鑑賞者の顔画像を撮像するための撮像部を持たせるようにしても良い。
Here, in the above-described embodiment, the viewer's face image is combined with the moving image reproduced on the
また、上述した実施形態では顔画像を動画像のフレーム単位で合成するようにしているので、顔画像の合成位置をフレーム毎にずらすようにすれば顔画像をアニメーションさせる等することも可能である。 In the above-described embodiment, since the face image is synthesized in units of frames of the moving image, it is possible to animate the face image by shifting the synthesis position of the face image for each frame. .
さらに、上述した実施形態ではデジタルカメラ１００に記録されている動画像に顔画像を合成してＴＶ２００で再生するようにしているが、これに限らず本実施形態の手法は動画撮影機能を有する各種の携帯機器に対して適用可能である。
Furthermore, in the above-described embodiment, the face image is synthesized with the moving image recorded in the
また、ここでは動画像に変化をつける前提で説明を行ったが、ＴＶ２００に静止画を表示しながら、再生中に得られた顔画像、または、顔画像情報に基づくアバターなどの画像を合成していくような用途にも利用可能であることは言うまでもない。これによって、沢山の静止画を見る場合に、どの画像に人気があったかなどを、その場で、または、他の人が知ることができる。
Although the description has been made on the assumption that the moving image is changed here, a face image obtained during playback or an image such as an avatar based on the face image information is synthesized while displaying a still image on the
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１００…デジタルカメラ、１０１…撮像部、１０２…顔検出部、１０３…表示部、１０４…集音部、１０５…記録部、１０６…時計部、１０７…制御部、１０８…操作部、１０９…通信インタフェース部、２００…テレビジョン受像機（ＴＶ）、２００…ＴＶ、２０１…放送受信部、２０２…表示部、２０３…ネットワーク通信部、２０４…情報重畳部、２０５…制御部、２０６…リモコン信号受信部、２０７…通信インタフェース部、３００…通信ケーブル、４００…リモートコントローラ（リモコン）
DESCRIPTION OF
Claims (11)
上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、
上記顔検出部によって検出された顔画像をトリミングするトリミング部と、
上記撮像部で取得された動画像を記録する記録部と、
表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、
上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部と
を具備し、
上記撮像部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、
上記顔検出部によって検出された顔画像の表情の変化のタイミングで上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させることを特徴とするデジタルカメラ。 An imaging unit for acquiring a moving image;
A face detection unit for detecting a face image in a moving image obtained by the imaging unit;
A trimming unit for trimming the face image detected by the face detection unit;
A recording unit for recording a moving image acquired by the imaging unit;
A communication interface unit for transmitting the moving image recorded in the recording unit to an external device having a display unit;
A synthesizing unit that synthesizes the trimmed face image with the moving image transmitted to the external device in order to synthesize and display the trimmed face image on the moving image being reproduced on the display unit of the external device; And
The imaging unit is activated at the timing of receiving a signal indicating a face image synthesis command from the external device,
A digital camera characterized in that the trimmed face image is synthesized and displayed on a moving image transmitted to the external device at a timing of a change in facial expression detected by the face detection unit .
上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、The imaging unit is activated at a timing at which a signal indicating a facial image synthesis command is received from the external device, and a second moving image different from the first moving image transmitted to the external device is acquired.
上記取得した第２の動画像中の顔画像を検出し、Detecting a face image in the acquired second moving image;
上記検出された顔画像をトリミングし、Trim the detected face image,
上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された顔画像の表情の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、In order to synthesize and display the trimmed face image on the first moving image being reproduced on the display unit of the external device, the first transmitted to the external device at the timing of the change in facial expression of the detected face image Compositing the trimmed face image to the moving image,
上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とするデジタルカメラの合成画像表示方法。A composite image display method for a digital camera, wherein the trimmed face image is combined and displayed on the first moving image transmitted to the external device.
上記撮像部で得られた動画像中の顔画像を検出する顔検出部と、A face detection unit for detecting a face image in a moving image obtained by the imaging unit;
上記顔検出部によって検出された顔画像をトリミングするトリミング部と、A trimming unit for trimming the face image detected by the face detection unit;
上記撮像部で取得された動画像を記録する記録部と、A recording unit for recording a moving image acquired by the imaging unit;
表示部を有する外部装置へ上記記録部に記録された動画像を送信するための通信インタフェース部と、A communication interface unit for transmitting the moving image recorded in the recording unit to an external device having a display unit;
上記外部装置の表示部において再生中の動画像に上記トリミングされた顔画像を合成表示させるために、当該外部装置へ送信された動画像に当該トリミングされた顔画像を合成する合成部と、A synthesizing unit that synthesizes the trimmed face image with the moving image transmitted to the external device in order to synthesize and display the trimmed face image on the moving image being reproduced on the display unit of the external device;
集音部と、The sound collection section;
を具備し、Comprising
上記撮像部及び上記集音部は上記外部装置から顔画像の合成命令を示す信号を受信したタイミングで起動され、The image pickup unit and the sound collection unit are activated at the timing of receiving a signal indicating a face image synthesis command from the external device,
上記外部装置へ送信された動画像に上記トリミングされた顔画像を合成表示させるタイミングは、上記集音部によって検出された音の変化に基づくタイミングであることを特徴とするデジタルカメラ。The digital camera characterized in that the timing for synthesizing and displaying the trimmed face image on the moving image transmitted to the external device is a timing based on a change in sound detected by the sound collecting unit.
外部装置から顔画像の合成命令を示す信号を受信したタイミングで撮像部を起動して、上記外部装置へ送信した上記第１の動画像とは異なる第２の動画像を取得し、The imaging unit is activated at a timing when a signal indicating a face image synthesis command is received from an external device, and a second moving image different from the first moving image transmitted to the external device is acquired.
上記取得した第２の動画像中の顔画像を検出し、Detecting a face image in the acquired second moving image;
上記検出された顔画像をトリミングし、Trim the detected face image,
上記第２の動画像の取得と同時に周囲の音を集音し、Simultaneously with the acquisition of the second moving image, the surrounding sounds are collected,
上記外部装置の表示部において再生中の第１の動画像に上記トリミングした顔画像を合成表示させるために、上記検出された音の大小の変化のタイミングで当該外部装置へ送信した第１の動画像に当該トリミングした顔画像を合成し、The first moving image transmitted to the external device at the timing of the detected change in magnitude in order to synthesize and display the trimmed face image on the first moving image being reproduced on the display unit of the external device Combine the trimmed face image with the image,
上記外部装置へ送信した第１の動画像に上記トリミングした顔画像を合成表示させることを特徴とするデジタルカメラの合成画像表示方法。A composite image display method for a digital camera, wherein the trimmed face image is combined and displayed on the first moving image transmitted to the external device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009158881A JP5457092B2 (en) | 2009-07-03 | 2009-07-03 | Digital camera and composite image display method of digital camera |
| CN201610186833.0A CN105721752B (en) | 2009-07-03 | 2010-07-02 | Photographic device and image capture method |
| CN201010222803.3A CN101945216B (en) | 2009-07-03 | 2010-07-02 | Camera head and moving image reproduction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009158881A JP5457092B2 (en) | 2009-07-03 | 2009-07-03 | Digital camera and composite image display method of digital camera |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014002743A Division JP5774731B2 (en) | 2014-01-09 | 2014-01-09 | Digital camera and composite image display method of digital camera |
| JP2014002744A Division JP5654148B2 (en) | 2014-01-09 | 2014-01-09 | Digital camera and composite image display method of digital camera |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011015279A JP2011015279A (en) | 2011-01-20 |
| JP2011015279A5 JP2011015279A5 (en) | 2012-08-16 |
| JP5457092B2 true JP5457092B2 (en) | 2014-04-02 |
Family
ID=43436958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009158881A Expired - Fee Related JP5457092B2 (en) | 2009-07-03 | 2009-07-03 | Digital camera and composite image display method of digital camera |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5457092B2 (en) |
| CN (2) | CN105721752B (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6119534B2 (en) * | 2013-09-30 | 2017-04-26 | 株式会社Ｊｖｃケンウッド | Imaging display apparatus and control method |
| CN104637078B (en) * | 2013-11-14 | 2017-12-15 | 腾讯科技（深圳）有限公司 | A kind of image processing method and device |
| JP6289107B2 (en) * | 2014-01-14 | 2018-03-07 | キヤノン株式会社 | Image reproduction apparatus, control method thereof, and control program |
| CN104869283B (en) * | 2015-05-11 | 2018-12-14 | 联想(北京)有限公司 | A kind of image pickup method and electronic equipment |
| JP2017038344A (en) * | 2015-08-13 | 2017-02-16 | 辰巳電子工業株式会社 | Game imaging apparatus and image processing method |
| JP2017046162A (en) * | 2015-08-26 | 2017-03-02 | 隆正 光信 | Synthetic moving image creation system, synthetic moving image creation support system and synthetic moving image creation program |
| CN106341608A (en) * | 2016-10-28 | 2017-01-18 | 维沃移动通信有限公司 | Emotion based shooting method and mobile terminal |
| JP6520975B2 (en) * | 2017-03-16 | 2019-05-29 | カシオ計算機株式会社 | Moving image processing apparatus, moving image processing method and program |
| JP7005340B2 (en) * | 2017-12-27 | 2022-01-21 | キヤノン株式会社 | Electronics |
| JP7281951B2 (en) * | 2019-04-22 | 2023-05-26 | シャープ株式会社 | ELECTRONIC DEVICE, CONTROL DEVICE, CONTROL PROGRAM AND CONTROL METHOD |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2999501B2 (en) * | 1990-02-26 | 2000-01-17 | パイオニア株式会社 | Recording medium playing device |
| JPH04183183A (en) * | 1990-11-19 | 1992-06-30 | Ee D S:Kk | Image signal processor |
| ITRM920546A1 (en) * | 1992-07-17 | 1994-01-17 | Giorgio Belmonte | MULTIFUNCTIONAL SYSTEM FOR EXTEMPORARY SHOOTING AND VIDEO RECORDING, OVERLAYED WITH MUSIC BACKING TRACKS AND VIDEO IMAGES |
| CN1156377A (en) * | 1995-12-27 | 1997-08-06 | 娱乐消遣技术株式会社 | Karaoke system |
| DE69908005T2 (en) * | 1998-03-16 | 2004-04-01 | Sanyo Electric Co., Ltd., Moriguchi | Digital camera with the possibility of image processing |
| JP2000069348A (en) * | 1998-08-20 | 2000-03-03 | Canon Inc | Image pickup device |
| JP2000312336A (en) * | 1999-04-27 | 2000-11-07 | Koji Nakamura | Video television device |
| JP2004501576A (en) * | 2000-06-20 | 2004-01-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Karaoke system |
| EP1679885A1 (en) * | 2003-08-11 | 2006-07-12 | Matsushita Electric Industrial Co., Ltd. | Photographing system and photographing method |
| JP2006287749A (en) * | 2005-04-01 | 2006-10-19 | Canon Inc | Imaging apparatus and control method thereof |
| JP4431547B2 (en) * | 2006-04-14 | 2010-03-17 | 富士フイルム株式会社 | Image display control device, control method therefor, and control program therefor |
| CN201042038Y (en) * | 2006-09-08 | 2008-03-26 | 郭鹏飞 | A video advertisement display screen for receiver playing real time roles |
| JP4596280B2 (en) * | 2007-12-14 | 2010-12-08 | ソニー株式会社 | Video output device and method for forcibly displaying menu screen of video output device |
| CN101472063A (en) * | 2007-12-28 | 2009-07-01 | 希姆通信息技术（上海）有限公司 | Method for capturing smiling face by mobile phone camera |
-
2009
- 2009-07-03 JP JP2009158881A patent/JP5457092B2/en not_active Expired - Fee Related
-
2010
- 2010-07-02 CN CN201610186833.0A patent/CN105721752B/en not_active Expired - Fee Related
- 2010-07-02 CN CN201010222803.3A patent/CN101945216B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101945216A (en) | 2011-01-12 |
| CN101945216B (en) | 2016-04-13 |
| CN105721752A (en) | 2016-06-29 |
| CN105721752B (en) | 2019-04-05 |
| JP2011015279A (en) | 2011-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5457092B2 (en) | Digital camera and composite image display method of digital camera | |
| KR101000605B1 (en) | Image pickup apparatus, image recording apparatus and image recording method | |
| JP6267961B2 (en) | Image providing method and transmitting apparatus | |
| KR101905648B1 (en) | Apparatus and method for shooting a moving picture of camera device | |
| JP2010074323A (en) | Recording apparatus and method, and recording and playback apparatus and method | |
| JP6319491B2 (en) | Imaging apparatus and control method | |
| JP6583458B2 (en) | Imaging apparatus and control method | |
| JP2013118518A (en) | Imaging apparatus | |
| JP2007226606A (en) | Imaging apparatus, image output method, reproduction apparatus, program, and storage medium | |
| JP5963921B2 (en) | Digital camera and composite image display method of camera | |
| JP5654148B2 (en) | Digital camera and composite image display method of digital camera | |
| JP5774731B2 (en) | Digital camera and composite image display method of digital camera | |
| JP2009100316A (en) | Photography equipment | |
| JP6119447B2 (en) | Imaging system and control method | |
| JP6583457B2 (en) | Imaging apparatus and control method | |
| JP5024331B2 (en) | Video camera and information transmission method | |
| JP5657223B2 (en) | Imaging apparatus, image reproduction system, and image reproduction method | |
| JP2008199662A (en) | Imaging apparatus, image recorder and image recording method | |
| JP6332963B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP4465655B2 (en) | Video camera and information transmission method | |
| JP4790670B2 (en) | Image display system and image display method | |
| JP2000278570A (en) | Image pickup device and image transmission method | |
| JP2010259099A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120703 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5457092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |