JP5304080B2

JP5304080B2 - Image reproduction apparatus and image reproduction program

Info

Publication number: JP5304080B2
Application number: JP2008196708A
Authority: JP
Inventors: 則一横沼
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-07-30
Filing date: 2008-07-30
Publication date: 2013-10-02
Anticipated expiration: 2028-07-30
Also published as: JP2010035007A

Abstract

<P>PROBLEM TO BE SOLVED: To provide a means of reproducing an image with good appearance when a moving image having a high frame rate is reproduced at a low frame rate. <P>SOLUTION: An image reproducing device includes a data read-in unit, an image composition unit, and a moving image output unit. The data read-in unit obtains data of a first moving image stored in a storage medium. The image composition unit weights and sums up a plurality of source images selected from frames of the first moving image to generate a composite image of one frame. The moving image output unit reproduces a plurality of composite images one after another in sequence along the time series of the first moving image, and outputs data of a second moving image having a lower frame rate than the first moving image. The image composition unit sets a weighting value of the latest frame in the time series of the first moving image among source images, used to generate the composite image of one frame, larger than a weighting value of the oldest frame in the time series of the first moving image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、高フレームレートの動画像の再生に適した画像再生装置とその周辺技術に関する。 The present invention relates to an image reproducing apparatus suitable for reproducing a high frame rate moving image and its peripheral technology.

従来から、１秒当たり３０フレームを超える速度で被写体を連続的に撮影できる高速カメラが知られている。一方、一般的なテレビのフレームレートは約３０ｆｐｓであるので、上記の高速カメラで撮影された動画像を撮影速度と同じ速度で再生する場合には、動画像のフレーム数を表示装置のフレームレートに合わせて間引きする必要が生じる。 Conventionally, a high-speed camera capable of continuously photographing a subject at a speed exceeding 30 frames per second is known. On the other hand, since the frame rate of a general television is about 30 fps, when a moving image shot with the above high-speed camera is played back at the same speed as the shooting speed, the number of frames of the moving image is set to the frame rate of the display device. It is necessary to thin out according to the situation.

このとき、高フレームレートの動画像の情報量を生かして高精細な動画像の再生を行う手段として、画像加算を行うことも検討されている。一例として、特許文献１には、複数のフレームを加算合成して生成された合成画像を用いて動画再生を行う技術が開示されている。
特開２００４−２２２１０９号公報 At this time, as a means for reproducing a high-definition moving image by making use of the information amount of the moving image at a high frame rate, it is also considered to perform image addition. As an example, Patent Document 1 discloses a technique for reproducing a moving image using a combined image generated by adding and combining a plurality of frames.
JP 2004-222109 A

しかし、従来の技術では、加算合成されたフレームが多重露光の場合と同様の画像になってしまう。そのため、移動する被写体の画像上での見栄えが悪くなる点で改善の余地があった。 However, in the conventional technique, the frame that has been added and synthesized is the same image as in the case of multiple exposure. Therefore, there is room for improvement in that the appearance of the moving subject on the image is deteriorated.

そこで、本発明の目的は、高フレームレートの動画像を低いフレームレートで動画再生するときに、見栄えよく画像の再生を行うことのできる手段を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide means capable of reproducing an image with good appearance when a moving image with a high frame rate is reproduced with a low frame rate.

一の態様の画像再生装置は、撮像素子により連続的に撮像された第１動画像のデータを記憶媒体から取得するデータ読込部と、前記第１動画像のフレームから選択される複数の元画像を重み付け加算して、１フレームの合成画像を生成する画像合成部と、前記第１動画像での時系列に沿って複数の前記合成画像を順送りで再生し、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第１再生モードと、前記第１動画像のフレーム数を間引きすることにより、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第２再生モードとを切り替え自在とする動画出力部と、を備え、前記画像合成部は、前記第１再生モード下で１フレームの前記合成画像の生成に用いる前記元画像のうち、前記第１動画像の時系列で最も新しいフレームとなる元画像に対する重み付け値を、前記第１動画像の時系列で最も過去のフレームとなる元画像に対する重み付け値よりも高く、且つ、前記合成画像の生成に用いる他の前記元画像に対する重み付け値よりも高く設定することを特徴とする。An image reproduction device according to one aspect includes a data reading unit that acquires data of a first moving image continuously captured by an image sensor from a storage medium, and a plurality of original images selected from the frames of the first moving image Are weighted and added, and an image composition unit for generating a composite image of one frame, and a plurality of the composite images are reproduced in a time-sequential manner along the time series of the first video, and the frame is more framed than the first video. A first playback mode for outputting data of a second moving image having a low rate, and a second moving image data having a frame rate lower than that of the first moving image by thinning out the number of frames of the first moving image. A moving image output unit capable of switching between a second reproduction mode to be output, and the image synthesis unit includes the original image used for generating the synthesized image of one frame under the first reproduction mode. First video The weighting value for the original image that becomes the newest frame in the time series is higher than the weighting value for the original image that becomes the oldest frame in the time series of the first moving image, and is used for generating the composite image Is set higher than the weighting value for the original image.

上記の一の態様の画像再生装置は、複数の元画像の間で被写体の動きベクトルを求める動きベクトル検出部をさらに備えていてもよい。そして、画像合成部は、動きベクトルに基づいて、合成画像を生成するときに元画像を重ね合わせる位置を調整してもよい。 The image reproduction apparatus according to the one aspect may further include a motion vector detection unit that obtains a motion vector of a subject between a plurality of original images. Then, the image composition unit may adjust the position where the original image is superimposed when generating the composite image based on the motion vector.

上記の一の態様の画像再生装置は、第２動画像を表示する表示デバイスおよび第２動画像のデータを外部に出力する表示インターフェースの少なくとも一方をさらに備えていてもよい。 The image reproduction device according to the one aspect may further include at least one of a display device that displays the second moving image and a display interface that outputs data of the second moving image to the outside.

なお、一の態様の画像再生装置を備える撮像装置や、あるいは一の態様の画像再生装置の構成を画像再生方法、画像再生プログラムおよびプログラム記憶媒体に変換して表現したものも本発明の具体的態様として有効である。 Note that an imaging device including the image reproduction device according to one aspect or a configuration obtained by converting the configuration of the image reproduction device according to one aspect into an image reproduction method, an image reproduction program, and a program storage medium is also specific to the present invention. It is effective as an embodiment.

一の態様によれば、重み付け加算で合成画像を生成するときに、元画像のうちで最も新しいフレームの重み付け値を、最も過去のフレームの重み付け値よりも高く設定する。これにより、自然な像流れのある合成画像が生成されて、見栄えのよい動画再生を行うことが可能となる。 According to one aspect, when the synthesized image is generated by weighted addition, the weight value of the newest frame in the original image is set higher than the weight value of the oldest frame. As a result, a composite image with a natural image flow is generated, and it is possible to reproduce a moving image with good appearance.

＜一の実施形態の説明＞
図１は一の実施形態の電子カメラの構成例を示すブロック図である。一の実施形態の電子カメラは、１２０ｆｐｓの高フレームレートで動画撮影が可能である。また、一の実施形態の電子カメラは、上記の動画撮影で取得した動画像のデータを再生するときに、複数のフレームを加算した合成画像を用いて低フレームレートでの動画再生を行うことが可能である。 <Description of One Embodiment>
FIG. 1 is a block diagram illustrating a configuration example of an electronic camera according to an embodiment. The electronic camera of one embodiment can shoot a moving image at a high frame rate of 120 fps. In addition, the electronic camera according to one embodiment can reproduce a moving image at a low frame rate by using a composite image obtained by adding a plurality of frames when reproducing moving image data acquired by the above moving image shooting. Is possible.

電子カメラは、レンズユニット１１と、第１レンズドライバ１２と、絞りドライバ１３と、シャッタドライバ１４と、第２レンズドライバ１５と、撮像素子１６と、信号処理部１７と、撮像制御部１８と、ＣＰＵ１９と、第１メモリ２０および第２メモリ２１と、表示制御部２２およびモニタ２３と、記録Ｉ／Ｆ（インターフェース）２４と、操作部２５と、閃光発光部２６とを有している。 The electronic camera includes a lens unit 11, a first lens driver 12, an aperture driver 13, a shutter driver 14, a second lens driver 15, an image sensor 16, a signal processing unit 17, an imaging control unit 18, The CPU 19 includes a first memory 20 and a second memory 21, a display control unit 22 and a monitor 23, a recording I / F (interface) 24, an operation unit 25, and a flash light emitting unit 26.

ここで、第１レンズドライバ１２、絞りドライバ１３、シャッタドライバ１４、第２レンズドライバ１５、信号処理部１７、撮像制御部１８、表示制御部２２、記録Ｉ／Ｆ２４、操作部２５および閃光発光部２６は、それぞれＣＰＵ１９と接続されている。また、ＣＰＵ１９、第１メモリ２０、第２メモリ２１は、バス２７を介して相互に接続されている。 Here, the first lens driver 12, the aperture driver 13, the shutter driver 14, the second lens driver 15, the signal processing unit 17, the imaging control unit 18, the display control unit 22, the recording I / F 24, the operation unit 25, and the flash light emitting unit. 26 are connected to the CPU 19, respectively. The CPU 19, the first memory 20, and the second memory 21 are connected to each other via a bus 27.

レンズユニット１１は、ズームレンズ１１ａと、フォーカシングレンズ１１ｂと、絞り１１ｃおよびシャッタ１１ｄとを内蔵している。ズームレンズ１１ａは、撮影倍率を光学的に変更するためのレンズである。このズームレンズ１１ａのレンズ位置は、第１レンズドライバ１２によって光軸方向に調整される。また、フォーカシングレンズ１１ｂは、焦点調節を行うためのレンズである。このフォーカシングレンズ１１ｂのレンズ位置は、第２レンズドライバ１５によって光軸方向に調整される。 The lens unit 11 includes a zoom lens 11a, a focusing lens 11b, a diaphragm 11c, and a shutter 11d. The zoom lens 11a is a lens for optically changing the photographing magnification. The lens position of the zoom lens 11a is adjusted by the first lens driver 12 in the optical axis direction. The focusing lens 11b is a lens for performing focus adjustment. The lens position of the focusing lens 11b is adjusted by the second lens driver 15 in the optical axis direction.

また、レンズユニット１１の絞り１１ｃは、撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１１ｃの開口量は、絞りドライバ１３によって制御される。シャッタ１１ｄは、撮像素子１６への光を遮光して撮像時のシャッタスピードを調節する。このシャッタ１１ｄの動作はシャッタドライバ１４によって制御される。なお、上記の各ドライバ（１２〜１５）は、ＣＰＵ１９の指示に応じて駆動する。 The diaphragm 11 c of the lens unit 11 adjusts the amount of light per unit time incident on the image sensor 16. The opening amount of the diaphragm 11 c is controlled by the diaphragm driver 13. The shutter 11d blocks light to the image sensor 16 and adjusts the shutter speed at the time of imaging. The operation of the shutter 11d is controlled by the shutter driver 14. Each of the drivers (12 to 15) is driven in accordance with an instruction from the CPU 19.

撮像素子１６は、レンズユニット１１を通過した光束によって結像される被写体像を撮像してアナログの画像信号を生成する。この撮像素子１６の出力は信号処理部１７に接続されている。なお、一の実施形態での撮像素子１６は、静止画像の単写撮影および動画像の撮影がいずれも可能である。 The image sensor 16 captures a subject image formed by the light flux that has passed through the lens unit 11 and generates an analog image signal. The output of the image sensor 16 is connected to the signal processing unit 17. Note that the imaging element 16 in one embodiment can perform both single-shot shooting of a still image and shooting of a moving image.

信号処理部１７は、撮像素子１６の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。この信号処理部１７では、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換が行われる。なお、信号処理部１７から出力されたデジタルの画像信号はＣＰＵ１９に入力される。 The signal processing unit 17 is an analog front-end circuit that performs analog signal processing on the output of the image sensor 16. The signal processing unit 17 performs correlated double sampling, image signal gain adjustment, and image signal A / D conversion. The digital image signal output from the signal processing unit 17 is input to the CPU 19.

撮像制御部１８は、ＣＰＵ１９の指示に基づいて、撮像素子１６および信号処理部１７に対して制御パルスを供給する。なお、撮像素子１６の電荷蓄積時間や信号読みだしのタイミングは、撮像制御部１８の制御パルスによって調整されることとなる。 The imaging control unit 18 supplies control pulses to the imaging element 16 and the signal processing unit 17 based on instructions from the CPU 19. Note that the charge accumulation time of the image pickup device 16 and the signal reading timing are adjusted by the control pulse of the image pickup control unit 18.

ＣＰＵ１９は、シーケンスプログラムに従って電子カメラの撮像動作や再生動作を統括的に制御するとともに、各種の画像処理を行うプロセッサである。一例として、ＣＰＵ１９は、撮像待機時に所定間隔毎に撮像される観測用画像（スルー画像）のデータを用いて、撮影時のＡＦ演算およびＡＥ演算を実行する。 The CPU 19 is a processor that performs overall control of the imaging operation and playback operation of the electronic camera according to the sequence program and performs various image processing. As an example, the CPU 19 performs AF calculation and AE calculation at the time of shooting using data of observation images (through images) that are captured at predetermined intervals during imaging standby.

また、ＣＰＵ１９は、撮像素子１６によって撮像された画像のデータに対して、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理を実行する。さらに、ＣＰＵ１９は、モニタ２３に画像を表示するときに、表示用の画像のデータに対してモニタ２３の画素数に合わせるための解像度変換処理を実行する。 Further, the CPU 19 executes image processing such as color interpolation processing, gradation conversion processing, contour enhancement processing, and white balance adjustment on the data of the image captured by the image sensor 16. Furthermore, when displaying an image on the monitor 23, the CPU 19 executes a resolution conversion process for matching the display image data with the number of pixels of the monitor 23.

また、一の実施形態でのＣＰＵ１９は、動画像の再生のときに各種の画像処理を行う動画再生部２８を内蔵している。なお、動画再生部２８の機能および構成については後述する。 Further, the CPU 19 in one embodiment has a built-in moving image reproduction unit 28 that performs various image processing when reproducing a moving image. The function and configuration of the moving image playback unit 28 will be described later.

第１メモリ２０は、揮発性の記憶媒体（例えばＳＤＲＡＭなど）で構成される。この第１メモリ２０は、ＣＰＵ１９による画像処理の前工程や後工程で画像のデータなどを一時的に記憶する。また、第１メモリ２０には、動画再生部２８の演算処理で用いるデータ（後述のカウンタなど）も記憶される。 The first memory 20 is configured by a volatile storage medium (for example, SDRAM). The first memory 20 temporarily stores image data and the like in the pre-process and post-process of image processing by the CPU 19. The first memory 20 also stores data (such as a counter described later) used in the calculation process of the moving image playback unit 28.

第２メモリ２１は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２１には、各々の動作モードに対応するシーケンスプログラムや、記録用の画像のデータなどが記憶される。なお、動画撮影モードおよび動画再生モードでの動作例についてはそれぞれ後述する。 The second memory 21 is composed of a nonvolatile storage medium such as a flash memory. The second memory 21 stores a sequence program corresponding to each operation mode, recording image data, and the like. Note that examples of operations in the moving image shooting mode and the moving image reproduction mode will be described later.

表示制御部２２は、ＣＰＵ１９の指示に応じて、各種の表示用画像をモニタ２３に表示させる。これにより、モニタ２３には、上記のスルー画像による撮影画面の動画表示や、後述の記憶媒体２９に記憶されている画像の再生表示が行われる。また、表示制御部２２は、ＣＰＵ１９の指示に応じて、各種の設定変更の入力を受け付けるメニュー画面をモニタ２３に表示させることもできる。なお、一の実施形態でのモニタ２３は、例えば、カメラ筐体の背面などに設けられる液晶表示パネルで構成される。 The display control unit 22 displays various display images on the monitor 23 in accordance with instructions from the CPU 19. As a result, the moving image display of the shooting screen by the above-described through image and the reproduction display of the image stored in the storage medium 29 described later are performed on the monitor 23. The display control unit 22 can also display a menu screen on the monitor 23 that accepts various setting change inputs in accordance with instructions from the CPU 19. In addition, the monitor 23 in one embodiment is configured by, for example, a liquid crystal display panel provided on the back surface of the camera housing.

また、表示制御部２２は、テレビ等の表示デバイス（不図示）との接続端子２２ａを有している。そのため、表示制御部２２は、接続端子２２ａを介して外付けの表示デバイスに画像のデータを再生出力することもできる。 The display control unit 22 has a connection terminal 22a for a display device (not shown) such as a television. Therefore, the display control unit 22 can also reproduce and output image data to an external display device via the connection terminal 22a.

記録Ｉ／Ｆ２４は、不揮発性の記憶媒体２９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、ハードディスク、光ディスク、光磁気ディスク、あるいは半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２９の一例としてメモリカードを図示する。 The recording I / F 24 executes writing / reading of image data with respect to the nonvolatile storage medium 29. The storage medium 29 includes a hard disk, an optical disk, a magneto-optical disk, or a memory card incorporating a semiconductor memory. In FIG. 1, a memory card is illustrated as an example of the storage medium 29.

操作部２５は、ユーザーからの操作を受け付ける複数のスイッチを有している。具体的には、一の実施形態の操作部２５には、レリーズ釦２５ａ、十字キー２５ｂ、決定釦２５ｃ、再生釦２５ｄなどが含まれる。レリーズ釦２５ａは、例えば、記録用の画像の撮像タイミングの指示に用いられる。また、十字キー２５ｂおよび決定釦２５ｃは、例えば、上記のメニュー画面での各種入力に用いられる。さらに、一の実施形態において、再生釦２５ｄは、動画像のデータの順送り再生の開始指示を受け付ける。 The operation unit 25 has a plurality of switches that accept operations from the user. Specifically, the operation unit 25 of one embodiment includes a release button 25a, a cross key 25b, an enter button 25c, a playback button 25d, and the like. The release button 25a is used for, for example, instructing an imaging timing of a recording image. The cross key 25b and the enter button 25c are used for various inputs on the menu screen, for example. Furthermore, in one embodiment, the playback button 25d accepts an instruction to start sequential playback of moving image data.

閃光発光部２６は、ＣＰＵ１９の指示に応じて撮影時に被写体へ閃光を照射する。例えば、閃光発光部２６は、キセノン発光管、メインコンデンサ、発光制御回路などで構成される。 The flash light emitting unit 26 irradiates the subject with flash light according to an instruction from the CPU 19. For example, the flash light emitting unit 26 includes a xenon arc tube, a main capacitor, a light emission control circuit, and the like.

次に、動画再生部２８について説明する。動画再生部２８は、例えば１２０ｆｐｓの動画像のデータを再生するときに、モニタ２３や表示デバイスの表示速度に合わせて動画像のフレームレートを調整する役目を果たす。 Next, the moving image playback unit 28 will be described. For example, when reproducing moving image data of 120 fps, the moving image reproducing unit 28 serves to adjust the frame rate of the moving image in accordance with the display speed of the monitor 23 or the display device.

図２は、一の実施形態における動画再生部２８の構成例を示すブロック図である。動画再生部２８は、第１セレクタ１０１と、動きベクトル検出部１０２と、第２セレクタ１０３と、４つの重み付け処理部（１１１〜１１４）と、４つの画像シフト部（１２１〜１２４）と、加算合成部１３１と、画像間引き部１４１と、第３セレクタ１５１とを有している。なお、動画再生部２８の各部の動作は、ＣＰＵ１９によって制御される。 FIG. 2 is a block diagram illustrating a configuration example of the moving image playback unit 28 according to one embodiment. The moving image reproduction unit 28 includes a first selector 101, a motion vector detection unit 102, a second selector 103, four weighting processing units (111 to 114), four image shift units (121 to 124), an addition A combining unit 131, an image thinning unit 141, and a third selector 151 are included. Note that the operation of each unit of the moving image playback unit 28 is controlled by the CPU 19.

第１セレクタ１０１は１入力２出力のセレクタである。一の実施形態において、第１セレクタ１０１の入力端子（Ｆ＿ＩＮ）には、再生対象となる１２０ｆｐｓの動画像のデータが入力される。第１セレクタ１０１の一方の出力端子（Ｆ＿ＯＵＴ１）は、動きベクトル検出部１０２に接続されている。また、第１セレクタ１０１の他方の出力端子（Ｆ＿ＯＵＴ２）は、画像間引き部１４１に接続されている。 The first selector 101 is a 1-input 2-output selector. In one embodiment, 120 fps moving image data to be reproduced is input to the input terminal (F_IN) of the first selector 101. One output terminal (F_OUT1) of the first selector 101 is connected to the motion vector detection unit 102. The other output terminal (F_OUT2) of the first selector 101 is connected to the image thinning unit 141.

動きベクトル検出部１０２は、動画像の各フレーム間で被写体の動きベクトルを求めるとともに、上記の動きベクトルに基づいて手ブレによる画像のシフト量（画像のシフトの方向および大きさ）を演算する。 The motion vector detection unit 102 obtains the motion vector of the subject between the frames of the moving image, and calculates the image shift amount (image shift direction and size) due to camera shake based on the motion vector.

ここで、動画像の各フレームのデータは、動きベクトル検出部１０２をパイプライン式に通過して第２セレクタ１０３の入力端子（Ｓ＿ＩＮ）に入力される。また、動きベクトル検出部１０２は、４つの画像シフト部（１２１〜１２４）にそれぞれ接続される信号線ＳＬを有している。これにより、各々の画像シフト部には、入力されるフレームに対応したシフト量の情報がそれぞれ信号線ＳＬを介して入力される。 Here, the data of each frame of the moving image passes through the motion vector detection unit 102 in a pipeline manner and is input to the input terminal (S_IN) of the second selector 103. The motion vector detection unit 102 has signal lines SL connected to the four image shift units (121 to 124), respectively. As a result, information on the shift amount corresponding to the input frame is input to each image shift unit via the signal line SL.

第２セレクタ１０３は１入力４出力のセレクタである。第２セレクタ１０３の各出力端子（Ｓ＿ＯＵＴ１からＳ＿ＯＵＴ４）は、それぞれ異なる重み付け処理部（１１１〜１１４）と接続されている。また、各々の重み付け処理部の出力は、それぞれが異なる画像シフト部と直列に接続されている。したがって、第２セレクタ１０３の後段には、４組の重み付け処理部および画像シフト部がそれぞれ並列に接続されることとなる。そして、４つの画像シフト部（１２１〜１２４）の出力はいずれも加算合成部１３１に入力される。なお、以下の説明において、出力端子Ｓ＿ＯＵＴｎ（ｎは１から４までの整数）の後段に接続された重み付け処理部および画像シフト部を指すときは、ｎ番目の重み付け処理部（符号：１１ｎ）、ｎ番目の画像シフト部（符号：１２ｎ）とそれぞれ表記する。 The second selector 103 is a 1-input 4-output selector. Each output terminal (S_OUT1 to S_OUT4) of the second selector 103 is connected to a different weighting processing unit (111 to 114). In addition, the output of each weighting processing unit is connected in series with a different image shift unit. Therefore, four sets of weighting processing units and image shift units are connected in parallel to the subsequent stage of the second selector 103. The outputs of the four image shift units (121 to 124) are all input to the addition / composition unit 131. In the following description, when referring to the weighting processing unit and the image shift unit connected to the subsequent stage of the output terminal S_OUTn (n is an integer from 1 to 4), the nth weighting processing unit (symbol: 11n), The n-th image shift unit (symbol: 12n) is represented respectively.

各々の重み付け処理部は、入力されるフレームの各画素値に対して所定の重み付け係数を乗算する。ここで、４番目の重み付け処理部１１４の重み付け係数は、１番目の重み付け処理部１１１の重み付け係数よりも高い値に設定されている。また、一の実施形態では、他の３つの重み付け処理部の重み付け係数と比べて、４番目の重み付け処理部１１４の重み付け係数が最も高い値に設定されている。なお、４つの重み付け係数の総和は「１」となるように設定される。 Each weighting processing unit multiplies each pixel value of the input frame by a predetermined weighting coefficient. Here, the weighting coefficient of the fourth weighting processing unit 114 is set to a value higher than the weighting coefficient of the first weighting processing unit 111. In one embodiment, the weighting coefficient of the fourth weighting processing unit 114 is set to the highest value as compared with the weighting coefficients of the other three weighting processing units. The sum of the four weighting coefficients is set to “1”.

また、各々の画像シフト部は、動きベクトル検出部１０２から取得したシフト量の情報を用いて、画像合成時のフレームの重ね合わせ位置を調整する。 Further, each image shift unit adjusts the overlapping position of the frames at the time of image synthesis using the information on the shift amount acquired from the motion vector detection unit 102.

加算合成部１３１は、それぞれが異なる重み付け処理部および画像シフト部を通過した４つのフレームを合成して合成画像のデータを生成する。なお、加算合成部１３１から出力される合成画像のデータは、第３セレクタ１５１の一方の入力端子（Ｔ＿ＩＮ１）に入力される。 The adding and synthesizing unit 131 synthesizes four frames that have passed through different weighting processing units and image shift units, and generates synthesized image data. Note that the composite image data output from the adder / synthesizer 131 is input to one input terminal (T_IN1) of the third selector 151.

画像間引き部１４１は、動画像のフレーム数を間引きすることで動画像のフレームレートを調整する。なお、画像間引き部１４１から出力される動画像のデータは、第３セレクタ１５１の他方の入力端子（Ｔ＿ＩＮ２）に入力される。 The image thinning unit 141 adjusts the frame rate of the moving image by thinning out the number of frames of the moving image. Note that the moving image data output from the image thinning unit 141 is input to the other input terminal (T_IN2) of the third selector 151.

第３セレクタ１５１は、２入力１出力のセレクタである。この第３セレクタ１５１の出力端子（Ｔ＿ＯＵＴ）は、動画再生部２８の外部と接続されている。そして、第３セレクタ１５１は、一方の入力端子（Ｔ＿ＩＮ１：加算合成部１３１の出力）および他方の入力端子（Ｔ＿ＩＮ２：画像間引き部１４１の出力）のうちから入力先を選択的に切り替えて、上述の動作モードに対応した動画像のデータを出力端子（Ｔ＿ＯＵＴ）から出力する。 The third selector 151 is a two-input one-output selector. The output terminal (T_OUT) of the third selector 151 is connected to the outside of the moving image playback unit 28. Then, the third selector 151 selectively switches the input destination from one of the input terminals (T_IN1: output of the adder / synthesizer 131) and the other input terminal (T_IN2: output of the image thinning unit 141). The moving image data corresponding to the operation mode is output from the output terminal (T_OUT).

以下、一の実施形態の電子カメラにおける動画撮影モードおよび動画再生モードでの動作例を説明する。 Hereinafter, an operation example in the moving image shooting mode and the moving image reproduction mode in the electronic camera of one embodiment will be described.

上記の動画撮影モードでのＣＰＵ１９は、レリーズ釦２５ａの押圧操作を検出すると撮像制御部１８を介して撮像素子１６を駆動させる。そして、撮像素子１６は、１２０ｆｐｓのフレームレートで連続的に画像を撮像する。なお、一の実施形態でのＣＰＵ１９は、レリーズ釦２５ａの押圧が解除されるまで動画像の撮影を継続するものとする。 When the CPU 19 in the moving image shooting mode detects a pressing operation of the release button 25a, the CPU 19 drives the image pickup device 16 via the image pickup control unit 18. The image sensor 16 continuously captures images at a frame rate of 120 fps. Note that the CPU 19 in one embodiment continues to capture moving images until the release button 25a is released.

そして、撮像素子１６から出力された各フレームの画像信号は、それぞれ信号処理部１７およびＣＰＵ１９によって所定の画像処理が施される。その後、ＣＰＵ１９は、画像処理後の各フレームのデータをまとめて１つの動画像ファイルを生成するとともに、その動画像ファイルを記憶媒体２９に記録する。なお、簡単のため、一の実施形態での動画像ファイルは、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭｏｔｉｏｎ−ＪＰＥＧ２０００のように、動画像の時間軸方向の圧縮を行わないファイル形式で生成されるものとする。 The image signal of each frame output from the image sensor 16 is subjected to predetermined image processing by the signal processing unit 17 and the CPU 19, respectively. Thereafter, the CPU 19 collects the data of each frame after image processing to generate one moving image file, and records the moving image file in the storage medium 29. For the sake of simplicity, the moving image file in one embodiment is generated in a file format that does not compress the moving image in the time axis direction, such as Motion-JPEG or Motion-JPEG2000. .

次に、動画再生モードでの電子カメラの動作を説明する。この動画再生モードでは、記憶媒体２９に記憶されている上記の動画像ファイルが再生対象となる。 Next, the operation of the electronic camera in the moving image playback mode will be described. In the moving image reproduction mode, the moving image file stored in the storage medium 29 is a reproduction target.

ここで、一の実施形態での電子カメラは、第１動画再生モードと第２動画再生モードとの２つの動作モードを有している。ここで、第１動画再生モードでは、動画再生部２８は１２０ｆｐｓの動画像を４フレーム毎に加算して１フレーム分の合成画像を生成するとともに、この合成画像を用いて３０ｆｐｓでの動画再生を行う。また、第２動画再生モードでは、動画再生部２８は１２０ｆｐｓの動画像のフレームを間引きして、３０ｆｐｓ（または６０ｆｐｓ）での動画再生を行う。 Here, the electronic camera in one embodiment has two operation modes, a first moving image reproduction mode and a second moving image reproduction mode. Here, in the first video playback mode, the video playback unit 28 adds a 120 fps moving image every four frames to generate a composite image for one frame, and uses this composite image to play back a video at 30 fps. Do. In the second moving image playback mode, the moving image playback unit 28 thins out 120 fps moving image frames and performs moving image playback at 30 fps (or 60 fps).

さらに、上記の第１動画再生モードでは、ブレ補正処理のオン／オフを切り替えることができる。なお、第１動画再生モードでブレ補正処理がオンに設定されている場合、動画再生部２８は、フレーム間の動きベクトルに基づいて、合成画像を生成するときにフレームの重ね合わせ位置を調整する。なお、第１動画再生モードと第２動画再生モードとの切り替えやブレ補正処理のオン／オフは、例えばメニュー画面でのユーザーの操作に応じてＣＰＵ１９が切り替える。 Furthermore, in the first moving image playback mode, the shake correction process can be switched on / off. Note that when the blur correction process is set to ON in the first video playback mode, the video playback unit 28 adjusts the overlapping position of frames when generating a composite image based on a motion vector between frames. . Note that the CPU 19 switches between the first moving image reproduction mode and the second moving image reproduction mode and the on / off of the blur correction process according to a user operation on the menu screen, for example.

以下、図３、図４の流れ図を参照しつつ、動画再生モードでの電子カメラの動作を詳細に説明する。この図３、図４の処理は、再生対象の動画像ファイルが指定された状態で、動画再生の開始操作（再生釦２５ｄの押圧）をＣＰＵ１９が受け付けたときに開始される。なお、図３、図４の処理は、ＣＰＵ１９が実行する動画再生モードのプログラムによって制御される。 The operation of the electronic camera in the moving image playback mode will be described in detail below with reference to the flowcharts of FIGS. The processing in FIGS. 3 and 4 is started when the CPU 19 receives a moving image playback start operation (pressing the playback button 25d) in a state in which a moving image file to be played back is designated. 3 and 4 are controlled by a moving image playback mode program executed by the CPU 19.

ステップＳ１０１：ＣＰＵ１９は、現在のモードが第１動画再生モードに設定されているか否かを判定する。第１動画再生モードに設定されている場合（ＹＥＳ側）にはＳ１０２に移行する。一方、第２動画再生モードに設定されている場合（ＮＯ側）にはＳ１１８に移行する。 Step S101: The CPU 19 determines whether or not the current mode is set to the first moving image playback mode. When the first moving image playback mode is set (YES side), the process proceeds to S102. On the other hand, when the second moving image playback mode is set (NO side), the process proceeds to S118.

ステップＳ１０２：ＣＰＵ１９は、動画再生部２８の第１セレクタ１０１を一方の出力端子（Ｆ＿ＯＵＴ１）側に切り替える。また、ＣＰＵ１９は、動画再生部２８の第３セレクタ１５１を一方の入力端子（Ｔ＿ＩＮ１）側に切り替える。 Step S102: The CPU 19 switches the first selector 101 of the moving image reproducing unit 28 to one output terminal (F_OUT1) side. In addition, the CPU 19 switches the third selector 151 of the moving image reproducing unit 28 to one input terminal (T_IN1) side.

ステップＳ１０３：ＣＰＵ１９は、記憶媒体２９から再生対象の動画像ファイルの読み込みを開始する。 Step S103: The CPU 19 starts reading the moving image file to be reproduced from the storage medium 29.

ステップＳ１０４：ＣＰＵ１９は、合成元のフレーム数をカウントするためのカウンタの値を「１」に初期化する。なお、このカウンタの値は、「１」から「４」までの整数の範囲内で変化する。 Step S104: The CPU 19 initializes the value of the counter for counting the number of frames of the composition source to “1”. Note that the value of this counter changes within an integer range from “1” to “4”.

ステップＳ１０５：ＣＰＵ１９は、動画再生を終了させるか否かを判定する。例えば、動画像ファイルの最終フレームの再生を終了した場合や、ユーザーから動画再生の終了操作を受け付けた場合には、Ｓ１０５でのＣＰＵ１９は動画再生を終了させる判定を行う。 Step S105: The CPU 19 determines whether or not to end the moving image reproduction. For example, when the playback of the last frame of the moving image file has been completed or when a video playback end operation has been received from the user, the CPU 19 in S105 determines to end the video playback.

上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ１９は、動画像ファイルの読み込みを停止するとともに、動画再生の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０６に移行する。 When the above requirement is satisfied (YES side), the CPU 19 stops reading the moving image file and ends the moving image reproduction process. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to S106.

ステップＳ１０６：動画再生部２８の動きベクトル検出部１０２は、被写体の動きベクトルを用いて手ブレによるシフト量を演算する。一例として、Ｓ１０６での動きベクトル検出部１０２は、以下の（１）から（４）の処理によってフレーム間のシフト量を演算する。 Step S106: The motion vector detecting unit 102 of the moving image reproducing unit 28 calculates a shift amount due to camera shake using the motion vector of the subject. As an example, the motion vector detection unit 102 in S106 calculates the shift amount between frames by the following processes (1) to (4).

（１）第１に、動きベクトル検出部１０２は、以前に入力された基準フレームと今回入力された判定フレームとの間で被写体の動きベクトルを求める。ここで、一の実施形態において、動画像の時系列において判定フレームよりも１つ前のフレームが基準フレームとして選択される。 (1) First, the motion vector detection unit 102 obtains a motion vector of a subject between a previously input reference frame and a currently input determination frame. Here, in one embodiment, the frame immediately before the determination frame in the time series of moving images is selected as the reference frame.

一例として、まず、動きベクトル検出部１０２は、基準フレームを複数の分割ブロックに区画する。次に、動きベクトル検出部１０２は、基準フレームの分割ブロック毎に、判定フレームとのマッチング処理をそれぞれ行う。そして、動きベクトル検出部１０２は、基準フレーム上での分割ブロックの位置と判定フレーム上でマッチングした被写体の位置とから、各々の分割ブロックの動きベクトルを取得する（図５参照）。また、図６は、分割ブロックごとに検出した動きベクトルの例を模式的に示している。なお、一の実施形態では、簡単のため、基準フレームを３×３の９つの領域に区画している。 As an example, first, the motion vector detection unit 102 partitions the reference frame into a plurality of divided blocks. Next, the motion vector detection unit 102 performs matching processing with the determination frame for each divided block of the reference frame. Then, the motion vector detection unit 102 acquires the motion vector of each divided block from the position of the divided block on the reference frame and the position of the subject matched on the determination frame (see FIG. 5). FIG. 6 schematically shows an example of a motion vector detected for each divided block. In the embodiment, for simplicity, the reference frame is divided into nine 3 × 3 areas.

（２）第２に、動きベクトル検出部１０２は、動きベクトルの大きさに注目して、判定対象となる動きベクトルを選別する。具体的には、動きベクトル検出部１０２は、動きベクトルの大きさが手ブレで移動しうる範囲に対応する閾値よりも大きくなる場合には、その分割ブロックの動きベクトルを判定対象から除外する。例えば、図５のケースでは、画面中央の分割ブロックは判定対象から除外されることとなる。これにより、動きベクトルのうち、高速で移動している被写体の動きや、電子カメラのパンニングの動きに相当するものを判定対象から除外できる。 (2) Second, the motion vector detection unit 102 selects a motion vector to be determined by paying attention to the magnitude of the motion vector. Specifically, the motion vector detection unit 102 excludes the motion vector of the divided block from the determination target when the magnitude of the motion vector is larger than a threshold corresponding to a range in which the motion vector can move due to camera shake. For example, in the case of FIG. 5, the divided block at the center of the screen is excluded from the determination target. As a result, motion vectors corresponding to the motion of a subject moving at high speed and the panning motion of the electronic camera can be excluded from the determination targets.

（３）第３に、動きベクトル検出部１０２は、判定対象となった複数の動きベクトルを、ベクトルの方向および大きさに応じて複数のグループに分類する。なお、図６における分割ブロックの動きベクトルを、２つのグループにグループ化した例を図７に示す。 (3) Thirdly, the motion vector detection unit 102 classifies the plurality of motion vectors to be determined into a plurality of groups according to the direction and magnitude of the vector. FIG. 7 shows an example in which the motion vectors of the divided blocks in FIG. 6 are grouped into two groups.

そして、動きベクトル検出部１０２は、所属する動きベクトルの数が最も多いグループの動きベクトルを平均化して、画像のシフト量（画像のシフトの方向および大きさ）を取得する。図７の例では、斜線で強調したグループＡの数が最も多いため、動きベクトル検出部１０２は、グループＡの動きベクトルを平均化してシフト量を演算することとなる。 Then, the motion vector detection unit 102 averages the motion vectors of the group having the largest number of belonging motion vectors, and obtains the image shift amount (image shift direction and magnitude). In the example of FIG. 7, since the number of groups A emphasized by diagonal lines is the largest, the motion vector detection unit 102 calculates the shift amount by averaging the motion vectors of group A.

（４）そして、動きベクトル検出部１０２は、取得したシフト量の情報を各々の画像シフト部に出力する。 (4) Then, the motion vector detection unit 102 outputs the acquired shift amount information to each image shift unit.

なお、Ｓ１０６において、今回入力されるフレームが動画像ファイルの最初のフレームの場合や、ブレ補正処理がオフに設定されている場合には、動きベクトル検出部１０２は上記の（１）から（４）の処理を省略してＳ１０７に移行するものとする。 In S106, when the frame input this time is the first frame of the moving image file or when the blur correction process is set to OFF, the motion vector detection unit 102 performs the above (1) to (4 ) Is omitted and the process proceeds to S107.

ステップＳ１０７：ＣＰＵ１９は、カウンタ（Ｓ１０４）の値を参照して、第２セレクタ１０３の出力先を切り替える判定を行う。 Step S107: The CPU 19 refers to the value of the counter (S104) and determines to switch the output destination of the second selector 103.

具体的には、カウンタの値が「１」の場合（ＣＡＳＥ１）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を１番目の重み付け処理部１１１に切り替えてＳ１０８に移行する。また、カウンタの値が「２」の場合（ＣＡＳＥ２）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を２番目の重み付け処理部１１２に切り替えてＳ１１０に移行する。また、カウンタの値が「３」の場合（ＣＡＳＥ３）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を３番目の重み付け処理部１１３に切り替えてＳ１１２に移行する。また、カウンタの値が「４」の場合（ＣＡＳＥ４）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を４番目の重み付け処理部１１４に切り替えてＳ１１４に移行する。 Specifically, when the value of the counter is “1” (CASE 1), the CPU 19 switches the output destination of the second selector 103 to the first weighting processing unit 111 and proceeds to S108. When the counter value is “2” (CASE 2), the CPU 19 switches the output destination of the second selector 103 to the second weighting processing unit 112 and proceeds to S110. When the value of the counter is “3” (CASE 3), the CPU 19 switches the output destination of the second selector 103 to the third weighting processing unit 113 and proceeds to S112. If the value of the counter is “4” (CASE 4), the CPU 19 switches the output destination of the second selector 103 to the fourth weighting processing unit 114, and proceeds to S114.

ここで、Ｓ１０７での第２セレクタ１０３の動作によって、動きベクトル検出部１０２から出力される各フレームのデータは、動画像の時系列の並び順にしたがって１番目から４番目までの重み付け処理部に順次振り分けられる。なお、各々の重み付け処理部には、それぞれ３フレームおきに画像のデータが周期的に入力されることとなる。 Here, by the operation of the second selector 103 in S107, the data of each frame output from the motion vector detection unit 102 is sequentially applied to the first to fourth weighting processing units according to the time-series arrangement order of the moving images. Sorted. Each weighting processing unit periodically receives image data every three frames.

ステップＳ１０８：１番目の重み付け処理部１１１は、入力されたフレームの各画素値に対して重み付け係数「０．２」を乗算する。そして、重み付け処理後のフレームのデータは、１番目の画像シフト部１２１に入力される。 Step S108: The first weighting processing unit 111 multiplies each pixel value of the input frame by a weighting coefficient “0.2”. Then, the weighted frame data is input to the first image shift unit 121.

ステップＳ１０９：１番目の画像シフト部１２１は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、Ｓ１０９において、今回入力されるフレームが動画像ファイルの最初のフレームの場合や、ブレ補正処理がオフに設定されている場合には、１番目の画像シフト部１２１は上記の処理を省略するものとする。 Step S109: The first image shift unit 121 adjusts the overlapping position of images based on the shift amount information (S106) so as to cancel the positional deviation from the reference frame. In S109, when the frame input this time is the first frame of the moving image file or when the blur correction process is set to OFF, the first image shift unit 121 omits the above process. Shall.

そして、１番目の画像シフト部１２１から出力されたフレームのデータは、加算合成部１３１に入力される。その後、ＣＰＵ１９は、カウンタの値をインクリメントするとともに、Ｓ１０５に戻って上記動作を繰り返す。 The frame data output from the first image shift unit 121 is input to the addition synthesis unit 131. Thereafter, the CPU 19 increments the value of the counter and returns to S105 to repeat the above operation.

ステップＳ１１０：２番目の重み付け処理部１１２は、入力されたフレームの各画素値に対して重み付け係数「０．２」を乗算する。そして、重み付け処理後のフレームのデータは、２番目の画像シフト部１２２に入力される。 Step S110: The second weighting processing unit 112 multiplies each pixel value of the input frame by a weighting coefficient “0.2”. Then, the weighted frame data is input to the second image shift unit 122.

ステップＳ１１１：２番目の画像シフト部１２２は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、ブレ補正処理がオフに設定されている場合には、２番目の画像シフト部１２２は上記の処理を省略するものとする。 Step S111: The second image shift unit 122 adjusts the overlapping position of images based on the shift amount information (S106) so as to cancel the positional deviation from the reference frame. When the shake correction process is set to off, the second image shift unit 122 omits the above process.

そして、２番目の画像シフト部１２２から出力されたフレームのデータは、加算合成部１３１に入力される。その後、ＣＰＵ１９は、カウンタの値をインクリメントするとともに、Ｓ１０５に戻って上記動作を繰り返す。 Then, the frame data output from the second image shift unit 122 is input to the addition synthesis unit 131. Thereafter, the CPU 19 increments the value of the counter and returns to S105 to repeat the above operation.

ステップＳ１１２：３番目の重み付け処理部１１３は、入力されたフレームの各画素値に対して重み付け係数「０．２」を乗算する。そして、重み付け処理後のフレームのデータは、３番目の画像シフト部１２３に入力される。 Step S112: The third weighting processing unit 113 multiplies each pixel value of the input frame by a weighting coefficient “0.2”. Then, the weighted frame data is input to the third image shift unit 123.

ステップＳ１１３：３番目の画像シフト部１２３は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、ブレ補正処理がオフに設定されている場合には、３番目の画像シフト部１２３は上記の処理を省略するものとする。 Step S113: Based on the shift amount information (S106), the third image shift unit 123 adjusts the overlapping position of the images so as to cancel the positional deviation from the reference frame. Note that when the blur correction process is set to OFF, the third image shift unit 123 omits the above process.

そして、３番目の画像シフト部１２３から出力されたフレームのデータは、加算合成部１３１に入力される。その後、ＣＰＵ１９は、カウンタの値をインクリメントするとともに、Ｓ１０５に戻って上記動作を繰り返す。 The frame data output from the third image shift unit 123 is input to the addition synthesis unit 131. Thereafter, the CPU 19 increments the value of the counter and returns to S105 to repeat the above operation.

ステップＳ１１４：４番目の重み付け処理部１１４は、入力されたフレームの各画素値に対して重み付け係数「０．４」を乗算する。そして、重み付け処理後のフレームのデータは、４番目の画像シフト部１２４に入力される。 Step S114: The fourth weighting processing unit 114 multiplies each pixel value of the input frame by a weighting coefficient “0.4”. Then, the weighted frame data is input to the fourth image shift unit 124.

ステップＳ１１５：４番目の画像シフト部１２４は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、ブレ補正処理がオフに設定されている場合には、４番目の画像シフト部１２４は上記の処理を省略するものとする。そして、４番目の画像シフト部１２４から出力されたフレームのデータは、加算合成部１３１に入力される。 Step S115: The fourth image shift unit 124 adjusts the overlapping position of the images based on the shift amount information (S106) so as to cancel the positional deviation from the reference frame. If the blur correction process is set to off, the fourth image shift unit 124 omits the above process. The frame data output from the fourth image shift unit 124 is input to the addition / synthesis unit 131.

ステップＳ１１６：動画再生部２８の加算合成部１３１は、各々の画像シフト部（１２１〜１２４）から出力されたフレームを加算して１フレームの合成画像を生成する。なお、加算合成部１３１で生成される合成画像のデータは、第３セレクタ１５１を介して順次出力される。 Step S116: The addition / combination unit 131 of the moving image reproduction unit 28 adds the frames output from the image shift units (121 to 124) to generate a composite image of one frame. Note that the composite image data generated by the adder / synthesizer 131 is sequentially output via the third selector 151.

ステップＳ１１７：ＣＰＵ１９は、表示制御部２２を介してモニタ２３（または表示デバイス）に合成画像のデータを表示出力する。これにより、電子カメラのモニタ２３には、動画ファイルでの時系列に沿って合成画像が順送りで再生される。その後、ＣＰＵ１９は、Ｓ１０４に戻って上記動作を繰り返す。 Step S117: The CPU 19 displays and outputs the composite image data on the monitor 23 (or display device) via the display control unit 22. As a result, the composite image is reproduced in order on the monitor 23 of the electronic camera along the time series of the moving image file. Thereafter, the CPU 19 returns to S104 and repeats the above operation.

ここで、図８を参照しつつ、第１動画再生モードで再生される動画像を説明する。第１動画再生モードでは、動画像ファイルの動画像（１２０ｆｐｓ）を４フレームずつ重み付けして加算した合成画像を順次再生することで、３０ｆｐｓでの動画再生が行なわれる。この一の実施形態では、時間軸方向に連続する４フレーム分の画像を加算して合成画像を生成するため（Ｓ１１６）、各々の合成画像上では移動する被写体に像流れが発生する。そのため、上記の合成画像を動画として鑑賞すると、動きの流れが滑らかな動画となる。また、上記の合成画像は４フレームを加算合成して生成されるので、合成元のフレームに含まれるノイズの影響は小さくなる。 Here, the moving image reproduced in the first moving image reproduction mode will be described with reference to FIG. In the first moving image reproduction mode, moving image reproduction at 30 fps is performed by sequentially reproducing a combined image obtained by weighting and adding the moving image (120 fps) of the moving image file by four frames. In this embodiment, since a composite image is generated by adding images of four frames that are continuous in the time axis direction (S116), an image flow occurs in the moving subject on each composite image. Therefore, when the above synthesized image is viewed as a moving image, the moving flow becomes a smooth moving image. Further, since the above synthesized image is generated by adding and synthesizing four frames, the influence of noise included in the synthesis source frame is reduced.

また、一の実施形態では、元の動画像の時系列で最も新しいフレームの重み付け係数が最高値（０．４）に設定される一方で、他の３つのフレームの重み付け係数がそれぞれ低い値（０．２）に設定されている（Ｓ１０８、Ｓ１１０、Ｓ１１２、Ｓ１１４）。よって、一の実施形態の合成画像では、合成元の４フレームのうちで最新のフレームの被写体の像が強調されるとともに、過去の３フレーム分に対応する被写体の像は相対的に薄く表現される。そのため、各々の合成画像において、移動する被写体には残像がきれいに生成される。 In one embodiment, the weighting coefficient of the newest frame in the time series of the original moving image is set to the highest value (0.4), while the weighting coefficients of the other three frames are each set to a low value ( 0.2) (S108, S110, S112, S114). Therefore, in the synthesized image of one embodiment, the image of the subject of the latest frame among the four frames that are the composition source is emphasized, and the image of the subject corresponding to the past three frames is expressed relatively lightly. The Therefore, in each composite image, an afterimage is generated neatly on the moving subject.

さらに、図９を参照しつつ、ブレ補正処理のオン／オフによる再生画像の違いを説明する。なお、図９の例では、動画撮影時に手ブレが生じている動画像ファイルを再生することを前提とする。 Further, the difference in the reproduced image depending on the on / off of the blur correction process will be described with reference to FIG. In the example of FIG. 9, it is assumed that a moving image file in which camera shake has occurred during moving image shooting is reproduced.

手ブレのある動画像の各フレームでは、移動していない被写体（図９の家）の位置はそれぞれ相違する。そのため、手ブレのある動画像のフレームをそのまま加算すると、合成画像において移動していない被写体にもブレが生じてしまう（図９のブレ補正処理のオフの状態）。 In each frame of a moving image with camera shake, the position of a non-moving subject (house in FIG. 9) is different. For this reason, if frames of a moving image with camera shake are added as they are, blurring also occurs on a subject that has not moved in the composite image (the camera shake correction process in FIG. 9 is off).

一方、ブレ補正処理がオンに設定されている場合、動画再生部２８は、フレーム間の動きベクトルから求めた画像のシフト量に基づいて、画像の重ね合わせ位置を調整する（Ｓ１０６、Ｓ１０９、Ｓ１１１、Ｓ１１３、Ｓ１１５）。上記の場合には、移動していない被写体の像が合成画像上ですべて重なるため、見栄えのよい動画像を再生できる（図９のブレ補正処理のオンの状態）。 On the other hand, when the blur correction process is set to ON, the moving image reproduction unit 28 adjusts the image overlay position based on the image shift amount obtained from the motion vector between frames (S106, S109, S111). , S113, S115). In the above case, since the images of the subject that has not moved all overlap on the composite image, a good-looking moving image can be reproduced (in a state in which the blur correction process in FIG. 9 is on).

ステップＳ１１８：ＣＰＵ１９は、動画再生部２８の第１セレクタ１０１を他方の出力端子（Ｆ＿ＯＵＴ２）側に切り替える。また、ＣＰＵ１９は、動画再生部２８の第３セレクタ１５１を他方の入力端子（Ｔ＿ＩＮ２）側に切り替える。 Step S118: The CPU 19 switches the first selector 101 of the moving image reproducing unit 28 to the other output terminal (F_OUT2) side. Further, the CPU 19 switches the third selector 151 of the moving image reproducing unit 28 to the other input terminal (T_IN2) side.

ステップＳ１１９：ＣＰＵ１９は、記憶媒体２９から再生対象の動画像ファイルの読み込みを開始する。 Step S119: The CPU 19 starts reading a moving image file to be reproduced from the storage medium 29.

ステップＳ１２０：ＣＰＵ１９は、動画再生を終了させるか否かを判定する。なお、Ｓ１２０での判定は、上述のＳ１０５に対応するので重複説明を省略する。 Step S120: The CPU 19 determines whether or not to end the moving image reproduction. Note that the determination in S120 corresponds to the above-described S105, and thus redundant description is omitted.

上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ１９は、動画像ファイルの読み込みを停止するとともに、動画再生の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２１に移行する。 When the above requirement is satisfied (YES side), the CPU 19 stops reading the moving image file and ends the moving image reproduction process. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to S121.

ステップＳ１２１：画像間引き部１４１は、動画像のフレームを間引きして表示出力する。例えば、ＣＰＵ１９が指定する再生時のフレームレートが３０ｆｐｓのときには、画像間引き部１４１は、動画像の４フレームごとに３フレームの間引きを周期的に繰り返す。一方、ＣＰＵ１９が指定する再生時のフレームレートが６０ｆｐｓのときには、画像間引き部１４１は、動画像の２フレームごとに１フレームの間引きを周期的に繰り返す。なお、図１０に、第２動画再生モードでの３０ｆｐｓでの間引きの例を示す。 Step S121: The image thinning unit 141 thins out the frames of the moving image and displays and outputs them. For example, when the frame rate at the time of reproduction designated by the CPU 19 is 30 fps, the image thinning unit 141 periodically repeats the thinning of 3 frames for every 4 frames of the moving image. On the other hand, when the playback frame rate specified by the CPU 19 is 60 fps, the image thinning unit 141 periodically repeats one frame thinning every two frames of the moving image. FIG. 10 shows an example of thinning out at 30 fps in the second moving image playback mode.

そして、ＣＰＵ１９は、表示制御部２２を介してモニタ２３（または表示デバイス）に間引き後の画像のデータを出力する。これにより、電子カメラのモニタ２３には、動画ファイルでの時系列に沿って低フレームレートの動画像が順送りで再生される。 Then, the CPU 19 outputs the thinned image data to the monitor 23 (or display device) via the display control unit 22. As a result, a moving image with a low frame rate is reproduced in order on the monitor 23 of the electronic camera along the time series of the moving image file.

その後、ＣＰＵ１９は、Ｓ１２０に戻って上記動作を繰り返す。以上で、図３、図４の流れ図の説明を終了する。 Thereafter, the CPU 19 returns to S120 and repeats the above operation. Above, description of the flowchart of FIG. 3, FIG. 4 is complete | finished.

＜実施形態の補足事項＞
（１）上記実施形態では、動画再生部２８の構成をハードウエア的に実現する例を説明したが、これらの機能をプログラムによってソフトウエア的に実現しても勿論かまわない。また、動画再生部２８の機能をプログラムでソフトウエア的に実現する場合には、例えば、第２メモリ２１や記憶媒体２９に、図３、図４に示すフローチャートのプログラムを格納しておくことができる。 <Supplementary items of the embodiment>
(1) In the above-described embodiment, the example in which the configuration of the moving image reproducing unit 28 is realized by hardware has been described. However, these functions may of course be realized by software by a program. Further, when the function of the moving image reproducing unit 28 is realized by software as a program, for example, the programs of the flowcharts shown in FIGS. 3 and 4 may be stored in the second memory 21 or the storage medium 29. it can.

（２）本発明の画像再生装置は、電子カメラの構成に限定されることなく、動画像の表示出力機能を有するデバイス全般（動画像ファイルのビューアーなど）に広く適用できる。また、パーソナルコンピュータに画像再生プログラムを実行させることで、本発明の画像再生装置を実現してもよい。 (2) The image reproducing apparatus of the present invention is not limited to the configuration of the electronic camera, and can be widely applied to all devices having a moving image display output function (such as a moving image file viewer). Further, the image reproduction apparatus of the present invention may be realized by causing a personal computer to execute an image reproduction program.

（３）上記実施形態において、動画再生部２８の構成の一部または全部を表示制御部２２に内蔵してもよい。また、ＣＰＵ１９および動画再生部２８は、画像のデータの出力先のフレームレートに応じて第１動画再生モードと第２動画再生モードとの切り替えを行うようにしてもよい。 (3) In the above embodiment, part or all of the configuration of the moving image playback unit 28 may be built in the display control unit 22. In addition, the CPU 19 and the moving image reproduction unit 28 may switch between the first moving image reproduction mode and the second moving image reproduction mode in accordance with the frame rate of the output destination of the image data.

（４）上記実施形態の電子カメラにおいて、ＣＰＵ１９は、動画再生部２８の生成した合成画像で構成された動画像ファイルを新たに生成してもよい。 (4) In the electronic camera of the above-described embodiment, the CPU 19 may newly generate a moving image file composed of the composite image generated by the moving image playback unit 28.

（５）上記実施形態では動画像ファイルを再生対象とする例を説明したが、高速で連写撮影された複数の静止画像のデータを時系列に順送りで再生するときにも、本発明を適用することが可能である。 (5) In the above-described embodiment, an example in which a moving image file is a reproduction target has been described. However, the present invention is also applied to a case where a plurality of still image data continuously shot at high speed is reproduced in time-sequential order. Is possible.

（６）上記実施形態の構成はあくまで一例にすぎない。そのため、本発明の画像再生装置を実施するときには、上記実施形態に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。また、上記実施形態での各種のフレームレートの値や重み付け係数の組み合わせも一例にすぎず、その値を適宜調整できることはいうまでもない。 (6) The configuration of the above embodiment is merely an example. For this reason, when implementing the image reproduction apparatus of the present invention, any combination of the configuration shown in the above embodiment and the order of the processing can be taken. In addition, combinations of various frame rate values and weighting coefficients in the above embodiment are merely examples, and it goes without saying that the values can be adjusted as appropriate.

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.

一の実施形態の電子カメラの構成例を示すブロック図1 is a block diagram illustrating a configuration example of an electronic camera according to an embodiment. 一の実施形態における動画再生部の構成例を示すブロック図The block diagram which shows the structural example of the moving image reproduction part in one Embodiment. 一の実施形態における動画再生モードでの電子カメラの動作例を示す流れ図6 is a flowchart illustrating an operation example of an electronic camera in a moving image playback mode according to an embodiment. 図３の続きの流れ図Flowchart continued from FIG. 動きベクトルの演算例を示す説明図Explanatory drawing showing an example of motion vector calculation 分割ブロックごとの動きベクトルの検出例を示す図The figure which shows the example of a detection of the motion vector for every division | segmentation block 図６における動きベクトルのグループ化の例を示す模式図Schematic diagram showing an example of motion vector grouping in FIG. 第１動画再生モードで再生される動画像の例を示す図The figure which shows the example of the moving image reproduced | regenerated in 1st moving image reproduction mode ブレ補正処理のオン／オフでの再生画像の例を示す図The figure which shows the example of the reproduction | regeneration image in ON / OFF of the blurring correction process 第２動画再生モードで再生される動画像の例を示す図The figure which shows the example of the moving image reproduced | regenerated in 2nd moving image reproduction mode

Explanation of symbols

１９…ＣＰＵ、２１…第２メモリ、２２…表示制御部、２２ａ…接続端子、２３…モニタ、２４…記録Ｉ／Ｆ、２８…動画再生部、２９…記憶媒体、１０１…第１セレクタ、１０２…動きベクトル検出部、１０３…第２セレクタ、１１１，１１２，１１３，１１４…重み付け処理部、１２１，１２２，１２３，１２４…画像シフト部、１３１…加算合成部、１４１…画像間引き部、１５１…第３セレクタ
DESCRIPTION OF SYMBOLS 19 ... CPU, 21 ... 2nd memory, 22 ... Display control part, 22a ... Connection terminal, 23 ... Monitor, 24 ... Recording I / F, 28 ... Movie reproduction part, 29 ... Storage medium, 101 ... 1st selector, 102 ... motion vector detection unit, 103 ... second selector, 111, 112, 113, 114 ... weighting processing unit, 121, 122, 123, 124 ... image shift unit, 131 ... addition synthesis unit, 141 ... image thinning unit, 151 ... Third selector

Claims

A data reading unit for acquiring data of the first moving image continuously captured by the image sensor from the storage medium;
An image composition unit that generates a composite image of one frame by weight-adding a plurality of original images selected from the frames of the first moving image;
A first reproduction mode for reproducing a plurality of the synthesized images in a time-sequential manner along a time series in the first moving image, and outputting data of a second moving image having a frame rate lower than that of the first moving image; A moving picture output unit capable of switching between a second playback mode for outputting data of a second moving picture having a frame rate lower than that of the first moving picture by thinning out the number of frames of the first moving picture. ,
The image synthesizing unit includes a weighting value for an original image that is the newest frame in the time series of the first moving image among the original images used to generate the synthesized image of one frame under the first reproduction mode. The weighting value is set higher than the weighting value for the original image that is the most previous frame in the time series of the first moving image , and higher than the weighting value for the other original image used for generating the composite image, An image playback device.

The image reproduction apparatus according to claim 1,
A motion vector detection unit for obtaining a motion vector of a subject between the plurality of original images;
The image reproducing device , wherein the image synthesizing unit adjusts a position at which the original image is superimposed when the synthesized image is generated based on the motion vector .

The image reproduction apparatus according to claim 1 or 2,
An image reproducing apparatus further comprising at least one of a display device for displaying the second moving image and a display interface for outputting the data of the second moving image to the outside .

For a computer having a data reading unit and a calculation unit,
  A data reading step in which the data reading unit acquires data of the first moving image continuously captured by the image sensor from a storage medium;
  An image synthesis step of generating a composite image of one frame by weighted addition of a plurality of original images selected from the frames of the first moving image;
  A first reproduction mode for reproducing a plurality of the combined images in a time-sequential manner along a time series in the first moving image, and outputting data of a second moving image having a frame rate lower than that of the first moving image; A moving image output step of switching between a second playback mode for outputting data of a second moving image having a frame rate lower than that of the first moving image by thinning out the number of frames of one moving image; And let each run
  In the image synthesizing step, a weighting value for an original image that becomes the newest frame in the time series of the first moving image among the original images used for generating the synthesized image of one frame under the first reproduction mode, The weighting value is set higher than the weighting value for the original image that is the most previous frame in the time series of the first moving image, and higher than the weighting value for the other original image used for generating the composite image, Image playback program.

In the image reproduction program according to claim 4,
The calculation unit further executes a motion vector detection step for obtaining a motion vector of a subject between the plurality of original images,
An image reproduction program characterized in that, in the image composition step, a position where the original image is superimposed is adjusted based on the motion vector when the composite image is generated .