JP2014049882A - 撮像装置 - Google Patents

Abstract

【課題】処理時間を短縮すること。
【解決手段】撮像装置は、被写体を撮像する撮像手段２と、撮像手段２により撮像された動画像のＲＡＷデータ１００に対して縮小処理を行って、縮小ＲＡＷデータ１０１を生成する縮小処理手段３と、縮小ＲＡＷデータ１０１に基づいて被写体の動きを検出し、検出した被写体の動きに基づいて、動画像における第１の再生フレームレート１２１を決定するフレームレート決定手段３と、備える。
【選択図】図３

Description

本発明は、撮像装置に関する。

被写体の動きに応じて動画像のフレームレートを設定する撮像装置が知られている（特許文献１参照）。

特開２０１０−５０８７７号公報

撮影画像において、画像処理の結果、例えば、背景の空が白とびしていたり、影の部分が黒つぶれしていたりした場合は、再度画像処理をやり直す必要が生じる。また、影画像を好みの色に再調整したい場合も同様である。このような場合に対応できるよう、画像処理前のデータであるＲＡＷデータを記録することが考えられる。しかしながら、従来技術のように被写体の動きに応じて動画像のフレームレートを設定する場合、動画像のＲＡＷデータをもとに被写体の動きを検出する処理を行うと、処理時間がかかってしまうという問題があった。

本発明による撮像装置は、被写体を撮像する撮像手段と、撮像手段により撮像された動画像のＲＡＷデータに対して縮小処理を行って、縮小ＲＡＷデータを生成する縮小処理手段と、縮小ＲＡＷデータに基づいて被写体の動きを検出し、検出した被写体の動きに基づいて、動画像における第１の再生フレームレートを決定するフレームレート決定手段と、備えることを特徴とする。

本発明によれば、処理時間を短縮できる。

本発明の一実施の形態による撮像装置の構成を説明するブロック図である。 短時間動画撮影モードにおける撮影タイミングを説明する図である。 第１の実施の形態における記録処理を説明する図である。 第１の実施の形態における再生処理を説明する図である。 第１の実施の形態における再生処理を説明する図である。 画像処理パラメータおよび再生フレームレートを説明する図である。 第２の実施の形態における記録処理を説明する図である。 第２の実施の形態における再生処理を説明する図である。 変形例５における記録処理を説明する図である。

−第１の実施の形態−
図面を参照して本発明の第１の実施の形態について説明する。図１は、第１の実施の形態における撮像装置の構成を示すブロック図である。撮像装置１は、撮像素子２と、制御部３と、記憶部４と、操作部５と、表示部６とを備えている。撮像装置１には、メモリカード７が着脱可能である。

撮像素子２は、例えばＣＭＯＳなどのイメージセンサであり、不図示の撮像光学系により結像した被写体像を撮像して、撮像によって得られた画像信号を制御部３へ出力する。撮像素子２の受光面には、周知のカラーフィルターが設けられている。カラーフィルターは、赤（Ｒ）色、青（Ｂ）色、および緑（Ｇ）色のいずれかの光を通過させる原色フィルタが画素位置に対応してベイヤー配列で構成された色分解フィルタである。撮像素子２は、このようなカラーフィルターを通して被写体像を撮像することにより、光の３原色ごとのカラー画像信号を出力する。

制御部３は、ＣＰＵおよびその他の周辺回路等により構成され、撮像装置１全体の制御を行う。また制御部３は、静止画撮影モードの場合には、撮像素子２から出力された画像信号に対して所定の画像処理を行って静止画像データを生成し、ＪＰＥＧなどの所定の方式により圧縮処理を行って、メモリカード７に記録する。さらに制御部３は、動画撮影モードの場合には、撮像素子２から出力された画像信号に対して所定の画像処理を行って動画データを生成し、ＭＰＥＧなどの所定の方式により圧縮処理を行って、メモリカード７に記録する。

記憶部４は、撮像装置１に内蔵される半導体メモリにより構成される。記憶部４は、第１の記憶領域４１および第２の記憶領域４２を有する。なお、第１の記憶領域４１および第２の記憶領域４２は、便宜上分けて説明するが、必ずしも物理上分かれて存在している必要はない。

記憶部４は、画像処理前、画像処理後および画像処理途中の画像データを一時的に記憶する場合に使用される。また、記憶部４は、撮影指示前（シャッターボタンの全押し操作前）に撮像素子２が所定のフレームレートで取得する画像（プリキャプチャ画像）や、撮影指示後（シャッターボタンの全押し操作後）に撮像素子２が所定のフレームレートで取得する画像（ポストキャプチャ画像）を一時的に記憶する場合にも使用される。

操作部５は、ユーザによって操作される種々の入力部材、例えば、モード切替ボタン、シャッターボタン、録画ボタン、十字キー、決定ボタンなどにより構成される。操作部５は、各ボタンが押下操作されると、各操作に応じた操作信号を制御部３へ送出する。

表示部６は、撮像装置１の背面に搭載された液晶モニタ（背面モニタ）等で構成され、ライブビュー画像や再生画像等を表示する。

本実施形態の撮像装置１では、シャッターボタンの操作に応じて１コマの静止画を記録する通常の静止画撮影モード、および録画ボタンの押下操作に応じて動画を記録する通常の動画撮影モードの他に、短時間の動画を記録する短時間動画撮影モードが設けられている。

短時間動画撮影モードは、録画開始時と終了時にそれぞれ録画ボタンを操作する通常の動画撮影モードとは異なり、シャッターボタンの操作に応じて短時間（例えば１秒）の動画を撮影するモードである。本実施形態は、この短時間動画撮影モードにおける動作に特徴を有するので、以下の説明は短時間動画撮影モードを中心に行う。

＜短時間動画撮影モード＞
図２は、短時間動画撮影モードの撮影タイミングを説明する図である。図２における黒い帯は、画像データがメモリカード７へ記録される区間を表す。斜線の帯は、画像データがいったん記憶部４に一時記憶されたもののメモリカード７へ記録されない区間を表す。

制御部３は、時刻ｔ０にシャッターボタンが半押し操作されると、ピント調節状態を固定するＡＦロック、露出を固定するＡＥロック、およびホワイトバランスを固定するＡＷＢロックを行う。そして、制御部３は、プリキャプチャ処理を開始させる。プリキャプチャ処理では、所定のフレームレートで被写体像を撮像するとともに、取得した画像データを逐次記憶部４へ一時記憶する。なお、制御部３は、時刻ｔ０以降に記憶部４内に記憶したフレーム画像のフレーム枚数が所定枚数に達した場合には、古いフレーム画像から順に上書き消去する。

制御部３は、時刻ｔ２にシャッターボタンが全押し操作された後も、時刻ｔ３（時刻ｔ２よりも所定時間後）まで記憶部４への画像蓄積を継続する。そして制御部３は、時刻ｔ１（時刻ｔ２よりも所定時間前）〜時刻ｔ２に撮像したフレーム画像（プリキャプチャ画像）と、時刻ｔ２〜時刻ｔ３に撮像したフレーム画像（ポストキャプチャ画像）とを合わせてメモリカード７へ記録する。すなわち、制御部３は、時刻ｔ２を基準とした所定時間Ｔｗ（例えば１秒）の動画をメモリカード７に記録する。

＜記録処理＞
次に、図３を用いて、短時間動画撮影モードにおける記録処理について詳しく説明する。撮像素子２により撮像された画像信号は、不図示のＡ／Ｄ変換部でデジタル信号に変換され、ＲＡＷデータ１００として制御部３に出力される。ＲＡＷデータとは、入射光の光量と出力信号値との関係が線形の関係となるデジタル画像であり、ベイヤー補間、ホワイトバランス変換、γ変換などが施されていない画像データである。

シャッターボタンが半押し操作されると、制御部３は、撮像素子２により所定のフレームレートで撮像されるＲＡＷデータ１００を、逐次、記憶部４の第１の記憶領域４１に一時記憶する。これと共に制御部３は、撮像素子２から出力されるＲＡＷデータ１００に対して縮小処理３１を施した縮小ＲＡＷデータ１０１を生成して、逐次、記憶部４の第２の記憶領域４２に一時記憶する。なお、本実施形態において、ＲＡＷデータ１００および縮小ＲＡＷデータ１０１は、非圧縮で記憶されるものとする。

また制御部３は、シャッターボタンの半押し操作の時点でＡＥ演算やＡＷＢ演算などを行い、その結果に基づいて画像処理パラメータ（以下、デフォルト用画像処理パラメータと呼ぶ）１１０を設定する。なお、デフォルト用画像処理パラメータ１１０は、予め決められたパラメータであってもよい。

制御部３は、縮小ＲＡＷデータ１０１に対して、デフォルト用画像処理パラメータ１１０を用いて画像処理３２を施す。そして制御部３は、当該画像処理３２後の画像に対して、予め設定されたライブビュー表示用の再生フレームレート（以下、ライブビュー用再生フレームレートと呼ぶ）１２０を用いて再生フレームレート制御処理３３を行う。これにより、デフォルト用画像処理パラメータ１１０を用いて画像処理３２が施された画像を、ライブビュー用再生フレームレート１２０で再生するライブビュー動画データ１０２を生成する。制御部３は、生成したライブビュー動画データ１０２を表示部６に再生表示する。

なお、ライブビュー用再生フレームレート１２０は、撮像フレームレートと同じフレームレートである。すなわち、表示部６には、撮像素子２により撮像された画像に基づくライブビュー画像がリアルタイムで表示される。

シャッターボタンが全押し操作されると、制御部３は、シャッターボタンが全押し操作された時刻とその前後のフレーム画像に対応する縮小ＲＡＷデータ１０１に基づいて、再生フレームレート決定処理３４を実行する。再生フレームレート決定処理３４では、被写体の動きに基づいて最適な再生フレームレートを決定する。なお、ここで決定する再生フレームレートを、デフォルト用再生フレームレートと呼ぶ。

具体的に、制御部３は、縮小ＲＡＷデータに基づいて、シャッターボタンが全押し操作された時刻とその前後のフレーム間における画像の差分を求め、その差分から被写体の動きを検出する。このとき、画像中で最も動きの大きい部分を被写体と判断し、それ以外の部分を背景と判断してもよい。あるいは、他の方法により被写体の動きを検出してもよい。たとえば、人物の顔の特徴を示す部分や、予め定められた対象の特徴に合致する部分などをパターンマッチングにより検出し、その部分の動きを追跡してもよい。

そして、制御部３は、被写体の動きの検出結果に基づいて、デフォルト用再生フレームレート１２１を決定する。このとき、制御部３は、被写体の動きが大きいほど（すなわち被写体の速度が速いほど）再生時のフレームレートが低く（たとえば、撮像フレームレートよりゆっくりに）なるように、デフォルト用再生フレームレート１２１を決定する。つまり、制御部３は、被写体の動きが小さいほど（すなわち被写体の速度が遅いほど）、再生時のフレームレートが高く（たとえば、撮像フレームレートに近く）なるようにデフォルト用再生フレームレート１２１を決定する。

また制御部３は、シャッターボタンが全押し操作された時点を基準にした所定時間Ｔｗのフレーム画像のＲＡＷデータ１００を、第１の記憶領域４１から読み出してメモリカード７に記録する。さらに制御部３は、当該ＲＡＷデータ１００に対応する縮小ＲＡＷデータ１０１を第２の記憶領域４２から読み出し、当該ＲＡＷデータ１００に関連付けてメモリカード７に記録する。さらに制御部３は、デフォルト用画像処理パラメータ１１０およびデフォルト用再生フレームレート１２１についても、当該ＲＡＷデータ１００に関連づけてメモリカード７に記録する。なお、デフォルト用画像処理パラメータ１１０およびデフォルト用再生フレームレート１２１は、例えばＲＡＷデータ１００を含む動画ファイルのタグに書き込まれることにより、ＲＡＷデータ１００に関連付けられる。

＜再生処理＞
次に、図４および図５を用いて、上記短時間動画撮影モードで撮影した画像を再生する再生処理について説明する。ユーザにより操作部５を介して上記短時間動画撮影モードによる撮影画像の再生が指示されると、制御部３は、図４に示すように、メモリカード７から縮小ＲＡＷデータ１０１を読み出して、ＲＡＷデータ１００に関連付けられているデフォルト用画像処理パラメータ１１０を用いて画像処理３２を施す。そして制御部３は、当該画像処理３２後の画像に対して、ＲＡＷデータ１００に関連付けられているデフォルト用再生フレームレート１２１を用いて再生フレームレート制御処理３３を行う。これにより、デフォルト用画像処理パラメータ１１０を用いて画像処理３２が施された画像を、デフォルト用再生フレームレート１２１で再生するデフォルト動画データ１０３を生成する。制御部３は、生成したデフォルト動画データ１０３を表示部６に再生表示する。この結果、ユーザは、撮影時に設定された画像処理パラメータを用いて画像処理が施された動画を、撮影時の被写体の動きに応じた再生フレームレートで確認することができる。

デフォルト動画データ１０３の再生表示中、撮像装置１は、ユーザによる画像処理パラメータおよび再生フレームレートの変更指示を受け付ける。このとき、ユーザは、表示部６に表示されたデフォルト動画データ１０３を確認しながら、操作部５の十字キーや決定ボタンなどを操作して、撮像装置１に対し、画像処理パラメータおよび再生フレームレートの変更を自由に指示することができる。なお、画像処理パラメータや再生フレームレートの変更は、必ずしも再生表示中ではなく、一旦再生が終了した後に変更してもよいし、再生中に図示しない再生停止ボタン等で一旦再生を停止して、コマ送り等を行って表示画像を確認しながらパラメータを変更してもよい。

ユーザにより操作部５を介して画像処理パラメータおよび再生フレームレートの変更が指示されると、図５に示すように、制御部３は、縮小ＲＡＷデータ１０１に対し、ユーザによる変更後の画像処理パラメータ（以下、変更後画像処理パラメータと呼ぶ）１１１を用いて画像処理３２を施す。そして制御部３は、当該画像処理３２後の画像に対して、ユーザによる変更後の再生フレームレート（以下、変更後再生フレームレートと呼ぶ）１２２を用いて再生フレームレート制御処理３３を行う。これにより、変更後画像処理パラメータ１１１を用いて画像処理３２が施された画像を、変更後再生フレームレート１２２で再生する変更後動画データ１０４を生成する。制御部３は、生成した変更後動画データ１０４を表示部６に再生表示する。

そして、制御部３は、変更後画像処理パラメータ１１１および変更後再生フレームレート１２２をＲＡＷデータ１００に関連付けてメモリカード７に記録する。なお、ここでは、ＲＡＷデータ１００に関連付けられていたデフォルト用画像処理パラメータ１１０およびデフォルト用再生フレームレート１２１を、変更後画像処理パラメータ１１１および変更後再生フレームレート１２２に書き換える。

その後、さらに、ユーザにより操作部５を介して画像処理パラメータおよび再生フレームレートの変更が指示された場合には、新たな変更後画像処理パラメータ１１１および変更後再生フレームレート１２２を用いて画像処理３２および再生フレームレート制御処理３３を行い、変更後動画データ１０４を生成して表示部６に再生表示する。そして制御部３は、新たな変更後画像処理パラメータ１１１および変更後再生フレームレート１２２を前の変更後画像処理パラメータ１１１および変更後再生フレームレート１２２と書き換えてメモリカード７に記録する。

このように再生処理では、画像処理パラメータおよび再生フレームレートの変更を、複数回繰り返して行うことができる。

＜画像処理パラメータおよび再生フレームレート＞
図６（Ａ）および（Ｂ）は、上述した画像処理パラメータおよび再生フレームレートを説明する図である。図６では、画像処理パラメータとして、ホワイトバランス係数、色再現マトリクス係数、ガンマテーブル、および輪郭強調係数を例示している。図６（Ａ）は、デフォルト用画像処理パラメータおよびデフォルト用再生フレームレートの一例を示し、図６（Ｂ）は、変更後画像処理パラメータおよび変更後再生フレームレートの一例を示す。図６（Ｂ）では、図６（Ａ）から、ホワイトバランス係数、ガンマテーブルおよび再生フレームレートが変更されている。

ここでは、図６（Ａ）に示すデフォルト用画像処理パラメータおよびデフォルト用再生フレームレートは、録画時間Ｔｗ中固定した値となっている。しかしながら、図６（Ｂ）に示すように、変更後画像処理パラメータおよび変更後再生フレームレートでは、録画時間Ｔｗ中固定した値でなくてもよく、時間（フレーム番号）に応じて異なる値を設定できる。すなわち、ユーザは、所望に応じて、フレームごとに、画像処理パラメータおよび再生フレームレートを設定することができる。

また、画像処理パラメータは、図６に例示した内容に限定されるものでない。画像処理パラメータは、例えば、カラー画像信号生成処理（ベイヤー補間処理など）におけるパラメータ、階調処理におけるパラメータ、色処理におけるパラメータ、電子的デフォーカスによるぼかし具合の係数を含んでもよい。さらに画像処理パラメータは、拡大縮小処理におけるパラメータ（電子ズームの倍率係数など）、部分切り出し処理におけるパラメータ（切り出し位置など）、部分切り出し移動処理におけるパラメータ（切り出し位置の移動情報など）を含んでもよい。なお、部分切り出し処理とは、例えば、撮影画像において表示部６に表示する部分を切り出す処理であり、部分切り出し移動処理とは、例えば、撮影画像において表示部６に表示する部分を移動させる処理である。

さらに、制御部３は、ＲＡＷデータ１００をメモリカード７に記録する際に、撮影時の光学条件（例えばレンズのＦ値、シャッタースピード、設定色温度など）のパラメータ（撮影時パラメータ）も、ＲＡＷデータ１００に関連付けて記録するようにしてもよい。

以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）撮像装置１は、被写体を撮像する撮像素子２と、撮像素子２により撮像された動画像のＲＡＷデータ１００に対して縮小処理３１を行って、縮小ＲＡＷデータ１０１を生成する制御部３と、縮小ＲＡＷデータ１０１に基づいて被写体の動きを検出し、検出した被写体の動きに基づいて、動画像におけるデフォルト用再生フレームレート１２１を決定する制御部３と、を備える。これにより、被写体の動きに適した再生フレームレートを決定することができる。また、縮小ＲＡＷデータ１０１を用いて被写体の動き検出処理を行うので、ＲＡＷデータ１００を用いる場合と比べて、処理時間を短縮することができる。

（２）上記（１）の撮像装置１において、撮影を指示する操作部（シャッターボタン）５と、操作部５により指示された指示タイミング（シャッターボタンの全押し）を基準にした所定の時間Ｔｗ撮像された動画像を取得する制御部３と、をさらに備え、制御部３は、当該取得した動画像のＲＡＷデータ１００に対して縮小処理３１を行って縮小ＲＡＷデータ１０１を生成し、動画像における指示タイミングを基準にした前後のフレーム画像の縮小ＲＡＷデータ１０１に基づいて被写体の動きを検出し、検出した被写体の動きに基づいて、デフォルト用再生フレームレート１２１を決定するように構成した。これにより、ユーザによる撮影指示のタイミングにおける被写体の動きに適した再生フレームレートを決定することができる。

（３）上記（２）の撮像装置１において、制御部３は、縮小ＲＡＷデータ１０１、デフォルト用再生フレームレート１２１およびデフォルト用画像処理パラメータ１１０を、ＲＡＷデータ１００に関連付けてメモリカード７に記録し、ユーザにより動画像の再生が指示されると、縮小ＲＡＷデータ１０１に対してデフォルト用画像処理パラメータ１１０を用いて画像処理３２を行い、当該画像処理後の動画像（デフォルト動画データ１０３）をデフォルト用再生フレームレート１２１で再生して表示部６に表示するように構成した。これにより、ユーザは、デフォルト用画像処理パラメータ１１０を用いて画像処理３２が行われた動画像を、被写体の動きに適したデフォルト用再生フレームレート１２１で確認することができる。また、縮小ＲＡＷデータ１０１に対して画像処理３２および再生フレームレート制御処理３３を行うことにより、ＲＡＷデータ１００を用いる場合と比較して、処理時間を短縮することができる。

（４）上記（３）の撮像装置１において、デフォルト用再生フレームレート１２１と異なる変更後再生フレームレート１２２、およびデフォルト用画像処理パラメータ１１０と異なる変更後画像処理パラメータ１１１を指示する操作部５をさらに備え、制御部３は、縮小ＲＡＷデータ１０１に対して変更後画像処理パラメータ１１１を用いて画像処理３２を行い、当該画像処理３２後の動画像を変更後再生フレームレート１２２で再生して表示部６に表示し、変更後再生フレームレート１２２および変更後画像処理パラメータ１１１を、デフォルト用再生フレームレート１２１およびデフォルト用画像処理パラメータ１１０と書き換えて、ＲＡＷデータ１００に関連付けてメモリカード７に記録するように構成した。このように画像処理パラメータおよび再生フレームレートの変更指示があった場合に、縮小ＲＡＷデータ１０１に対して、変更後の画像処理パラメータおよび再生フレームレートを用いて画像処理および再生フレームレート制御処理を行うことにより、ＲＡＷデータ１００を用いる場合と比較して、処理時間を短縮することができる。

−第２の実施の形態―
次に、図面を参照して本発明の第２の実施の形態について説明する。第２の実施の形態では、短時間動画撮影モードにおける記録処理および再生処理が第１の実施の形態と異なるので、この点を中心に説明する。なお、第２の実施の形態の撮像装置は、第１の実施の形態の撮像装置１構成と同様であるため、説明を省略する。またこの他、第２の実施の形態において、第１の実施の形態と同様の箇所については、説明および図示を省略する。

＜記録処理＞
まず、第２の実施の形態の短時間撮影モードにおける記録処理について説明する。シャッターボタンが半押し操作されると、制御部３は、第１の実施の形態と同様に、ＲＡＷデータ１００および縮小ＲＡＷデータ１０１を記憶部４に一時記憶する。また制御部３は、第１の実施の形態と同様に、縮小ＲＡＷデータ１０１に対して、デフォルト用画像処理パラメータ１１０およびライブビュー用再生フレームレート１２０を用いて画像処理３２および再生フレームレート制御処理３３を行って、ライブビュー動画データ１０２を生成して、表示部６に再生表示する。

シャッターボタンが全押し操作されると、制御部３は、図７に示すように、第１の実施の形態と同様に、縮小ＲＡＷデータ１０１に基づいて再生フレームレート決定処理３４を実行し、デフォルト用再生フレームレート１２１を決定する。

ここで制御部３は、第１の実施の形態と異なり、縮小ＲＡＷデータ１０１に対して、デフォルト用画像処理パラメータ１１０およびデフォルト用再生フレームレート１２１を用いて画像処理３２および再生フレームレート制御処理３３を行って、デフォルト動画データ１０３を生成する。

そして制御部３は、縮小ＲＡＷデータ１０１、デフォルト用画像処理パラメータ１１０およびデフォルト用再生フレームレート１２１に加え、デフォルト動画データ１０３についてもＲＡＷデータ１００に関連付けてメモリカード７に記録する。なお、制御部３は、デフォルト動画データ１０３に対して画像圧縮手段によるデータ圧縮処理を行ってメモリカード７に記録する。このようにデフォルト動画データ１０３についてもＲＡＷデータ１００に関連付けておくことにより、再生処理の際すぐにデフォルト動画データ１０３を再生表示することができる。

＜再生処理＞
次に、第２の実施の形態の短時間撮影モードで撮影した画像を再生する再生処理について説明する。ユーザにより操作部５を介して上記短時間撮影モードによる撮影画像の再生が指示されると、制御部３は、メモリカード７からデフォルト動画データ１０３を読み出し、画像伸張手段によるデータ伸張処理を行って、表示部６に再生表示する。

その後、ユーザにより操作部５を介して画像処理パラメータおよび再生フレームレートの変更が指示されると、制御部３は、図８に示すように、第１の実施の形態と同様に、縮小ＲＡＷデータ１０１に対し、変更後画像処理パラメータ１１１および変更後再生フレームレート１２２を用いて画像処理３２および再生フレームレート制御処理３３を行い、変更後動画データ１０４を生成する。制御部３は、生成した変更後動画データ１０４を表示部６に再生表示する。

そして、制御部３は、変更後画像処理パラメータ１１１および変更後再生フレームレート１２２を、ＲＡＷデータ１００に関連付けられていたデフォルト用画像処理パラメータ１１０およびデフォルト用再生フレームレート１２１と書き換える。

また制御部３は、変更後動画データ１０４を、ＲＡＷデータ１００に関連付けられていたデフォルト動画データ１０３と書き換える。すなわち、制御部３は、変更後動画データ１０４をＲＡＷデータ１００に関連付けてメモリカード７に記録する。なお、制御部３は、変更後動画データ１０４に対して画像圧縮手段によるデータ圧縮処理を行ってメモリカード７に記録する。

さらに制御部３は、ＲＡＷデータ１００に関連付けられていた縮小ＲＡＷデータ１０１をメモリカード７から削除する。これにより、メモリカード７の容量を節約することができる。

なお、縮小ＲＡＷデータ１０１の削除後において、ユーザにより操作部５を介して画像処理パラメータおよび再生フレームレートの変更が指示された場合には、制御部３は、メモリカード７からＲＡＷデータ１００を読み出して縮小処理を行い、再度縮小ＲＡＷデータ１０１を生成してもよい。

そして制御部３は、再度生成した縮小ＲＡＷデータ１０１に対して、新たな変更後画像処理パラメータ１１１および変更後再生フレームレート１２２を用いて画像処理３２および再生フレームレート制御処理３３を行い、新たな変更後動画データ１０４を生成して表示部６に再生表示する。

このとき、制御部３は、新たな変更後画像処理パラメータ１１１、変更後再生フレームレート１２２、変更後動画データ１０４を前のものと書き換えてメモリカード７に記録するが、ここで生成した縮小ＲＡＷデータ１０１については記録しないようにする。

このように、再生処理では、画像処理パラメータおよび再生フレームレートの変更を、複数回繰り返して行うことができる。

以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）撮像装置１において、制御部３は、縮小ＲＡＷデータ１０１に対してデフォルト用画像処理パラメータ１１０を用いて画像処理３２を行い、当該画像処理３２後の動画像をデフォルト用再生フレームレート１２１で再生するようにしたデフォルト動画データ１０３を、ＲＡＷデータ１００に関連付けてメモリカード７に記録するように構成したので、ユーザによる再生指示があった場合にすぐにデフォルト動画データ１０３を再生表示することができる。

（２）上記（１）の撮像装置１において、ユーザにより画像処理パラメータおよび再生フレームレートの変更が指示されると、制御部３は、縮小ＲＡＷデータ１０１に対して変更後画像処理パラメータ１１１を用いて画像処理３２を行い、当該画像処理３２後の動画像を変更後再生フレームレート１２２で再生するようにした変更後動画データ１０４を、デフォルト動画データ１０３と書き換えて、ＲＡＷデータ１００に関連付けてメモリカード７に記録するように構成した。これにより、ユーザによる再生指示があった場合にすぐに変更後動画データ１０４を再生表示することができる。

（３）上記（２）の撮像装置１において、制御部３は、変更後動画データ１０４をＲＡＷデータ１００に関連付けてメモリカード７に記録すると共に、ＲＡＷデータ１００に関連付けて記録されていた縮小ＲＡＷデータ１０１を削除するように構成したので、メモリカード７の容量を節約することができる。

（変形例１）
上述した短時間撮影モードにおいて、見かけのダイナミックレンジを拡張した画像を撮影するＨＤＲ（High Dynamic Range）画像生成処理を行うようにしてもよい。この場合の制御部３は、撮像素子２による撮像処理を制御して、時間的に近接する（連続する）少なくとも２枚以上のフレームを一組とし、各組において、それぞれのフレームで露光時間（すなわちシャッタースピード）を変えて露光量が異なるフレーム画像を取得する。そして、制御部３は、異なる露光量で撮影された１組のフレーム画像を合成することで１枚分のフレーム画像を生成する。このとき制御部３は、暗い部分の再現には露光時間が長い方のフレーム画像のデータを用いて再現し、明るい部分の再現には露光時間が短い方のフレーム画像のデータを用いて再現し、暗い部分と明るい部分の中間は双方のフレーム画像を用いて再現する。これによりフレーム画像の見かけのダイナミックレンジを拡張することができる。

制御部３は、このＨＤＲ画像生成処理を、記憶部４またはメモリカード７に記録されたＲＡＷデータ１００または縮小ＲＡＷデータ１０１を用いて行う。また、ＨＤＲ画像生成処理では、各フレームにおける露光量を示す情報が必要である。したがって、制御部３は、フレームごとに、ＲＡＷデータ１００または縮小ＲＡＷデータ１０１にシャッタースピード情報を関連付けて記憶部４またはメモリカード７に記録しておく。

（変形例２）
上述した実施の形態では、デフォルト用再生フレームレート１２１を、録画時間Ｔｗ中、一律で設定する例について説明した。しかしながら、デフォルト用再生フレームレート１２１を、フレームに応じて変化させるようにしてもよい。

例えば、撮影画面に対する被写体の大きさに応じて、デフォルト用再生フレームレート１２１を変化させる。この場合、制御部３は、録画時間Ｔｗの撮影が終了すると、撮影画像の縮小ＲＡＷデータ１０１を解析して、フレームごとに、撮影画面に対する被写体の大きさに応じて、デフォルト用再生フレームレート１２１を決定する。このとき、撮影画面に対する被写体の大きさが大きいほどフレームレートが低くなり、撮影画面に対する被写体の大きさが小さいほどフレームレートが高くなるように、デフォルト用再生フレームレート１２１を決定する。こうすることにより、例えば、被写体が撮像装置１に近づいてくるほどフレームレートが低くなるような動画を生成することができる。

また例えば、録画時間Ｔｗ中に主要被写体が入れ替わる場合には、その時々の主要被写体の動き情報に応じて、デフォルト用再生フレームレート１２１を変化させる。この場合、制御部３は、録画時間Ｔｗの撮影が終了すると、撮影画像の縮小ＲＡＷデータ１０１を解析して、フレームごとに主要被写体を検出し、検出した主要被写体の動き情報に応じてデフォルト用再生フレームレート１２１を決定する。こうすることにより、主要被写体の動きに合ったフレームレートの動画を生成することができる。

（変形例３）
制御部３は、再生処理においてデフォルト動画データ１０３を再生表示する際に、デフォルト動画データ１０３上で、デフォルト用再生フレームレート１２１を決定するのに用いた被写体を強調表示（例えば枠などで囲んで表示）するようにしてもよい。こうすることにより、デフォルト用再生フレームレート１２１がどの被写体の動き情報に応じて決定されたのかをユーザに報知することができる。

そして、ユーザが、操作部５を介して、デフォルト用再生フレームレート１２１を決定するのに用いた被写体以外の被写体をデフォルト動画データ１０３上で指定することで、指定した被写体の動きに応じたフレームレートを変更後再生フレームレート１２２として指示できるようにしてもよい。この場合、制御部３は、操作部５を介して指定された被写体の動きに基づいて再生フレームレート決定処理３４を行い、変更後再生フレームレート１２２を決定する。

（変形例４）
上述した実施の形態では、シャッターボタンの全押し操作前後のフレームにおける被写体の動き情報に基づいて、デフォルト用再生フレームレート１２１を決定する例について説明した。しかしながら、制御部３は、録画時間Ｔｗのフレームの中からベストショットの１フレームを選択し、そのベストショットのフレームとその前後フレームにおける被写体の動き情報に基づいて、デフォルト用再生フレームレート１２１を決定するようにしてもよい。なお、ベストショットの１フレームを選択する方法としては、例えば、ボケ、ブレ、明るさ、構図などを判定し、判定結果に基づいて選択する方法でもよいし、この他公知の方法を用いてもよい。また、ベストショットとして選択したフレームの番号をＲＡＷデータ１００と関連付けて記録するようにしてもよい。

（変形例５）
上述した実施の形態では、撮像装置１に内蔵する記憶部４を、プリキャプチャ処理中にＲＡＷデータ１００および縮小ＲＡＷデータ１０１を一時的に記憶するバッファメモリとして用いる例について説明した。しかしながら、図９に示すように、撮像装置１の外部メモリであるメモリカード７の一部に第１の記憶領域７１および第２の記憶領域７２を設定するようにしてもよい。この場合、第１の記憶領域７１をＲＡＷデータ１００のバッファメモリとして用い、第２の記憶領域７２を縮小ＲＡＷデータ１０１のバッファメモリとして用いる。

（変形例６）
上述した第２の実施の形態では、撮影後において、画像処理パラメータおよび再生フレームレートの変更が一度指示されると、画像処理パラメータおよび再生フレームレートの変更後に縮小ＲＡＷデータ１０１を削除する例について説明した。しかしながら、画像処理パラメータおよび再生フレームレートの変更が指示されても、縮小ＲＡＷデータ１０１を削除しなくてもよい。

変形例６の制御部３は、例えば、メモリカード７の残容量が所定値以下となった場合に、ＲＡＷデータ１００に関連付けられている縮小ＲＡＷデータ１０１を削除する。なお、制御部３は、縮小ＲＡＷデータ１０１を削除する際には、自動で削除するようにしてもよい。また、制御部３は、ユーザに縮小ＲＡＷデータ１０１を削除するか否かを問うメッセージを表示部６に表示し、操作部５を介して削除を指示されたら縮小ＲＡＷデータ１０１を削除するようにしてもよい。

（変形例７）
上述した実施の形態では、ＲＡＷデータ１００および縮小ＲＡＷデータ１０１を非圧縮でメモリカード７に記録する例について説明した。しかしながら、ＲＡＷデータ１００および縮小ＲＡＷデータ１０１に対して、画像圧縮手段によるデータ圧縮処理を行ってメモリカード７に記録するようにしてもよい。この場合、ＲＡＷデータ１００および縮小ＲＡＷデータ１０１を読み出す際には、画像伸張手段によるデータ伸張処理を行う。

（変形例８）
上述した実施の形態では、シャッターボタンの全押し操作に応じて短時間の動画を記録する短時間動画撮影モードにおいて本発明を適用する例について説明した。しかしながら、シャッターボタンの全押し操作に応じて、短時間の動画と共にシャッターボタンの全押し操作時点の静止画像を記録し、短時間の動画の後に当該静止画像を所定時間再生するような画像データを撮影する撮影モードにおいても、本発明を適用してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。

１…撮像装置、２…撮像素子、３…制御部、４…記憶部、５…操作部、６…表示部、７…メモリカード

Claims (8)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像された動画像のＲＡＷデータに対して縮小処理を行って、縮小ＲＡＷデータを生成する縮小処理手段と、
   前記縮小ＲＡＷデータに基づいて前記被写体の動きを検出し、前記検出した被写体の動きに基づいて、前記動画像における第１の再生フレームレートを決定するフレームレート決定手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   撮影を指示する撮影指示手段と、
   前記撮影指示手段により指示された指示タイミングを基準にした所定の時間、前記撮像手段により撮像された動画像を取得する取得手段と、
   をさらに備え、
   前記縮小処理手段は、前記取得手段により取得された動画像のＲＡＷデータに対して縮小処理を行って、縮小ＲＡＷデータを生成し、
   前記フレームレート決定手段は、前記動画像における前記指示タイミングを基準にした前後のフレーム画像の縮小ＲＡＷデータに基づいて前記被写体の動きを検出し、前記検出した被写体の動きに基づいて、前記第１の再生フレームレートを決定することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記縮小ＲＡＷデータ、前記第１の再生フレームレート、および前記動画像に対する画像処理の際に用いる第１の画像処理パラメータを、前記ＲＡＷデータに関連付けて記録手段に記録する記録制御手段と、
   前記縮小ＲＡＷデータに対して前記第１の画像処理パラメータを用いて画像処理を行い、当該画像処理後の動画像を前記第１の再生フレームレートで再生して表示手段に表示する再生制御手段と、
   をさらに備えることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記第１の再生フレームレートと異なる第２の再生フレームレート、および前記第１の画像処理パラメータと異なる第２の画像処理パラメータを指示する指示手段をさらに備え、
   前記再生制御手段は、前記縮小ＲＡＷデータに対して前記第２の画像処理パラメータを用いて画像処理を行い、当該画像処理後の動画像を前記第２の再生フレームレートで再生して表示手段に表示し、
   前記記録制御手段は、前記第２の再生フレームレートおよび前記第２の画像処理パラメータを、前記第１の再生フレームレートおよび前記第１の画像処理パラメータと書き換えて、前記ＲＡＷデータに関連付けて記録手段に記録することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記記録制御手段は、前記縮小ＲＡＷデータに対して前記第１の画像処理パラメータを用いて画像処理を行い、当該画像処理後の動画像を前記第１の再生フレームレートで再生するようにした第１の動画像データを、前記ＲＡＷデータに関連付けて記録手段に記録することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記記録制御手段は、前記縮小ＲＡＷデータに対して前記第２の画像処理パラメータを用いて画像処理を行い、当該画像処理後の動画像を前記第２の再生フレームレートで再生するようにした第２の動画像データを、前記第１の動画像データと書き換えて、前記ＲＡＷデータに関連付けて記録手段に記録することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記記録制御手段は、前記第２の動画像データを前記ＲＡＷデータに関連付けて記録手段に記録すると共に、前記ＲＡＷデータに関連付けて記録されていた前記縮小ＲＡＷデータを削除することを特徴とする撮像装置。
8. 請求項３〜７のいずれか一項に記載の撮像装置において、
   前記動画像の撮像において、時間的に近接した少なくとも２枚以上のフレーム画像を互いに異なる露光量で撮像するように前記撮像手段を制御する撮像制御手段と、
   前記互いに異なる露光量で撮像されたフレーム画像に基づいて合成画像を生成する画像合成手段と、
   をさらに備え、
   前記記録制御手段は、撮像時の露光量を示す情報を前記フレーム画像ごとのＲＡＷデータに関連付けて記録手段に記録することを特徴とする撮像装置。

Images