JP2010136239A - 撮影装置および撮影装置の制御方法並びにプログラム - Google Patents

Abstract

【課題】被写体が静止し、背景が流れた画像を取得する際に、飽和領域が多重化しないようにする。
【解決手段】本撮影前にプレ画像を取得し、プレ画像から流し撮りモード時における複数回の撮影時の露光時間を設定する。設定した露光時間による撮影によって、画像に飽和領域が存在するか否かを判定する。飽和領域が存在する場合、さらに露光時間を短くするように露出を設定する。判定が肯定されると複数回の撮影を行って複数の画像を取得し、複数の画像を合成して、所望の被写体が静止し、背景が流れた合成画像を生成する。
【選択図】図３

Description

本発明は、とくに流し撮りに適した撮影装置および撮影装置の制御方法並びに撮影装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。

自動車等の動きのある被写体を撮影してスピード感ある画像を得る場合に、シャッタ速度を通常よりも遅く設定した状態で、撮影者が被写体の動きに合わせてカメラを移動することにより、被写体が静止し、背景が流れた画像を得ることができる流し撮りのテクニックが用いられる。このような流し撮りは、スピード感のある画像を得ることができるものの、被写体の動きに併せてカメラを移動させる必要があるため、熟練者でないと動いている被写体がぶれてしまう可能性が高い。

このため、流し撮り時に、通常の流し撮りを行う場合のシャッタ速度よりも短いシャッタ速度により、複数の画像を連続して撮影して複数の画像を取得し、複数の画像に含まれる動体の位置合わせを行いつつ、複数の画像を合成して合成画像を取得する手法が提案されている（特許文献１〜３参照）。特許文献１〜３の手法によれば、１つ１つの撮影のシャッタ速度は短いため、動体のブレを低減させることができ、その結果、熟練者が流し撮りを行った場合と同様に、動体が静止し、背景が流れている合成画像を取得することができる。
特開２００５−１３５０９１号公報 特開２００６−３３９９０３号公報 特開２００６−２５３１２号公報

上記特許文献１〜３に記載された手法により取得される画像において、その背景は複数の画像が重ね合わせられたものとなる。このため、複数の画像のそれぞれに画素値が最大値となる飽和領域が含まれると、撮影順に飽和領域の位置が移動することから、各画像における飽和領域の位置が異なるものとなる。このように飽和領域の位置が異なると、合成画像においては各画像における飽和領域と非飽和領域が重なる部分が存在する。しかしながら、各画像における飽和領域と非飽和領域とが重なると、飽和領域が滑らかに流れず、合成画像上に飽和領域と非飽和領域とが交互に現れるため、飽和領域が間を空けて存在することとなり、その結果、飽和領域が多重化してしまう。

本発明は上記事情に鑑みなされたものであり、被写体が静止し、背景が流れた画像を取得する際に、飽和領域が多重化しないようにすることを目的とする。

本発明による撮影装置は、撮影により画像を取得する撮影手段と、
複数の画像を時間的に連続させて順次取得するよう前記撮影手段を制御する撮影制御手段と、
前記複数の画像の動きを解析する動き解析手段と、
該動きの解析結果に基づいて、前記複数の画像を合成して合成画像を生成する合成手段と、
前記撮影手段を用いての前記複数の画像の取得時に、前記複数の画像のそれぞれに飽和領域が存在しないように前記撮影手段の露出を設定する露出処理手段とを備えたことを特徴とするものである。

「複数の画像の動きを解析する」とは、各画像内の画素がどのように移動しているかを解析することを意味する。具体的には、複数の画像のうちの１つの画像を基準とし、基準となる画像および他の画像間の対応する画素の移動方向および移動量を求め、移動方向および移動量に基づいて、基準となる画像における画素がどのように移動しているかを解析することを意味する。

なお、本発明による撮影装置においては、前記合成手段を、前記動きの解析結果に基づいて前記複数の画像のそれぞれから動体を検出し、該複数の画像のそれぞれにおける前記動体の位置が略一致するように前記複数の画像を合成して合成画像を生成する手段としてもよい。

また、本発明による撮影装置においては、前記露出処理手段を、前記複数の画像の各画素値が、最高輝度未満となるように前記撮影手段の露出を制御する手段としてもよい。

また、本発明による撮影装置においては、前記複数の画像の取得前に前記露出を制御するためのプレ画像を取得し、該プレ画像に基づいて前記複数の画像の取得時の露出を設定し、該設定した露出により前記プレ画像を再度取得し、該プレ画像に前記飽和領域が存在するか否かを判定し、該判定が否定されるまで前記露出の設定および前記再度のプレ画像の取得を繰り返すよう、前記撮影制御手段および前記露出処理手段を制御する制御手段をさらに備えるものとしてもよい。

また、本発明による撮影装置においては、前記合成画像の明るさを補正する明るさ補正手段をさらに備えるものとしてもよい。

また、本発明による撮影装置においては、前記露出処理手段を、前記動きの解析結果に基づいて、前記複数の画像における動きが小さい領域以外の領域に前記飽和領域が存在しないように前記撮影手段の露出を設定する手段としてもよい。

また、本発明による撮影装置においては、前記撮影制御手段を、前記露出処理手段が設定する露出が制限値となっても前記飽和領域の存在を解消できない場合、前記複数の画像の取得を停止する手段としてもよい。

「露出の制限値」とは、露出処理手段が設定可能な露出設定値、すなわちシャッタスピード、絞り値およびゲイン等の少なくとも１つについて、飽和領域が存在しないように露出をアンダーとするための限界値を意味する。例えば、撮影装置において設定可能な最速のシャッタスピードが１／２０００秒の場合、露出の制限値は１／２０００秒となる。

この場合、前記複数の画像の取得が停止されたことを通知する通知手段をさらに備えるものとしてもよい。

本発明による撮影装置の制御方法は、撮影により画像を取得する撮影手段と、
複数の画像を時間的に連続させて順次取得するよう前記撮影手段を制御する撮影制御手段と、
前記複数の画像の動きを解析する動き解析手段と、
該動きの解析結果に基づいて、前記複数の画像を合成して合成画像を生成する合成手段とを備えた撮影装置の制御方法であって、
前記撮影手段を用いての前記複数の画像の取得時に、前記複数の画像のそれぞれに飽和領域が存在しないように前記撮影手段の露出を設定することを特徴とするものである。

なお、本発明による撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数の画像のそれぞれに飽和領域が存在しないように撮影手段の露出が設定されて、複数の画像が時間的に連続して取得され、複数の画像の動き解析結果に基づいて、複数の画像が合成されて合成画像が生成される。これにより、複数の画像には飽和領域が存在しなくなるため、合成画像上において飽和領域と非飽和領域とが重なることがなくなり、その結果、飽和領域の多重化を防止することができる。

また、動きの解析結果に基づいて複数の画像のそれぞれから動体を検出し、複数の画像のそれぞれにおける動体の位置が略一致するように複数の画像を合成して合成画像を生成することにより、精度よく動体が静止し、背景が流れた画像を得ることができる。

また、複数の画像の各画素が最高輝度未満となるように露出を制御することにより、飽和領域の発生を確実に防止することができる。

ここで、飽和領域が存在しないように露出を設定した場合、複数の画像は露出アンダーとなって明るさが不足する。このため、合成画像の明るさを補正することにより、飽和領域の多重化を防止しつつも、所望とする明るさを有する合成画像を取得することができる。

また、合成画像においては動きが小さい領域は静止した状態となるため、飽和領域が存在しても合成画像において多重化は生じない。このため、複数の画像における動きが小さい領域以外の領域に飽和領域が存在しないように露出を設定することにより、露出設定のための演算量を低減することができる。

また、露出が制限値となっても飽和領域の存在を解消できない場合には、複数の画像の取得を停止することにより、多重化が生じる状況での複数の画像の取得および合成画像の生成を行うことによる無駄な処理を防止することができる。

この場合、複数の画像の生成が停止されたことを通知することにより、撮影者は流し撮りを行っても合成画像が生成されないことを事前に知ることができるため、撮影場所を変更する等の措置を執ることによりして、画像に飽和領域が存在しないようにすることができる。

以下、図面を参照して本発明の実施形態について説明する。図１および図２は本発明の実施形態による撮影装置を適用したデジタルカメラ１の外観を示す図である。図１および図２に示すように、このデジタルカメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。

レリーズボタン２は、２段階の押下により２種類の動作を指示できる構造となっている。例えば、自動露出調整機能（ＡＥ：Auto Exposure）、自動焦点調節機能（ＡＦ：Auto Focus）を利用した撮影では、デジタルカメラ１は、レリーズボタン２が軽く押下される第１の押下操作（半押しともいう）がなされたときに、露出調整、焦点合わせ等の撮影準備を行う。その状態で、レリーズボタン２が強く押下される第２の押下操作（全押しともいう）がなされると、デジタルカメラ１は露光を開始し、露光により得られた１画面分の画像データを記録メディアに記録する。

デジタルカメラ１の背面には、液晶等のモニタ５、撮影モード等の設定に利用されるモードダイヤル６、および後各種操作ボタン８が備えられている。なお、本実施形態においては、撮影を行う撮影モード、および記録メディアに記録された画像をモニタ５に再生する再生モード等を設定可能とされている。また、撮影モードとしては通常の撮影を行うための通常撮影モードの他、流し撮りを行うための流し撮りモードが設定可能とされている。

次いで、デジタルカメラ１の内部構成について説明する。図３は本発明の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。図３に示すように本実施形態による撮影装置を適用したデジタルカメラ１は、撮像系９を有する。

撮像系９は、被写体にピントを合わせるためのフォーカスレンズ１０ａおよびズーム機能を実現するためのズームレンズ１０ｂからなる撮影レンズ１０を有する。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１は、後述するＡＦ処理部２８からの指示に基づいて、ズームレンズ駆動部１２はズームレバー４の操作に応じたＣＰＵ４０からの指示に基づいて、各々のレンズの移動を制御する。

絞り１４は、複数の絞り羽根からなる。絞り駆動部１５は、ステッピングモータ等小型のモータで、ＡＥ処理部２９から出力される絞り値データに応じて、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。

シャッタ１６はメカニカルシャッタであり、シャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ処理部２９から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

シャッタ１６の後方には撮像素子１８を有している。本実施形態においては、ＣＭＯＳタイプの撮像素子１８を用いるものとする。撮像素子１８は、多数の受光素子を２次元的に配列した光電面を有しており、撮影レンズ１０等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子１８は、撮像素子制御部１９から供給される読み出し信号に同期して、画素毎に蓄積された電荷を１画素ずつアナログ撮影信号として出力する。なお、各画素において電荷を蓄積する時間、すなわち露光時間は、撮像素子制御部１９から与えられる電子シャッタ駆動信号によって決定される。この露光時間は、後述するＡＥ処理部２９により設定される。また、撮像素子１８は撮像素子制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

撮像素子１８から読み出されたアナログ撮影信号は、アナログフロントエンド（ＡＦＥ）２０に入力される。ＡＦＥ２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。

タイミングジェネレータ２１は、同期信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、撮像素子制御部１９、およびＡＦＥ２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、撮像素子１８からの電荷の読み出し、およびＡＦＥ２０の処理の同期をとっている。なお、撮像素子１８からの電荷の読み出し速度の最高値（最高電荷読み出し時間）は、撮像素子１８およびタイミングジェネレータ２１の仕様によりあらかじめ定められている。

また、デジタルカメラ１は撮影時において必要なときに発光されるフラッシュ２４を有する。フラッシュ２４は、発光制御部２３によりその発光が制御される。

また、デジタルカメラ１は、ＡＦＥ２０が出力した画像データをデータバス４１を介して他の処理部に転送する画像入力コントローラ２５、および画像入力コントローラ２５から転送された画像データを一時記憶するフレームメモリ２６を備える。

フレームメモリ２６は、画像データに対して後述の各種処理を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ５に表示させたり、再生モード時に記録メディア３４に保存されている画像をモニタ５に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、タイミングジェネレータ２１が発生する同期信号に同期して、所定時間間隔で撮像系９により撮影される。

ＡＦ処理部２８およびＡＥ処理部２９は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０が撮像素子１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部２８は、プレ画像に基づいてフォーカスレンズ１０ａの合焦位置を検出する。合焦位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するＴＴＬ方式を用いる。

ＡＥ処理部２９は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値およびシャッタスピードを露出設定値として設定して出力する（ＡＥ処理）。具体的には図４に示すようにプレ画像を８×８の６４の測光領域に分割し、各領域の明るさおよびあらかじめ定められて内部メモリ３５に記憶されたプログラム線図に基づいて、シャッタスピードおよび絞り値を設定する。なお、シャッタスピードが撮像素子１８の露光時間に相当する。

ここで、本実施形態によるデジタルカメラ１においては、通常撮影モードに設定されている場合には、１回のレリーズボタンの全押し操作により１回の露光による撮影を行う。一方、流し撮りモードに設定されている場合には、通常１回の露光により撮影を行うところを、複数回に分割して露光を行い、複数回の露光にそれぞれ対応する複数の画像を取得する。なお、複数の画像は後述するように合成されて合成画像が生成される。このため、流し撮りモードでは、ＡＥ処理部２９は、プレ画像に基づいて設定したシャッタスピード、すなわち露光時間（Ｔ０とする）に基づいて、分割後の１回分の露光時間（Ｔ１とする）および露光回数ｎを算出する。なお、以降の説明においては、露光時間Ｔ１を設定する前の露光時間Ｔ０を設定する処理、すなわち通常撮影モードによる露光時間Ｔ０を設定する処理を第１のＡＥ処理、第１のＡＥ処理の後、流し撮りモードによる複数の画像を取得するための露光時間Ｔ１を設定する処理を第２のＡＥ処理と称する。なお、第２のＡＥ処理には第１のＡＥ処理も含まれる。

なお、本実施形態においては、ＡＥ処理部２９は第１のＡＥ処理を行った後、第２のＡＥ処理においては、後述する内部メモリ３５に記憶された、露光時間Ｔ０と露光時間Ｔ１および露光回数ｎとを関連づけたテーブルを参照して、露光時間Ｔ０から露光時間Ｔ１および露光回数ｎを設定する。なお、撮像素子１８が最高で毎秒３００フレームの分の電荷を読み出すことが可能なものである場合、最高電荷読み出し時間は１／３００秒であるため、露光時間Ｔ１の最小値は１／３００秒となる。

ここで、撮像素子１８の最高読み出し時間とは、撮像素子１８の露光が開始されてから露光が終了した後、その間の露光により発生した電荷を読み出すために必要な時間の最短値を意味する。このため、撮像素子１８の露光時間が最高読み出し時間よりも短い場合、撮像素子１８からの電荷の読み出しを連続させることができないが、撮像素子１８の露光時間が最高読み出し時間以上の場合、撮像素子１８からの電荷の読み出しを連続させることができる。

また、通常撮影モードによる撮影時においては、ＡＥ処理部２９が設定したシャッタスピードによりシャッタ１６が開放して撮像素子１８がシャッタスピードに対応する露光時間Ｔ０露光される。一方、流し撮りモードによる撮影時においては、レリーズボタンの押下後、設定された露光回数ｎの撮影が行われるまでの間シャッタ１６は開放とされ、その間、設定された露光時間Ｔ１の間隔により撮像素子１８から繰り返し電荷が読み出される。

図５は通常撮影モード時における１回の撮影によるシャッタスピードすなわち露光時間を示す図、図６は流し撮りモード時における１回の撮影による露光時間を示す図である。図５に示すように、分割しての撮影を行わない場合の露光時間Ｔ０が１／７．５秒である場合、露光時間Ｔ１が１／６０であるとすると、流し撮りモード時においては図６に示すように露光時間Ｔ１が１／６０秒の露光が８回行われることとなる。

なお、流し撮りモード時における１回の撮影による露光時間Ｔ１は露光時間Ｔ０よりも短いため、流し撮りモード時における１回の撮影により取得される画像の明るさを、露光時間Ｔ０の１回の撮影により取得される画像の明るさと一致させるためには、絞り値を大きくする必要がある。このため、本実施形態においては、流し撮りモード時においては、第２のＡＥ処理により、露光時間Ｔ１とともに、１回の撮影の絞り値を設定する。なお、絞り値を設定することなく、第１のＡＥ処理により設定された絞り値をそのまま用いるようにしてもよい。

ＡＷＢ処理部３０は、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。

画像処理部３１は、本画像の画像データに対して、明るさ補正、階調補正、シャープネス補正、および色補正等の画質補正処理、並びにＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影により撮像素子１８から取り込まれ、ＡＦＥ２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データにより表される画像である。

圧縮／伸長処理部３２は、画像処理部３１によって処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。

メディア制御部３３は、不図示のメディアスロットルに着脱自在にセットされた記録メディア３４にアクセスして、画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３５は、デジタルカメラ１において設定される各種定数、ルックアップテーブル、およびＣＰＵ４０が実行するプログラム等を記憶する。

また、デジタルカメラ１は、動き解析部３６および合成部３７を備える。

動き解析部３６は、画像の動きを解析する。具体的には、流し撮りモードによる撮影により取得された複数の画像において１つの基準画像を設定し、基準画像および他の画像間の対応する画素の移動方向および移動量を求め、移動方向および移動量に基づいて基準画像における画素がどのように移動しているかを解析する。例えば、流し撮りモードの撮影により図７に示すように３つの画像Ｇ１〜Ｇ３が取得された場合において、基準画像を画像Ｇ１とすると、基準画像Ｇ１における自動車に対応する部分の画素の移動量は非常に小さいため、動き解析部３６は基準画像Ｇ１における自動車に対応する領域の画素の動きが小さいとの解析結果を出力する。なお、動きが小さいか否かの判断は、移動量が所定のしきい値より小さいか否かを判定することにより行えばよい。一方、基準画像Ｇ１における背景の家は大きく移動しているため、動き解析部３６は基準画像Ｇ１における自動車に対応する領域以外の領域の画素の動きが大きいとの解析結果を出力する。

なお、本撮影の前においては、連続して取得される２つのスルー画像間において、動きの解析を行うようにしてもよい。

合成部３７は、動き解析部３６による解析結果に基づいて、流し撮りモードの撮影により取得された複数の画像を合成する。具体的には、複数の画像における動きの小さい領域の位置が同じ位置になるように重ね合わせることにより合成して、合成画像を生成する。例えば、複数の画像において中央の領域の動きが小さければ、中央の領域の位置が同じ意位置になるように複数の画像を重ね合わせることにより合成画像を生成する。なお、合成は、複数の画像について動きが小さい領域の位置の位置合わせを行った後に、複数の画像間の対応する画素値の平均値を算出することにより行えばよい。ここで、位置合わせは、複数の画像から１つの基準画像を選択し、基準画像に含まれる動きが小さい領域の位置に他の画像における動きが小さい領域の位置が一致するように、他の画像を回転、拡大縮小等、変形することにより行えばよい。

なお、動き解析部３６による解析結果に基づいて、複数の画像の動きが小さい領域を動体として検出し、動体の位置が同じ位置になるように複数の画像を重ね合わせることにより合成して合成画像を生成するようにしてもよい。

これにより、図７に示すように３つの画像Ｇ１〜Ｇ３から生成された合成画像Ｇ０は、図８に示すように自動車が静止し、背景の家が流れたものとなる。ここで、図８においては背景の家の画像が流されている状態を横方向の線により表すものとする。

なお、流し撮りモード時において、第１のＡＥ処理により設定した絞り値を用いて撮影を行う場合には、単純に複数の画像間の対応する画素の画素値を加算することにより合成画像を生成するようにしてもよい。

ところで、流し撮りモードにより取得される合成画像の背景は、複数の画像が重ね合わせられたものとなる。このため、複数の画像のそれぞれに、画素値が最大値となるために、画素値が飽和している飽和領域が含まれると、撮影順に飽和領域の位置が移動するため、各画像における飽和領域の位置が異なるものとなる。このように飽和領域の位置が異なると、合成画像においては各画像における飽和領域と非飽和領域とが重なる部分が存在することとなる。ここで画素値が飽和するとは、例えば本実施形態によるデジタルカメラ１により取得される画像の各画素の画素値がＲＧＢ各色８ビットの分解能を有する場合、ＲＧＢの各値が２５６となることをいう。

しかしながら、各画像における飽和領域と非飽和領域とが重なると、飽和領域が滑らかに流れず、合成画像上に飽和領域と非飽和領域とが交互に現れるため、飽和領域が間を空けて存在することとなり、その結果、飽和領域が多重化してしまう。

例えば、図９に示すように流し撮りモードにより取得された３つの画像Ｇ１１〜Ｇ１３の家の窓の部分において太陽の光が反射していると、その部分が飽和領域となる。このように飽和領域が含まれる３つの画像Ｇ１１〜Ｇ１３を合成すると、図１０に示すように、合成画像Ｇ１０の背景に３つの飽和領域が現れてしまうため、飽和領域が多重化してしまう。

このため、本実施形態においては、本撮影の前に、流し撮りモード時に設定された１回の露光時間Ｔ１により再度のプレ撮影を行い、再度のプレ撮影により取得されたプレ画像に飽和領域が存在するか否かを判定する。飽和領域が存在しない場合には、設定された露光時間Ｔ１により撮影を行う。飽和領域が存在する場合には、ＡＥ処理部２９は、再度取得されたプレ画像を用いて、露出がアンダーとなるように第２のＡＥ処理を再度行い、露光時間Ｔ１および露光回数ｎを再度設定する。そして、飽和領域が存在しない露光時間Ｔ１が設定されるまで、再度のプレ撮影および露光時間Ｔ１の設定を繰り返す。なお、再度の第２のＡＥ処理には、第１のＡＥ処理は含まれない。

また、合成画像においては動きが小さい被写体は静止した状態となるため、その被写体上に飽和領域が存在しても合成画像において多重化は生じない。このため、スルー画像撮影時から動き解析部３６により動きの解析を行い、プレ画像に飽和領域が存在するか否かの判定を、プレ画像における動きが小さい領域以外の領域においてのみ行うようにしてもよい。例えば、図１１に示すようにプレ画像を６４の領域に分割してＡＥ処理を行う場合においては、動きが小さい自動車が存在する領域以外の領域（斜線で示す）において、飽和領域が存在するか否かを判定すればよい。

また、流し撮りモード時においては、静止させるように撮影する被写体は画角の中心にあることが多い。このため、ＡＥ処理のために分割した複数の領域のうち、中央の所定範囲にある領域を動きが小さい領域として用いてもよい。

なお、露光時間Ｔ１の設定を繰り返すことにより、露光時間Ｔ１は短くなっていくが、撮像素子１８からの電荷の読み出しを連続させるためには、撮像素子１８の最高電荷読み出し時間以上には露光時間Ｔ１を短くすることができない。このため、本実施形態においては、最高電荷読み出し時間に対応する時間に露光時間Ｔ１を設定しても飽和領域の存在を解消できない場合には、ＣＰＵ４０は、合成画像における飽和領域の多重化の発生を回避できないことから、流し撮りモードを停止する。また、ＣＰＵ４０は、流し撮りモードの停止とともに、流し撮りができない旨の通知をモニタ５に表示するよう表示制御部２７に指示を行う。

また、露光時間Ｔ１の設定を繰り返すことにより、複数の画像１つ当たりの明るさは暗くなる。このため、本実施形態においては、画像処理部３１において合成画像に対して明るさ補正処理を行うことにより、合成画像の明るさを適切なものとすることができる。

ＣＰＵ４０は、レリーズボタン２、操作ボタン８およびＡＥ処理部２９等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、画像データおよび各種指示等のやり取りを行う。

次いで、本実施形態において行われる処理について説明する。図１２は本実施形態において行われる処理を示すフローチャートである。なお、本発明は流し撮りモードにおける撮影の処理に特徴を有するため、以下に説明する実施形態においては、流し撮りモードが設定されている場合の処理について説明する。

ＣＰＵ４０はレリーズボタン２が半押しされたか否かを監視しており（ステップＳＴ１）、レリーズボタン２が半押しされると、撮像系９がプレ撮影を行い（ステップＳＴ２）、ＡＥ処理部２９がプレ撮影により取得されたプレ画像を用いて第２のＡＥ処理を行う（ステップＳＴ３）。そしてＣＰＵ４０は第２のＡＥ処理により設定された露光時間Ｔ１による再度のプレ撮影を行い（ステップＳＴ４）、これにより取得されたプレ画像に飽和領域が含まれるか否かを判定する（ステップＳＴ５）。

ステップＳＴ５が肯定されると、ＣＰＵ４０は、現在設定されている露光時間Ｔ１からさらに露出アンダーとなる露光時間を設定できるか否かを判定する（ステップＳＴ６）。具体的には、現在設定されている露光時間Ｔ１が、撮像装置１８における最速電荷読み出し時間となっているか否かを判定する。ステップＳＴ６が否定されると、これ以上の露出アンダーとなる撮影を行うことができないため、流し撮りモードにより取得される複数の画像に飽和領域が存在することを避けることができない。したがって、ＣＰＵ４０は流し撮りモードを停止するとともに（ステップＳＴ７）、モニタ５に流し撮りモードを停止する旨の表示を行い（ステップＳＴ８）、処理を終了する。

一方、ステップＳＴ６が肯定されると、ＣＰＵ４０は露出がアンダーとなるようにＡＥ処理部２９に指示を行い（ステップＳＴ９）。これによりステップＳＴ４に戻り、ＡＥ処理部２９が第２のＡＥ処理を再度行い、ステップＳＴ４以降の処理を繰り返す。なお、再度の第２のＡＥ処理には第１のＡＥ処理は含まれない。

ステップＳＴ５が否定されると、ＣＰＵ４０はレリーズボタン２が全押しされたか否かの監視を開始し（ステップＳＴ１０）、ステップＳＴ１０が肯定されると本撮影を行い、複数の画像を取得する（ステップＳＴ１１）。次いで、動き解析部３６が本撮影により取得された複数の画像の動きを解析し（ステップＳＴ１２）、合成部３７が動きの解析結果に基づいて複数の画像を重ね合わせることにより合成画像を生成する（ステップＳＴ１３）。さらに画像処理部３１が合成画像に対して明るさ補正を含む画像処理を行う（ステップＳＴ１４）。そして、圧縮／伸長処理部３２が、画像処理が施された合成画像の画像データから画像ファイルを生成し（ステップＳＴ１５）、メディア制御部３３が画像ファイルを記録メディア３４に記録し（ステップＳＴ１６）、処理を終了する。

このように、本実施形態によれば、流し撮りモード時に取得される複数の画像のそれぞれに飽和領域が存在しないように露光時間Ｔ１を設定するようにしたため、複数の画像には飽和領域が存在しなくなり、その結果、合成画像上において飽和領域と非飽和領域とが重なることがなくなり、これにより、飽和領域の多重化を防止することができる。

ここで、飽和領域が存在しないように露出を設定した場合、複数の画像は露出アンダーとなって明るさが不足する。このため、合成画像の明るさを補正することにより、飽和領域の多重化を防止しつつも、所望とする明るさを有する合成画像を得ることができる。

また、合成画像においては動きが小さい領域は静止した状態となるため、飽和領域が存在しても合成画像において多重化は生じない。このため、複数の画像における動きが小さい領域以外の領域に飽和領域が存在しないように露出を設定することにより、露出設定のための演算量を低減することができる。

また、飽和領域が存在しないようにするための露出の設定値、すなわちシャッタスピードが最高電荷読み出し時間となっても飽和領域の存在を解消できない場合には、流し撮りモードを停止して複数の画像の取得を停止することにより、多重化が生じる状況での複数の画像の取得および合成画像の生成を行うことによる無駄な処理を防止することができる。

この場合、複数の画像の生成が停止された旨の表示をモニタ５に行うことにより、撮影者は流し撮りを行っても合成画像が生成されないことを事前に知ることができるため、撮影場所を変更する等の措置を執ることにより、画像に飽和領域が存在しないようにすることができる。

なお、上記実施形態においては、合成画像の明るさを補正しているが、第２のＡＥ処理により設定される露光時間Ｔ１により撮影を行っても、絞り値およびアナログ信号のゲインを調整することにより、複数の画像のそれぞれの明るさが低下することを防止できる。このため、絞り値およびゲインの調整により複数の画像のそれぞれの明るさを適切に保つことできる場合、画像処理部３１において合成画像に対して明るさ補正処理を行わなくてもよい。

また、上記実施形態においては、露出アンダーに設定できない場合には、流し撮りモードを停止して処理を終了しているが、通常撮影モードに変更するようにしてもよい。

以上、本発明の実施形態に係るデジタルカメラ１について説明したが、コンピュータを、上記のＡＥ処理部２９、動き解析部３６および合成部３７に対応する手段として機能させ、図１２に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。

本発明の実施形態による撮影装置を適用したデジタルカメラの外観を示す図（正面側） 本発明の実施形態による撮影装置を適用したデジタルカメラの外観を示す図（背面側） 本発明の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図 測光領域への分割の一例を示す図 通常撮影モード時における１回の撮影による露光時間を示す図 流し撮りモード時における１回の撮影による露光時間を示す図 流し撮りモードにより取得された複数の画像を示す図（飽和領域無し） 合成画像を示す図（飽和領域無し） 流し撮りモードにより取得された複数の画像を示す図（飽和領域あり） 合成画像を示す図（飽和領域あり） 飽和領域の判定を説明するための図 本実施形態において行われる処理を示すフローチャート

符号の説明

１ デジタルカメラ
５ モニタ
９ 撮像系
１０ 撮影レンズ
１１ フォーカスレンズ駆動部
２３ 発光制御部
２４ フラッシュ
２８ ＡＦ処理部
２９ ＡＥ処理部
３６ 動き解析部
３７ 合成部
４０ ＣＰＵ

Claims (10)

1. 撮影により画像を取得する撮影手段と、
   複数の画像を時間的に連続させて順次取得するよう前記撮影手段を制御する撮影制御手段と、
   前記複数の画像の動きを解析する動き解析手段と、
   該動きの解析結果に基づいて、前記複数の画像を合成して合成画像を生成する合成手段と、
   前記撮影手段を用いての前記複数の画像の取得時に、前記複数の画像のそれぞれに飽和領域が存在しないように前記撮影手段の露出を設定する露出処理手段とを備えたことを特徴とする撮影装置。
2. 前記合成手段は、前記動きの解析結果に基づいて前記複数の画像のそれぞれから動体を検出し、該複数の画像のそれぞれにおける前記動体の位置が略一致するように前記複数の画像を合成して合成画像を生成する手段であることを特徴とする請求項１記載の撮影装置。
3. 前記露出処理手段は、前記複数の画像の各画素値が、最高輝度未満となるように前記撮影手段の露出を制御する手段であることを特徴とする請求項１または２記載の撮影装置。
4. 前記複数の画像の取得前に前記露出を制御するためのプレ画像を取得し、該プレ画像に基づいて前記複数の画像の取得時の露出を設定し、該設定した露出により前記プレ画像を再度取得し、該プレ画像に前記飽和領域が存在するか否かを判定し、該判定が否定されるまで前記露出の設定および前記再度のプレ画像の取得を繰り返すよう、前記撮影制御手段および前記露出処理手段を制御する制御手段をさらに備えたことを特徴とする請求項１から３のいずれか１項記載の撮影装置。
5. 前記合成画像の明るさを補正する明るさ補正手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載の撮影装置。
6. 前記露出処理手段は、前記動きの解析結果に基づいて、前記複数の画像における動きが小さい領域以外の領域に前記飽和領域が存在しないように前記撮影手段の露出を設定する手段であることを特徴とする請求項１から５のいずれか１項記載の撮影装置。
7. 前記撮影制御手段は、前記露出処理手段が設定する露出が制限値となっても前記飽和領域の存在を解消できない場合、前記複数の画像の取得を停止する手段であることを特徴とする請求項１から６のいずれか１項記載の撮影装置。
8. 前記複数の画像の取得が停止されたことを通知する通知手段をさらに備えたことを特徴とする請求項７記載の撮影装置。
9. 撮影により画像を取得する撮影手段と、
   複数の画像を時間的に連続させて順次取得するよう前記撮影手段を制御する撮影制御手段と、
   前記複数の画像の動きを解析する動き解析手段と、
   該動きの解析結果に基づいて、前記複数の画像を合成して合成画像を生成する合成手段とを備えた撮影装置の制御方法であって、
   前記撮影手段を用いての前記複数の画像の取得時に、前記複数の画像のそれぞれに飽和領域が存在しないように前記撮影手段の露出を設定することを特徴とする撮影装置の制御方法。
10. 撮影により画像を取得する撮影手段と、
    複数の画像を時間的に連続させて順次取得するよう前記撮影手段を制御する撮影制御手段と、
    前記複数の画像の動きを解析する動き解析手段と、
    該動きの解析結果に基づいて、前記複数の画像を合成して合成画像を生成する合成手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮影手段を用いての前記複数の画像の取得時に、前記複数の画像のそれぞれに飽和領域が存在しないように前記撮影手段の露出を設定する手順をコンピュータに実行させることを特徴とするプログラム。

Images