JP2016096392A - 撮像装置およびその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】動画のＨＤＲ合成においてフレームストップが発生した場合でも、フレームストップの期間を短くし、フレーム間の連続性を保った動画記録を可能とする。【解決手段】撮像装置は、異なる露出で複数のフレームを繰り返し撮像する撮像手段と、前記露出が異なる複数のフレームを合成して１つの合成フレームを生成する合成手段と、前記複数のフレームの中に、合成フレームに利用できない利用不可フレームがあるか判定する判定手段と、前記利用不可フレームがある場合に、当該利用不可フレームの前後の利用可能なフレームを用いて合成フレームを生成する第１の処理を行うように前記合成手段を制御する制御手段と、を有する。【選択図】図４

Description

本発明は、動画のハイダイナミックレンジ（ＨＤＲ）合成技術に関する。

異なる露出（アンダー露出、適露出、オーバー露出）で撮影した複数枚の画像を合成し、画像のダイナミックレンジを拡大するハイダイナミックレンジ（ＨＤＲ）合成技術が知られている。このＨＤＲ合成では、露出を変えて撮影された複数の画像における適正露出部分を合成することで、白飛びや黒潰れを抑制し、暗部から明部まで良好な階調性を有する画像を生成することができる。このＨＤＲ合成は、静止画撮影時だけでなく、動画記録時にも適用可能である。動画のＨＤＲ合成では、例えば、６０ｆｐｓのフレームレートで異なる露出（適露出、アンダー露出）を交互に繰り返し撮像し、３０ｆｐｓのフレームレートのＨＤＲフレームを生成したＨＤＲ動画を記録することができる。

カメラで動画のＨＤＲ合成を行う場合には、上記の撮像制御に加え、動画記録に関する種々の割り込み処理を考慮しなければならない。割り込み処理の一例として露出制御が挙げられる。動画記録時は静止画撮影時とは異なり、記録中にも適露出が徐々に変化するため、露出制御と動画記録とを並行して行う必要がある。絞りの駆動を瞬間的に行う制約があるレンズを使用している場合、動画記録中に絞りの駆動が発生すると画像に急激な輝度変化が発生する。

そこで、このような割り込み処理によってフレームとして不適な画像が生成される場合には、適切な露出の画像が得られるまでフレームの取得を停止するフレームストップという技術が知られている（特許文献１）。特許文献１によれば、ＨＤＲ合成により得られた画像を破綻なく表示することができる。

特開２０１１−０９７３６６号公報

上記特許文献１では、ＨＤＲフレームを構成するための画像のいずれかが割り込み処理によって利用不可となった場合は、その画像のフレームを含む組で合成したＨＤＲフレームを表示することができなくなるため、画像が更新されない期間が長くなってしまう。

本発明は、上記課題に鑑みてなされ、その目的は、動画のＨＤＲ合成においてフレームストップが発生した場合でも、フレームストップの期間を短くし、フレーム間の連続性を保った動画記録を可能にする技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、異なる露出で複数のフレームを繰り返し撮像する撮像手段と、前記露出が異なる複数のフレームを合成して１つの合成フレームを生成する合成手段と、前記複数のフレームの中に、合成フレームに利用できない利用不可フレームがあるか判定する判定手段と、前記利用不可フレームがある場合に、当該利用不可フレームの前後の利用可能なフレームを用いて合成フレームを生成する第１の処理を行うように前記合成手段を制御する制御手段と、を有する。

本発明によれば、動画のＨＤＲ合成においてフレームストップが発生した場合でも、フレームストップの期間を短くし、フレーム間の連続性を保った動画記録が可能になる。

本実施形態の装置構成の概略を示すブロック図。 動画のＨＤＲ合成処理の説明図。 ＨＤＲ合成による動画記録時におけるフレームストップ時の処理を説明する図。 実施形態１のフレームストップ時のＨＤＲ合成処理を説明する図。 図４の動画記録時のＨＤＲフレーム生成処理を示すフローチャート。 フレームストップ時におけるＨＤＲフレーム中の被写体の動きを説明する図。 実施形態２のフレームストップ時のＨＤＲ合成処理（合成比率の切り替える場合）を説明する図。 図７の動画記録時のＨＤＲフレーム生成処理を示すフローチャート。 実施形態２のフレームストップ時のＨＤＲ合成処理（適フレームを用いる場合）を説明する図。 図９の動画記録時のＨＤＲフレーム生成処理を示すフローチャート。 実施形態２のフレームストップ時のＨＤＲ合成処理（合成比率を入れ替える場合）を説明する図。 図１１の動画記録時のＨＤＲフレーム生成処理を示すフローチャート。 フレームの組み合わせにより不自然なＨＤＲフレームが生成される様子を説明する図。 実施形態３のフレームストップ時のＨＤＲ合成処理を説明する図。 図１４の動画記録時のＨＤＲフレーム生成処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下では、本発明に係る撮像装置を、静止画撮影や動画記録が可能なデジタルカメラに適用した例を説明するが、本発明はデジタルカメラのような撮像を主目的とした機器に限定されないことは言うまでもない。すなわち、本発明は、例えば、携帯電話の一種であるスマートフォン、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続可能なあらゆる機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を有するものの、撮像を主目的としていない任意の機器を包含するものとして意図されている。

＜装置構成＞まず、図１を参照して、本実施形態の撮像装置１０１の構成及び機能の概略について説明する。

図１において、レンズ１０２は、被写体の光像を集光し、撮像素子１０４の撮像面に結像させる。絞り１０３は、被写体の光像の入射光量を調整する。撮像素子１０４は複数の画素（蓄積型光電変換素子）が配列されたＣＣＤやＣＭＯＳなどを用いたイメージセンサーであり、レンズ１０２により結像された被写体像を光電変換する。

画像処理部１０５は、撮像素子１０４で得られた画像データに対して、ノイズ除去、ガンマ処理、補間処理、マトリクス変換、合成処理等の各種画像処理を施し、動画を構成するフレームの画像を生成する。

絞り駆動部１０９は、絞り１０３を駆動する。露出制御部１１０は、撮像素子１０４に光を蓄積させる時間（電荷蓄積時間あるいは露光時間）を制御する。また、露出制御部１１０は、絞り量を設定し絞り駆動部１０９を制御する。

撮影制御部１１１は、撮像素子１０４、画像処理部１０５、フレーム記録部１０６、合成処理部１０７、動画記録部１０８、露出制御部１１０に動作指令を出すことにより、各部の動作タイミングを制御する。なお、ＨＤＲ合成による動画記録時は、撮影制御部１１１は、所定のフレームレートで異なる露出（適露出、アンダー露出）での撮像を交互に繰り返すように各部を制御する。このようにして得られた画像には、少なくとも、適正露出で撮像された適画像のフレーム（適フレーム）と、アンダー露出で撮像されたアンダー画像のフレーム（アンダーフレーム）の組が含まれる。なお、以下の説明では、適フレーム及びアンダーフレームを単に「適」及び「アンダー」と略称することもある。

また、撮影制御部１１１は、画像処理部１０５により生成されるフレームの画像中から被写体である動体及びその移動量を検出する機能を備えている。動体検出方法は、各種存在するが、例えば２つのフレームの差分絶対値をとる方法が挙げられる。差分がある箇所は動体と推定することができ、差分の量が大きいほど動体の移動量が大きいと判定できる。

フレーム記録部１０６は、動画記録時に画像処理部１０５により生成されたＨＤＲ合成用のフレーム（記録フレーム）を記録するメモリである。

合成処理部１０７は、フレーム記録部１０６からＨＤＲ合成を行うための記録フレームを読み出してＨＤＲ合成を行う。

動画記録部１０８は、合成処理部１０７で生成された合成フレーム（ＨＤＲフレーム）を動画として記録する内蔵ハードディスクや半導体メモリ等の記憶装置である。

操作部１１２は、ユーザ操作を受け付けるスイッチ類であり、静止画撮影や動画記録の開始指示その他の指示、入力等を行う。

撮影制御部１１１は、画像処理部１０５により生成され、フレーム記録部１０６に記録されているフレームの画像中から被写体である動体及びその移動量を検出する機能を備えている。動体検出方法は、例えば２つのフレームの差分絶対値をとり、差分がある箇所は動体と推定でき、差分値が大きいほど動体の移動量が大きいと判定できる。

なお、本実施形態の撮像装置１０１は、ＬＣＤパネルや有機ＥＬパネル等からなる表示部を備え、撮像素子１０４で撮像された画像の表示や動画記録部１０８から読み出した動画の再生に利用される。

＜ＨＤＲ合成による動画記録時の動作＞まず、図１及び図２を参照して、ＨＤＲ合成による動画記録時の撮像装置１０１のＨＤＲフレーム生成動作について説明する。

操作部１１２からＨＤＲ合成による動画記録の開始指示が出されると、撮影制御部１１１は必要な初期化処理を行い撮影を開始する。撮影制御部１１１から適フレームの撮像指示が出されると、露出制御部１１０は適露出制御値を算出し、絞り駆動部１０９に絞り量の設定を行う、また、撮像素子１０４に対してシャッタースピードと感度の設定を行う。撮影制御部１１１から撮像指示が出されると、レンズ１０２で集光され、絞り１０３で光量と被写界深度の調整が行われ、撮像素子１０４に結像した像を撮像して、適画像データが取得される。撮像素子１０４から読み出された適画像は、画像処理部１０５で記録フレームにするために必要な画像処理が行われて適フレームになる。適フレームはフレーム記録部１０６に記録される。適フレームの記録が完了すると、撮影制御部１１１はアンダーフレームの撮像指示を出す。露出制御部１１０は、アンダー露出になるように露出制御値を算出し、絞り１０３と撮像素子１０４の設定を行う。撮影制御部１１１から撮像指示が出されると、レンズ１０２で集光され、絞り１０３で光量と被写界深度の調整が行われ、撮像素子１０４に結像した像を撮像して、アンダー画像データが取得される。撮像素子１０４から読み出されたアンダー画像は、画像処理部１０５で記録フレームに必要な画像処理が行われてアンダーフレームになる。アンダーフレームはフレーム記録部１０６に記録される。撮影制御部１１１は適フレームとアンダーフレームの撮影が完了すると、合成処理部１０７でフレーム記録部１０６から両フレームを読み出し、ＨＤＲフレームとして合成する。ＨＤＲフレームは動画記録部１０８で動画として保存される。

図２は、上述した動作を繰り返し行うことで、適フレームとアンダーフレームを交互に取得し、ＨＤＲフレームを生成する動作を概念的に示している。

＜フレームストップ時の動作＞次に、図１及び図３を参照して、フレームストップ時の撮像装置１０１のＨＤＲフレーム生成動作について説明する。

図２の動画記録動作において、露出制御部１１０は絞り量の設定を行い、絞り駆動部１０９がその絞り量になるように絞り１０３を駆動する。ここで、レンズ交換式のデジタルカメラの場合には、その制約によっては絞り１０３の駆動が急速にしか行えないものがある。露出制御部１１０は撮像素子１０４で取得した画像データに基づいて次のフレームの露出制御値を決定するため、絞り値が急速に変化すると、フレーム間の絞りの偏りによって画像の明るさがチラついたように見えてしまう場合がある。この場合、撮影制御部１１１はフレーム間の輝度差が不自然でない状態で撮像された画像を利用不可フレームと判定し、その間の画像の更新を停止させ、直前の利用可能フレームを記録フレームとして置き換える処理を行う。

本実施形態では、このような種々の割り込み処理によって利用不可フレームが発生し、直前の利用可能フレームに置き換えることでフレームの更新が停止することをフレームストップと呼ぶ。フレームストップはレンズの制約と被写体の輝度変化によって、いつどの程度の区間で発生するかは分からない。

図３は、図２のＨＤＲ合成による動画記録時のフレームストップ動作を概念的に示し、適フレームとアンダーフレームの組のうち、アンダーフレームのみ、もしくは適フレームのみが利用不可フレームである場合もある。

［実施形態１］以下、図４及び図５を参照して、実施形態１のフレームストップ時のＨＤＲ合成処理について説明する。

図４において、フレームストップ時以外の定常時においては、適フレームＴ１０１とアンダーフレームＵ１０１を交互に取得し、１つのＨＤＲフレームＨ１０１を生成する。しかし、適・アンダーの組（Ｔ１０２・Ｕ１０２）のうち、アンダーフレームＵ１０２だけが利用不可フレームである場合には、１つ前のアンダーフレームＵ１０１を利用してＨＤＲフレームＨ１０２を生成する。また、適・アンダーの組（Ｔ１０３・Ｕ１０３）のうち、適フレームＴ１０３だけが利用不可フレームである場合は直後の適フレームＴ１０４を利用してＨＤＲフレームＨ１０４を生成し、直前のＨＤＲフレームＨ１０３と置き換える。

ここで、図５を参照して、実施形態１の動画記録時のＨＤＲフレーム生成処理について、図４の例に基づいて説明を行う。なお、図５の処理は、操作部１１２からＨＤＲ合成による動画記録の開始指示に応じて開始され、撮影制御部１１１が所定の制御プログラムを実行し、各部を制御することで実現される。

ステップＳ１０１では、合成処理部１０７が適・アンダーの組（Ｔ１０１・Ｕ１０１）でＨＤＲフレームＨ１０１の合成を行う。

ステップＳ１０２では、撮影制御部１１１は、適もしくはアンダーのいずれか、もしくはその両方に利用不可フレームを含むか判定する。判定の結果、利用不可フレームがない場合は、ステップＳ１０１に戻り、次の適・アンダーの組（Ｔ１０２・Ｕ１０２）の合成を行う。また、利用不可フレームがある場合は、ステップＳ１０３に進む。

ステップＳ１０３では、撮影制御部１１１は、利用不可フレームが適フレームＴ１０２から始まるか判定し、適フレームから始まる場合は、ステップＳ１０６に進み、利用不可フレームがアンダーフレームのみであった場合はステップＳ１０４に進む。

ステップＳ１０４では、撮影制御部１１１は、１つ前のアンダーフレームＵ１０１が利用不可フレームであるか判定し、利用不可フレームであった場合はステップＳ１０６に進み、利用可能フレームであった場合はステップＳ１０５に進む。

ステップＳ１０５では、合成処理部１０７は、１つ前のアンダーフレームＵ１０１を利用してＨＤＲフレームＨ１０２を生成し、ステップＳ１０７に進む。

ステップＳ１０６では、撮影制御部１１１はフレームストップを行い、直前のＨＤＲフレームＨ１０１を再利用する。

ステップＳ１０７では、撮影制御部１１１は、適・アンダー（Ｔ１０４・Ｕ１０４）もしくはアンダー・１つ後の適（Ｕ１０３・Ｔ１０４）の利用可能フレームで組が作れるか判定する。判定の結果、いずれかの組が作れる場合はステップＳ１０８に進み、組が作れない場合はフレームストップ（Ｓ１０６）を行い、フレームストップ直前のＨＤＲフレームＨ１０２を再利用し続ける。

ステップＳ１０８では、撮影制御部１１１は、適・アンダー（Ｔ１０４・Ｕ１０４）もしくはアンダー・１つ後の適（Ｕ１０３・Ｔ１０４）のどちらの組であるか、また、利用可能フレームの１フレーム目が適フレームであるか判定する。判定の結果、適・アンダーの組（Ｔ１０４・Ｕ１０４）の場合は、ステップＳ１０１に戻り、定常時のＨＤＲフレームの合成を行い、アンダー・１つ後の適（Ｕ１０３・Ｔ１０４）の組の場合は、ステップＳ１０９に進む。

ステップＳ１０９では、撮影制御部１１１は、アンダー・１つ後の適（Ｕ１０３・Ｔ１０４）の組でＨＤＲフレームＨ１０４の合成を行い、ステップＳ１１０に進む。

ステップＳ１１０では、撮影制御部１１１は、フレームストップの最終フレームＨ１０３とステップＳ１０９で合成されたＨＤＲフレームＨ１０４を置き換える。

その後、ステップＳ１１１では、撮影制御部１１１は、操作部１１２からの動画記録の終了指示があるまで、ステップＳ１０１からの処理を繰り返し行う。

上述した実施形態１によれば、利用不可フレームが不規則に発生する状況でＨＤＲ合成を用いた動画記録を行う際に、フレームストップ前後で利用可能な適もしくはアンダーのフレームがある場合には、その利用可能フレームを用いてＨＤＲフレームを生成する。このようにして最大２フレームを補間することができる。これにより、ＨＤＲ合成を用いた動画記録においてフレームストップが発生した場合でもフレームストップの期間を短くし、フレーム間の連続性をもった動画記録を行うことが可能になる。

［実施形態２］次に、図６ないし図１２を参照して、実施形態２のフレームストップ時のＨＤＲ合成処理について説明する。

図６は適フレームとアンダーフレームを交互に取得してＨＤＲフレームを生成している動画記録時において、フレーム間の被写体としての動体の変化を示している。図６でＨＤＲフレームの動体Ｐ２０１はアンダー画像中の動体Ｐ２０２が用いられるものとする。この状況で、あるフレームでアンダーフレームＵ２０１と適フレームＴ２０１が利用不可となった場合にはフレームストップとなり、動体Ｐ２０１は動体Ｐ２０３の位置にジャンプしたようになる。

ここで、図７を参照して、実施形態２のフレームストップ時の合成比率の切り替えによるＨＤＲ合成処理について説明する。

図７において、フレームストップ時以外の定常時においては、適フレームＴ３０１とアンダーフレームＵ３０１を交互に取得し、１つのＨＤＲフレームＨ３０１を生成する。また、適・アンダーの組（Ｔ３０２・Ｕ３０２）のうちアンダーフレームＵ３０２だけが利用不可フレームである場合は、１つ前のアンダーフレームＵ３０１を利用してＨＤＲフレームＨ３０２を生成する。ここで、本実施形態では、適画像と１つ前のアンダー画像中の動体の合成比率を定常時に対して切り替えて動体Ｐ３０１を多重表示させたＨＤＲフレームＨ３０２を生成する。合成比率の切り替えを行うかどうかは、適フレームとアンダーフレームそれぞれの輝度値を用いて動体が白飛びや黒潰れしているか判定し、多重表示時に適フレームの動体もしくはアンダーフレームの動体のいずれか一方だけが消失してしまうことを防止する。また、適・アンダーの組（Ｔ３０３・Ｕ３０３）のうち、適フレームＴ３０３だけが利用不可フレームである場合は直後の適フレームＴ３０４を利用してＨＤＲフレームＨ３０４を生成し、直前のＨＤＲフレームＨ４０３と置き換える。

以下、図８を参照して、実施形態２の動画記録時のＨＤＲフレーム生成処理について、図７の例に基づいて説明を行う。なお、図８の処理は、操作部１１２からＨＤＲ合成による動画記録の開始指示に応じて開始され、撮影制御部１１１が所定の制御プログラムを実行し、各部を制御することで実現される。

ステップＳ２０１では、合成処理部１０７が適・アンダーの組（Ｔ３０１・Ｕ３０１）でＨＤＲフレームＨ３０１の合成を行う。

ステップＳ２０２では、撮影制御部１１１は、適もしくはアンダーのいずれか、もしくはその両方に利用不可フレームを含むか判定する。判定の結果、利用不可フレームがない場合は、ステップＳ２０１に戻り、次の適・アンダーの組（Ｔ３０２・Ｕ３０２）の合成を行う。また、利用不可フレームがある場合は、ステップＳ２０３に進む。

ステップＳ２０３では、撮影制御部１１１は、利用不可フレームが適フレームＴ３０２から始まるか判定し、適フレームから始まる場合は、ステップＳ２０９に進み、利用不可フレームがアンダーフレームのみであった場合はステップＳ２０４に進む。

ステップＳ２０４では、撮影制御部１１１は、１つ前のアンダーフレームＵ３０１が利用可能フレームであるか判定する。判定の結果、利用可能フレームであった場合はステップＳ２０５に進み、利用不可フレームであった場合はステップＳ２０９に進む。

ステップＳ２０５では、撮影制御部１１１は、適フレームＴ３０２の輝度が閾値以下であるか判定を行い、動体が白飛びしていないか判定する。判定の結果、閾値以下の場合は白飛びしていないと判定してステップＳ２０６に進み、閾値を超えている場合は白飛びしていると判定してステップＳ２０９に進む。

ステップＳ２０６では、撮影制御部１１１は、１つ前のアンダーフレームＵ３０１の輝度が閾値以上であるか判定を行い、動体が黒潰れしていないか判定する。判定の結果、閾値以上の場合は黒潰れしていないと判定してステップＳ２０７に進み、閾値未満の場合は黒潰れしていると判定してステップＳ２０９に進む。

ステップＳ２０５、Ｓ２０６では、撮影制御部１１１は、適フレームＴ３０２の被写体の白飛びとアンダーフレームＵ３０１の被写体の黒潰れのいずれか一方でも検出された場合はフレームストップを行う（Ｓ２０９）。

ステップＳ２０７では、撮影制御部１１１は、動体Ｐ３０１の合成比率の設定（例えば、適５０％、アンダー５０％）を切り替える。

ステップＳ２０８では、合成処理部１０７は、１つ前のアンダーフレームＵ３０１を利用してＨＤＲフレームＨ３０２を生成し、ステップＳ２１０に進む。

ステップＳ２０９では、撮影制御部１１１はフレームストップを行う。すなわち、１つ前のアンダーフレームＵ３０１が利用可能フレームであった場合（Ｓ２０４）、適フレームＴ３０２の輝度が閾値以下であるか判定を行い、動体が白飛びしていないか判定する（Ｓ２０５）。また、１つ前のアンダーフレームＵ３０１の輝度が閾値以上であるか判定を行い、動体が黒潰れしていないかを判定する（Ｓ２０６）。判定の結果、適・アンダーのいずれか一方でも所定の輝度範囲にないならば、フレームストップを行う（Ｓ２０９）。

ステップＳ２０９では、撮影制御部１１１はフレームストップを行い、直前のＨＤＲフレームＨ３０１を再利用する。

ステップＳ２１０では、撮影制御部１１１は、適・アンダー（Ｔ３０４・Ｕ３０４）もしくはアンダー・１つ後の適（Ｕ３０３・Ｔ３０４）の利用可能フレームで組が作れるか判定する。いずれかの組が作れる場合はステップＳ２１１に進み、組が作れない場合はフレームストップ（Ｓ２０９）を行い、フレームストップ直前のＨＤＲフレームＨ３０２を再利用し続ける。

ステップＳ２１１では、撮影制御部１１１は、適・アンダー（Ｔ３０４・Ｕ３０４）もしくはアンダー・１つ後の適（Ｕ３０３・Ｔ３０４）のどちらの組であるか、また、利用可能フレームの１フレーム目が適フレームであるか判定する。判定の結果、適・アンダーの組（Ｔ３０４・Ｕ３０４）の場合は、ステップＳ２０１に戻り、定常時のＨＤＲフレームの合成を行い、アンダー・１つ後の適（Ｕ３０３・Ｔ３０４）の組の場合は、ステップＳ２１２に進む。

ステップＳ２１２では、撮影制御部１１１は、アンダー・１つ後の適（Ｕ３０３・Ｔ３０４）の組でＨＤＲフレームＨ３０４の合成を行い、ステップＳ２１３に進む。

ステップＳ２１３では、撮影制御部１１１は、フレームストップの最終フレームＨ３０３とステップＳ２１３で合成されたＨＤＲフレームＨ３０４を置き換える。なお、図７で、例えば、利用不可フレームが検出されなくなった時点が適フレーム、つまり、利用可能なフレームが適フレームから始まる場合には、ステップＳ２１３で最終フレームの置き換えは行わず、定常時と同様に適・アンダーの組から合成されたＨＤＲフレームを利用する。

その後、ステップＳ２１４では、撮影制御部１１１は、操作部１１２からの動画記録の終了指示があるまで、ステップＳ２０１からの処理を繰り返し行う。

次に、図９を参照して、実施形態２のフレームストップ時の適フレームを利用したＨＤＲ合成処理について説明する。

図９において、定常時は適フレームＴ４０１とアンダーフレームＵ４０１を交互に取得し、１つのＨＤＲフレームＨ４０１を生成する。また、適・アンダーの組（Ｔ４０２・Ｕ４０２）のうちアンダーフレームＵ４０２だけが利用不可フレームである場合は、１つ前のアンダーフレームＵ４０１を利用してＨＤＲフレームＨ４０２を生成する。また、適・アンダーの組（Ｔ４０３・Ｕ４０３）のうち適フレームＴ４０３だけが利用不可フレームである場合は、直後の適フレームＴ４０４を利用してＨＤＲフレームＨ４０４を生成し、直前のＨＤＲフレームＨ４０３と置き換える。ここで、本実施形態では、適フレームＴ４０４の動体の合成比率を１００％に切り替えて動体Ｐ４０１を多重表示させたＨＤＲフレームＨ４０４を生成する。合成比率の切り替えを行うかどうかは、適フレームとアンダーフレームそれぞれの輝度値を用いて動体が白飛びや黒潰れしているか判定し、多重表示時に適フレームの動体もしくはアンダーフレームの動体のいずれか一方だけが消失してしまうことを防止する。

以下、図１０を参照して、実施形態２の動画記録時のＨＤＲフレーム生成処理について、図９の例に基づいて説明を行う。なお、図１０の処理は、操作部１１２からＨＤＲ合成による動画記録の開始指示に応じて開始され、撮影制御部１１１が所定の制御プログラムを実行し、各部を制御することで実現される。

ステップＳ３０１では、合成処理部１０７が適・アンダーの組（Ｔ４０１・Ｕ４０１）でＨＤＲフレームＨ４０１の合成を行う。

ステップＳ３０２では、撮影制御部１１１は、適もしくはアンダーのいずれか、もしくはその両方に利用不可フレームを含むか判定する。判定の結果、利用不可フレームがない場合は、ステップＳ３０１に戻り、次の適・アンダーの組（Ｔ４０２・Ｕ４０２）の合成を行う。また、利用不可フレームがある場合は、ステップＳ３０３に進む。

ステップＳ３０３では、撮影制御部１１１は、利用不可フレームが適フレームＴ４０２から始まるか判定し、適フレームから始まる場合は、ステップＳ３０６に進み、利用不可フレームがアンダーフレームのみであった場合はステップＳ３０４に進む。

ステップＳ３０４では、撮影制御部１１１は、１つ前のアンダーフレームＵ４０１が利用不可フレームであるか判定し、利用不可フレームであった場合はステップＳ３０６に進み、利用可能フレームであった場合はステップＳ３０５に進む。

ステップＳ３０５では、合成処理部１０７は、適フレームＴ４０２の動体の合成比率１００％、１つ前のアンダーフレームＵ４０１（動体の合成比率０％）を利用してＨＤＲフレームＨ４０２を生成し、ステップＳ３０７に進む。

ステップＳ３０６では、撮影制御部１１１はフレームストップを行い、直前のＨＤＲフレームＨ４０１を再利用する。

ステップＳ３０７では、撮影制御部１１１は、適・アンダー（Ｔ４０４・Ｕ４０４）もしくはアンダー・１つ後の適（Ｕ４０３・Ｔ４０４）の利用可能フレームで組が作れるか判定する。判定の結果、いずれかの組が作れる場合はステップＳ３０８に進み、組が作れない場合はフレームストップ（Ｓ３０６）を行い、フレームストップ直前のＨＤＲフレームＨ４０２を再利用し続ける。

ステップＳ３０８では、撮影制御部１１１は、適・アンダー（Ｔ４０４・Ｕ４０４）もしくはアンダー・１つ後の適（Ｕ４０３・Ｔ４０４）のどちらの組であるか、また、利用可能フレームの１フレーム目が適フレームであるか判定する。判定の結果、適・アンダーの組（Ｔ４０４・Ｕ４０４）の場合は、ステップＳ３０１に戻り、定常時のＨＤＲフレームの合成を行い、アンダー・１つ後の適（Ｕ４０３・Ｔ４０４）の組の場合は、ステップＳ３０９に進む。

ステップＳ３０９では、撮影制御部１１１は、適フレームＴ４０４の輝度が閾値以下であるか判定を行い、被写体である動体が白飛びしていないか判定する。判定の結果、閾値以下の場合は白飛びしていないと判定してステップＳ３１０に進み、閾値を超えている場合は白飛びしていると判定してステップＳ３０１に戻る。

ステップＳ３１０では、撮影制御部１１１は、１つ前のアンダーフレームＵ４０３の輝度が閾値以上であるか判定を行い、被写体である動体が黒潰れしていないか判定する。判定の結果、閾値以上の場合は黒潰れしていないと判定してステップＳ３１１に進み、閾値未満の場合は黒潰れしていると判定してステップＳ３０１に戻る。

ステップＳ３１１では、撮影制御部１１１は、動体Ｐ４０１の合成比率の設定（例えば、適５０％、アンダー５０％）を切り替える。

ステップＳ３１２では、合成処理部１０７は、アンダー・１つ後の適（Ｕ４０３・Ｔ４０４）の組でＨＤＲフレームＨ４０４の合成を行い、ステップＳ３１３に進む。

ステップＳ３１３では、撮影制御部１１１は、フレームストップの最終フレームＨ４０３とステップＳ３１２で合成されたＨＤＲフレームＨ４０４を置き換える。なお、図９で、例えば、利用不可フレームが検出されなくなった時点が適フレーム、つまり、利用可能なフレームが適フレームから始まる場合には、ステップＳ３１３で最終フレームの置き換えは行わず、定常時と同様に適・アンダーの組から合成されたＨＤＲフレームを利用する。

その後、ステップＳ３１４では、撮影制御部１１１は、操作部１１２からの動画記録の終了指示があるまで、ステップＳ３０１からの処理を繰り返し行う。

次に、図１１を参照して、実施形態２のフレームストップ時の合成比率の入れ替えによるＨＤＲ合成処理について説明する。

図１１において、定常時は適フレームＴ５０１とアンダーフレームＵ５０１を交互に取得し、１つのＨＤＲフレームＨ５０１を生成する。ＨＤＲフレームＨ５０１の動体Ｐ５０１は適フレームＴ５０１とアンダーフレームＵ５０１の各動体が多重表示されている。また、適・アンダーの組（Ｔ５０２・Ｕ５０２）のうちアンダーフレームＵ５０２だけが利用不可フレームである場合は、１つ前のアンダーフレームＵ５０１を利用してＨＤＲフレームＨ５０２を生成する。ここで、本実施形態では、定常時の適・アンダーの組の合成比率（適３０％、アンダー７０％）と、ＨＤＲフレームＨ５０２の適・１つ前のアンダーの組の合成比率（適７０％、アンダー３０％）とを入れ替える。例えば、定常時のＨＤＲフレームＨ５０１の動体Ｐ５０１における適フレームＴ５０１の合成比率が３０％、アンダーフレームＵ５０１が７０％であったとする。この場合は、ＨＤＲフレームＨ５０２の動体Ｐ５０２における適フレームＴ５０２とアンダーフレームＵ５０１の合成比率をそれぞれ７０％と３０％に設定する。

また、適・アンダーの組（Ｔ５０３・Ｕ５０３）のうち適フレームＴ５０３だけが利用不可フレームである場合は、直後の適フレームＴ５０４を利用してＨＤＲフレームＨ５０４を生成し、直前のＨＤＲフレームＨ５０３を置き換える。この場合も、アンダー・適の組の合成比率を定常時に対して入れ替える。例えば、定常時のＨＤＲフレームＨ５０５の動体Ｐ５０５における適フレームＴ５０４の合成比率が３０％、アンダーフレームＵ５０４が７０％であったとする。この場合は、ＨＤＲフレームＨ５０４の動体Ｐ５０４における適フレームＴ５０４とアンダーフレームＵ５０３の合成比率をそれぞれ７０％と３０％に設定する。

合成比率の切り替えを行うかどうかは、適フレームとアンダーフレームそれぞれの輝度値を用いて動体が白飛びや黒潰れしているか判定し、多重表示時に適フレームの動体もしくはアンダーフレームの動体のいずれか一方だけが消失してしまうことを防止する。

以下、図１２を参照して、実施形態２の動画記録時のＨＤＲフレーム生成処理について、図１１の例に基づいて説明を行う。なお、図１２の処理は、操作部１１２からＨＤＲ合成による動画記録の開始指示に応じて開始され、撮影制御部１１１が所定の制御プログラムを実行し、各部を制御することで実現される。

ステップＳ４０１では、合成処理部１０７が適・アンダーの組（Ｔ５０１・Ｕ５０１）でＨＤＲフレームＨ５０１の合成を行う。

ステップＳ４０２では、撮影制御部１１１は、適もしくはアンダーのいずれか、もしくはその両方に利用不可フレームを含むか判定する。判定の結果、利用不可フレームがない場合は、ステップＳ４０１に戻り、次の適・アンダーの組（Ｔ５０２・Ｕ５０２）の合成を行う。また、利用不可フレームがある場合は、ステップＳ４０３に進む。

ステップＳ４０３では、撮影制御部１１１は、利用不可フレームが適フレームＴ５０２から始まるか判定し、適フレームから始まる場合は、ステップＳ４０９に進み、利用不可フレームがアンダーフレームのみであった場合はステップＳ４０４に進む。

ステップＳ４０４では、撮影制御部１１１は、１つ前のアンダーフレームＵ５０１が利用可能フレームであるか判定し、利用可能フレームであった場合はステップＳ４０５に進み、利用不可フレームであった場合はステップＳ４０９に進む。

ステップＳ４０５では、撮影制御部１１１は、適フレームＴ５０２の輝度が閾値以下であるか判定を行い、被写体である動体が白飛びしていないか判定する。判定の結果、閾値以下の場合は白飛びしていないと判定してステップＳ４０６に進み、閾値を超えている場合は白飛びしていると判定してステップＳ４０９に進む。

ステップＳ４０６では、撮影制御部１１１は、１つ前のアンダーフレームＵ５０１の輝度が閾値以上であるか判定を行い、被写体である動体が黒潰れしていないか判定する。判定の結果、閾値以上の場合は黒潰れしていないと判定してステップＳ４０７に進み、閾値未満の場合は黒潰れしていると判定してステップＳ４０９に進む。

ステップＳ４０７では、撮影制御部１１１は、動体Ｐ５０２の合成比率の設定（例えば、適７０％、アンダー３０％）を入れ替える。

ステップＳ４０８では、合成処理部１０７は、１つ前のアンダーフレームＵ５０１を利用してＨＤＲフレームＨ５０２を生成し、ステップＳ４１０に進む。

ステップＳ４０９では、撮影制御部１１１はフレームストップを行い、直前のＨＤＲフレームＨ５０２を再利用する。

ステップＳ４１０では、撮影制御部１１１は、適・アンダー（Ｔ５０４・Ｕ５０４）もしくはアンダー・１つ後の適（Ｕ５０３・Ｔ５０４）の利用可能フレームで組が作れるか判定する。判定の結果、いずれかの組が作れる場合はステップＳ４１１に進み、組が作れない場合はフレームストップ（Ｓ４０９）を行い、フレームストップ直前のＨＤＲフレームＨ５０２を再利用し続ける。

ステップＳ４１１では、撮影制御部１１１は、適・アンダー（Ｔ５０４・Ｕ５０４）もしくはアンダー・１つ後の適（Ｕ５０３・Ｔ５０４）のどちらの組であるか、また、利用可能フレームの１フレーム目が適フレームであるか判定する。判定の結果、適・アンダーの組（Ｔ５０４・Ｕ５０４）の場合は、ステップＳ４０１に戻り、定常時のＨＤＲフレームの合成を行い、アンダー・１つ後の適（Ｕ５０３・Ｔ５０４）の組の場合は、ステップＳ４１２に進む。

ステップＳ４１２では、撮影制御部１１１は、適フレームＴ５０４の輝度が閾値以下であるか判定を行い、被写体である動体が白飛びしていないか判定する。判定の結果、閾値以下の場合は白飛びしていないと判定してステップＳ４１３に進み、閾値を超えている場合は白飛びしていると判定してステップＳ４０１に戻る。

ステップＳ４１３では、撮影制御部１１１は、１つ前のアンダーフレームＵ５０３の輝度が閾値以上であるか判定を行い、被写体である動体が黒潰れしていないか判定する。判定の結果、閾値以上の場合は黒潰れしていないと判定してステップＳ４１４に進み、閾値未満の場合は黒潰れしていると判定してステップＳ４０１に戻る。

ステップＳ４１４では、撮影制御部１１１は、動体Ｐ５０３の合成比率の設定（例えば、適７０％、アンダー３０％）を入れ替える。

ステップＳ４１５では、合成処理部１０７は、アンダー・１つ後の適（Ｕ５０３・Ｔ５０４）の組でＨＤＲフレームＨ５０４の合成を行い、ステップＳ４１６に進む。

ステップＳ４１６では、撮影制御部１１１は、フレームストップの最終フレームＨ５０３とステップＳ４１５で合成されたＨＤＲフレームＨ５０４を置き換える。なお、図１１で、例えば、利用不可フレームが検出されなくなった時点が適フレーム、つまり、利用可能なフレームが適フレームから始まる場合には、ステップＳ４１６で最終フレームの置き換えは行わず、定常時と同様に適・アンダーの組から合成されたＨＤＲフレームを利用する。

その後、ステップＳ４１７では、撮影制御部１１１は、操作部１１２からの動画記録の終了指示があるまで、ステップＳ４０１からの処理を繰り返し行う。

上述した実施形態２によれば、実施形態１の効果に加えて、利用不可フレームが検出され、その利用不可フレームの前後の利用可能フレームで補間を行う場合に、動体を多重表示させてその合成比率を調節する。このようにしてフレームストップで動体がジャンプして見えないように滑らかに表示できる。これにより、ＨＤＲ合成を用いた動画記録においてフレームストップが発生した場合でもフレームストップの期間を短くし、フレーム間の連続性をもった動画記録を行うことが可能になる。

［実施形態３］次に、図１３ないし図１５を参照して、実施形態３のフレームストップ時のＨＤＲ合成処理について説明する。

本実施形態では、図１３に示すように、動画記録時に適フレームとアンダーフレームを交互に取得して動体を多重表示させたＨＤＲフレームを生成する。そして、適・アンダーの組のうちいずれか一方が利用不可フレームである場合には、直前の利用可能フレームを利用してＨＤＲフレームを生成する。すなわち、適・アンダーの組（Ｔ６０２・Ｕ６０２）のうちアンダーフレームＵ６０２が利用不可フレームの場合は直前の利用可能なアンダーフレームＵ６０１を利用してＨＤＲフレームＨ６０２を生成する。また、適・アンダーの組（Ｔ６０２・Ｕ６０２）のうち適フレームＴ６０３が利用不可フレームの場合は直前の利用可能な適フレームＴ６０２を利用してＨＤＲフレームＨ６０３を生成する。

ところが、時間的に前後のＨＤＲフレームＨ６０１とＨＤＲフレームＨ６０２の合成において同じアンダーフレームＵ６０１を用いると、動体Ｐ６０１と動体Ｐ６０２がフレーム間で停止した、不自然なフレームが生成されてしまう。また、ＨＤＲフレームＨ６０２とＨＤＲフレームＨ６０４で同じ適フレームＴ６０２を用いると、動体の移動量によっては、それまでのＨＤＲフレームＨ６０１、Ｈ６０２と比べて動体Ｐ６０３の多重感が大きく異なり、不自然なフレームが生成されてしまう。

そこで、本実施形態では、このような不自然なフレームの生成を抑制するように動体の移動量に応じたＨＤＲ合成処理を行う。

図１４を参照して、実施形態４のフレームストップ時におけるＨＤＲ合成処理について説明する。

図１４において、フレームストップ時以外の定常時においては、適フレームＴ７０１とアンダーフレームＵ７０１を交互に取得し、１つのＨＤＲフレームＨ７０１を生成する。ここで、適・アンダーの組（Ｔ７０２・Ｕ７０２）のうちアンダーフレームＵ７０２だけが利用不可フレームである場合は、２つ前のアンダーフレームＵ７００と１つ前のアンダーフレームＵ７０１を利用して動体の検出を行う。そして、動体の移動量が閾値以下の場合は、１つ以上前のアンダーフレームＵ７０１を利用してＨＤＲフレームＨ７０２を生成し、閾値を超えている場合はフレームストップを行う。

また、適・アンダーの組（Ｔ７０３・Ｕ７０３）のうち適フレームＴ７０３だけが利用不可フレームである場合は、１つ後の適フレームＴ７０４と直前の利用可能な適フレームＴ７０２を利用して動体の検出を行う。そして、動体の移動量が閾値以下の場合は、直前の利用可能な適フレームＴ６０２を利用してＨＤＲフレームＨ６０４を生成し、直前のＨＤＲフレームＨ７０３と置き換え、閾値を超えている場合はフレームストップを行う。

以下、図１５を参照して、実施形態３の動画記録時のＨＤＲフレーム生成処理について、図１４の例に基づいて説明を行う。なお、図１５の処理は、操作部１１２からＨＤＲ合成による動画記録の開始指示に応じて開始され、撮影制御部１１１が所定の制御プログラムを実行し、各部を制御することで実現される。

ステップＳ５０１では、合成処理部１０７が適・アンダーの組（Ｔ７０１・Ｕ７０１）でＨＤＲフレームＨ５０１の合成を行う。

ステップＳ５０２では、撮影制御部１１１は、適もしくはアンダーのいずれか、もしくはその両方に利用不可フレームを含むか判定する。判定の結果、利用不可フレームがない場合は、ステップＳ５０１に戻り、次の適・アンダーの組（Ｔ７０２・Ｕ７０２）の合成を行う。また、利用不可フレームがある場合は、ステップＳ５０３に進む。

ステップＳ５０３では、撮影制御部１１１は、利用不可フレームが適フレームＴ７０２から始まるか判定する。判定の結果、適フレームから始まる場合はフレームストップを行い（Ｓ５０８）、直前のＨＤＲフレームＨ７０１を再利用し、利用不可フレームがアンダーフレームのみであった場合はステップＳ５０４に進む。

ステップＳ５０４では、撮影制御部１１１は、２つ前のアンダーフレームＵ７００と１つ前のアンダーフレームＵ７０１が利用可能フレームであるか判定する。判定の結果、少なくともいずれか一方が利用不可フレームであった場合はステップＳ５０８に進み、いずれも利用可能フレームであった場合はステップＳ５０５に進む。

ステップＳ５０５では、撮影制御部１１１は、２つ前のアンダーフレームＵ７００と１つ前のアンダーフレームＵ７０１の画像を用いて動体の検出を行う。動体検出方法は、例えば、２つのフレームの差分絶対値から求める。

ステップＳ５０６では、撮影制御部１１１は、ステップＳ５０５で検出された動体の移動量が閾値以下であるか判定し、閾値以下の場合はステップＳ５０７に進み、閾値を超えている場合はステップＳ５０８に進む。

ステップＳ５０７では、合成処理部１０７は、１つ前のアンダーフレームＵ７０１を利用してＨＤＲフレームＨ７０２を生成し、ステップＳ５０８に進む。

ステップＳ５０８では、撮影制御部１１１はフレームストップを行い、直前のＨＤＲフレームＨ７０２を再利用する。

ステップＳ５０９では、撮影制御部１１１は、適・アンダー（Ｔ７０４・Ｕ７０４）もしくはアンダー・１つ後の適（Ｕ７０３・Ｔ７０４）の利用可能フレームで組が作れるか判定する。判定の結果、いずれかの組が作れる場合はステップＳ５１０に進み、組が作れない場合はフレームストップ（Ｓ４０９）を行い、フレームストップ直前のＨＤＲフレームＨ７０２を再利用し続ける。

ステップＳ５１０では、撮影制御部１１１は、適・アンダー（Ｔ７０４・Ｕ７０４）もしくはアンダー・１つ後の適（Ｕ７０３・Ｔ７０４）のどちらの組であるか、また、利用可能フレームの１フレーム目が適フレームであるか判定する。判定の結果、適・アンダーの組（Ｔ７０４・Ｕ７０４）の場合は、ステップＳ５０１に戻り、定常時のＨＤＲフレームの合成を行い、アンダー・１つ後の適（Ｕ７０３・Ｔ７０４）の組の場合は、ステップＳ５１１に進む。

ステップＳ５１１では、撮影制御部１１１は、１つ前の利用可能フレームの適画像Ｔ７０２と１つ後の適画像Ｔ７０４を用いて動体検出を行う。

ステップＳ５１２では、撮影制御部１１１は、ステップＳ５１１で検出された移動の移動量が閾値以下であるか判定し、閾値以下の場合はステップＳ５１３に進み、閾値を超えている場合はステップＳ５０１に戻る。

ステップＳ５１３では、合成処理部１０７は、アンダー・１つ後の適（Ｕ７０３・Ｔ７０４）の組でＨＤＲフレームＨ７０４の合成を行い、ステップＳ５１４に進む。

ステップＳ５１４では、撮影制御部１１１は、フレームストップの最終フレームＨ７０３とステップＳ５１３で合成されたＨＤＲフレームＨ７０４を置き換える。なお、図１４で、例えば、利用不可フレームが検出されなくなった時点が適フレーム、つまり、利用可能なフレームが適フレームから始まる場合には、ステップＳ５１４で最終フレームの置き換えは行わず、定常時と同様に適・アンダーの組から合成されたＨＤＲフレームを利用する。

その後、ステップＳ５１５では、撮影制御部１１１は、操作部１１２からの動画記録の終了指示があるまで、ステップＳ５０１からの処理を繰り返し行う。

上述した実施形態３によれば、実施形態１の効果に加えて、利用不可フレームが発生した場合には、その利用不可フレームの前後のフレームで動体検出を行い、利用可能フレームで補間を行うかフレームストップを行うかを判定する。このようにしてＨＤＲフレームが不自然な画像にならないように制御する。これにより、ＨＤＲ合成を用いた動画記録においてフレームストップが発生した場合でもフレームストップの期間を短くし、フレーム間の連続性をもった動画記録を行うことが可能になる。

上述した実施形態では、動画記録時のＨＤＲ合成処理として、少なくとも適・アンダーの組から合成フレームを生成する例を説明しているが、露出差のある複数枚の画像を合成した合成画像を記録や表示など任意の用途に用いる場合でも本発明は適用可能である。また、上述した実施形態では、フレームストップの発生原因として絞り駆動による割り込みを例に挙げているが、これに限られず、発生原因によらず本発明は適用可能である。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４…撮像素子、１０５…画像処理部、１０６…フレーム記録部、１０７…合成処理部、１０９…絞り駆動部、１１０…露出制御部、１１１…撮像制御部

Claims (17)

1. 異なる露出で複数のフレームを繰り返し撮像する撮像手段と、
   前記露出が異なる複数のフレームを合成して１つの合成フレームを生成する合成手段と、
   前記複数のフレームの中に、合成フレームに利用できない利用不可フレームがあるか判定する判定手段と、
   前記利用不可フレームがある場合に、当該利用不可フレームの前後の利用可能なフレームを用いて合成フレームを生成する第１の処理を行うように前記合成手段を制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記判定手段は、複数のフレーム間の輝度差に基づいて利用不可フレームを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記利用不可フレームがある場合に、前記第１の処理に代えて、その利用不可フレームを用いて生成された合成フレームを、当該利用不可フレームの直前の利用可能なフレームを用いて生成された合成フレームに置き換える第２の処理を行うように制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、利用不可フレームが検出されなくなった後、前記第２の処理によって置き換えられた最終の合成フレームを、利用可能なフレームを用いて生成された合成フレームに置き換えることを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、合成フレームの生成に用いられる複数のフレームの輝度が所定の範囲にある場合には前記第１の処理を行い、前記所定の範囲にない場合には前記第２の処理を行うように制御することを特徴とする請求項３または４に記載の撮像装置。
6. 前記合成手段は、前記利用不可フレームがない定常時において合成フレームを生成するときの合成比率と、前記第１の処理により合成フレームを生成するときの合成比率とを異ならせることを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記利用不可フレームより前の複数の利用可能なフレームを用いて画像中の被写体を検出する検出手段をさらに有し、
   前記合成手段は、前記第１の処理において合成される複数のフレームの輝度が所定の範囲にある場合には、当該複数のフレームの画像中の所定の被写体の合成比率を切り替えて前記所定の被写体を多重表示させた合成フレームを生成することを特徴とする請求項６に記載の撮像装置。
8. 前記所定の被写体は動体であることを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記動体の移動量に応じて前記第１の処理を行うか前記第２の処理を行うかを切り替えることを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記定常時の合成比率と前記第１の処理での合成比率とを入れ替えることを特徴とする請求項６ないし９のいずれか１項に記載の撮像装置。
11. 前記露出が異なる複数のフレームは、適露出で撮像された適フレームとアンダー露出で撮像されたアンダーフレームの組からなり、
    前記制御手段は、少なくとも前記適フレームが利用不可フレームの場合には、前記第２の処理を行うように制御し、
    前記アンダーフレームのみが利用不可フレームの場合には、その利用不可フレームの直前のアンダーフレームが利用可能であるか否かに応じて前記第１の処理を行うか前記第２の処理を行うかを切り替えることを特徴とする請求項３ないし１０のいずれか１項に記載の撮像装置。
12. 前記露出が異なる複数のフレームは、適露出で撮像された適フレームとアンダー露出で撮像されたアンダーフレームの組からなり、
    前記制御手段は、少なくとも前記適フレームが利用不可フレームの場合には、前記第２の処理を行うように制御し、
    前記アンダーフレームのみが利用不可フレームの場合に、その利用不可フレームの直前のアンダーフレームが利用可能な場合には、その利用可能なアンダーフレームを用いて前記第１の処理を行うように制御することを特徴とする請求項３ないし１０のいずれか１項に記載の撮像装置。
13. 前記制御手段は、前記第１の処理において適フレームの合成比率を１００％に切り替えて合成フレームを生成することを特徴とする請求項１２に記載の撮像装置。
14. 前記制御手段は、利用不可フレームが検出されなくなった後、利用可能なフレームの直前の利用不可フレームが適フレームの場合には、その利用可能なフレームの直後の適フレームを用いて所定の合成比率で所定の被写体を多重表示させた合成フレームを生成することを特徴とする請求項１２または１３に記載の撮像装置。
15. 異なる露出で複数のフレームを繰り返し撮像する撮像手段と、前記露出が異なる複数のフレームを合成して１つの合成フレームを生成する合成手段と、を有する撮像装置の制御方法であって、
    前記複数のフレームの中に、合成フレームに利用できない利用不可フレームがあるか判定するステップと、
    前記利用不可フレームがある場合に、当該利用不可フレームの前後の利用可能なフレームを用いて合成フレームを生成する第１の処理を行うように前記合成手段を制御するステップと、を有することを特徴とする撮像装置の制御方法。
16. コンピュータを、請求項１ないし１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１ないし１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。