JP5156991B2 - 撮像装置、撮像方法および撮像プログラム - Google Patents

Description

本発明は、デジタルカメラなどに係り、夜景撮影を行う撮像装置、撮像方法および撮像プログラムに関する。

従来より、デジタルカメラでは、フラッシュを発光させて適切な露出で手前の人物を撮影するとともに、背景の夜景を例えばシャッタスピードをかなり遅くして撮影するという、いわゆる「夜景撮影」という撮影方法があった。

図１３は、従来技術によるデジタルカメラの夜景撮影時の動作例を示すタイミングチャートである。夜景撮影時には、一度の撮影で、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、フラッシュを所定の時間だけ発光させ、その後、所定時間経過後、メカニカルシャッタを閉じる。この結果、フラッシュ発光期間に主に手前の人物の画像が撮影され、このシャッタボタンが押下されてからメカニカルシャッタを閉じるまでの期間に背景（夜景）の画像が撮影される。

この場合、フラッシュ光が届きにくい背景で適正露出を得るためには、シャッタスピードを遅くする必要である。このように一度の撮影で手前の人物と背景とを撮影する場合、全体としてどうしてもシャッタスピードを遅くしなければならないため、手ぶれを防止するために、三脚等、デジタルカメラ本体を固定する必要があった。また、夜景の中に動くものがあると、薄く流れて撮影されてしまうという問題があった。

そこで、一度の撮影指示に対して、フラッシュを発光させる撮影とフラッシュを発光させない撮影とをそれぞれ行い、双方の画像の相関を検出し、該相関に基づいて撮影画像を補正する技術がが提案されている（例えば特許文献１参照）。
特開２０００−１０２０２２号公報

しかしながら、上述した従来技術では、フラッシュを発光させて撮影した画像と、フラッシュを発光させないで撮影した画像とを用いて撮影画像を補正しても、明るさとノイズとのバランスの良い画像を得ることができないという問題がある。また、フラッシュ光による影響を受けた画像部分とフラッシュ光による影響を受けなかった画像部分とを識別するための相関検出処理と、この識別された画像部分に対する画像補正処理の２つの複雑な演算を別々に行う必要があるため、回路構成あるいはソフトウェアが複雑になるという問題がある。

そこで本発明は、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることのできる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、被写体像を撮像する撮像手段と、発光手段と、前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成手段とを具備し、前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて３段階以上の異なる合成比率を各画素毎に決定することを特徴とする。

また、好ましい態様として、例えば請求項２記載のように、請求項１記載の撮像装置において、一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備するようにしてもよい。

また、好ましい態様として、例えば請求項３記載のように、前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値とを大小比較して、大きい方の画像データの合成比率が高くなるように前記３段階以上の異なる合成比率を決定するようにしてもよい。

また、好ましい態様として、例えば請求項４記載のように、請求項１または２記載の撮像装置において、前記合成比率決定手段は、前記発光手段を発光させずに撮影して得られる画素値と前記発光手段を発光させて撮影して得られる画素値との組み合わせで示される領域を、予め３つ以上の複数領域に分割して各領域毎に異なる合成比率を割り当てておき、前記第１の画像データと前記第２の画像データとを合成する際に、前記第１の画像データの画素値と前記第２の画像データの画素値の組み合わせがどの領域に属するかを特定し、この特定された領域に割り当てられている合成比率を、当該画素値の組み合わせに応じた合成比率として決定するようにしてもよい。

また、好ましい態様として、例えば請求項５記載のように、請求項４記載の撮像装置において、前記合成比率決定手段は、前記発光手段を発光させずに撮影して得られる画素値と前記発光手段を発光させて撮影して得られる画素値との組み合わせで示される領域を、予め３つ以上の複数領域に分割し、各領域毎に３段階以上の異なる合成比率のいずれかを割り当てておき、前記第１の画像データと前記第２の画像データとを合成する際に、前記第１の画像データの画素値と前記第２の画像データの画素値の組み合わせがどの領域に属するかを特定し、この特定された領域に割り当てられている前記３段階以上の異なる合成比率のいずれかの合成比率を、当該画素値の組み合わせに応じた合成比率として決定するようにしてもよい。

また、上記目的達成のため、請求項６記載の発明による撮像方法は、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定ステップと、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するステップとを含み、前記合成比率決定ステップは、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて３段階以上の異なる合成比率を各画素毎に決定することを特徴とする。

また、上記目的達成のため、請求項７記載の発明による撮像プログラムは、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させる撮像プログラムであって、前記合成比率決定機能は、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて３段階以上の異なる合成比率を各画素毎に決定することを特徴とする。
また、上記目的達成のため、請求項８記載の発明による撮像装置は、被写体像を撮像する撮像手段と、発光手段と、前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成手段とを具備し、前記合成比率決定手段は、前記第１の画像データの画素値または前記第２の画像データの画素値に応じて３段階以上の複数段階で変化する合成比率を決定することを特徴とする。

請求項１記載の発明によれば、撮影感度設定手段により、発光手段を発光させずに撮像手段により撮影する際には撮像感度を高くし、発光手段を発光させて撮像手段により撮影する際には撮像感度を低くし、合成比率決定手段により、前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定し、合成手段により、決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成し、前記合成比率決定手段より、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて前記画素毎に異なる合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。

また、請求項２記載の発明によれば、撮影制御手段により、一度の撮影指示に応じて、発光手段を発光させない撮影と、発光手段を発光させる撮影とを続けて行うように、撮像手段、発光手段および感度制御手段を制御するようにしたので、特に夜間撮影などにおいて、各被写体までの距離やフラッシュ光の照射量を特定するための特別な処理を行うことなく、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。

また、請求項３記載の発明によれば、合成比率決定手段により、第１の画像データの画素値と第２の画像データの画素値とを大小比較して、大きい方の画像データの合成比率が高くなるように合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。

また、請求項４記載の発明によれば、合成比率決定手段により、発光手段を発光させずに撮影して得られる画素値と前記発光手段を発光させて撮影して得られる画素値との組み合わせで示される領域を、予め３つ以上の複数領域に分割して各領域毎に異なる合成比率を割り当てておき、第１の画像データと第２の画像データとを合成する際に、第１の画像データの画素値と第２の画像データの画素値の組み合わせがどの領域に属するかを特定し、この特定された領域に割り当てられている合成比率を、当該画素値の組み合わせに応じた合成比率として決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。

また、請求項５記載によれば、合成比率決定手段により、発光手段を発光させずに撮影して得られる画素値と発光手段を発光させて撮影して得られる画素値との組み合わせで示される領域を、予め３つ以上の複数領域に分割し、各領域毎に３段階以上の異なる合成比率のいずれかを割り当てておき、第１の画像データと第２の画像データとを合成する際に、第１の画像データの画素値と第２の画像データの画素値の組み合わせがどの領域に属するかを特定し、この特定された領域に割り当てられている３段階以上の異なる合成比率のいずれかの合成比率を、当該画素値の組み合わせに応じた合成比率として決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。

また、請求項６記載の発明によれば、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定ステップと、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するステップとを含み、合成比率決定ステップにより、第１の画像データの画素値と第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて画素毎に異なる合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。

また、請求項７記載の発明によれば、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させる撮像プログラムであって、合成比率決定機能により、第１の画像データの画素値と第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて画素毎に異なる合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。
また、請求項８記載の発明によれば、撮影感度設定手段により、発光手段を発光させずに撮像手段により撮影する際には撮像感度を高くし、発光手段を発光させて撮像手段により撮影する際には撮像感度を低くし、合成比率決定手段により、発光手段を発光させずに撮像手段により撮影した第１の画像データと、発光手段を発光させて撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定し、合成手段により、決定された各画素毎に異なる合成比率で第１の画像データと第２の画像データとを合成し、記録用の画像データを生成し、合成比率決定手段により、第１の画像データの画素値または第２の画像データの画素値に応じて３段階以上の複数段階で変化する合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部１０は、レンズ１１、シャッタ１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行う。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。

次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。

次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ１（撮像装置）の全体を制御する。特に、本第１実施形態では、夜景撮影において、２回の露光により背景の夜景と手前の被写体（人物など）とを撮影するようになっている。詳細は後述するが、１回目の撮影（高感度撮影）では、ＩＳＯ感度を上げて露光し、２回目の撮影（フラッシュ発光撮影）では、ＩＳＯ感度を下げ、フラッシュを発光させて露光する。そして、１回目の画像と２回目の画像とを、後述する所定の閾値、所定の合成比率（重み）に従って合成するようになっている。制御部２０は、これら夜景撮影時の動作、画像取り込み、画像合成等を制御する。

プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行う。Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。

ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。

イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタンや、記録／再生モード選択スライドスイッチ、メニューボタン、十字キー（中央押しで決定）などからなる。

デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、ＲＧＢ形式からＹＵＶ形式への変換、ＹＵＶ形式からＪＰＥＧ形式への変換を行う。特に、本第１実施形態では、デジタル信号処理部２８は、夜景撮影時において、ＩＳＯ感度を上げて露光した、１回目の撮影（高感度撮影）による画像と、ＩＳＯ感度を下げ、フラッシュを発光させて露光した、２回目の撮影（フラッシュ発光撮影）による画像とを、後述する所定の閾値、所定の合成比率（重み）に従って合成する。

画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータをＪＰＥＧ方式に圧縮符号化したり、モーションＪＰＥＧ形式の動画ファイルを生成したり、モーションＪＰＥＧ形式の動画ファイルをＭＰＥＧ形式の動画ファイルに変換したり、再生モードにおいては、ＪＰＥＧ形式、モーションＪＰＥＧ形式、あるいはＭＰＥＧ形式の動画ファイルを伸張したりする。

プログラムメモリ３０は、制御部２０にロードされる各種プログラムや、ベストショット機能におけるＥＶ値、色補正情報などを格納する。画像メモリ３１は、イメージバッファ２６に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータ、動画データなどを格納する。カードＩ／Ｆ３２は、外部記録媒体３３と撮像装置本体との間のデータ交換を制御する。

外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる着脱可能な記録媒体である。外部接続用Ｉ／Ｆ３４は、ＵＳＢコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。ＲＡＭ３５は、制御部（ＣＰＵ）２０の制御に必要な各種パラメータや、夜景撮影時の各種パラメータ（ゲイン（ＩＳＯ感度）、絞り、シャッタスピード、画像合成のための閾値、重みなど）などを記憶する。

次に、図２は、本第１実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。夜景撮影時には、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、まず、露光期間ＥＴ１で、ＩＳＯ感度を上げて画像を露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間ＴＴ１で読み出す。該画像が背景（遠景）の夜景の画像に相当する。その後、すぐにメカニカルシャッタを開放するとともにＩＳＯ感度を下げ、フラッシュを発光させて、露光時間ＥＴ２で露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間ＴＴ２で読み出す。該画像が手前の人物などの被写体の画像に相当する。

次に、図３は、本第１実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。本第１実施形態では、２回目のフラッシュ発光撮影時に取り込んだ画像データＤ２について、画素毎に、その画素の輝度値が閾値ＴＨＡより大きいか判定し、その画素の輝度値が閾値ＴＨＡより大きく領域Ａにあれば、２回目のフラッシュ発光撮影時に取り込んだ画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）の画素を用い、その画素の輝度値が閾値ＴＨＡ以下で領域Ｂにあれば、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）の画素を用いて画像を合成して記録用の画像を得るようになっている。これら閾値ＴＨＡや画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。

Ａ−Ｂ．第１実施形態の動作
次に、本第１実施形態の動作について説明する。ここで、図４は、本第１実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。また、図５は、夜景撮影時の画像、および画像合成例を示す模式図である。

夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン（ＩＳＯ感度）を最大、シャッタスピードを手ぶれしない最大時間に設定する（ステップＳ１０）。次に、シャッタボタンが押下されると、高感度露光（図２に示す露光期間ＥＴ１）し、主に遠景の夜景を撮影し（ステップＳ１２）、画像データＤ１としてイメージバッファ２６に転送して一時保存する（ステップＳ１４）。該夜景の画像は、図５（ａ）に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。

次に、フラッシュ露光設定として、ゲイン（ＩＳＯ感度）を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する（ステップＳ１６）。次に、フラッシュを発光して露光（図２に示す露光期間ＥＴ２）し、近景の被写体（人物など）を撮影し（ステップＳ１８）、画像データＤ２としてイメージバッファ２６に転送して一時保存する（ステップＳ２０）。該近景の画像は、図５（ｂ）に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ＥＴ２も短いので露出不足となる。

次に、ステップＳ２２〜Ｓ３２で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、フラッシュ発光撮影時の画像データＤ２を読み込み（ステップＳ２４）、画像データＤ２の輝度値が閾値ＴＨＡを超えているか否かを判断する（ステップＳ２６）。そして、フラッシュ発光撮影時の輝度値が閾値ＴＨＡを超えている場合、すなわち、図２の領域Ａである場合には、該フラッシュ発光撮影時の画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を合成データとして画像メモリ３１に保存する（ステップＳ２８）。

一方、フラッシュ発光撮影時の輝度値が閾値ＴＨＡを超えていない場合、すなわち、図２の領域Ｂである場合には、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を合成データとして画像メモリ３１に保存する（ステップＳ３０）。以上の処理を全画素について行って記録用の画像データを得る。

この結果、合成された画像は、図５（ｃ）に示すように、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、Ｓ／Ｎ比のバランスが良好な撮影画像となる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。なお、デジタルカメラの構成は、図１と同様であるので説明を省略する。また、デジタルカメラの夜景撮影時の動作についても、図２に示すタイミングチャートと同様である。本第２実施形態では、１回目の画像と２回目の画像とを合成する際の閾値の設定方法を変えており、図６に示すように、閾値ＴＨＢを１：１のところに設けており、画素毎に、１回目の高感度撮影時に取り込んだ画像の輝度値と２回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値が大きい方の画素を用いて画像を合成して記録用の画像を得るようになっている。

すなわち、２回目のフラッシュ発光撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Ａにあれば、２回目のフラッシュ発光撮影時に取り込んだ画像の画素値である画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を用い、１回目の高感度撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Ｂにあれば、１回目の高感度撮影時に取り込んだ画像の画素値である画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を用いて画像を合成して記録用の画像を得るようになっている。これら閾値ＴＨＢや画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。

Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態の動作について説明する。ここで、図７は、本第２実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン（ＩＳＯ感度）を最大、シャッタスピードを手ぶれしない最大時間に設定する（ステップＳ４０）。次に、シャッタボタンが押下されると、高感度露光（図２に示す露光期間ＥＴ１）し、主に遠景の夜景を撮影し（ステップＳ４２）、画像データＤ１としてイメージバッファ２６に転送して一時保存する（ステップＳ４４）。該夜景の画像は、図５（ａ）に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。

次に、フラッシュ露光設定として、ゲイン（ＩＳＯ感度）を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する（ステップＳ４６）。次に、フラッシュを発光して露光（図２に示す露光期間ＥＴ２）し、近景の被写体（人物など）を撮影し（ステップＳ４８）、画像データＤ２としてイメージバッファ２６に転送して一時保存する（ステップＳ５０）。該近景の画像は、図５（ｂ）に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ＥＴ２も短いので露出不足となる。

次に、ステップＳ５２〜Ｓ６２で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データＤ１とフラッシュ発光撮影時の画像データＤ２とを読み込み（ステップＳ５４）、画像データＤ１の輝度値が画像データＤ２の輝度値より大きいかか否かを判断する（ステップＳ５６）。そして、高感度撮影時の輝度値の方が大きい場合、すなわち、図６の領域Ｂである場合には、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を合成データとして画像メモリ３１に保存する（ステップＳ５８）。

一方、フラッシュ発光撮影時の輝度値の方が大きい場合、すなわち、図６の領域Ａである場合には、２回目のフラッシュ発光撮影時の画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を合成データとして画像メモリ３１に保存する（ステップＳ６０）。以上の処理を全画素について行って記録用の画像データを得る。

この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、Ｓ／Ｎ比のバランスが良好な撮影画像となる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。なお、デジタルカメラの構成は、図１と同様であるので説明を省略する。本第３実施形態では、１回目の画像と２回目の画像とを合成する際の閾値、および合成比率を変えており、図８に示すように、閾値ＴＨＣ１、ＴＨＣ２を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、４つの領域Ａ〜Ｄに細分化している。なお、領域Ｂと領域Ｃとの境界は、大小比較で判定する。そして、画素毎に、１回目の高感度撮影時に取り込んだ画像の輝度値と２回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像（の画素）として用いる画素合成比率を決めるようになっている。

例えば、領域Ａでは、合成画像の画素値を、高感度撮影時の画像データＤ１×０％＋フラッシュ発光撮影時の画像データＤ２×１００％とし、領域Ｂでは、高感度撮影時の画像データＤ１×２５％＋フラッシュ発光撮影時の画像データＤ２×７５％とし、領域Ｃでは、高感度撮影時の画像データＤ１×７５％＋フラッシュ発光撮影時の画像データＤ２×２５％とし、領域Ｄでは、Ｄ１×１００％＋Ｄ２×０％とする。これら閾値ＴＨＣ１、ＴＨＣ２や画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。

次に、本第３実施形態の動作について説明する。ここで、図９および図１０は、本第３実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン（ＩＳＯ感度）を最大、シャッタスピードを手ぶれしない最大時間に設定する（ステップＳ７０）。次に、シャッタボタンが押下されると、高感度露光（図２に示す露光期間ＥＴ１）し、主に遠景の夜景を撮影し（ステップＳ７２）、画像データＤ１としてイメージバッファ２６に転送して一時保存する（ステップＳ７４）。該夜景の画像は、図５（ａ）に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。

次に、フラッシュ露光設定として、ゲイン（ＩＳＯ感度）を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する（ステップＳ７６）。次に、フラッシュを発光して露光（図２に示す露光期間ＥＴ２）し、近景の被写体（人物など）を撮影し（ステップＳ７８）、画像データＤ２としてイメージバッファ２６に転送して一時保存する（ステップＳ８０）。該近景の画像は、図５（ｂ）に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ＥＴ２も短いので露出不足となる。

次に、ステップＳ８２〜Ｓ１０４で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データＤ１とフラッシュ発光撮影時の画像データＤ２とを読み込み（ステップＳ８４）、画像データＤ１の輝度値が画像データＤ２の輝度値より大きいかか否かを判断する（ステップＳ８６）。そして、高感度撮影時の画像データＤ１の輝度値の方が大きい場合、すなわち、図８の領域Ｃまたは領域Ｄである場合には、画像データＤ１の輝度値と画像データＤ２の輝度値との差が、図８に示す閾値ＴＨＣ２より大きいか否かを判断する（ステップＳ８８）。そして、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ２より大きい場合には、領域Ｄにあると判断し、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を合成データとして画像メモリ３１に保存する（ステップＳ９０）。

一方、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ２以下の場合には、領域Ｃにあると判断し、合成画像データＤｂとして、画像データＤ１×３／４＋画像データＤ２×１／４を算出し（ステップＳ９２）、該合成画像データＤｂを画像メモリ３１に保存する（ステップＳ９４）。

一方、ステップＳ８６において、フラッシュ発光撮影時の画像データＤ２の輝度値の方が大きい場合には、すなわち、図８の領域Ａまたは領域Ｂである場合には、画像データＤ１の輝度値と画像データＤ２の輝度値との差が、図８に示す閾値ＴＨＣ１より大きいか否かを判断する（ステップＳ９６）。そして、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ１より小さい場合には、領域Ｂにあると判断し、合成画像データＤｃとして、画像データＤ１×１／４＋画像データＤ２×３／４を算出し（ステップＳ９８）、該合成画像データＤｃを画像メモリ３１に保存する（ステップＳ１００）。

一方、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ１以上の場合には、領域Ａにあると判断し、２回目のフラッシュ発光撮影時の画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を合成データとして画像メモリ３１に保存する（ステップＳ１０２）。

この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、Ｓ／Ｎ比のバランスが良好な撮影画像となる。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。なお、デジタルカメラの構成は、図１と同様であるので説明を省略する。本第４実施形態では、１回目の画像と２回目の画像とを合成する際の閾値、および合成比率を変えており、図１１に示すように、閾値ＴＨＤ１〜ＴＨＤ４を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、９つの領域Ａ〜Ｉに細分化している。そして、画素毎に、１回目の高感度撮影時に取り込んだ画像の輝度値と２回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像（の画素）として用いる画素合成比率を決めるようになっている。

例えば、領域Ａ、Ｉでは、合成画像の画素値を、高感度撮影時の画像データＤ１×５０％＋フラッシュ発光撮影時の画像データＤ２×５０％とし、領域Ｂ、Ｃ、Ｅ、Ｇ、Ｈでは、高感度撮影時の画像データＤ１×０％＋フラッシュ発光撮影時の画像データＤ２×１００％とし、領域Ｄ、Ｆでは、高感度撮影時の画像データＤ１×１００％＋フラッシュ発光撮影時の画像データＤ２×０％とする。これら閾値ＴＨＤ１〜ＴＨＤ４や画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。なお、領域の判別、画像の合成については基本的に上述した第３実施形態などと同じであるので説明を省略する。

Ｅ．変形例
次に、本発明の変形例について説明する。上述した第１ないし第４実施形態では、画素合成比率を決定するための領域毎に明らかに異なる合成比率を設定していた。すなわち、隣り合う領域においては、境界近傍に存在する場合であっても、合成比率が異なっていた。これに対して、本変形例では、図１２に示すように、例えば、領域Ａと領域Ｂとの境界部分をより細かい領域Ｃ１〜Ｃ６に分割し、段階的に合成比率を変化させるようにする。これにより、より精細な合成画像を得ることが可能となる。

また、他の変形例としては、上述したように、領域Ａと領域Ｂとの境界部分をより細かく分割するのではなく、実際にアナログ回路により合成比率を徐々に変化させるようにしてもよい。また、各位置の画素値を同じ位置の画素同士の合成により決定したが、周辺領域の画素を用いるようにしてもよい。また、３つ以上の撮影画像を用いてもよい。

また、上述した実施形態では、手前の被写体部分と背景の被写体部分との識別と画素合成とを同時に行うことで、手前の被写体部分と背景の被写体部分とを正確に識別するための識別処理を不要としているが、被写体までの距離を示す測距情報などが利用できるのであれば、該測距情報を用いて識別するようにしてもよい。

また、上述した実施形態では、異なる画素合成方法を異なる実施形態として説明したが、複数の画素合成方法の中からモード選択により１つの画素合成方法を予め設定しておき、撮影指示が行われた際に設定モードを判別し、選択された画素合成方法に従って画素合成を実行するようにしてもよい。この場合、画素合成モードの設定は、ユーザが任意に指定してもよいし、外部の明るさをセンサで感知して自動設定するようにしてもよいし、撮像センサにより得られる画像情報に基づいて自動設定するようにしてもよい。

なお、上述した実施形態においては、デジタルカメラについてのみ説明したが、これ限らず、携帯電話などの撮像装置を備える電子機器に適用するようにしてもよい。また、上述した実施形態による画像合成処理等については、制御部２０によるソフトウェア制御で実現されるものであるが、処理速度、汎用性、装置サイズ、コストなどを考慮して、その全てまたは一部を回路により実現するようにしてもよい。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 本第１実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。 本第１実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。 本第１実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラの夜景撮影時の画像、および画像合成例を示す模式図である。 本発明の第２実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。 本第２実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。 本発明の第３実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。 本第３実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。 本第３実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。 本発明の第４実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。 本発明の変形例のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。 従来技術による夜景撮影時のデジタルカメラの動作を示すタイミングチャートである。

符号の説明

１ デジタルカメラ
１０ 画像取得部
１１ レンズ
１２ シャッタ
１３ ＬＰＦ
１４ ドライバ
１５ アナログ信号処理部
１６ 撮像センサ（撮像手段）
１７ サンプリング／信号増幅処理部
１８ Ａ／Ｄコンバータ
１９ フラッシュ（発光手段）
２０ 制御部（撮影感度設定手段、撮影制御手段）
２２ プレビューエンジン
２３ Ｄ／Ａコンバータ
２４ ドライバ
２５ 表示部
２６ イメージバッファ
２７ キー操作部
２８ デジタル信号処理部（合成手段）
２９ 画像圧縮／伸張処理部
３０ プログラムメモリ
３１ 画像メモリ
３２ カードＩ／Ｆ
３３ 外部記録媒体
３４ 外部接続用Ｉ／Ｆ
３５ ＲＡＭ

Claims (8)

1. 被写体像を撮像する撮像手段と、
   発光手段と、
   前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、
   前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、
   前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成手段とを具備し、
   前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて３段階以上の異なる合成比率を各画素毎に決定することを特徴とする撮像装置。
2. 一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備することを特徴とする請求項１記載の撮像装置。
3. 前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値とを大小比較して、大きい方の画像データの合成比率が高くなるように前記３段階以上の異なる合成比率を決定することを特徴とする請求項１または２記載の撮像装置。
4. 前記合成比率決定手段は、前記発光手段を発光させずに撮影して得られる画素値と前記発光手段を発光させて撮影して得られる画素値との組み合わせで示される領域を、予め３つ以上の複数領域に分割して各領域毎に異なる合成比率を割り当てておき、前記第１の画像データと前記第２の画像データとを合成する際に、前記第１の画像データの画素値と前記第２の画像データの画素値の組み合わせがどの領域に属するかを特定し、この特定された領域に割り当てられている合成比率を、当該画素値の組み合わせに応じた合成比率として決定することを特徴とする請求項１または２記載の撮像装置。
5. 前記合成比率決定手段は、前記発光手段を発光させずに撮影して得られる画素値と前記発光手段を発光させて撮影して得られる画素値との組み合わせで示される領域を、予め３つ以上の複数領域に分割し、各領域毎に３段階以上の異なる合成比率のいずれかを割り当てておき、前記第１の画像データと前記第２の画像データとを合成する際に、前記第１の画像データの画素値と前記第２の画像データの画素値の組み合わせがどの領域に属するかを特定し、この特定された領域に割り当てられている前記３段階以上の異なる合成比率のいずれかの合成比率を、当該画素値の組み合わせに応じた合成比率として決定することを特徴とする請求項４記載の撮像装置。
6. 一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、
   フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定ステップと、
   前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するステップとを含み、
   前記合成比率決定ステップは、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて３段階以上の異なる合成比率を各画素毎に決定することを特徴とする撮像方法。
7. コンピュータに、
   一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、
   フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、
   前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させる撮像プログラムであって、
   前記合成比率決定機能は、前記第１の画像データの画素値と前記第２の画像データの画素値の一方の画素値だけでなく、両方の画素値の組み合わせに応じて３段階以上の異なる合成比率を各画素毎に決定することを特徴とする撮像プログラム。
8. 被写体像を撮像する撮像手段と、
   発光手段と、
   前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、
   前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、
   前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成手段とを具備し、
   前記合成比率決定手段は、前記第１の画像データの画素値または前記第２の画像データの画素値に応じて３段階以上の複数段階で変化する合成比率を決定することを特徴とする撮像装置。

Images