JP2004254151A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】良質で広いダイナミックレンジを持つ撮像装置を提供する。
【解決手段】撮像装置は、大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域と前記第１の画像信号の飽和領域とを判定し判定信号を出力する判定手段と、前記判定信号に基づき、前記第１の画像信号と前記第２の画像信号との占める比率を変化させて画像合成を行う画像合成手段とを有する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に広いダイナミックレンジの画像を得ることのできる撮像装置に関する。
【０００２】
【従来の技術】
従来、デジタルスチルカメラやビデオカメラにおいては、異なる露光量で２回の撮像を行い、該２回の撮像から得られる２種類の画像信号を信号処理して、広いダイナミックレンジを有する画像を得ることが知られている。上記の異なる露光量の撮像とは、例えば、短い時間間隔で、長いシャッタ時間（ロングシャッタ）と短いシャッタ時間（ショートシャッタ）との２回の撮像を行うことである。シャッタ時間の切り替えは、例えば、電子シャッタ単独、あるいは、メカシャッタを併用して行われている。（例えば、特許文献１参照。）
【０００３】
【特許文献１】特開平１１−７５１１８号公報
図９は、従来の撮像装置５１の構成例を示すブロック図である。撮像装置５１は、説明の便宜上、白黒のエリアセンサを使用している。
【０００４】
撮像装置５１は、少なくとも、ＣＣＤイメージセンサ５２、アナログデジタルコンバータ（ＡＤＣ）５３、スイッチ５４、メモリ５５、及び画像合成部５６を含んで構成される。
【０００５】
ＣＣＤイメージセンサ５２は、ロングシャッタとショートシャッタによる撮像を順次行い、ロングシャッタによる画像信号Ｓ_Ｌとショートシャッタによる画像信号Ｓ_Ｓを、順番に出力する。
【０００６】
ＡＤＣ５３は、ＣＣＤイメージセンサ５２から出力されるアナログ形式の画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを、デジタル形式の画像信号にそれぞれ変換する。デジタル形式に変換された画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓは、スイッチ５４により、振り分けられる。先に撮像される画像信号Ｓ_Ｌは、メモリ５５に一時的に記憶され、その後、メモリ５５を介ささない画像信号Ｓ_Ｓと同時に、後段の画像合成部５６に送られる。
【０００７】
画像合成部５６では、下記の式（Ａ）に従い、入力される画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを合成して、合成画像信号Ｓ_Ｃとして出力する。
【０００８】

ただし、Ｓ_Ｃ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における合成画像信号Ｓ_Ｃ、Ｓ_Ｌ（ｘ，ｙ）は、画素位置（ｘ，ｙ）におけるロングシャッタの画像信号Ｓ_Ｌ、Ｓ_Ｓ（ｘ，ｙ）は、画素位置（ｘ，ｙ）におけるショートシャッタの画像信号Ｓ_Ｓ、Ｓ_ＳＡＴは、ＣＣＤイメージセンサ５２の飽和信号レベル、Ｋは、ロングシャッタとショートシャッタの感度比（ロングシャッタ／ショートシャッタ）である。
【０００９】
上記の式（Ａ）から、明らかなように、ショートシャッタの画像信号Ｓ_Ｓは、感度比Ｋを乗算することにより、ロングシャッタの画像信号Ｓ_Ｌと同様の信号レベルにしている。
【００１０】
この画像合成部５６では、上記の式（Ａ）により、画素位置（ｘ，ｙ）におけるロングシャッタの画像信号Ｓ_Ｌ（ｘ，ｙ）が、飽和信号レベルＳ_ＳＡＴ未満である時には、画素位置（ｘ，ｙ）における合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、画像信号Ｓ_Ｌ（ｘ，ｙ）を用い、飽和信号レベルＳ_ＳＡＴ以上である時には、画像信号Ｓ_Ｓ（ｘ，ｙ）を用いている。すなわち、ロングシャッタの画像信号Ｓ_Ｌの飽和信号レベルＳ_ＳＡＴを境界にして、ロングシャッタの画像信号Ｓ_Ｌとショートシャッタの画像信号Ｓ_Ｓとを切り替えて用いるように構成されている。
【００１１】
【発明が解決しようとする課題】
従来の撮像装置５１では、被写体が動いている場合に、暗い部分と明るい部分の境界付近で、不自然な画像となる場合がある。これは、主に暗い部分を撮影するための大きい露光量（ロングシャッタ）のシャッタ期間と、主に明るい部分を撮影するための小さい露光量（ショートシャッタ）のシャッタ期間の時間がずれている為と考えられる。
【００１２】
図１０は、白いストライプをロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。図１０（Ａ）は、ロングシャッタの画像信号Ｓ_Ｌを表し、図１０（Ｂ）は、ショートシャッタの画像信号Ｓ_Ｓを表し、図１０（Ｃ）は、図１０（Ａ）と図１０（Ｂ）の上述の式（Ａ）を用いて画像信号を合成することにより得られる合成画像信号Ｓ_Ｃを表す。なお、図中、縦軸は、信号レベルを表し、横軸は、水平方向の画素位置を表す。
【００１３】
ロングシャッタの画像信号Ｓ_Ｌは、シャッタ期間が長いので、移動する被写体を撮像する場合は、図に示すように、白いストライプと背景の境界線が、斜めになる。また、点線で示す飽和信号レベルＳ_ＳＡＴ以上の部分は、出力されないので、実線で示したような形となる。
【００１４】
ショートシャッタは、ロングシャッタの後に撮像されるので、ショートシャッタの画像信号Ｓ_Ｓは、ロングシャッタの画像信号Ｓ_Ｌよりも、水平方向に移動する。これは、シャッタ期間開始時の時間差分だけ、白いストライプが横方向に移動しているからである。
【００１５】
以上の、２つの画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを上述の式（Ａ）を用いて合成して得られる画像信号が、合成画像信号Ｓ_Ｃである。この時、上述したように、ロングシャッタの画像信号Ｓ_Ｌの飽和信号レベルＳ_ＳＡＴを境界にして、ロングシャッタの画像信号Ｓ_Ｌとショートシャッタの画像信号Ｓ_Ｓとを切り替えるので、図１０（Ｃ）に示すように、本来の白いストライプから離れた場所に、濃く太い白線が現れる。これは、被写体が移動しているので、ロングシャッタの画像信号Ｓ_Ｌが飽和信号レベルＳ_ＳＡＴになる水平ライン上の位置とショートシャッタの画像信号Ｓ_Ｓの水平ライン上の最端部の位置にずれが生じるためである。
【００１６】
本発明の目的は、良質で広いダイナミックレンジを持つ撮像装置を提供することである。
【００１７】
【課題を解決するための手段】
本発明の一観点によれば、撮像装置は、大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域と前記第１の画像信号の飽和領域とを判定し判定信号を出力する判定手段と、前記判定信号に基づき、前記第１の画像信号と前記第２の画像信号との占める比率を変化させて画像合成を行う画像合成手段とを有する。
【００１８】
【発明の実施の形態】
図１は、本発明の第１の実施例による撮像装置１の構成例を示すブロック図である。本実施例の撮像装置１は、白黒のエリアセンサを使用している。
【００１９】
撮像装置１は、少なくとも、ＣＣＤイメージセンサ２、アナログデジタルコンバータ（ＡＤＣ）３、スイッチ４、メモリ５、画像合成部６及び判定部７を含んで構成される。
【００２０】
ＣＣＤイメージセンサ２は、例えば、水平（ｘ）及び垂直（ｙ）方向に配列される多数の光電変換素子（画素）及び垂直電荷転送路（ＶＣＣＤ）を含む受光領域、水平電荷転送路（ＨＣＣＤ）等を含んで構成されるＣＣＤ型固体撮像素子である。ＣＣＤイメージセンサ２は、大きい露光量（ロングシャッタ）と小さい露光量（ショートシャッタ）による撮像を順次行い、ロングシャッタによる１枚分（１フレーム分）の画像信号Ｓ_Ｌとショートシャッタによる１枚分（１フレーム分）の画像信号Ｓ_Ｓを、順番に出力する。
【００２１】
ＡＤＣ３は、ＣＣＤイメージセンサ２から出力されるアナログ形式の画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを、デジタル形式の画像信号にそれぞれ変換する。デジタル形式に変換された画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓは、スイッチ４により、振り分けられる。先に撮像される画像信号Ｓ_Ｌは、メモリ５に一時的に記憶され、その後、メモリ５を介ささない画像信号Ｓ_Ｓと同時に、後段の画像合成部６に送られる。
【００２２】
判定部７は、被写体の移動及び露光量の飽和を検出して、判定信号を画像合成部６に供給する。被写体の移動の検出は、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓとの比Ｒと感度比Ｋを比較することにより行われる。
【００２３】
画像合成部６は、判定部７から供給される判定信号に基づき、画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを合成（若しくはいずれか一方を選択的に使用）して、合成画像信号Ｓ_Ｃを生成して出力する。なお、画像合成部６及び判定部７における処理の詳細は、図２及び図３を参照して後述する。
【００２４】
図２は、本発明の実施例による固体撮像処理の撮像処理を表すフローチャートである。
【００２５】
ステップＳＡ１では、ユーザによる撮像処理の開始指示（例えば、シャッタ操作）により、撮像処理を開始する。
【００２６】
ステップＳＡ２では、図１のＣＣＤセンサー２において、大きい露光量による撮像を行い、該大きい露光量による撮像で得られた画像信号Ｓ_Ｌを、ＡＤＣ３に出力する。
【００２７】
ステップＳＡ３では、図１のＡＤＣ３において、画像信号Ｓ_Ｌをアナログ形式の信号電荷から、デジタル形式の画像データに変換する。
【００２８】
ステップＳＡ４では、図１のスイッチ４をメモリ５側に切り替え、画像信号Ｓ_ＬをＡＤＣ３から、メモリ５に転送して、一時的に記憶する。
【００２９】
ステップＳＡ５では、図１のＣＣＤセンサー２において、小さい露光量による撮像を行い、該小さい露光量による撮像で得られた画像信号Ｓ_Ｓを、ＡＤＣ３に出力する。
【００３０】
ステップＳＡ６では、図１のＡＤＣ３において、画像信号Ｓ_Ｓをアナログ形式の信号電荷から、デジタル形式の画像データに変換する。
【００３１】
ステップＳＡ７では、スイッチ４を画像合成部６側に切り替え、画像信号Ｓ_Ｓを判定部７と画像合成部６に供給すると同時に、メモリ５に一時記憶された画像信号Ｓ_Ｌを判定部７と画像合成部６に供給する。
【００３２】
ステップＳＡ８では、後述する判定・合成処理を行う。判定・合成処理では、判定部７から供給される判定信号に基づき、画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを合成（若しくはいずれか一方を選択的に使用）して、合成画像信号Ｓ_Ｃを生成して出力する。
【００３３】
ステップＳＡ９では、合成画像信号Ｓ_Ｃを出力して、ステップＳＡ１０で撮像処理を終了する。
【００３４】
図３は、本発明の第１の実施例による判定・合成処理を表すフローチャートである。判定・合成処理は、被写体の移動及び露光量の飽和を検出して、該検出結果に基づき、合成画像信号Ｓ_Ｃを生成する。なお、この判定・合成処理は、全ての画素位置の画像信号に対して行われる。
【００３５】
ステップＳＢ１では、判定・合成処理を開始する。
【００３６】
ステップＳＢ２では、画素位置（ｘ，ｙ）が飽和領域であるか否かを判定する。ここでは、以下の式（Ａ−１）又は（Ａ−２）のいずれかを満たす場合に、画像信号が飽和信号レベルを超えていると判定される。
【００３７】
Ｓ_Ｌ（ｘ，ｙ）≧Ｓ_ＳＡＴ …（Ａ−１）
ＫＳ_Ｓ（ｘ，ｙ）≧Ｓ_ＳＡＴ …（Ａ−２）
ただし、Ｓ_ＳＡＴは、ＣＣＤセンサー２の飽和信号レベル、Ｋは、大きい露光量（長いシャッタ時間）／小さい露光量（短いシャッタ時間）から求められる感度比である。なお、小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）を感度比Ｋで乗算するのは、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と信号レベルのスケールを合わせるためである。
【００３８】
画素位置（ｘ，ｙ）の画像信号が飽和レベルを超えている場合は、画素位置（ｘ，ｙ）が飽和領域であると判定して、ＹＥＳの矢印で示すステップＳＢ５に進む。飽和信号レベルを超えていない場合は、飽和領域ではないと判定して、ＮＯの矢印で示すステップＳＢ３に進む。
【００３９】
ステップＳＢ３では、下記式（Ｂ）に基づき、画素位置（ｘ，ｙ）における画像信号Ｓ_Ｌ（ｘ，ｙ）及び画像信号Ｓ_Ｓ（ｘ，ｙ）の信号比Ｒ（ｘ，ｙ）を求める。
【００４０】
Ｒ（ｘ，ｙ）＝Ｓ_Ｌ（ｘ，ｙ）／Ｓ_Ｓ（ｘ，ｙ） …（Ｂ）
ステップＳＢ４では、画素位置（ｘ，ｙ）が、移動被写体領域であるか否かを判定する。具体的には、ステップＳＢ３で求めた信号比Ｒ（ｘ，ｙ）を下記式（Ｃ１）及び（Ｃ２）を用いて、予め設定される上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮと比較する。信号比Ｒ（ｘ，ｙ）が、上限感度比Ｋ_ＭＡＸより大きい（式（Ｃ−１）を満たす）場合、若しくは、下限感度比Ｋ_ＭＩＮより小さい（式（Ｃ−２）を満たす）場合は、画素位置（ｘ，ｙ）が、移動被写体領域である（移動被写体である）と判定して、ＹＥＳの矢印で示すステップＳＢ５に進む。それ以外の場合は、移動被写体領域でない（移動被写体ではない）と判断して、ＮＯの矢印で示すステップＳＢ６に進む。
【００４１】
Ｒ（ｘ，ｙ）＞Ｋ_ＭＡＸ …（Ｃ−１）
Ｒ（ｘ，ｙ）＜Ｋ_ＭＩＮ …（Ｃ−２）
上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮは、感度比Ｋに応じて、予め設定される値である。例えば、感度比Ｋが、「８」である場合は、上限感度比Ｋ_ＭＡＸを「１０」とし、下限感度比Ｋ_ＭＩＮを「６」と設定する等、感度比Ｋの上下に任意に設定できる。上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋに近い値に設定すれば、後述の図４に示す合成信号に現れる白線は、薄く、細い白線となり、より目立たなくなる。
【００４２】
ステップＳＢ５では、画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、感度比Ｋで乗算した画素位置（ｘ，ｙ）の小さい露光量の画像信号ＫＳ_Ｓ（ｘ，ｙ）を採用する。その後、ステップＳＢ７に進み、判定・合成処理を終了する。つまり、ステップＳＢ２で画像信号の露光量が飽和に達したと判断された場合と、ステップＳＢ４で、被写体が移動していると判断された場合は、小さい露光量の画像信号ＫＳ_Ｓを採用する。こうすることにより、例えば、露光量は飽和していないものの、移動被写体領域では、即座に小さい露光量の画像信号ＫＳ_Ｓに切り替えることができるので、大きい露光量の画像信号から小さい露光量の画像信号に切り替わる際の時間差による画像の破綻（例えば、明るい被写体と暗い被写体の境界部分に出る白線）を小さく（細く）することができる。
【００４３】
ステップＳＢ６では、画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）を採用する。その後、ステップＳＢ７に進み、判定・合成処理を終了する。つまり、ステップＳＢ２で画像信号の露光量が飽和に達していないと判断され、且つ、ステップＳＢ４で、被写体が移動していない判断された場合は、小さい露光量の画像信号Ｓ_Ｌを採用する。このようにすることで、移動被写体領域及び飽和領域以外では、よりＳ／Ｎ比が高い大きい露光量の画像信号Ｓ_Ｌを用いて画像信号を生成することができる。
【００４４】
以上のように、本発明の第１の実施例による判定・合成処理では、被写体の移動を検出して、大きい露光量の画像信号Ｓ_Ｌが飽和露光量に達するのを待たずに、小さい露光量の画像信号Ｓ_Ｓに切り替えることができる。よって、被写体が移動している場合でも、画像の破綻を抑えることができる。
【００４５】
図４は、白いストライプを、本実施例による撮像装置１において、ロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。図４（Ａ）は、ロングシャッタの画像信号Ｓ_Ｌを表し、図４（Ｂ）は、ショートシャッタの画像信号Ｓ_Ｓを表し、図４（Ｃ）は、図４（Ａ）と図４（Ｂ）を、図３に示す判定・合成処理により合成することにより得られる合成画像信号Ｓ_Ｃを表す。なお、図中、縦軸は、信号レベルを表し、横軸は、水平（ｘ）方向の画素位置を表す。
【００４６】
ロングシャッタの画像信号Ｓ_Ｌは、シャッタ期間が長いので、移動する被写体を撮像する場合は、図に示すように、白いストライプと背景の境界線が、斜めになる。また、点線で示す飽和信号レベルＳ_ＳＡＴ以上の部分は、出力されないので、実線で示したような形となる。
【００４７】
ショートシャッタは、ロングシャッタの後に撮像されるので、ショートシャッタの画像信号Ｓ_Ｓは、ロングシャッタの画像信号Ｓ_Ｌよりも、水平方向に移動する。これは、シャッタ期間開始時の時間差分だけ、白いストライプが横方向に移動しているからである。
【００４８】
以上の、２つの画像信号Ｓ_Ｌ及び画像信号Ｓ_Ｓを、図３に示す判定・合成処理により合成することにより得られる画像信号が、図４（Ｃ）に示す合成画像信号Ｓ_Ｃである。本実施例による画像合成を行った場合には、図１０（Ｃ）に示したような濃く太い白線ではなく、薄く細い白線となる。
【００４９】
この薄く細い白線は、実際には動いている被写体であっても、上限感度比Ｋ_{ＭＡ Ｘ}及び下限感度比Ｋ_ＭＩＮの設定（感度比Ｋから比較的遠い値に設定）により移動被写体ではないと判定され領域に現れるものであり、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋに近づければ、さらに、薄く、細くなる。なお、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋと同一値にすれば、この白線は現れなくなるが、その場合は、常に、露光量の小さい映像信号が使用されることになるので、好ましくは、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮを感度比Ｋから少し離れた値に設定する。
【００５０】
図５は、本発明の第２の実施例による判定・合成処理を表すフローチャートである。この第２の実施例の撮像装置１のシステム構成及び撮像処理は、上述の第１の実施例と同様である。
【００５１】
上述の第１の実施例では、大きい露光量の画像信号Ｓ_Ｌの飽和点で大きい露光量の画像信号Ｓ_Ｌから小さい露光量の画像信号Ｓ_Ｓに急峻に切り替わるため、この部分で合成画像に不自然な画像が現れることがある。例えば、感度比Ｋの設定値と実際の値とに差が生じた場合にこのような不自然な合成画像が発生する。この点につき第１の実施例を改良したものが、この第２の実施例である。
【００５２】
ステップＳＣ１からステップＳＣ５までの処理は、図３に示す第１の実施例と同様なので、説明を省略する。
【００５３】
ステップＳＣ６では、画素位置（ｘ，ｙ）における大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）が、予め設定される定数Ａ_Ｌよりも大きいか否かが判定される。画像信号Ｓ_Ｌ（ｘ，ｙ）が、定数Ａ_Ｌよりも大きい場合は、ＹＥＳの矢印で示すステップＳＣ７に進み、画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）として、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）を採用する。その後、ステップＳＣ１０に進み、判定・合成処理を終了する。画像信号Ｓ_Ｌ（ｘ，ｙ）が、定数Ａ_Ｌよりも小さい場合は、ＮＯの矢印で示すステップＳＣ８に進む。
【００５４】
なお、定数Ａ_Ｌは、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）の飽和信号レベルＳ_ＳＡＴよりも小さい値に設定される。
【００５５】
ステップＳＣ８では、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）の合成比率αを求める。合成比率αは、以下の式（Ｄ）により求められる。その後、ステップＳＣ９に進む。
【００５６】
α＝（Ｓ_ＳＡＴ−Ｓ_Ｌ（ｘ，ｙ））／（Ｓ_ＳＡＴ−Ａ_Ｌ） …（Ｄ）
なお、上記式（Ｅ）より、合成比率αは、Ｓ_Ｌ（ｘ，ｙ）＝Ａ_Ｌの時は、「１」であり、Ｓ_Ｌ（ｘ，ｙ）＝Ｓ_ＳＡＴの時は、「０」であることが分かる。すなわち、予め設定する定数Ａ_Ｌから飽和レベルＳ_ＳＡＴにかけて徐々に
ステップＳＣ９では、ステップＳＣ８で求めた合成比率αに基づき、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）とを合成して画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃを生成する（式（Ｅ）参照）。その後、ステップＳＣ１０に進み、判定・合成処理を終了する。
【００５７】
Ｓ_Ｃ（ｘ，ｙ）＝αＳ_Ｌ（ｘ，ｙ）＋（１−α）ＫＳ_Ｓ（ｘ，ｙ） …（Ｅ）
なお、上記式（Ｅ）より、合成比率αは、Ｓ_Ｌ（ｘ，ｙ）＝Ａ_Ｌの時は、「１」であり、Ｓ_Ｌ（ｘ，ｙ）＝Ｓ_ＳＡＴの時は、「０」であることが分かる。よって、予め設定する定数Ａ_Ｌから飽和レベルＳ_ＳＡＴにかけて徐々に大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）の合成比率が下がっていくことが分かる。
【００５８】
以上のように、本発明の第２の実施例によれば、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）が飽和レベルＳ_ＳＡＴに達する前の段階から、小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）との合成比率αを徐々に変えることで、飽和点付近の合成画像の繋がりを良くする事ができる。従って、飽和点付近での不自然な画像を抑制することができる。
【００５９】
図６は、本発明の第３の実施例による判定・合成処理を表すフローチャートである。この第３の実施例の撮像装置１のシステム構成及び撮像処理は、上述の第１の実施例と同様である。
【００６０】
上述の第１の実施例では、実際には被写体が動いている場合でも、上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮの設定（感度比Ｋから比較的遠い値に設定）により移動被写体ではないと判定される場合がある。この場合、図４に示したように、薄く、細い白線が現れることがある。この点につき第１の実施例を改良したものが、この第３の実施例である。
【００６１】
この第３の実施例では、被写体が動いていないと判定された領域では、合成画像信号Ｓ_Ｃが、小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致するように、小さい露光量の画像信号Ｓ_Ｓと大きい露光量の画像信号Ｓ_Ｌを、図６に示すフローチャートに従い加重加算する。このようにすると、実際には動いている被写体領域であるが、判定範囲（上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮ）の設定により、動いていないと判定された場合でも、合成画像信号Ｓ_Ｃが小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致する。よって、図４に示したような、薄く、細い白線を無くすことができる。
【００６２】
ステップＳＤ１からステップＳＤ５までの処理は、図３に示す第１の実施例と同様なので、説明を省略する。
【００６３】
ステップＳＤ６では、ステップＳＤ３で求める画素位置（ｘ，ｙ）における画像信号Ｓ_Ｌ（ｘ，ｙ）及び画像信号Ｓ_Ｓ（ｘ，ｙ）の信号比Ｒ（ｘ，ｙ）が、感度比Ｋ以上か否かを判定する。感度比Ｋ以上である場合は、ＹＥＳの矢印で示すステップＳＤ７に進み、感度比Ｋ以下である場合は、ＮＯの矢印で示すステップＳＤ８に進む。
【００６４】
ステップＳＤ７では、以下の式（Ｆ）に従い、Ｒ（ｘ，ｙ）≧Ｋの場合の、加重平均βを求める。その後、ステップＳＤ９に進む。
【００６５】
β＝（Ｋ_ＭＡＸ−Ｒ（ｘ，ｙ））／（Ｋ_ＭＡＸ−Ｋ） …（Ｆ）
ステップＳＤ８では、以下の式（Ｇ）に従い、Ｒ（ｘ，ｙ）＜Ｋの場合の、加重平均βを求める。その後、ステップＳＤ９に進む。
【００６６】
β＝（Ｒ（ｘ，ｙ）−Ｋ_ＭＩＮ）／（Ｋ−Ｋ_ＭＩＮ） …（Ｇ）
なお、上記のステップＳＤ７及びステップＳＤ８で求める加重平均βは、画像信号Ｓ_Ｌ（ｘ，ｙ）及び画像信号Ｓ_Ｓ（ｘ，ｙ）の合成比率を決定するために用いられる。
【００６７】
ステップＳＤ９では、ステップＳＤ７又はステップＳＤ８で求めた加重平均βを用いて、以下の式（Ｈ）に従い、合成画像信号Ｓ_Ｃを小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致させるための調整利得Ｇを求める。その後、ステップＳＤ１０に進む。
【００６８】
Ｇ＝１＋β（Ｓ_Ｌ（ｘ，ｙ）／ＫＳ_Ｓ（ｘ，ｙ）−１） …（Ｈ）
ステップＳＤ１０では、ステップＳＤ７又はステップＳＤ８で求めた加重平均β及びステップＳＤ９で求めた調整利得Ｇを用いて、以下の式（Ｉ）に従い、画素位置（ｘ，ｙ）の大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）と小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）とを合成して画素位置（ｘ，ｙ）の合成画像信号Ｓ_Ｃ（ｘ，ｙ）を生成する。その後、ステップＳＤ１１に進み、判定・合成処理を終了する。
【００６９】
Ｓ_Ｃ（ｘ，ｙ）＝（βＳ_Ｌ（ｘ，ｙ）＋（１−β）ＫＳ_Ｓ（ｘ，ｙ））／Ｇ …（Ｉ）
なお、信号比Ｒ（ｘ，ｙ）＝感度比Ｋの場合は、加重平均β＝１、調整利得Ｇ＝１となり、上記式（Ｉ）により、大きい露光量の画像信号Ｓ_Ｌ（ｘ，ｙ）のみが、合成画像信号Ｓ_Ｃ（ｘ，ｙ）として用いられることがわかる。また、信号比Ｒ（ｘ，ｙ）＝判定範囲（上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮ）である場合は、加重平均β＝０、調整利得Ｇ＝１となり、上記式（Ｉ）により、小さい露光量の画像信号Ｓ_Ｓ（ｘ，ｙ）のみが、合成画像信号Ｓ_Ｃ（ｘ，ｙ）として用いられることがわかる。
【００７０】
以上のように、本発明の第３の実施例によれば、実際には動いている被写体領域であるが、判定範囲（上限感度比Ｋ_ＭＡＸ及び下限感度比Ｋ_ＭＩＮ）の設定により、動いていないと判定された場合でも、合成画像信号Ｓ_Ｃを小さい露光量の画像信号Ｓ_Ｓ×感度比Ｋの値にほぼ一致させて、細い白線を無くすことができる。
【００７１】
図７は、本発明の第４の実施例による撮像装置１１の構成例を示すブロック図である。
【００７２】
撮像装置１１のＣＣＤイメージセンサ１２、及びホワイトバランス部８以外の構成は、第１の実施例による撮像装置１の構成とほぼ同様であるので、その説明を省略する。
【００７３】
ＣＣＤイメージセンサ１２は、単板カラーセンサであり、例えば、水平（ｘ）及び垂直（ｙ）方向に配列される多数の光電変換素子（画素）、画素上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク色フィルタ及び垂直電荷転送路（ＶＣＣＤ）を含む受光領域、水平電荷転送路（ＨＣＣＤ）等を含んで構成されるＣＣＤ型固体撮像素子である。ＣＣＤイメージセンサ２は、大きい露光量（ロングシャッタ）と小さい露光量（ショートシャッタ）による撮像を順次行い、ロングシャッタによる１枚分（１フレーム分）の画像信号Ｃ_Ｌとショートシャッタによる１枚分（１フレーム分）の画像信号Ｃ_Ｓを、順番に出力する。なお、画像信号Ｃ_Ｌと画像信号Ｃ_Ｓは、画素位置ごとに色が異なる。
【００７４】
ホワイトバランス部８は、ＣＣＤイメージセンサ１２から出力されるＲＧＢ各色の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓがホワイトバランスを得られるように、信号レベルを調整する。
【００７５】
この第４の実施例においても、上述の第１の実施例による撮像処理及び第１〜第３の実施例のいずれかによる判定・合成処理を行う。上述の第１〜第３の実施例との違いは、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓの代わりに、ホワイトバランス部８から出力されるホワイトバランス後の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓを用いることである。また、ＣＣＤセンサー２の飽和信号レベルＳ_ＳＡＴの代わりに、ホワイトバランス後のＣＣＤセンサー１２の飽和信号レベルＣ_ＳＡＴを用いる。その他の処理は、上述の第１〜第３の実施例と同様である。
【００７６】
単板カラーセンサであるＣＣＤセンサー１２に、上述の第１〜第３の実施例を単に適用した第４の実施例では、各映像信号の色の違いにかかわらず、各画素単独で、判定・合成処理を行っている。そのため、例えば、緑色に近い被写体の場合、緑の画素に対応する画像信号Ｓ_Ｌは、飽和信号レベルＣ_ＳＡＴに達しているが、隣の赤の画素に対応する画像信号Ｓ_Ｌは、飽和信号レベルＣ_ＳＡＴに達していないことが考えられる。このように、各画素でその色信号から飽和判定や動いている被写体の判定を行うと、色相が狂う場合がある。この点につき第４の実施例を改良したものが、第５の実施例である。
【００７７】
図８は、本発明の第５の実施例による判定・合成処理を表すフローチャートである。この第５の実施例による判定・合成処理は、上述の第４の実施例と同様に、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓの代わりに、ホワイトバランス部８から出力されるホワイトバランス後の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓを用いるとともに、ＣＣＤセンサー２の飽和信号レベルＳ_ＳＡＴの代わりに、ホワイトバランス後のＣＣＤセンサー１２の飽和信号レベルＣ_ＳＡＴを用いる点で第１の実施例と異なる。また、上述の第１の実施例及び第４の実施例との相違点は、ステップＳＥ２〜ステップＳＥ４において、画素位置（ｘ，ｙ）の代わりに、判定画素位置（ｘ，ｙ）を含む複数の周辺画素位置（ｘ’，ｙ’）を用いる。それ以外の点については、第１の実施例による判定・合成処理と同様であるので、詳しい説明は省略する。なお、この第５の実施例の撮像装置１１のシステム構成及び撮像処理は、上述の第４の実施例と同様である。
【００７８】
なお、この第５の実施例も、第４の実施例と同様に、第２及び第３の実施例に適用することができる。その場合には、画像信号Ｓ_Ｌと画像信号Ｓ_Ｓの代わりに、ホワイトバランス部８から出力されるホワイトバランス後の画像信号Ｃ_Ｌと画像信号Ｃ_Ｓを用いるとともに、ＣＣＤセンサー２の飽和信号レベルＳ_ＳＡＴの代わりに、ホワイトバランス後のＣＣＤセンサー１２の飽和信号レベルＣ_ＳＡＴを用いることとし、図５のステップＳＣ２〜ステップＳＣ４又は図６のステップＳＤ２〜ステップＳＤ４の処理の代わりにステップＳＥ２〜ステップＳＥ４の処理を行うようにする。
【００７９】
また、複数の周辺画素位置（ｘ’，ｙ’）は、判定画素位置（ｘ，ｙ）に近接する全ての色（例えば、赤、緑、青）に対応する画素を含むことが望ましい。
【００８０】
以上のように、本発明の第５の実施例によれば、判定画素位置（ｘ，ｙ）を含む複数の周辺画素位置（ｘ’，ｙ’）を参照して、飽和判定や動いている被写体の判定を行うので、合成画像信号の色相の狂いを無くすことができる。
【００８１】
なお、以上の第１〜第５の実施例では、リニアな画像信号で合成し、その後にガンマ補正等の処理を行うが、ガンマ補正後の画像信号に対しても、本発明を適用することができる。その場合は、ガンマ補正後の小さい露光量の画像信号Ｖ_Ｓと、ガンマ補正後の大きい露光量の画像信号Ｖ_Ｌは、感度比に一致しないため、予め感度比から計算した変換テーブル（Ｖ_Ｌ＝ＬＵＴ［Ｖ_Ｓ］）を使用する。実際のＶ_Ｌ値と実際のＶ_Ｓ値のＬＵＴ換算値から飽和判定と移動体の判定を行い、この判定信号に基づき画像合成を行う。
【００８２】
また、以上の第１〜第５の実施例では、大きい露光量の画像信号のみを一旦メモリに記憶し、小さい露光量の画像信号をＣＣＤイメージセンサからリアルタイムに読み出すと同時に、大きい露光量の画像信号をメモリから読み出し、両方の画像信号を画像合成部と判定部に同時に供給しているが、小さい露光量の画像信号をメモリに記憶し、大きい露光量の画像信号をＣＣＤイメージセンサからリアルタイムで読み出すようにしてもよい。また、両方の画像信号をメモリに記憶し、同時に読み出すようにしてもよい。
【００８３】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組合せ等が可能なことは当業者に自明であろう。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、良質で広いダイナミックレンジを持つ撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例による撮像装置１の構成例を示すブロック図である。
【図２】本発明の第１の実施例による固体撮像処理の撮像処理を表すフローチャートである。
【図３】本発明の第１の実施例による判定・合成処理を表すフローチャートである。
【図４】白いストライプを、本実施例による撮像装置１において、ロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。
【図５】本発明の第２の実施例による判定・合成処理を表すフローチャートである。
【図６】本発明の第３の実施例による判定・合成処理を表すフローチャートである。
【図７】本発明の第４の実施例による撮像装置１１の構成例を示すブロック図である。
【図８】本発明の第５の実施例による判定・合成処理を表すフローチャートである。
【図９】従来の撮像装置５１の構成例を示すブロック図である。
【図１０】従来の撮像装置５１において白いストライプをロングシャッタ、ショートシャッタの順で撮像した時の１水平ラインの画像信号を表す図である。
【符号の説明】
１、１１、５１…固体撮像装置、２、１２、５２…ＣＣＤイメージセンサ、３、５３…ＡＤＣ、４、５４…スイッチ、５、５５…メモリ、６、５６…画像合成部、７…判定部、８…ホワイトバランス部

Claims (20)

1. 大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、
   前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域と前記第１の画像信号の飽和領域とを判定し判定信号を出力する判定手段と、
   前記判定信号に基づき、前記第１の画像信号と前記第２の画像信号との占める比率を変化させて画像合成を行う画像合成手段と
   を有する撮像装置。
2. 前記画像合成手段は、前記判定手段に判定される前記飽和領域及び前記動いている被写体領域においては、前記第２の画像信号のみを用いて画像合成を行う請求項１記載の撮像装置。
3. 前記画像合成手段は、前記判定手段に判定される前記飽和領域及び前記動いている被写体領域以外においては、前記第１の画像信号のみを用いて画像合成を行う請求項１又は２記載の撮像装置。
4. 前記画像合成手段は、前記判定手段に判定される前記飽和領域及び前記動いている被写体領域以外においては、前記第１の画像信号と前記第２の画像信号との占める比率を徐々に変化させて画像合成を行う請求項１又は２記載の撮像装置。
5. 前記第１の画像信号の飽和レベルに近づくに従い、前記第２の画像信号の占める比率が増大する請求項４記載の撮像装置。
6. 前記画像合成手段は、さらに、前記合成した画像を前記第２の画像信号のレベルにほぼ一致させる請求項４又は５記載の撮像装置。
7. 前記画像合成手段は、前記判定信号と前記第１の画像信号と前記第２の画像信号との少なくとも一方とに基づき、前記第１の画像信号と前記第２の画像信号との合成比率を変化させて画像合成を行う請求項１記載の撮像装置。
8. 前記判定手段は、同一画素位置における前記第１の画像信号と前記第２の画像信号の比が所定の範囲内にあることにより動いている被写体領域を判定し、同一画素位置における前記第１の画像信号と、前記第２の画像信号に前記大きい露光量と小さい露光量の比を乗算したものとに基づき、前記第１の画像信号の飽和領域を判定する請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記判定手段は、判定対象画素を含む複数の周辺画素に対して、該周辺画素における前記第１の画像信号と前記第２の画像信号の比が所定の範囲内にあることにより動いている被写体領域を判定し、該周辺画素における前記第１の画像信号と、前記第２の画像信号に前記大きい露光量と小さい露光量の比を乗算したものとに基づき、前記第１の画像信号の飽和領域を判定する請求項１〜７のいずれか１項に記載の撮像装置。
10. 前記所定の範囲は、前記前記第１の画像信号と前記第２の画像信号に応じて変化する請求項８又は９記載の撮像装置。
11. 大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像工程と、
    前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域と前記第１の画像信号の飽和領域とを判定し判定信号を出力する判定工程と、
    前記判定信号に基づき、前記第１の画像信号と前記第２の画像信号との占める比率を変化させて画像合成を行う画像合成工程と
    を有する撮像方法。
12. 前記画像合成工程は、前記判定工程に判定される前記飽和領域及び前記動いている被写体領域においては、前記第２の画像信号のみを用いて画像合成を行う請求項１１記載の撮像方法。
13. 前記画像合成工程は、前記判定工程に判定される前記飽和領域及び前記動いている被写体領域以外においては、前記第１の画像信号のみを用いて画像合成を行う請求項１１又は１２記載の撮像方法。
14. 前記画像合成工程は、前記判定工程に判定される前記飽和領域及び前記動いている被写体領域以外においては、前記第１の画像信号と前記第２の画像信号との占める比率を徐々に変化させて画像合成を行う請求項１１又は１２記載の撮像方法。
15. 前記第１の画像信号の飽和レベルに近づくに従い、前記第２の画像信号の占める比率が増大する請求項１４記載の撮像方法。
16. 前記画像合成工程は、さらに、前記合成した画像を前記第２の画像信号のレベルにほぼ一致させる請求項１４又は１５記載の撮像方法。
17. 前記画像合成工程は、前記判定信号と前記第１の画像信号と前記第２の画像信号との少なくとも一方とに基づき、前記第１の画像信号と前記第２の画像信号との合成比率を変化させて画像合成を行う請求項１１記載の撮像方法。
18. 前記判定工程は、同一画素位置における前記第１の画像信号と前記第２の画像信号の比が所定の範囲内にあることにより動いている被写体領域を判定し、同一画素位置における前記第１の画像信号と、前記第２の画像信号に前記大きい露光量と小さい露光量の比を乗算したものとに基づき、前記第１の画像信号の飽和領域を判定する請求項１１〜１７のいずれか１項に記載の撮像方法。
19. 前記判定工程は、判定対象画素を含む複数の周辺画素に対して、該周辺画素における前記第１の画像信号と前記第２の画像信号の比が所定の範囲内にあることにより動いている被写体領域を判定し、該周辺画素における前記第１の画像信号と、前記第２の画像信号に前記大きい露光量と小さい露光量の比を乗算したものとに基づき、前記第１の画像信号の飽和領域を判定する請求項１１〜１７のいずれか１項に記載の撮像方法。
20. 前記所定の範囲は、前記前記第１の画像信号と前記第２の画像信号に応じて変化する請求項１８又は１９記載の撮像方法。

Images