JP2007049227A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】露光時間の異なる画像を合成して出力する場合に、低輝度から高輝度までノイズが低減された画像を形成するための画像処理装置を提供する。
【解決手段】第１の露光時間にて撮像された長時間露光画像と、異なる時刻で前記第１の露光時間よりも短い露光時間にて撮像された複数の短時間露光画像とを入力する入力手段１と、前記複数の短時間露光画像を用いて、前記複数の短時間露光画像に比べてノイズを低減した補正画像を形成する画像形成手段５〜１２と、前記ノイズを低減した補正画像と前記長時間露光画像とを基に合成画像を形成する画像合成手段１３〜１８とを有する画像処理装置。
【選択図】図１

Description

本発明は、異なる露光量で被写体を撮像して得られた複数枚の画像を合成して階調性の優れたダイナミックレンジの広い１枚の画像を形成する装置及び方法に関する。

近年、テレビカメラ、ビデオカメラ、デジタルカメラ等の画像入力装置の撮像デバイスとしてＣＣＤ撮像素子、ＣＭＯＳ撮像素子等の固体撮像素子が使用されている。ところが、固体撮像素子のダイナミックレンジは、銀塩カメラのフィルムのダイナミックレンジに比べると狭く、ダイナミックレンジの拡大が望まれていた。

そこで、固体撮像素子のダイナミックレンジの拡大の方式として、同一シーンにおける露光量の異なる複数枚の画像を撮影し、この複数枚の画像を合成して、ダイナミックレンジを拡大した画像を得る手法がある。

特許文献１には、出力装置へ出力する画像データのダイナミックレンジ幅を出力装置のダイナミックレンジ幅あるいは出力特性に合わせる制御方法に関して記載されている。その画像の合成方法として、長時間露光画像と短時間露光画像の双方で、つぶれの無い画素を基準点として、同一画素間の輝度レベルの差を算出する。そして、双方の画像の輝度レベルを合せこみ、長時間露光画像信号の輝度レベルが、設定されたしきい値以上の時は、差分補正された短時間露光画像信号に置き換えることで合成画像を作成する方法が開示されている。

また特許文献２には、長時間露光画像と短時間露光画像を交互に出力する構成が開示されている。短時間露光画像出力時、その輝度値が、所定値以下の画素に関しては、黒つぶれがあると判断し、フレームメモリに記憶されている長時間露光画像信号に切り替える。長時間露光画像出力時、その輝度値が、所定値以上の画素に関しては、白つぶれがあると判断し、フレームメモリに記憶されている短時間露光画像信号に切り替える構成が開示されている。

また特許文献３には、標準輝度映像信号のピーク値から高輝度映像信号と標準輝度映像信号の合成のための加算割合を決定する構成が開示されている。

また特許文献４には、露光比が大きい場合、短時間露光画像信号の信号レベルが低下して、合成画像の中輝度部（長時間露光画像信号と短時間露光画像信号の切り替えポイント付近）のS／Nが悪化する課題に対して、短時間露光画像信号を、複数フィールド分多重加算して中時間露光画像信号を生成する。長時間露光画像信号を低輝度部に、中時間露光画像信号を中輝度部に、短時間露光画像信号を高輝度部に割りあたるように、入力画像信号のレベルによって可変する係数を３種類の露光画像信号に乗算して合成する構成が開示されている。

特開平０７−１３１７０４号公報 特開平０２−１７４４７０号公報 特開２００１−０９４８７０号公報 特開２００４−０５６５７３号公報

しかしながら、特許文献１においては、単純に輝度レベルのオフセット値を短時間露光信号に加算してそれを合成画像としている。短時間露光信号の低輝度領域のＳ／Ｎの悪い領域が、そのまま合成画像の中輝度から高輝度領域に割り当てられるため、合成画像の中輝度領域のＳ／Ｎが悪化した画像となる。

同様に、特許文献２においても、短時間露光画像のレベルの低い部分に相当する合成画像の中輝度領域のＳ／Ｎが悪化した画像となる。

また特許文献３においては、短時間露光信号のピーク値に応じて、合成時の加算の割合を決定している。特にピーク値が低い場合、短時間露光画像の低輝度領域が、合成画像の中輝度から高輝度領域に割り当てられるため、合成画像の中輝度領域のＳ／Ｎは極端に悪化する。

また特許文献４においては、短時間露光画像を複数枚単純に加算して、レベルの大きい中時間露光画像を得ており、これを合成画像の中輝度部に割り当てることでＳ／Ｎが改善できるとしているが、単純な加算では、信号レベルと一緒にノイズレベルも大きくなるため、合成画像の中輝度部のＳ／Ｎの劇的な改善は困難である。また合成画像の高輝度部には、何のノイズ対策もしていないレベルの低い短時間露光画像を割り当てているため、中輝度から高輝度にかけて、特に高輝度部でＳ／Ｎの悪い合成画像となる。

本発明の目的は、露光時間の異なる画像を合成して出力する場合に、低輝度から高輝度までノイズが低減された画像を形成するための画像処理装置及び方法を提供することである。

本発明の画像処理装置は、第１の露光時間にて撮像された長時間露光画像と、異なる時刻で前記第１の露光時間よりも短い露光時間にて撮像された複数の短時間露光画像とを入力する入力手段と、前記複数の短時間露光画像を用いて、前記複数の短時間露光画像に比べてノイズを低減した補正画像を形成する画像形成手段と、前記ノイズを低減した補正画像と前記長時間露光画像とを基に合成画像を形成する画像合成手段とを有することを特徴とする。

本発明の画像処理方法は、第１の露光時間にて撮像された長時間露光画像と、異なる時刻で前記第１の露光時間よりも短い露光時間にて撮像された複数の短時間露光画像とを入力する入力ステップと、前記複数の短時間露光画像を用いて、前記複数の短時間露光画像に比べてノイズを低減した補正画像を形成する画像形成ステップと、前記ノイズを低減した補正画像と前記長時間露光画像とを基に合成画像を形成する画像合成ステップとを有することを特徴とする。

露光時間の異なる長時間露光画像及び短時間露光画像を基に合成画像を形成する場合に、短時間露光画像の信号レベルが低い時でも、高解像度を維持したままで、ノイズを除去したＳ／Ｎの高い短時間露光画像信号を生成することができ、階調表現の優れた画像を得ることが可能となる。

（第１の実施形態）
本発明の第１の実施形態は、短い露光時間によって撮像された信号が、長い露光時間によって撮像された信号と比較して、信号に対するノイズの割合が高いことに着目し、短い露光時間によって撮像された信号からノイズを除去した後に、画像合成を行なうというものである。

本実施形態における画像処理方法について説明する。
図２は、本実施形態における合成前の短時間露光画像と長時間露光画像のイメージセンサからの出力波形例を示す。左から右にいくほど、明るくなる（輝度が高くなる）被写体を撮影した場合の信号である。Ｓｉｇ１−ａが時間（時刻）ｔ１を始点に、露光時間Ｔａで撮像された第１の露光画像信号である。Ｓｉｇ１−ｂが時間（時刻）ｔ２を始点に露光時間Ｔａで撮像された第２の露光画像信号である。そして、Ｓｉｇ１−ｃが時間（時刻）ｔ３を始点に露光時間Ｔａで撮像された第３の露光画像信号である。これらは始点の時刻が異なるものの同じ露光時間により撮像が行なわれている。次にＳｉｇ１−ｄが、時間（時刻）ｔ４を始点にＴａよりも長い露光時間である露光時間Ｔｂで撮像された露光画像信号である。

本実施形態においてはノイズ除去方法として、時間軸方向のデジタルフィルタ処理を行なう。第１、第２、第３の比較的短い露光時間で撮像された露光画像信号（時間軸方向では異なるが空間座標的には同一の画素データ）を、畳み込み積分によりデジタルフィルタリングすることでノイズ除去を実現する。時間軸方向にサンプリングされた（すなわち、時刻の異なる）露光画像信号の同じ空間位置の画像データＳｉｇ１−ａ、Ｓｉｇ１−ｂ、Ｓｉｇ１−ｃに、おのおのサンプリング時間で最適な重み係数を乗算し、畳み込み積分をすることで、時間軸方向のデジタルフィルタ処理を行い、ノイズを除去しＳ／Ｎを改善した露光画像信号を生成することが可能となる。畳み込み積分に関しては後ほど詳述する。

図１は、画像処理装置を説明するための構成図である。１が画像信号入力端子で、図２に示した複数の短時間露光画像信号Ｓｉｇ１−ａ，Ｓｉｇ１−ｂ，Ｓｉｇ１−ｃと長時間露光画像信号Ｓｉｇ１−ｄの時分割信号Ｓｉｇ１が入力される。２は第１のスイッチ、３は第２のスイッチであり、セレクト信号４（Ｓｅｌ）によりオン／オフされる。入力端子１に第１の露光画像信号Ｓｉｇ１−ａが入力されているとき、セレクト信号４はハイレベル（Ｈ）となり第２のスイッチ３をオンし、第１のスイッチ２をオフする。その後、セレクト信号４はローレベル（Ｌ）となり、第２のスイッチ３をオフし、第１のスイッチ２をオンする。セレクト信号４がハイレベル（Ｈ）の時、第２のスイッチ３がオンになり第１のフレームディレイ５を介して、３次元ＦＩＲ型デジタルフィルタ部に第１の露光画像信号Ｓｉｇ１−ａが入力される。第１のフレームディレイ５は、第１の露光画像信号Ｓｉｇ１−ａを１フレーム分遅延させる。その後同様に、図２のＳｉｇ１−ｂ、Ｓｉｇ１−ｃに対応する第２、第３の露光画像信号が入力される。

３次元ＦＩＲ型デジタルフィルタ部では、第２のフレームディレイ６と第３のフレームディレイ７により、第１の露光画像信号Ｓｉｇ１−ａを２フレーム分遅延させ、図２におけるＳｉｇ１−ａ、Ｓｉｇ１−ｂ、Ｓｉｇ１−ｃを同一時間上にならべ、空間的に同じ画素同士が演算できるようにする。

すなわち、第１の露光画像信号Ｓｉｇ１−ａは、３個のフレームディレイ５，６，７により３フレーム分遅延され、乗算器１１に入力される。第２の露光画像信号Ｓｉｇ１−ｂは、２個のフレームディレイ５，６により２フレーム分遅延され、乗算器１０に入力される。第３の露光画像信号Ｓｉｇ１−ｃは、１個のフレームディレイ５により１フレーム分遅延され、乗算器９に入力される。

Ｓｉｇ１−ａには乗算器９のゲイン係数Ｋ１、Ｓｉｇ１−ｂには乗算器１０のゲイン係数Ｋ０、Ｓｉｇ１−ｃには乗算器１１のゲイン係数Ｋ２を乗算し、加算器１２で乗算器９、１０、１１の出力の総和を取る。この処理により、短時間露光画像信号Ｓｉｇ１−ａ，Ｓｉｇ１−ｂ，Ｓｉｇ１−ｃは、時間軸の異なる同じ画素位置の信号間で、畳込み演算が実行され、ノイズ成分がフィルタリングにより低減される。該加算器１２の出力は、乗算器１３に入力され、ゲイン係数１５で設定されるＧ２が乗算され、加算器１８に入力される。次に該入力端子１には、長時間露光画像信号Ｓｉｇ１−ｄが入力され、この時、該セレクト信号４がローレベル（Ｌ）となり、該第１のスイッチ２がオンし、第２のスイッチ３はオフする。該第１のスイッチ２を通過した長時間露光画像信号Ｓｉｇ１−ｄは、乗算器１４に入力され、ゲイン係数１７で設定されるＧ１が乗算される。係数Ｇ１が乗算された長時間露光画像信号Ｓｉｇ１−ｄは、該加算器１８に入力され、デジタルフィルタ処理後の短時間露光画像信号と加算され、ダイナミックレンジの広い合成画像信号１９が生成される。ゲインコントロール部１６は、加算器１２の出力信号及び長時間露光画像信号Ｓｉｇ１−ｄを入力し、ゲイン係数１５及び１７を制御する。

合成画像信号１９の第１の輝度領域は、長時間露光画像Ｓｉｇ１−ｄを主体に形成され、前記第１の輝度領域よりも高輝度側の第２の輝度領域は、加算器１２から出力されるノイズを低減した短時間露光画像を主体に形成される。

本実施形態においては、短時間露光画像信号のノイズ成分を、時間軸方向に同一空間位置にある各画素に対して、時間軸方向での畳み込み演算によるデジタルフィルタ処理により、除去している為、従来問題になっていた合成画像信号のつなぎ目での短時間露光画像信号のノイズによる画質の悪化を抑えることが可能となる。また、時間軸方向でのデジタルフィルタによるノイズ除去を行っているため、通常のノイズ除去画像処理で利用される異なる空間位置にある各画素の畳み込み演算によるデジタルフィルタ処理で、問題になっていたデジタルフィルタ処理による空間解像度の低下のない画期的なノイズ除去処理が実現出来る。

（第２の実施形態）
本発明の第２の実施形態における画像処理装置について図３を用いて説明する。図１と同様の機能を有する場合には同様の符号を付し詳細な説明は省略する。図１と異なる点は、レベル検出手段２０とゲインコントロール手段２１が新たに設けられた点である。２０は長時間露光画像信号Ｓｉｇ１−ｄの信号レベルを検出し、２１のゲインコントロール部に、長時間露光画像信号Ｓｉｇ１−ｄの信号レベルを伝達する。該ゲインコントロール部２１は、該乗算器９の乗算係数Ｋ１、該乗算器１０の乗算係数Ｋ０、該乗算器１１の乗算係数Ｋ２を、長時間露光画像信号Ｓｉｇ１−ｄのレベルに応じて、ダイナミックに可変制御する。以下、乗算係数Ｋ０、Ｋ１、Ｋ２の設定方式について説明する。時間軸方向の短時間露光画像信号Ｓｉｇ１−ａ，Ｓｉｇ１−ｂ，Ｓｉｇ１−ｃの３次元ＦＩＲ型デジタルフィルタの乗算係数Ｋ０、Ｋ１、Ｋ２を、長時間露光画像信号Ｓｉｇ１−ｄの振幅レベルに応じて、以下の（１）〜（３）のように動的に変更する事で、信号レベルの応じたフィルタリング処理、合成処理を行い、最適なＳ／Nを持った合成画像を生成することが可能となる。

（１）長時間露光画像信号レベルが第１の閾値ＶＬ以下の小振幅時は、デジタルフィルタの各係数を、例えばゼロに設定し（Ｋ０＝Ｋ１＝Ｋ２＝０）、短時間露光画像信号をカットして、合成する。

（２）長時間露光画像信号のレベルが第１の閾値ＶＬ以上、第２の閾値ＶＨ以下の中振幅時は、デジタルフィルタの係数を例えば、Ｋ１＝Ｋ２＝０．２５、Ｋ０＝０．５に設定し、急峻な高域遮断特性を持つ、３次元ＦＩＲフィルタとし、特に高域成分のノイズ成分を除去した短時間露光画像信号を出力し、長時間露光画像信号と合成する。センター乗算係数Ｋ０は、サイド乗算係数Ｋ１，Ｋ２の倍に設定される。センター乗算係数Ｋ０とサイド乗算係数Ｋ１，Ｋ２の総和は１である。

（３）長時間露光画像信号レベルが第２の閾値ＶＨ以上の大振幅領域では、デジタルフィルタの係数を例えば、Ｋ１＝Ｋ２＝Ｋ０＝０．３３３に設定し、低域から高域にかけて広帯域範囲で、一定の減衰特性を持ったフィルタとし、特に広帯域範囲で、一定のノイズ除去が行われた短時間露光画像信号を出力し、長時間露光画像信号と合成する。ＦＩＲ型デジタルフィルタの乗算係数Ｋ０，Ｋ１，Ｋ２のすべては等しく設定され、乗算係数Ｋ０，Ｋ１，Ｋ２の総和が１である。

このように、長時間露光画像信号のレベルに応じて、短時間露光画像信号処理用デジタルフィルタの係数を動的に可変とすることで、以下の効果が得られる。

（１）の場合、短時間露光画像信号の出力は、ノイズ成分のみであり、これをデジタルフィルタ部でストップする事で、低輝度領域の合成画像のＳ／Ｎの悪化を防止することが可能となる。

（２）の乗算係数設定時の３次元デジタルフィルタの周波数特性を図４に示す。（２）の場合、短時間露光画像信号の出力は、特に高域成分を減衰させる特性（図４参照）を持った時間軸方向の３次元デジタルフィルタ処理される為、小振幅時に目立つ短時間露光画像信号の高域ノイズ成分を除去し、Ｓ／Ｎが改善された短時間露光信号が合成部に送られる為、中輝度領域の合成画像のＳ／Ｎは改善される。

（３）の乗算係数設定時の３次元デジタルフィルタの周波数特性を図５に示す。（３）の場合、短時間露光画像信号の信号レベルは、大きく、Ｓ／Ｎのよい信号である為、急峻な減衰特性を持つ３次元デジタルフィルタ処理をしなくても、高域部での合成画像のＳ／Ｎは確保できる。かわりに短時間露光画像信号の大振幅時に目立つ低周波ノイズ成分（１／ｆノイズ）を減衰させる特性（図５参照）のデジタルフィルタで、広帯域範囲でノイズ除去を行った短時間露光画像信号が合成部に送られる為、高輝度領域の合成画像のＳ／Ｎは改善される。

以上のように、第１及び第２の実施形態によれば、同じ露光時間で撮像された複数枚の短時間露光画像を時間軸方向にデジタルフィルタリングする事で、解像度がまったく落ちないノイズの除去された短時間露光画像を生成後、合成画像に割り当てる為、上記特許文献１〜４で問題になっていた合成画像の中輝度領域のＳ／Ｎの悪化を改善できる。また、上記特許文献４で問題になっていた合成画像の高輝度領域のＳ／Ｎの悪化を劇的に改善できる。

露光時間の異なる画像信号から画像を合成する方法において、短時間露光画像信号のレベルが低い時でも、高解像度を維持したままで、ノイズを除去したＳ／Ｎの高い短時間露光画像信号を生成することができ、階調表現の優れた画像を得ることが可能となる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態によるワイドダイナミックレンジ画像合成のための画像処理装置を示す図である。 合成前処理の短時間露光画像信号と長時間露光画像信号を示す図である。 本発明の第２の実施形態によるワイドダイナミックレンジ画像合成のための画像処理装置を示す図である。 長時間露光画像信号がＶＬ以上、ＶＨ以下の中輝度の時の３次元デジタルフィルの周波数特性を示す図である。 長時間露光画像信号がＶＨ以上の高輝度の時の３次元デジタルフィルタの周波数特性を示す図である。

符号の説明

１ 撮像素子からの画像信号入力端子
２ 第１のスイッチ
３ 第２のスイッチ
４ セレクト信号
５ 第１のフレームディレイ
６ 第２のフレームディレイ
７ 第３のフレームディレイ
９ 乗算器
１０ 乗算器
１１ 乗算器
１２ 加算器
１３ 乗算器
１４ 乗算器
１５ ゲイン係数Ｇ１
１６ ゲインコントロール部
１７ ゲイン係数Ｇ１
１８ 加算器
１９ 合成画像信号

Claims (11)

1. 第１の露光時間にて撮像された長時間露光画像と、異なる時刻で前記第１の露光時間よりも短い露光時間にて撮像された複数の短時間露光画像とを入力する入力手段と、
   前記複数の短時間露光画像を用いて、前記複数の短時間露光画像に比べてノイズを低減した補正画像を形成する画像形成手段と、
   前記ノイズを低減した補正画像と前記長時間露光画像とを基に合成画像を形成する画像合成手段と
   を有することを特徴とする画像処理装置。
2. 前記合成画像の第１の輝度領域は、前記長時間露光画像を主体に形成され、前記第１の輝度領域よりも高輝度側の第２の輝度領域は、前記補正画像を主体に形成されることを特徴とする請求項１記載の画像処理装置。
3. 前記画像形成手段は、ＦＩＲ型デジタルフィルタを含むことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像形成手段は、前記長時間露光画像の信号レベルに応じて前記ＦＩＲ型デジタルフィルタの乗算係数を制御することを特徴とする請求項３記載の画像処理装置。
5. 前記画像形成手段は、前記長時間露光画像の信号レベルが第１の閾値以下の時、前記ＦＩＲ型デジタルフィルタの乗算係数をゼロに設定することを特徴とする請求項４記載の画像処理装置。
6. 前記画像形成手段は、前記長時間露光画像の信号レベルが第１の閾値以上、かつ第２の閾値以下の時、前記ＦＩＲ型デジタルフィルタのセンター乗算係数をサイド乗算係数の倍に設定することを特徴とする請求項４又は５記載の画像処理装置。
7. 前記センター乗算係数と前記サイド乗算係数の総和が１であることを特徴とする請求項６記載の画像処理装置。
8. 前記画像形成手段は、前記長時間露光画像の信号レベルが第２の閾値以上の時、前記ＦＩＲ型デジタルフィルタの乗算係数のすべてを等しく設定することを特徴とする請求項４〜７のいずれか１項に記載の画像処理装置。
9. 前記ＦＩＲ型デジタルフィルタの乗算係数の総和が１であることを特徴とする請求項８記載の画像処理装置。
10. 第１の露光時間にて撮像された長時間露光画像と、異なる時刻で前記第１の露光時間よりも短い露光時間にて撮像された複数の短時間露光画像とを入力する入力ステップと、
    前記複数の短時間露光画像を用いて、前記複数の短時間露光画像に比べてノイズを低減した補正画像を形成する画像形成ステップと、
    前記ノイズを低減した補正画像と前記長時間露光画像とを基に合成画像を形成する画像合成ステップと
    を有することを特徴とする画像処理方法。
11. 前記合成画像の第１の輝度領域は、前記長時間露光画像を主体に形成され、前記第１の輝度領域よりも高輝度側の第２の輝度領域は、前記補正画像を主体に形成されることを特徴とする請求項１０記載の画像処理方法。

Images