JP4944061B2

JP4944061B2 - 画像処理装置および方法並びにプログラム

Info

Publication number: JP4944061B2
Application number: JP2008123046A
Authority: JP
Inventors: 誠二田中
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-05-09
Filing date: 2008-05-09
Publication date: 2012-05-30
Anticipated expiration: 2028-05-09
Also published as: JP2009272983A; US8345121B2; KR101650050B1; US20120224079A1; KR20090117617A; CN101577796A; EP2116972A3; EP2116972A2; US20090278957A1; CN101577796B

Description

本発明は、画像のゲインを変更することによりダイナミックレンジ圧縮処理を行う画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

画像に対して適切な画像処理を施した後、画像を再生することが種々の分野で行われている。例えば、画像の低周波画像を生成し、低周波画像を用いて画像の最高輝度と最低輝度との差、すなわちダイナミックレンジを狭めるように高輝度域もしくは低輝度域あるいは画像全体のコントラストを下げるダイナミックレンジ圧縮処理が提案されている。具体的には、画像の低周波画像を生成し、低周波画像が暗い（すなわち輝度が小さい）ほど大きくなるようなゲインを低周波画像から算出し、算出したゲインを画像の各画素に加算あるいは乗算することにより、画像の各画素のゲインを変更して画像のダイナミックレンジを圧縮する処理の手法が提案されている。

このようにダイナミックレンジ圧縮処理を行うことにより、画像における明るい領域は暗く、暗い領域は明るくすることができるため、例えば人物を逆光の状態で撮影することにより取得される明暗差が大きい画像における背景の白飛びや、人物の顔の黒つぶれが修正された高画質の画像を取得することができる。

しかしながら、上述したダイナミックレンジ圧縮処理においては、画像上のエッジの近傍においてオーバーシュート、アンダーシュート等のアーチファクトが発生し、これにより画質が低下してしまうという問題がある。このため、このようなアーチファクトの発生を防止するための手法が提案されている（特許文献１，２参照）。特許文献１に記載された手法は、画像を表す画像信号から、周波数帯域が異なる複数の帯域制限画像信号を生成し、複数の帯域制限画像信号のうちの一部の帯域制限画像信号を小さくして積算することにより積算信号を生成し、積算信号を元の画像の画像信号から減算することにより取得した差分信号を所定の関数により変換し、変換により得られた信号を元の画像に加算することにより、ダイナミックレンジ圧縮処理を行う手法である。また、特許文献２に記載された手法は、画像とその低周波画像との画素値の大小を比較してダイナミックレンジ圧縮用の補正値を算出する手法である。
特開平１０−７５３６４号公報特開平５−３００３７６号公報

しかしながら、特許文献１に記載された手法は、画像を周波数分離することによりダイナミックレンジ圧縮処理を行っているため、画像に含まれるエッジ近傍のオーバーシュートおよびアンダーシュートを完全にはなくすことができない。また、特許文献２に記載された手法では、画像と低周波画像との値の大小により補正値を算出しているため、補正値が切り替わる部分において処理済みの画像が不連続となってしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、ダイナミックレンジが圧縮された画像をより高画質なものとすることを目的とする。

本発明による第１の画像処理装置は、処理対象画像の各画素のレベルに応じて、該各画素が属する該処理対象画像上の領域を設定する領域設定手段と、
前記処理対象画像の低周波画像を生成する低周波画像生成手段と、
前記処理対象画像の各画素に対するゲインを該各画素のレベルが小さいほど大きくなるように算出するゲイン算出手段であって、前記領域設定結果および前記低周波画像の各画素のレベルに基づいて、前記処理対象画像の各画素が属する領域内に存在する画素については略同一のゲインとなるように前記ゲインを算出するゲイン算出手段と、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成する処理手段とを備えたことを特徴とするものである。

なお、本発明による画像処理装置においては、前記ゲイン算出手段を、前記低周波画像の各画素のレベルが小さいほど大きくなる仮のゲインを算出し、前記領域設定結果に基づいて、前記処理対象画像の各画素が属する領域内に存在する画素に対する前記仮のゲインの代表値を、前記処理対象画像の各画素に対するゲインとして算出する手段としてもよい。

「仮のゲインの代表値」としては、仮のゲインの平均値、重みづけ平均値、中間値等を用いることができる。

また、本発明による画像処理装置においては、前記ゲイン算出手段を、前記領域設定結果に基づいて、前記低周波画像の各画素が属する領域内に存在する該低周波画像の画素の代表値を算出し、該代表値のレベルが小さいほど大きくなるように前記処理対象画像の各画素に対するゲインを算出する手段としてもよい。

「各画素の代表値」としては、各画素の平均値、重みづけ平均値、および中間値等を用いることができる。

本発明による第２の画像処理装置は、処理対象画像から周波数帯域が異なる複数の低周波画像を生成する低周波画像生成手段と、
前記複数の低周波画像のうち、第１の周波数帯域よりも高い所定周波数帯域までの少なくとも１つの低周波画像の各画素のレベルに応じて、該少なくとも１つの低周波画像の各画素が属する該低周波画像上の領域を設定する領域設定手段と、
前記第１の周波数帯域の第１の低周波画像の各画素のレベルが小さいほど大きくなる第１のゲインを算出し、前記領域設定結果に基づいて、前記第１の周波数帯域の次に周波数帯域が高い第２の周波数帯域の第２の低周波画像の各画素が属する領域内に存在する画素に対する前記第１のゲインの代表値を、前記第２の低周波画像の各画素に対する第２のゲインとして算出し、前記第２の低周波画像の次に周波数帯域が高い周波数帯域の低周波画像を新たな第２の低周波画像とし、前記第２のゲインを新たな第１のゲインとすることによる新たな前記第２のゲインの算出を、前記所定周波数帯域まで繰り返し行うことにより算出された第２のゲインを、前記処理対象画像の各画素に対する最終的なゲインとして出力するゲイン算出手段と、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成する処理手段とを備えたことを特徴とするものである。

本発明による撮影装置は、被写体を撮影することにより前記処理対象の画像を取得する撮像手段と、
本発明による第１または第２の画像処理装置とを備えたことを特徴とするものである。

本発明による第１の画像処理方法は、処理対象画像の各画素のレベルに応じて、該各画素が属する該処理対象画像上の領域を設定し、
前記処理対象画像の低周波画像を生成し、
前記処理対象画像の各画素に対するゲインを前記処理対象画像の各画素のレベルが小さいほど大きくなるように算出するに際し、前記領域設定結果および前記低周波画像の各画素のレベルに基づいて、前記処理対象画像の各画素が属する領域内に存在する画素については略同一のゲインとなるように前記ゲインを算出し、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成することを特徴とするものである。

本発明による第２の画像処理方法は、処理対象画像から周波数帯域が異なる複数の低周波画像を生成し、
前記複数の低周波画像のうち、第１の周波数帯域よりも高い所定周波数帯域までの少なくとも１つの低周波画像の各画素のレベルに応じて、該少なくとも１つの低周波画像の各画素が属する該処理対象画像上の領域を設定し、
前記第１の周波数帯域の第１の低周波画像の各画素のレベルが小さいほど大きくなる第１のゲインを算出し、
前記領域設定結果に基づいて、前記第１の周波数帯域の次に周波数帯域が高い第２の周波数帯域の第２の低周波画像の各画素が属する領域内に存在する画素に対する前記第１のゲインの代表値を、前記第２の低周波画像の各画素に対する第２のゲインとして算出し、
前記第２の低周波画像の次に周波数帯域が高い周波数帯域の低周波画像を新たな第２の低周波画像とし、前記第２のゲインを新たな第１のゲインとすることによる新たな前記第２のゲインの算出を、前記所定周波数帯域まで繰り返し行うことにより算出された第２のゲインを、前記処理対象画像の各画素に対する最終的なゲインとして出力し、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成することを特徴とするものである。

なお、本発明による第１および第２の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による第１の画像処理装置および方法によれば、処理対象画像の各画素のレベルに応じて、各画素が属する処理対象画像上の領域が設定され、さらに処理対象画像の低周波画像が生成される。そして、領域設定結果および低周波画像の各画素のレベルに基づいて、処理対象画像の各画素が属する領域内に存在する画素については略同一のゲインとなるようにゲインが算出され、算出されたゲインに基づいて処理対象画像に対してダイナミックレンジ圧縮処理が行われて処理済み画像が生成される。

このように、本発明による第１の画像処理装置および方法によれば、処理対象画像の各画素が属する領域内の画素については略同一のゲインが算出されるため、ダイナミックレンジ圧縮処理を行っても、処理対象画像の各画素が属する領域の境界近傍において、画素のレベルが大きく変動することによるオーバーシュートやアンダーシュートの発生を防止することができる。したがって、オーバーシュートやアンダーシュートのない、より高画質の処理済み画像を取得することができる。

ここで、低周波画像はその周波数帯域が小さいほど、処理対象画像の大局的な明度の変化を表すものとなるため、処理対象画像のダイナミックレンジを変更するためのゲインを算出するには、低周波画像の周波数帯域は低い方が好ましい。しかしながら、低周波画像が処理対象画像と比べて周波数帯域が非常に低いものである場合、低周波画像と処理対象画像との周波数の差が大きく、処理対象画像の各画素が属する領域の境界において、低周波画像における画像がぼける範囲、すなわち画素のレベルが変動する範囲が非常に大きくなるため、処理対象画像の領域設定結果を用いたのでは、ゲインを適切に算出することができない。

本発明による第２の画像処理装置および方法によれば、処理対象画像から周波数帯域が異なる複数の低周波画像が生成され、複数の低周波画像のうち、第１の周波数帯域よりも高い所定周波数帯域までの少なくとも１つの低周波画像の各画素のレベルに応じて、少なくとも１つの低周波画像の各画素が属する画像上の領域が設定される。そして、第１の周波数帯域の第１の低周波画像の各画素のレベルが小さいほど大きくなる第１のゲインが算出され、領域設定結果に基づいて、第１の周波数帯域の次に周波数帯域が高い第２の周波数帯域の第２の低周波画像の各画素が属する領域内に存在する画素に対する第１のゲインの代表値が、第２の低周波画像の各画素に対する第２のゲインとして算出される。

ここで、第１および第２の低周波画像は周波数帯域が近接しているため、ボケの程度の差が小さく、第２の低周波画像の各画素が属する領域の境界において、第１の低周波画像の画素のレベルが変動する範囲が小さくなるため、第２の低周波画像に対するゲインを適切に算出することができる。

さらに、本発明による第２の画像処理装置および方法においては、第２の低周波画像の次に周波数帯域が高い周波数帯域の低周波画像を新たな第２の低周波画像とし、第２のゲインを新たな第１のゲインとすることによる新たな第２のゲインの算出が、所定周波数帯域まで繰り返し行われ、これにより算出された第２のゲインが、処理対象画像の各画素に対する最終的なゲインとして出力される。

このため、低周波画像の周波数帯域が低い場合であっても、徐々に算出するゲインおよび領域分割の周波数帯域を高くしていくことにより、処理対象画像の各画素が属する領域の境界における画素のレベルが変動する範囲に影響されることなく、処理対象画像の大局的な明るさの変化に応じたゲインを算出することができる。したがって、オーバーシュートやアンダーシュートのない、より高画質の処理済み画像を取得することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、撮像部２、撮像制御部３、信号処理部４、圧縮／伸長処理部５、フレームメモリ６、メディア制御部７、内部メモリ８、および表示制御部９を備える。

図２は撮像部２の構成を示す図である。図２に示すように、撮像部２は、レンズ２０、絞り２１、シャッタ２２、ＣＣＤ２３、アナログフロントエンド（ＡＦＥ）２４およびＡ／Ｄ変換部２５をそれぞれ備える。

レンズ２０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。

絞り２１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。

シャッタ２２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ２３は、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ２３の前面には、図３に示すようにＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ２４は、ＣＣＤ２３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部２５は、ＡＦＥ２４によりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２のＣＣＤ２３において取得され、デジタル信号に変換されることにより得られる画像データは、画素ごとにＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。

撮像制御部３は、レリーズボタン押下後に撮像の制御を行う。また、レリーズボタンの半押し操作により、ＡＦ処理およびＡＥ処理を行って、焦点位置、絞り値データおよびシャッタスピードを設定する。なお、撮像制御部３は、レリーズボタンが押下されていない状態においては、スルー画像の撮影を行うよう撮像部２を制御する。

信号処理部４は、撮像部２が取得したデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の信号処理を施す。

圧縮／伸長処理部５は、信号処理部４によって処理が施された画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施して画像ファイルを生成する。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。

フレームメモリ６は、撮像部２が取得した画像を表す画像データに対して、前述の信号処理部４が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部７は、記録メディア１０にアクセスして画像ファイルの書き込みと読み出しの制御を行う。

内部メモリ８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ１３が実行するプログラム等を記憶する。

表示制御部９は、フレームメモリ６に格納された画像データをモニタ１１に表示させたり、記録メディア１０に記録されている画像をモニタ１１に表示させたりするためのものである。

また、デジタルカメラ１は、ゲイン処理部１２を備える。図４はゲイン処理部の構成を示す概略ブロック図である。図４に示すように、ゲイン処理部１２は、レベル情報算出部３１、低周波画像生成部３２、領域設定部３３、ゲイン算出部３４および乗算部３５を備える。

レベル情報算出部３１は、撮影により取得された信号処理前の処理対象画像Ｓ０（以下単に画像Ｓ０とする場合があるものとする）の各画素のレベルを算出する。具体的には、下記の式（１）により、各画素の輝度Ｙをレベルとして算出する。

Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ（１）
ここで、画像Ｓ０の各画素はＲＧＢのいずれかの値のみしか有さないため、周囲の画素のＲＧＢ値を用いた補間演算を行うことにより、各画素のＲＧＢのすべての値を算出した後に輝度Ｙを算出する。具体的には図３に示すＲの値を有する画素については、その上下左右に隣接する４つの画素のＧ値および上下左右の斜め方向に位置する４つの画素のＢ値を用いて補間演算を行うことにより、Ｇ値およびＢ値を算出する。また、Ｂの値を有する画素については、その上下左右に隣接する４つの画素のＧ値および上下左右の斜め方向に位置する４つの画素のＲ値を用いて補間演算を行うことにより、Ｇ値およびＲ値を算出する。Ｇの値を有する画素については、その上下または左右に隣接する２つの画素のＲ値および上下または左右に位置する２つの画素のＢ値を用いて補間演算を行うことにより、Ｒ値およびＢ値を算出する。

低周波画像生成部３２は、輝度Ｙからなる画像Ｓ０に対してローパスフィルタによるフィルタリング処理を施すことにより、ボケ画像Ｓus０を生成する。

領域設定部３３は、画像Ｓ０の各画素の輝度Ｙの大きさに応じて、各画素が属する画像上の領域を設定する。具体的には画像Ｓ０における領域設定の対象となる画素について、対象となる画素の輝度Ｙとその周囲の所定範囲にある他の画素の輝度Ｙとの差分値の絶対値を算出し、差分値の絶対値が所定のしきい値Ｔｈ１以内にある画素からなる領域を、対象となる画素が属する領域に設定する。

例えば、図５に示すように、画像Ｓ０に斜めのエッジ部分が存在し、右上の領域の輝度Ｙがすべて２５５、左下の領域の輝度Ｙがすべて１である場合において、中央にある斜線が付与された画素を領域設定の対象画素とした場合、輝度Ｙが２５５の画素は対象画素の輝度Ｙと同一であることから、対象画素が属する領域は輝度Ｙが２５５の画素からなる右上の領域となる。一方、輝度Ｙが１の画素は対象画素の輝度Ｙとは大きく異なるため、対象画素は左下の領域には属するものとはならない。

なお、図５に示す画像Ｓ０のボケ画像Ｓus０は、図６に示すように境界部分の輝度Ｙが右上の領域については小さくなり、左下の領域については大きくなって、境界がぼけたものとなる。

ゲイン算出部３４は、まずボケ画像Ｓus０に基づいて、輝度Ｙが小さく暗い部分ほどその値が大きくなるように仮のゲインＧｋを算出する。例えば、図７に示す画像Ｓ０の上のエッジ部分について、ボケ画像Ｓus０においては図７の破線で示すように輝度Ｙの変化が滑らかとなるため、図８に示すように、ボケ画像Ｓus０の輝度Ｙが小さいほど大きくなるように滑らかに変化する仮のゲインＧｋを算出する。

ここで、このように算出した仮のゲインＧｋを画像Ｓ０の各画素に乗算することにより、画像Ｓ０のダイナミックレンジを圧縮して明暗差を小さくすることができるため、逆光の状態で撮影することにより取得される明暗差が大きい画像における背景の白飛びや、人物の顔の黒つぶれが修正された高画質の画像を取得することができる。

しかしながら、図８に示す仮のゲインＧｋによりダイナミックレンジ圧縮処理を行うと、図９に示すように画像Ｓ０に含まれるエッジの近傍において、オーバーシュート、アンダーシュートが発生し、これにより画質が低下してしまうという問題がある。

このため、第１の実施形態においては、領域設定の結果に基づいて、画像Ｓ０の各画素が属する領域内に存在する画素に対する仮のゲインＧｋの代表値を、画像Ｓ０の各画素に対する最終的なゲインＧｆとして算出する。例えば、図１０に示すように、画像Ｓ０の右上の領域の画素の仮のゲインＧｋが０．５、境界部分の画素の仮のゲインが０．３、左下の領域の境界部分の仮のゲインＧｋが５、左下の領域の画素の仮のゲインＧｋが１０である場合、中央の対象となる画素については、右上の領域に属するすべての画素についての仮のゲインＧｋの平均値を最終的なゲインＧｆとして算出する。

なお、左下の領域に属する画素については、左下の領域に属するすべての画素についての仮のゲインＧｋの平均値を最終的なゲインＧｆとして算出する。これにより、図１１に示すように、右上の領域の画素のゲインＧｆは０．４３、左下の領域の画素のゲインＧｆは５．８と算出される。

このため、図１２に示すように境界部分における変化が仮のゲインＧｋよりも急峻となるように最終的なゲインＧｆが算出される。したがって、最終的なゲインＧｆにより画像Ｓ０に対してダイナミックレンジ圧縮処理を行うと、図１３に示すように、画像Ｓ０のエッジ近傍の領域において、オーバーシュートおよびアンダーシュートが発生することがなくなる。

ＣＰＵ１３は、十字キー、各種操作ボタンおよびレリーズボタンを含む入力部１４からの信号に応じてデジタルカメラ１の各部を制御する。

データバス１５は、デジタルカメラ１を構成する各部およびＣＰＵ１３に接続されており、デジタルカメラ１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図１４は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされて撮影の指示が行われ、デジタルの画像Ｓ０が生成された以降の処理について説明する。撮影により画像Ｓ０が取得されると、ゲイン処理部１２のレベル情報算出部３１が画像Ｓ０のレベルを算出する（ステップＳＴ１）。次いで、低周波画像生成部３２が画像Ｓ０のボケ画像Ｓus０を生成し（ステップＳＴ２）、領域設定部３３が、画像Ｓ０の各画素のレベルに応じて、各画素が属する画像Ｓ０上の領域を設定する（ステップＳＴ３）。

そして、ゲイン算出部３４が、ボケ画像Ｓus０に応じた仮のゲインＧｋを算出し（ステップＳＴ４）、領域設定結果に基づいて最終的なゲインＧｆを算出する（ステップＳＴ５）。そして、乗算部３５が画像Ｓ０の各画素にゲインＧｆを乗算することによりダイナミックレンジ圧縮処理を行い、ダイナミックレンジ圧縮処理済みの画像Ｓ１を生成する（ステップＳＴ６）。

次いで、信号処理部４がダイナミックレンジ圧縮処理済みの画像Ｓ１に対して信号処理を施して処理済みの画像Ｓ２を生成する（ステップＳＴ７）。そして、圧縮／伸長処理部５が画像ファイルを生成し（ステップＳＴ８）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ９）、処理を終了する。

このように、第１の実施形態においては、画像Ｓ０の各画素のレベルに応じて、各画素が属する画像Ｓ０上の領域を設定することにより、画像Ｓ０の各画素が属する領域内の画素については略同一のゲインが算出されることとなる。このため、ダイナミックレンジ圧縮処理を行っても、画像Ｓ０の各画素が属する領域の境界近傍において、画素値が大きく変動することによるオーバーシュートやアンダーシュートの発生を防止することができ、その結果、オーバーシュートやアンダーシュートのない、より高画質の処理済み画像Ｓ２を取得することができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像処理装置を備えたデジタルカメラの構成は、上記第１の実施形態による画像処理装置を備えたデジタルカメラと同一であり、ゲイン処理部１２において行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。

上記第１の実施形態においては、１つのボケ画像のみを生成しているが、第２の実施形態においては、周波数帯域が異なる複数のボケ画像を生成するようにした点が第１の実施形態と異なる。

図１５は第２の実施形態において行われる処理を模式的に示す図である。図１５に示すように第２の実施形態においては、低周波画像生成部３２が、輝度Ｙからなる画像Ｓ０から、周波数帯域が異なる複数のボケ画像Ｓus０〜Ｓusｎを生成する。具体的には画像Ｓ０に対するローパスフィルタによるフィルタリング処理を繰り返し行ったり、画像Ｓ０をウェーブレット変換等により多重解像度変換することにより、ボケ画像Ｓus０〜Ｓusｎを生成する。なお、ｎはボケ画像の数であり、ｎが大きいほどボケ画像の周波数帯域が高くなる。

また、領域設定部３３は、最も周波数帯域が低いボケ画像Ｓus０以外のボケ画像Ｓus１〜Ｓusｎについて、ボケ画像Ｓus１〜Ｓusｎの各画素のレベルに応じて、各画素が属する各ボケ画像Ｓus１〜Ｓusｎ上の領域を設定する。

一方、ゲイン算出部３４は、まず最も周波数帯域が低いボケ画像Ｓus０に基づいて、上記第１の実施形態と同様に仮のゲインＧ０を算出する。そして、ボケ画像Ｓus０の次に高い周波数帯域のボケ画像Ｓus１の領域設定の結果に基づいて、ボケ画像Ｓus１の各画素が属する領域内に存在する画素に対する仮のゲインＧ０の代表値を、ボケ画像Ｓus１についての仮のゲインＧ１として算出する。なお、仮のゲインＧ１の算出の処理は、上記第１の実施形態におけるボケ画像Ｓus０に基づいて算出した仮のゲインＧｋと画像Ｓ０の領域設定結果に基づく最終的なゲインＧｆの算出と同様に行う。

次いでゲイン算出部３４は、ボケ画像Ｓus１の次に高い周波数帯域のボケ画像Ｓus２についての領域設定の結果に基づいて、ボケ画像Ｓus２の各画素が属する領域内に存在する画素に対する仮のゲインＧ１の代表値を、ボケ画像Ｓus２についての仮のゲインＧ２として算出する。

ゲイン算出部３４は、この処理を最も周波数帯域が高いボケ画像Ｓusｎについての仮のゲインＧｎを算出するまで行い、仮のゲインＧｎを最終的なゲインＧｆとして出力する。

次いで、第２の実施形態において行われる処理について説明する。図１６は第２の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされて撮影の指示が行われ、デジタルの画像Ｓ０が生成された以降の処理について説明する。撮影により画像Ｓ０が取得されると、ゲイン処理部１２のレベル情報算出部３１が画像Ｓ０のレベル情報を算出する（ステップＳＴ１１）。次いで、低周波画像生成部３２が画像Ｓ０から周波数帯域が異なる複数のボケ画像Ｓus０〜Ｓusｎを生成し（ステップＳＴ１２）、領域設定部３３が、最低周波数帯域以外の周波数帯域のボケ画像Ｓus１〜Ｓusｎについて、ボケ画像Ｓus１〜Ｓusｎの各画素のレベルに応じて、各画素が属するボケ画像Ｓus１〜Ｓusｎ上の領域を設定する（ステップＳＴ１３）。

そして、ゲイン算出部３４が、ボケ画像Ｓus０に基づいて仮のゲインＧ０を算出し（ステップＳＴ１４）、領域設定結果を使用するボケ画像を最初のボケ画像Ｓusｉに設定し（ｉ＝１、ステップＳＴ１５）、ボケ画像Ｓusｉに対する領域設定結果に基づいて仮のゲインＧｉ−１（初期値はＧ０）から仮のゲインＧｉを算出する（ステップＳＴ１６）。そして、すべてのボケ画像の領域設定結果に基づいて仮のゲインを算出したか否か、すなわちｉ＝ｎとなったか否かを判定し（ステップＳＴ１７）、ステップＳＴ１７が否定されると、領域設定結果を使用するボケ画像を次に高い周波数帯域のボケ画像に設定し（ｉ＝ｉ＋１、ステップＳＴ１８）、ステップＳＴ１６に戻る。

ステップＳＴ１７が肯定されると、乗算部３５が画像Ｓ０の各画素に最終的なゲインＧｆ（＝Ｇｎ）を乗算することによりダイナミックレンジ圧縮処理を行い、ダイナミックレンジ圧縮処理済みの画像Ｓ１を生成する（ステップＳＴ１９）。

次いで、信号処理部４がダイナミックレンジ圧縮処理済みの画像Ｓ１に対して信号処理を施して処理済みの画像Ｓ２を生成する（ステップＳＴ２０）。そして、圧縮／伸長処理部５が画像ファイルを生成し（ステップＳＴ２１）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ２２）、処理を終了する。

ここで、第１の実施形態においては、ボケ画像Ｓus０はその周波数帯域が小さいほど、画像Ｓ０の大局的な明度の変化を表すものとなるため、画像Ｓ０の全体のダイナミックレンジを変更するためのゲインを算出するには、ボケ画像Ｓus０の周波数帯域は低い方が好ましい。しかしながら、ボケ画像Ｓus０が画像Ｓ０と比べて周波数帯域が非常に低いものである場合、ボケ画像Ｓus０と元の画像Ｓ０との周波数の差が大きく、画像Ｓ０の各画素が属する領域の境界において、ボケ画像Ｓus０におけるボケの範囲、すなわちレベルが変動する範囲が非常に大きくなるため、画像Ｓ０の領域設定結果を用いたのでは、ゲインを適切に算出することができない。

第２の実施形態によれば、画像Ｓ０から周波数帯域が異なる複数のボケ画像Ｓus０〜Ｓusｎが生成され、複数のボケ画像のうち、まず最も低い周波数帯域よりも高い周波数帯域のボケ画像Ｓus１〜Ｓusｎの各画素のレベルに応じて各ボケ画像Ｓus１〜Ｓusｎの各画素が属する領域を設定し、最低周波数帯域のボケ画像Ｓus０に基づいて算出した仮のゲインＧ０から、ボケ画像Ｓus１の領域設定結果に基づいて仮のゲインＧ１を算出し、以下この処理を最も周波数帯域が高いボケ画像Ｓusｎの領域設定結果に基づいて仮のゲインＧｎを算出するまで繰り返し行うようにしたものである。

ここで、ゲインを算出するボケ画像Ｓusｉ−１およびボケ画像Ｓusｉは、周波数帯域が近接しているために周波数の差が小さく、ボケ画像Ｓusｉの各画素が属する領域の境界において、ボケの範囲すなわちボケ画像Ｓusｉ−１の画素のレベルが変動する範囲が小さくなるため、ボケ画像Ｓusｉに対するゲインＧｉを適切に算出することができる。

このため、徐々に算出するゲインおよび領域分割の周波数帯域を高くしていくことにより、画像Ｓ０の各画素が属する領域の境界における、ボケ画像Ｓus０のボケの範囲、すなわち画素のレベルが変動する範囲に影響されることなく、画像Ｓ０の大局的なレベルの変化に応じたゲインＧｆを算出することができる。したがって、オーバーシュートやアンダーシュートのない、より高画質の処理済み画像Ｓ２を取得することができる。

なお、上記第１の実施形態においては、ボケ画像Ｓus０から算出した仮のゲインから画像Ｓ０の領域設定結果に基づいて最終的なゲインＧｆを算出しているが、ボケ画像Ｓus０の各画素が属する領域内に存在するボケ画像Ｓus０の各画素の平均値を算出し、この平均値に基づいて、各画素のレベルが小さいほど大きくなるように各画素に対するゲインを算出するようにしてもよい。

すなわち、図６に示すように算出されたボケ画像Ｓus０について、領域設定結果に基づいて中央の画素が属する右上の領域について、ボケ画像Ｓus０の輝度Ｙの平均値を算出する。図１７はボケ画像Ｓ０usの輝度Ｙの平均値の算出結果を示す図である。なお、図１７においては左下の領域についても輝度Ｙの平均値を算出している。そして平均値を算出したボケ画像Ｓus０について、輝度Ｙが小さく暗い部分ほど画像Ｓ０の画素値が大きくなるようなゲインを算出することにより、第１の実施形態と同様に、画像Ｓ０のエッジ近傍の領域において、オーバーシュートおよびアンダーシュートが発生しないようにゲインを算出することができる。

また、上記第１および第２の実施形態においては、本発明による画像処理装置をデジタルカメラに適用しているが、画像処理装置を単独で用いるようにしてもよい。この場合、画像処理装置は、デジタルカメラ等により取得された画像を装置に入力するためのカードリーダー等のインターフェースが設けられることとなる。

また、上記第１および第２の実施形態においては、輝度Ｙを画素のレベルとして算出しているが、各画素のＲＧＢ値の平均値、Ｇ値のみ、ＲＧＢ値のうちの最大値等を画素のレベルとして用いてもよい。

また、上記第１および第２の実施形態においては、各画素が属する領域内の画素についてのゲインの平均値を算出しているが、平均値に代えて、各画素からの距離に応じた重みづけ平均値、中間値等を用いてもよい。

また、上記第１および第２の実施形態においては、画像Ｓ０の各画素に乗算するゲインを算出しているが、各画素に加減算するようにゲインを算出するようにしてもよい。この場合、ゲイン処理部１２においては、画像Ｓ０の各画素にゲインを加減算することによりゲイン処理が行われる。

また、上記第１および第２の実施形態においては、画像Ｓ０の全体のゲインを算出して、画像Ｓ０の全体に対してダイナミックレンジ圧縮処理を行っているが、画像Ｓ０の高輝度域または低輝度域についてのみゲインを算出し、画像Ｓ０の高輝度域のみまたは低輝度域みに対してダイナミックレンジ圧縮処理を行うようにしてもよい。

また、上記第２の実施形態においては、周波数帯域が最も低いボケ画像Ｓus０についての仮のゲインＧ０から最終的なゲインを算出しているが、仮のゲインの算出の基準となる周波数帯域は最低周波数帯域に限定されるものではなく、あらかじめ定められた最高周波数帯域以外の他の周波数帯域であってもよい。また、最高周波数帯域のボケ画像Ｓusｎの領域設定結果までを用いて最終的なゲインを算出する必要はなく、あらかじめ定められた所定周波数帯域のボケ画像の領域設定結果までを用いて最終的なゲインを算出するようにしてもよい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記のレベル情報算出部３１、低周波画像生成部３２、領域設定部３３、ゲイン算出部３４および乗算部３５に対応する手段として機能させ、図１４，１６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図撮像部の構成を示す図カラーフィルタの例を示す図ゲイン算出部の構成を示す概略ブロック図ゲインの算出を説明するための画像の輝度を２次元的に示す図ゲインの算出を説明するためのボケ画像の輝度を２次元的に示す図ゲインの算出を説明するためのエッジ部分の輝度値を示す図仮のゲインを示す図オーバーシュートおよびアンダーシュートが発生する状態を示す図ボケ画像に基づいて算出した仮のゲインを２次元的に示す図領域設定結果に基づいて算出した最終的なゲインを２次元的に示す図仮のゲインおよび最終的なゲインを示す図第１の実施形態によるゲイン処理の結果を示す図第１の実施形態において行われる処理を示すフローチャート第２の実施形態において行われる処理を模式的に示す図第２の実施形態において行われる処理を示すフローチャートボケ画像の領域設定を示す図

符号の説明

１デジタルカメラ
２撮像部
１２ゲイン処理部
１３ＣＰＵ
３１レベル情報算出部
３２低周波画像生成部
３３領域設定部
３４ゲイン算出部
３５乗算部

Claims

処理対象画像から周波数帯域が異なる複数の低周波画像を生成する低周波画像生成手段と、
前記複数の低周波画像のうち、第１の周波数帯域よりも高い所定周波数帯域までの少なくとも１つの低周波画像の各画素のレベルに応じて、該少なくとも１つの低周波画像の各画素が属する該低周波画像上の領域を設定する領域設定手段と、
前記第１の周波数帯域の第１の低周波画像の各画素のレベルが小さいほど大きくなる第１のゲインを算出し、前記領域設定結果に基づいて、前記第１の周波数帯域の次に周波数帯域が高い第２の周波数帯域の第２の低周波画像の各画素が属する領域内に存在する画素に対する前記第１のゲインの代表値を、前記第２の低周波画像の各画素に対する第２のゲインとして算出し、前記第２の低周波画像の次に周波数帯域が高い周波数帯域の低周波画像を新たな第２の低周波画像とし、前記第２のゲインを新たな第１のゲインとすることによる新たな前記第２のゲインの算出を、前記所定周波数帯域まで繰り返し行うことにより算出された第２のゲインを、前記処理対象画像の各画素に対する最終的なゲインとして出力するゲイン算出手段と、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成する処理手段とを備えたことを特徴とする画像処理装置。
被写体を撮影することにより前記処理対象画像を取得する撮像手段と、
請求項１記載の画像処理装置とを備えたことを特徴とする撮影装置。
処理対象画像から周波数帯域が異なる複数の低周波画像を生成し、
前記複数の低周波画像のうち、第１の周波数帯域よりも高い所定周波数帯域までの少なくとも１つの低周波画像の各画素のレベルに応じて、該少なくとも１つの低周波画像の各画素が属する該低周波画像上の領域を設定し、
前記第１の周波数帯域の第１の低周波画像の各画素のレベルが小さいほど大きくなる第１のゲインを算出し、
前記領域設定結果に基づいて、前記第１の周波数帯域の次に周波数帯域が高い第２の周波数帯域の第２の低周波画像の各画素が属する領域内に存在する画素に対する前記第１のゲインの代表値を、前記第２の低周波画像の各画素に対する第２のゲインとして算出し、
前記第２の低周波画像の次に周波数帯域が高い周波数帯域の低周波画像を新たな第２の低周波画像とし、前記第２のゲインを新たな第１のゲインとすることによる新たな前記第２のゲインの算出を、前記所定周波数帯域まで繰り返し行うことにより算出された第２のゲインを、前記処理対象画像の各画素に対する最終的なゲインとして出力し、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成することを特徴とする画像処理方法。
処理対象画像から周波数帯域が異なる複数の低周波画像を生成する手順と、
前記複数の低周波画像のうち、第１の周波数帯域よりも高い所定周波数帯域までの少なくとも１つの低周波画像の各画素のレベルに応じて、該少なくとも１つの低周波画像の各画素が属する該低周波画像上の領域を設定する手順と、
前記第１の周波数帯域の第１の低周波画像の各画素のレベルが小さいほど大きくなる第１のゲインを算出する手順と、
前記領域設定結果に基づいて、前記第１の周波数帯域の次に周波数帯域が高い第２の周波数帯域の第２の低周波画像の各画素が属する領域内に存在する画素に対する前記第１のゲインの代表値を、前記第２の低周波画像の各画素に対する第２のゲインとして算出する手順と、
前記第２の低周波画像の次に周波数帯域が高い周波数帯域の低周波画像を新たな第２の低周波画像とし、前記第２のゲインを新たな第１のゲインとすることによる新たな前記第２のゲインの算出を、前記所定周波数帯域まで繰り返し行うことにより算出された第２のゲインを、前記処理対象画像の各画素に対する最終的なゲインとして出力する手順と、
前記ゲインに基づいて前記処理対象画像に対してダイナミックレンジ圧縮処理を行うことにより、処理済み画像を生成する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。