JP2014021928A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ノイズ抑圧処理の効果を高めるともに、視覚的に優れた画像を得ることができるようにする。
【解決手段】まず、入力画像を帯域分割して、直流成分を含まない高域画像を生成する。さらに、直流成分を含む画像から、それぞれが直流成分を含む解像度の異なる複数の縮小画像を生成し、これらの高域画像および縮小画像に対してノイズ抑圧処理を行う。そして、縮小画像を拡大して合成を繰り返し、最終的に合成画像と高域画像とを加算して出力画像を得る。なお、合成する際の合成割合は、縮小画像から検出されたエッジ量に基づいて算出される。
【選択図】図２

Description

本発明は、特に、ノイズを抑圧するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。

近年、撮像素子の画素を微小化する傾向が進んでおり、この画素の微小化に起因して撮像素子から得られる画像信号のノイズが増加する傾向にある。そこで、このノイズを信号処理により抑圧する方法としてマルチレート信号処理が利用された方法が知られている。

例えば、画像信号を複数の周波数成分に分割し、それぞれの分割画像のノイズを抑圧してから再合成する方法が知られている（例えば特許文献１参照）。例えば、画像信号が図１１に示すように周波数帯域毎に分割され、それぞれの分割画像にノイズ抑圧処理が行われる。周波数成分の分割方法は様々な方法があるが、例えば、低域画像を生成するには元画像にプレフィルタをかけてからサイズを半分に間引くことにより得られる。また、高域画像を生成するには、低域画像を元画像と同じサイズになるように拡大処理した後、元画像から拡大処理した画像を減算することにより得られる。

このように周波数成分に分割することによって、それぞれの分割画像に対して、その周波数成分に適したノイズ抑圧の適用量を設定することが可能である。また、各画像のサイズを小さくすることにより、少ないフィルタ長でノイズを低減させることが可能となる。なお、高域のノイズはノイズの粒状感が細かいため視覚的に目立ちにくい。一方、低域のノイズは大きい粒状感となり視覚的に目立ちやすいため、高域のノイズよりも低域のノイズを強めに除去するのが望ましい。

また、周波数成分に分割された分割画像を合成する処理では、低域画像を拡大して高域画像に加算するといった単純な演算で行うことが可能である。しかしながら、合成処理の演算方法から明らかなように、分割された画像がノイズ抑圧処理によってぼやけてしまった場合、合成処理後の画像も対応する周波数帯域のボケがそのまま残留してしまう。そのため、周波数帯域に分割してノイズを抑圧する方法では、周波数帯域毎に異なるノイズ抑圧を行うことが可能であるが、それぞれの周波数帯域においてボケが許容できる程度にノイズ抑圧効果を抑える必要があるという課題がある。

そこで、他のノイズ抑圧方法として、まず、画像信号から複数の縮小画像を生成し、複数の縮小画像に対してノイズ抑圧処理を行うとともに、エッジ信号を抽出してエッジ信号に基づいて各画像の合成比率を求める。そして、合成比率に基づいて、複数の画像信号を合成する方法が知られている（例えば、特許文献２参照）。

例えば、図１２に示すように水平および垂直方向のサイズをそれぞれ１／２にした画像と１／４にした画像とを生成する。そして、各画像に対してノイズ抑圧処理を行うとともに、エッジ信号を抽出する。画像を合成する際には、エッジ信号に基づいて合成割合を決定し、エッジ信号の強い部分はより大きなサイズの画像を用い、エッジ信号の弱い部分は縮小された画像を元のサイズまで拡大したものを用いるように構成する。

以上のように構成することによって、合成後の画像のエッジ部分は元サイズの画像が多く使用され、逆に縮小画像はあまり使用されない。このため、ノイズ抑圧処理を縮小画像に適用してエッジ部分がぼやけていても最終画像に影響しない。したがって、縮小画像に対して強いノイズ抑圧をかけることが可能となり、合成後の画像としてはエッジをぼかすことなく低域成分のノイズ抑圧効果を高めた画像を得ることが可能となる。

しかしながら、上記合成割合は画像からエッジを検出して算出するため、例えば、図１３（ａ）に示すように画像に重畳されているノイズによりエッジが不明瞭になると、合成割合も乱れてしまう。すなわち、連続しているエッジの途中で合成割合が変動すると、合成割合の高い部分は高解像度の画像が使用され、合成割合の低い部分は低解像度の画像が使用される。その結果、図１３（ｂ）に示すように合成後の画像としてエッジが途切れたように見えたり、エッジの太さが不安定に変化したりして画質が劣化するという問題がある。なお、この合成時に発生する画質の劣化は、比較的高解像度な部分において発生すると視覚的に目立ちやすいという性質がある。

特開２００８−１５７４１号公報 特開２００９−１９９１０４号公報

以上の説明した通り、画像を周波数分割してそれぞれの画像に対してノイズ抑圧する方法においては、ノイズ抑圧効果を高めにくいという課題がある。また、複数の縮小画像を生成してそれぞれの画像にノイズを抑圧し、エッジ信号により各画像を合成する方法においては、エッジ信号がノイズの影響を受けることにより合成画像が不鮮明になってしまうという課題がある。

本発明は前述の問題点に鑑み、ノイズ抑圧処理の効果を高めるともに、視覚的に優れた画像を得ることができるようにすることを目的としている。

本発明の画像処理装置は、入力画像を帯域分割して、直流成分を含む画像と直流成分を含まない少なくとも１つの画像とを生成する第１の画像生成手段と、前記第１の画像生成手段により生成された直流成分を含む画像から、それぞれが直流成分を含む解像度の異なる複数の画像を生成する第２の画像生成手段と、前記第１の画像生成手段により生成された画像および前記第２の画像生成手段により生成された画像に対してノイズ抑圧処理を行うノイズ抑圧手段と、前記第２の画像生成手段により生成され、前記ノイズ抑圧処理が行われた複数の画像を合成する第１の合成手段と、前記第１の合成手段により合成された画像と、前記ノイズ抑圧処理が行われた前記直流成分を含まない画像とを合成する第２の合成手段とを有することを特徴とする。

本発明によれば、ノイズ抑圧処理の効果が高く、かつ視覚的に好ましい画像を得ることができる。

実施形態におけるデジタルカメラの概略構成例を示すブロック図である。 第１の実施形態において、画像処理回路に含まれる帯域別ノイズ抑圧部の詳細な構成例を示すブロック図である。 第１の実施形態における帯域別ノイズ抑圧部による処理手順の一例を示すフローチャートである。 第１の実施形態における高域画像および縮小画像を説明する図である。 エッジ量と合成割合との関係の一例を示す図である。 注目画素と参照領域とを示す図である。 第２の実施形態において、感度によってノイズ抑圧処理を選択する処理手順の一例を示すフローチャートである。 第２の実施形態において、画像処理回路に含まれる帯域別ノイズ抑圧部の詳細な構成例を示すブロック図である。 第２の実施形態における帯域別ノイズ抑圧部による処理手順の一例を示すフローチャートである。 第２の実施形態における高域画像および縮小画像を説明する図である。 従来の周波数帯域毎に分割された画像を説明する図である。 縮小画像を生成する概要を説明する図である。 不明瞭なエッジが含まれている場合の合成後の画像を説明する図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照しながら説明する。
図１は、本実施形態におけるデジタルカメラ１００の概略構成例を示すブロック図である。なお、画像信号に対して画像処理を施すことができる装置であれば、デジタルカメラに限らず、デジタルビデオカメラやパーソナルコンピュータなどでも実現することが可能である。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、およびシャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。

前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路および増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。

画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。なお、画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。

制御回路１０６は、本実施形態のデジタルカメラ１００を構成する各回路を制御して、デジタルカメラ１００の動作を統括する。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から入力された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示メモリ１０７は、表示装置１０８に表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号に係る画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することにより、電子的なビューファインダーとして機能することが可能である。また、表示装置１０８は、デジタルカメラ１００の状態表示、ユーザー側またはデジタルカメラ１００側で決定したシャッター速度、絞り値、感度情報などの文字情報や、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。

記録媒体１０９は、このデジタルカメラ１００に着脱可能に構成されたものであっても、デジタルカメラ１００に内蔵されたものであってもよい。操作部材１１０は、ユーザーがデジタルカメラ１００に指示を送るために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および記録媒体１０９の間で画像信号をやり取りするために用いられる。

次に、本実施形態におけるデジタルカメラ１００の撮影時の動作の一例について説明する。ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が入力されると、制御回路１０６がそれぞれの回路の動作の制御を開始する。

まず、撮像素子１０２は、光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。

画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８に画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示装置１０８に表示することにより表示装置１０８は電子的なビューファインダーとして機能する。

そして、ユーザーが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対してノイズ抑圧処理を含む種々の画像処理を行う。そして、記録媒体１０９には画像処理回路１０５から出力された画像信号が記録される。

ここで、画像処理回路１０５におけるノイズ抑圧処理について詳細に説明を行う。図２は、画像処理回路１０５に含まれる帯域別ノイズ抑圧処理部２００の詳細な構成例を示すブロック図である。
本実施形態の帯域別ノイズ抑圧処理部２００は、第１の縮小部２０１、第２の縮小部２０４、第３の縮小部２０５、第１の拡大部２０２、第２の拡大部２１２、第３の拡大部２１４、第４の拡大部２１６および第１の減算部２０３を備える。さらに、第１の合成割合検出部２０６、第２の合成割合検出部２０７、第１のノイズ抑圧部２０８、第２のノイズ抑圧部２０９、第３のノイズ抑圧部２１０、第４のノイズ抑圧部２１１、第１の合成部２１３、第２の合成部２１５および第１の加算部２１７を備える。

図３は、帯域別ノイズ抑圧処理部２００による処理手順の一例を示すフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、画素の色補間処理が行われた後、帯域別ノイズ抑圧処理部２００において色毎に図３に示す処理を行う。なお、ホワイトバランス処理や色変換処理、階調変換処理などは省略する。

まず、ステップＳ３０１において、第１の縮小部２０１は、入力画像信号に対してプレフィルタを掛けてから水平および垂直方向にそれぞれ１／２サイズに画素を間引きした縮小画像１を生成する。プレフィルタとしては水平、垂直ともに［１ ２ １］の係数を適用する。これは着目画素に対する重み付けと、着目画素の両隣に隣接する各画素に対する重み付けを２対１の割合にして平均化を行うための係数である。なお、図４は、画像の周波数空間での帯域イメージを示すものであり、図４（ａ）乃至（ｃ）において、最も外側の正方形は入力画像信号の周波数空間を示す。この周波数空間では、上から下に向うほど垂直方向における周波数成分が高いことを示し、左から右に向かうほど水平方向における周波数成分が高いことを示す。なお、直流成分は、この周波数空間の左上端に相当する。図４（ａ）の斜線部は、直流成分を含む縮小画像１の周波数成分を示している。この図４（ａ）より、縮小画像１には、垂直および水平方向において、入力画像信号に含まれる周波数成分のうち、ある閾値以下の周波数成分が含まれていることが理解できる。以下、この閾値を第１の閾値とする。

次に、ステップＳ３０２において、第１の拡大部２０２は、生成された縮小画像１を入力された画像信号と同じサイズにバイリニア補間により拡大する。そして、第１の減算部２０３は、入力画像信号から拡大された画像を画素毎に減算して、直流成分を含まない高域画像１を生成する。この高域画像１に含まれる周波数成分は、入力画像信号に含まれる周波数成分から縮小画像１に含まれる周波数成分を除外したものであり、第１の閾値よりも大きな周波数成分のみを含む。つまり、図４（ａ）の斜線部以外の領域が高域画像１の周波数成分を示している。以上のように第１の縮小部２０１、第１の拡大部２０２および第１の減算部２０３は第１の画像生成手段として機能する。

次に、ステップＳ３０３において、第２の縮小部２０４は、縮小画像１から、縮小画像１を水平および垂直方向にそれぞれ１／２サイズにした縮小画像２を生成する。第２の縮小部２０４の処理は、基本的には第１の縮小部２０１の処理と同様である。図４（ｂ）の斜線部は、縮小画像２の周波数成分を示している。この図４（ｂ）より、縮小画像２には、垂直および水平方向において縮小画像１に含まれる周波数成分のうち、第１の閾値よりも小さい第２の閾値以下の周波数成分が含まれていることが理解できる。なお、縮小画像１と縮小画像２は、ともに第２の閾値以下の周波数成分を含むという点では共通している。

次に、ステップＳ３０４において、第３の縮小部２０５は、縮小画像２から、縮小画像２を水平および垂直方向にそれぞれ１／２サイズにした縮小画像３を生成する。なお、第３の縮小部２０５の処理も第１の縮小部２０１の処理と同様である。図４（ｃ）の斜線部は、縮小画像３の周波数成分を示している。この図４（ｃ）より、縮小画像３には、垂直および水平方向において縮小画像２に含まれる周波数成分のうち、第２の閾値よりも小さい第３の閾値以下の周波数成分が含まれていることが理解できる。なお、縮小画像２と縮小画像３は、ともに第３の閾値以下の周波数成分を含むという点では共通している以上のように第１の縮小部２０１、第２の縮小部２０４および第３の縮小部２０５は、第２の画像生成手段として機能する。

次に、ステップＳ３０５において、第１の合成割合検出部２０６は、縮小画像１に以下の式（１）に示すラプラシアンフィルタを適用し、エッジ信号を検出する。同様に、第２の合成割合検出部２０７は、縮小画像２にラプラシアンフィルタを適用し、エッジ信号を検出する。

次に、ステップＳ３０６において、第１の合成割合検出部２０６は、図５に示す関係に従って、検出したエッジ信号から合成割合を算出する。同様に、第２の合成割合検出部２０７も合成割合を算出する。すなわち、上記エッジ信号の絶対値を取ることによりエッジ量とし、エッジ量と閾値ＴＨ１、ＴＨ２とを比較する。そして、エッジ量が閾値ＴＨ１より小さければ、合成の対象とする２つの画像のうち、含まれる周波数成分の上限が高い画像の合成割合を０％とし、閾値ＴＨ２より大きければ１００％とする。閾値ＴＨ１、ＴＨ２の間は線形的に合成割合を算出する。なお、第１の合成割合検出部２０６で検出されたエッジ量と第２の合成割合検出部２０７で検出されたエッジ量とで閾値ＴＨ１、ＴＨ２を変更することが望ましい。

次に、ステップＳ３０７において、第１のノイズ抑圧部２０８は、高域画像１に対してノイズ抑圧処理を行う。同様に、第２のノイズ抑圧部２０９は、縮小画像１に対してノイズ抑圧処理を行い、第３のノイズ抑圧部２１０は、縮小画像２に対してノイズ抑圧処理を行い、第４のノイズ抑圧部２１１は、縮小画像３に対してノイズ抑圧処理を行う。

ノイズ抑圧処理では、図６に示すように、注目画素の周辺に例えば７×７画素の参照領域を設定し、参照領域の各画素について注目画素との差分を取る。そして、差分が閾値以内の画素のみで平均値を演算し、平均値を注目画素の値として出力する。画素毎に上記処理を行うことにより画像全体に対してノイズ抑圧された出力画像を得る。閾値は各画像で変更するのが望ましく、さらにはセンサーの光ショットノイズを考慮して信号レベルに応じて閾値を変更してもよい。

また、高域画像１に対するノイズ抑圧効果は解像度の劣化を避ける程度の効果となるよう閾値の設定を行い、複数の解像度の異なる縮小画像１〜縮小画像３に対しては、ノイズ抑圧の効果を強めに設定するのが望ましい。例えば、縮小画像１〜縮小画像３に対するノイズ抑圧処理では、高域画像１に対するノイズ抑圧処理における閾値よりも小さな閾値を設定すればよい。また、本実施形態では、高域画像１、縮小画像１、縮小画像２、縮小画像３の各画像に対するノイズ抑圧処理は同様の方法であるが、画像によってノイズ抑圧方法を変更するような構成としてもよい。

次に、ステップＳ３０８において、第２の拡大部２１２は、ノイズ抑圧後の縮小画像３を縮小画像２と同じ画素数になるように拡大し、拡大画像３を生成する。なお、第２の拡大部２１２の処理は、第１の拡大部２０２の処理と同様である。

次に、ステップＳ３０９において、第１の合成部２１３は、縮小画像２と拡大画像３とを合成し、合成画像２を生成する。合成処理では、第２の合成割合検出部２０７で算出された合成割合に応じて、画素毎に加重加算することによって合成画像２を生成する。縮小画像２の方が拡大画像３と比べて高域の特性を持っているため、上記合成割合によりエッジ量の多いところに縮小画像２が使用され、エッジ量の少ないところに拡大画像３が使用される。したがって、より高域の特性を残したままノイズ抑圧効果を高めることができる。

次に、ステップＳ３１０において、第３の拡大部２１４は、生成された合成画像２を縮小画像１と同じ画素数になるように拡大し、拡大画像２を生成する。第３の拡大部２１４の処理も第１の拡大部２０２の処理と同様である。

次に、ステップＳ３１１において、第２の合成部２１５は、縮小画像１と拡大画像２とを合成し、合成画像１を生成する。合成処理では、第１の合成割合検出部２０６で算出された合成割合に応じて、画素毎に加重加算することによって合成画像１を生成する。縮小画像１の方が拡大画像２と比べて高域の特性を持っているため、上記合成割合によりエッジ量の多いところに縮小画像１が使用され、エッジ量の少ないところに拡大画像２が使用される。したがって、より高域の特性を残したままノイズ抑圧効果を高めることができる。以上のように、第１の合成部２１３および第２の合成部２１５は第１の合成手段として機能する。

次に、ステップＳ３１２において、第４の拡大部２１６は、生成された合成画像１を高域画像１と同じ画素数になるように拡大し、拡大画像１を生成する。第４の拡大部２１６の処理も第１の拡大部２０２の処理と同様である。

次に、ステップＳ３１３において、第２の合成手段として機能する第１の加算部２１７は、ノイズ抑圧された高域画像１と拡大画像１とを画素毎に加算し、出力画像を得る。エッジ量に係わらず、高域画像１と拡大画像１とがそのまま加算されるだけであるため、第１の合成部２１３や第２の合成部２１５で発生するような合成割合の変動による画質劣化は起こらない。

以上のように本実施形態によれば、ノイズを含んだエッジ信号に基づいて合成する際に合成割合がばらついた場合であっても、低周波領域でのみ画質が劣化し、高周波領域では発生しないため、視覚的に画質の劣化が目立ちにくい。また、低周波領域のノイズ抑圧効果を高めることができるため、粒状感の大きいノイズを効果的に低減することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、撮影条件、特に撮影時の感度に応じて帯域分割の方法を変更する方法について説明する。撮影時の感度が変わると画像に重畳されるノイズ量が変わる。比較的感度が低い時はノイズ量が少ないため、第１の実施形態で説明した合成割合のノイズによるばらつきが小さく、画質劣化の程度が小さい。一方、比較的感度が高い時はノイズ量が多いため、合成割合のノイズによるばらつきが多くなる。そこで本実施形態においては、低感度時と高感度時とで帯域分割の方法を変更する。すなわち、縮小画像および高域画像の数を変更する。特に高感度時に合成割合のばらつきの影響を減らすことにより、感度に応じて最適なノイズ抑圧を行う方法について説明する。

なお、本実施形態に係るデジタルカメラ全体の構成は第１の実施形態と同じであり、共通部分については説明を省略する。異なる点は、画像処理回路１０５に図２の帯域別ノイズ抑圧処理部２００と、以下に説明する図８の帯域別ノイズ抑圧処理部８００との２つが含まれている点である。

図７は、感度に応じてノイズ抑圧処理の内容を決定する処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、撮影時の感度が所定値以上であるかどうかを判定する。この判定の結果、所定値よりも小さい場合はステップＳ７０２に進み、所定値以上である場合は、ステップＳ７０３に進む。

ステップＳ７０２においては、帯域別ノイズ抑圧処理部２００においてノイズ抑圧処理１を実行する。ノイズ抑圧処理１は、第１の実施形態における動作と同一の処理を行う。一方、ステップＳ７０３においては、図８の帯域別ノイズ抑圧処理部８００においてノイズ抑圧処理２を実行する。以下、ノイズ抑圧処理２の動作について説明する。

図８に示す帯域別ノイズ抑圧処理部８００は、図２の帯域別ノイズ抑圧処理部２００の一部が変更されたものであり、同じ動作をする回路については同じ符号を付している。
以下、図９のフローチャートを参照しながら、図８に示す帯域別ノイズ抑圧処理部８００の動作を説明する。ステップＳ９０１からＳ９０３までの処理は、それぞれ図３のステップＳ３０１からＳ３０３の処理と同じである。

次に、ステップＳ９０４では、第５の拡大部８０２は、縮小画像２を２倍のサイズに拡大する。そして、第２の減算部８０１は、縮小画像１から拡大された縮小画像２を減算して、直流成分を含まない高域画像２を生成する。図１０（ａ）の斜線部は、高域画像２の周波数成分を示している。第１の実施形態との違いは、高域画像２には、図４（ａ）に示す縮小画像１には存在した直流成分がなくなっている点である。なお、第５の拡大部８０２は第１の拡大部２０２と同じ構成であり、第２の減算部８０１は第１の減算部２０３と同じ構成である。

次に、ステップＳ９０５において、図３のステップＳ３０４と同様に、縮小画像３を生成する。図１０（ｂ）は、縮小画像３の周波数成分を示している。

次に、ステップＳ９０６において、第２の合成割合検出部２０７は、式（１）に示したラプラシアンフィルタを縮小画像２に適用し、エッジ信号を検出する。そして、ステップＳ９０７において、第２の合成割合検出部２０７は、図５に示す関係に従って、検出したエッジ信号から合成割合を算出する。

次に、ステップＳ９０８において、図３のステップＳ３０７と同様に、ノイズ抑圧処理を行う。但し、第２のノイズ抑圧部２０９は、高域画像２に対してノイズ抑圧処理を行う。ステップＳ９０９からＳ９１１までの処理は、それぞれ図３のステップＳ３０８からＳ３１０の処理と同じである。

次に、ステップＳ９１２において、第２の加算部８０３は、ノイズ処理後の高域画像２と拡大画像２とを加算して加算画像を生成する。そして、ステップＳ９１３において、第４の拡大部２１６は、この加算画像を拡大し、拡大画像１を生成する。次いでステップＳ９１４において、第１の加算部２１７は、高域画像１と拡大画像１を加算して出力画像を生成する。

本実施形態では、図２に示す帯域別ノイズ抑圧処理部２００と図８に示す帯域別ノイズ抑圧処理部８００との２つの構成を備えている。一方、帯域別ノイズ抑圧処理部を１つにして、帯域別ノイズ抑圧処理部２００に異なる部分だけ追加するように構成し、使用条件によって処理をコントロールできるように構成してもよい。

以上のように本実施形態によれば、低感度時には第１の実施形態と同様の効果が得られ、高感度時には、エッジ信号に基づいて合成する画像の帯域がより低域となるため、合成割合のばらつきによる画質の劣化をより発生しにくくすることが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０５ 画像処理回路
１０６ 制御回路

Claims (8)

1. 入力画像を帯域分割して、直流成分を含む画像と直流成分を含まない少なくとも１つの画像とを生成する第１の画像生成手段と、
   前記第１の画像生成手段により生成された直流成分を含む画像から、それぞれが直流成分を含む解像度の異なる複数の画像を生成する第２の画像生成手段と、
   前記第１の画像生成手段により生成された画像および前記第２の画像生成手段により生成された画像に対してノイズ抑圧処理を行うノイズ抑圧手段と、
   前記第２の画像生成手段により生成され、前記ノイズ抑圧処理が行われた複数の画像を合成する第１の合成手段と、
   前記第１の合成手段により合成された画像と、前記ノイズ抑圧処理が行われた前記直流成分を含まない画像とを合成する第２の合成手段とを有することを特徴とする画像処理装置。
2. 前記直流成分を含む画像からエッジ量を検出し、前記検出したエッジ量に基づいて前記第１の合成手段の合成割合を検出する合成割合検出手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の合成手段は、前記エッジ量によらずに、前記第１の合成手段により合成された画像と、前記ノイズ抑圧処理が行われた前記直流成分を含まない画像とを合成することを特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ抑圧手段は、前記第１の画像生成手段により生成された画像と、前記第２の画像生成手段により生成された画像とに対して、それぞれノイズ抑圧処理の効果が異なるようにすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記第１の画像生成手段および第２の画像生成手段は、撮影条件に応じて、生成する画像の数を変更することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記撮影条件は、撮影時の感度であることを特徴とする請求項５に記載の画像処理装置。
7. 入力画像を帯域分割して、直流成分を含む画像と直流成分を含まない少なくとも１つの画像とを生成する第１の画像生成工程と、
   前記第１の画像生成工程において生成された直流成分を含む画像から、それぞれが直流成分を含む解像度の異なる複数の画像を生成する第２の画像生成工程と、
   前記第１の画像生成工程において生成された画像および前記第２の画像生成工程において生成された画像に対してノイズ抑圧処理を行うノイズ抑圧工程と、
   前記第２の画像生成工程において生成され、前記ノイズ抑圧処理が行われた複数の画像を合成する第１の合成工程と、
   前記第１の合成工程において合成された画像と、前記ノイズ抑圧処理が行われた前記直流成分を含まない画像とを合成する第２の合成工程とを有することを特徴とする画像処理方法。
8. 入力画像を帯域分割して、直流成分を含む画像と直流成分を含まない少なくとも１つの画像とを生成する第１の画像生成工程と、
   前記第１の画像生成工程において生成された直流成分を含む画像から、それぞれが直流成分を含む解像度の異なる複数の画像を生成する第２の画像生成工程と、
   前記第１の画像生成工程において生成された画像および前記第２の画像生成工程において生成された画像に対してノイズ抑圧処理を行うノイズ抑圧工程と、
   前記第２の画像生成工程において生成され、前記ノイズ抑圧処理が行われた複数の画像を合成する第１の合成工程と、
   前記第１の合成工程において合成された画像と、前記ノイズ抑圧処理が行われた前記直流成分を含まない画像とを合成する第２の合成工程とをコンピュータに実行させることを特徴とするプログラム。

Images