JP2015090678A - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】人間の視覚にとっての自然な画素値の変動を維持しつつノイズを効果的に除去できる技術を提供することにある。
【解決手段】本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、階層間の画素統計値の差分値の補正を繰り返し、補正された各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、注目画素を補正する画像処理方法である。
【選択図】図１

Description

本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。

画像処理技術の中でも、画像に含まれるランダムなノイズを低減する技術は、撮像した画像をより鮮明に再現するためには、欠かせない技術である。ランダムノイズを低減する技術としては、例えば、特許文献１に開示された技術がある。

特許文献１に記載された技術は、入力画像処理回路から出力されたカラーデジタル信号の主走査方向の任意の注目画素ｉについて、所定の数式に基づき移動平均画素数ｎを算出する複数の演算回路と、注目画素ｉ及び前後ｎ画素の参照画素ｊを選択出力する複数のビット選択回路と、注目画素ｉの出力レベルと参照画素ｊのそれぞれの出力レベルとの差分の絶対値を算出する複数の差分回路と、注目画素ｉを出力するとともに、複数の差分回路から出力される値と閾値記憶メモリ内の所定の閾値とを比較し、該比較結果に基づいて参照画素ｊを出力する複数の判定回路と、複数の判定回路から出力された出力信号の移動平均化処理を行う複数の演算回路とから構成される。

すなわち、注目画素ｉの出力レベルと参照画素ｊの出力レベルとの差分の絶対値が閾値以下である場合にのみ、該参照画素ｊが移動平均化処理に加えられるような構成としているため、上記差分の絶対値が閾値以上に急峻に変化している部分については移動平均化処理から除外され、これにより、ノイズ成分を効果的に除去することができる。

特開２００２−５７９００号公報

しかしながら、特許文献１の技術は、平滑化のフィルタサイズ以上の周期性を有する低周波ノイズを除去することができなかった。

また、画像の平坦な領域において、画素値の微小な振動が過剰に抑圧されることで出力信号がCGのような結果になるため、人間の視覚にとっての自然な画素値の変動を維持しつつ、ノイズを除去することができなかった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は人間の視覚にとっての自然な画素値の変動を維持しつつノイズを効果的に除去できる画像処理方法、画像処理装置及びプログラムを提供することにある。

本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する画像処理方法である。

本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出手段と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段とを有する画像処理装置である。

本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出処理と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理とをコンピュータに実行させるプログラムである。

本発明によれば、人間の視覚にとっての自然な画素値の変動を維持しつつ、ノイズを効果的に除去できる。

図１は本発明の第一の実施の形態である画像処理方法を説明するための図である。 図２は９タップの平均フィルタ、２７タップの平均フィルタ、９タップの平均フィルタと２７タップの平均フィルタの差分からなる帯域通過フィルタの振幅特性を説明するための図である。 図３は人間の視覚の周波数特性（コントラスト感度特性関数）を説明するための図である。 図４はcycle per degreeを説明するための図である。 図５は９タップの平均フィルタと２７タップの平均フィルタの差分からなる帯域通過フィルタ、コントラスト感度特性関数、コントラスト感度特性関数を反映させた９タップの平均フィルタと２７タップの平均フィルタの差分からなる帯域通過フィルタの振幅特性を説明するための図である。 図６は二次元の人間の視覚の周波数特性（コントラスト感度特性関数）を説明するための図である。 図７は本発明の第一の実施の形態である画像処理装置を説明するための図である。 図８は本発明の第二の実施の形態である画像処理方法を説明するための図である。 図９は本発明の第二の実施の形態である画像処理装置を説明するための図である。 図１０は本発明の第三の実施の形態である画像処理方法を説明するための図である。 図１１はエッジ情報に基づいて補正量を修正する関数hを説明するための図である。 図１２は本発明の第三の実施の形態である画像処理装置を説明するための図である。 図１３は本発明の第四の実施の形態である画像処理方法を説明するための図である。 図１４は本発明の第四の実施の形態である画像処理装置を説明するための図である。

＜第一の実施の形態＞
本発明の第一の実施の形態を説明する。

図１は、本発明の第一の実施の形態である画像処理方法を説明するための図である。

本発明の第一の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性に基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。

ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。

また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。

図１では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。

第一の実施の形態では、画素位置(x, y)（注目画素）を中心とする、参照する画素の範囲が広領域
である第３階層の空間平均値l₃(x, y)と、参照する画素の範囲が中領域
である第２階層の空間平均値l₂(x, y)の差分値b_2-3(x, y)を、予め定められたノイズパラメータσ_2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ_2-3^csfを用いて補正する。そして、得られた補正後の差分値b’_2-3(x, y)を、最大範囲である第３階層の空間平均値l₃(x, y)に加算する。同様の補正を各階層で処理していくことにより、注目画素値P_in(x, y)を補正し、出力画素値P_out(x, y)を得る。

ここで、広領域Ω₃(x, y)、中領域Ω₂(x, y)をそれぞれk₃, k₂にて、水平・垂直同じ画素数で指定しているが、必ずしも水平・垂直同じ画素数でなくてもよい。

以下、具体的な処理の説明を行うが、図１における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで、一例として、空間平均値l₃(x, y)と空間平均値l₂(x, y)の差分値b_2-3(x, y)を、予め定められたノイズパラメータσ_2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ_2-3^csfを用いて補正し、b’_2-3(x, y)を算出する処理の詳細を説明する。

まず、画素位置(x,y)における広領域Ω₃(x, y)の空間平均値l₃(x, y)および中領域Ω₂(x, y)の空間平均値l₂(x, y)を式(1)および式(2)のように計算し、l₂(x, y)とl₃(x, y)の差分値b_2-3(x, y)を式(3)のように計算する。
なお、f₃はカーネルサイズ(2k₃+1)×(2k₃+1)のフィルタカーネルであり、その係数はf₃(i, j) = 1/(2k₃+1)²である。同様に、f₂はカーネルサイズ(2k₂+1)×(2k₂+1)のフィルタカーネルであり、その係数はf₂(i, j) = 1/(2k₂+1)²である。

l₂(x, y)とl₃(x, y)の差分値b_2-3(x, y)について周波数特性の観点から説明する。

簡単のために、１次元フィルタの例を用いる。図２は、３つの１次元フィルタの振幅特性を表したものである。それぞれ、点線がサンプル数９の平均フィルタの振幅特性、破線がサンプル数２７の平均フィルタ、実線がサンプル数９の平均フィルタとサンプル数２７の平均フィルタの差分で構成されるフィルタの振幅特性を表す。図より、２つの平均フィルタの差分で構成されるフィルタの振幅特性が帯域通過型をもつことがわかる。

２次元フィルタであるl₂(x, y)とl₃(x, y)の差分値b_2-3(x, y)についても、図２の１次元フィルタの場合と同様に考えることができる。式(1)および式(2)より、l₂(x, y)とl₃(x, y)は低域通過フィルタであり、k₃ > k₂であるため、その通過帯域はl₂(x, y)のほうがl₃(x, y)よりも広い。通過帯域の異なるフィルタの出力値の差分値であるb_2-3(x, y)は帯域通過フィルタの出力値とみなすことができる。

次に、b_2-3(x, y)を補正して、b’_2-3(x, y)を算出する処理について説明する。補正量λ_2-3を、予め定められたノイズパラメータσ_2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ_2-3^csfに基づいて以下のように算出する。
μを画像の水平方向の周波数、vを画像の垂直方向の周波数とすると、σ_2-3は入力画像に含まれるノイズの標準偏差σと、２つの平均フィルタの差分からなる帯域通過フィルタのインパルス応答のフーリエ変換F_2-3(u, v)に基づいて決定されるパラメータであり、
で表される。なお、入力画像に含まれるノイズの標準偏差σは、例えばセンサのノイズ特性に応じて決定される。σ_2-3はフィルタの周波数特性から数学的に決定される、b_2-3(x, y)に含まれるノイズ情報を推定するパラメータ（ノイズパラメータ）である。

また、μ_2-3^csfは、予め定められた人間の視覚の周波数特性に基づく関数F^csf(u, v)と、F_2-3(u, v)に基づいて決定されるパラメータ（視覚特性パラメータ）であり、
で表される。

式(6)のF^csf(u, v)の定義として、例えば、非特許文献１（J. L. Mannos, D. J. Sakrison, “The Effects of a Visual Fidelity Criterion on the Encoding of Images”, IEEE Transactions on Information Theory, pp. 525-535, Vol. 20, No 4, (1974)）に示される、以下の式を用いることができる。
なお、ここではまだ１次元（水平、または垂直）の周波数特性の式であることに注意する。

図３に式(7)のCSF関数を示す。縦軸がCSF値、横軸が周波数を表す。この周波数は、人間の視角１度で明暗が反転する回数（cycle per degree, cpd）で表される。個人差はあるものの、一般に、人間のCSFは8cpd付近に最高感度を有し、60cpd以上は感知できない特性をもつ。

図４を用いて、cpdについて説明する。今、眼球からdmm離れた位置にモニタを置く。このとき、視角θ度の範囲は、モニタ上では以下の式で表されるwmmとなる。
CSFで考慮するのは視角１度なので、dmm離れた場所のモニタ上では、w = 2d tan (0.5)の範囲となる。この範囲内での明暗反転回数がcpdの値となる。今、モニタの画素ピッチ（画素間の距離、一般的なモニタでは１画素の一辺の長さと等しい）がpmmであるとすると、このモニタを距離dmm 離れた場所から見るときのcpdの最大値(cpd_max)は、
で表される。つまり、cpdの最大値はモニタまでの距離と、モニタの画素ピッチに基づいて決まる。

次に、帯域通過型フィルタの周波数特性にCSFをマッピングすることを考える。簡単のため、１次元信号の例で考える。

式(8)、(9)より、CSFの最高周波数はモニタまでの距離と、モニタの画素ピッチに基づいて決まる。そこで、一般的なモニタの画素ピッチをp、その推奨視聴距離をdとすることで、最高周波数を求める。HD解像度のモニタ（水平1920画素、垂直1080ライン）を例として考えると、推奨視聴距離はモニタの表示域の高さの３倍とされているため、d = 3×1080×pより、
と算出できる。

帯域通過型フィルタの周波数特性（図２）にCSF（図３）をマッピングするには、帯域通過型フィルタの周波数特性の最高周波数に、cpd_maxを合わせれば良い。

図６に、１次元の場合の、９タップフィルタと２７タップフィルタの差分で構成される帯域通過フィルタの振幅特性を実線で示す。また、帯域通過型フィルタの周波数特性の最高周波数に、cpd_maxを合わせたCSFを破線で示す。さらに、CSFを反映させた帯域通過フィルタを点線で示す。実線の振幅特性に対し、破線の振幅特性は、低周波領域と高周波領域でCSF値を反映して小さな値を取るようになる。

以上、１次元の視覚の周波数特性について述べたが、式(6)では２次元のCSFを考える必要がある。斜め方向の周波数に対してはCSF値が低下することが非特許文献２（F. W. Campbell, J. J. Kulikowski, and J. Levinson, “The effect of orientation on the visual resolution of gratings”, J Physiol. 1966 November; 187(2): pages 427 - 436.）や非特許文献３（Scott Daly, “The visible differences predictor: an algorithm for the assessment of image fidelity”, Digital Image and Human Vision, pages 179 - 206, Cambridge, MA, MIT Press, 1993.）で示されているため、
を用いれば良い。式(11)は水平（0度）方向・垂直（90度）方向では式(7)のCSFが用いられ、それ以外の方向ではパラメータaに応じてCSFを弱めることを示す。なお、0 < a < 1.0である。a = 0.8としたときの２次元のCSF関数の例を図６に示す。

さて、式(6)のμ_2-3^csfは、人間の視覚の周波数特性と帯域通過フィルタの周波数特性のピークが近い場合、つまり帯域通過フィルタの出力値が視覚的に高感度のノイズ信号を含んでいる場合には1.0に近い値を取り、逆にピークが離れている場合、つまり帯域通過フィルタの出力値が視覚的に低感度のノイズ信号を含んでいる場合には0.0に近い値をとる。これより、各帯域通過フィルタの人間の視覚に与える影響に応じて、ノイズ除去処理の強度を変えることができる。

このようにして得られた、人間の視覚特性と、フィルタの数学的な特性基づいて決定されるノイズ量λ_2-3を用いて、以下の式のようにb_2-3(x, y) を補正し、b’_2-3(x, y)を算出する。
関数Fは様々な形態をとりうるが、最も簡単な例では、
のように、ノイズ分を差し引く処理でよい。

以上の処理を各階層で実施し、帯域通過フィルタの出力値の補正値を、最大範囲である第３階層の空間平均値l₃(x, y)に加算していくことで、以下のように最終的な処理結果P_out(x, y)を得る。
このように、物理的に決定されるノイズ量に人間の視覚特性を反映し、各周波数帯のノイズを適切に抑圧することで、人間の視覚にとっての自然な画素値の変動を維持しつつ、人間の視覚にとって目立つノイズは除去できる。

次に、本発明の実施の形態の画像処理装置を説明する。

図７は本発明の第一の実施の形態の画像処理装置１０１のブロック図である。

本発明の第一の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、を備える。

領域画素値抽出部１は、画素位置(x, y)を中心とする、広領域Ω₃(x, y)にある画素の画素値と、中領域Ω₂(x, y)にある画素の画素値と、狭領域Ω₁(x, y)にある画素の画素値と、入力画素値P_in(x, y)とを抽出して、画素統計値算出部２に出力する。

画素統計値算出部２は、領域画素値抽出部１から各領域の画素値を受信し、その領域の画素統計値を算出する。そして、算出された各画素統計値は画素統計値差分値算出部３に出力する。また、算出された画素統計値のうち、最も広い範囲の画素統計値は出力画素制御部７にも出力する。

画素統計値差分値算出部３は、画素統計値算出部２から各領域の画素統計値を受信し、第３階層と第２階層、第２階層と第１階層、第１階層と第０階層の画素統計値の差分値をそれぞれ算出し、算出された各階層間の画素統計値の差分値を画素統計値差分値補正部６に出力する。

ノイズパラメータ保存部４は、画素統計値算出部２で各領域の画素統計値を算出するために用いられるフィルタカーネルの周波数特性と、入力画像に含まれるノイズの標準偏差σから、式(5)で示される各帯域通過フィルタに含まれるノイズ量を推定するパラメータ（ノイズパラメータ）を算出し、保存する。

視覚特性パラメータ保存部５は、画素統計値算出部２で各領域の画素統計値を算出するために用いられるフィルタカーネルの周波数特性と、人間の視覚の周波数特性から、式(6)で示される、各帯域通過フィルタに含まれるノイズのうち、視覚的に目立つノイズの割合を推定するパラメータ（視覚特性パラメータ）を算出し、保存する。

画素統計値差分値補正部６は、画素統計値差分値算出部３から各階層間の画素統計値の差分値を受信し、ノイズパラメータ保存部４に保存されるノイズパラメータと、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して、各階層間の画素統計値の差分値を補正する。そして、補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。

出力画素制御部７は、画素統計値算出部２から最も広い範囲の画素統計値、画素統計値差分値補正部６から補正された各階層間の統計値の差分値を受信し、式(15)のように、出力画素P_out(x, y)を算出し、出力画像の画素位置(x, y)における画素値を出力する。

本発明の第一の実施の形態によれば、人間の視覚の周波数特性を考慮しながら、各周波数帯のノイズを適切に抑圧することで、人間の視覚にとっての自然な画素値の変動を維持しつつ、人間の視覚にとって目立つノイズを除去できる。

＜第二の実施の形態＞
本発明の第二の実施の形態を説明する。

本発明の第一の実施の形態においても、各周波数帯のノイズを適切に抑圧できるが、ノイズと同程度の変動をもつ微細なテクスチャも同様に除去してしまう問題がある。そこで、第二の実施の形態では、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができる画像処理方法、および画像処理装置について説明する。

図８は、本発明の第二の実施の形態である画像処理方法を説明するための図である。

本発明の第二の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記当該階層の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正と、残差情報の補正を繰り返し、再補正された前記各階層間の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。

ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。

また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。

図８では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。

以下、具体的な処理の説明を行うが、図８における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで、一例として、第３階層の空間平均値l₃(x, y)と第２階層の空間平均値l₂(x, y)の差分値b_2-3(x, y)を、画像に含まれるノイズ情報に基づくノイズパラメータσ_2-3を用いて補正し、補正される前の差分値b_2-3(x, y)と補正された差分値b’_2-3(x, y)の差分値（残差値）r_2-3(x, y)を、人間の視覚の空間周波数特性に基づく視覚特性パラメータμ_2-3^csfを用いて補正し、補正された差分値b’_2-3(x, y)を再補正した差分値b’’_2-3(x, y)を算出する処理の詳細を説明する。

なお、第３階層の空間平均値l₃(x, y)の計算は式(1)、第２階層の空間平均値l₂(x, y)の計算は式(2)、差分値b_2-3(x, y)の計算は式(3)、ノイズパラメータσ_2-3の計算は式(5)、視覚特性パラメータμ_2-3^csfの計算は式(6)と同様であるとする。

第二の実施の形態では、第一の実施の形態における式(12)を以下のように変更する。
この式では、人間の視覚特性は反映されず、フィルタの周波数特性から数学的に決定される、b_2-3(x, y)に含まれるノイズ量を推定するパラメータのみに基づき、ノイズを抑圧する。

次に、補正前の差分値b_2-3(x, y)と、補正後の差分値b’_2-3(x, y)の差分値（残差値）r_2-3(x, y)とを計算する。
そして、得られた残差値r_2-3(x, y)を以下のように補正する。
ここで、F_residは
で表される。さらに、補正された残差値r’_2-3(x, y)を、補正された差分値b’_2-3(x, y)に加算することで、補正された差分値b’_2-3(x, y)を再補正し、再補正された差分値b’’_2-3(x, y)を以下の式(20)のようにして得る。
以上の処理を各階層で実施し、補正された各階層間の差分値と、補正された各階層間の残差値を、最大範囲である第３階層の空間平均値l₃(x, y)に加算していくことで、以下のように最終的な処理結果P_out(x, y)を得る。
式(21)は、第一の実施形態の式(12)において、全ての階層で
であれば、同じ結果となるが、
であるときに、第一の実施形態では
になるのに対し、第二の実施の形態では
となる点が異なる。この処理により、入力画像の周波数特性が０でない帯域では、出力画像の周波数特性も０にならないことが担保される。よって、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、微細なテクスチャの完全な除去を防ぐことができる。

次に、本発明の第二の実施の形態の画像処理装置を説明する。

図９は本発明の第二の実施の形態の画像処理装置１０２のブロック図である。

第二の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、画素統計値差分値再補正部８と、を備える。

第二の実施の形態の画像処理装置は、画素統計値差分値再補正部８を備えることが、第一の実施の形態の画像処理装置と異なる。

画素統計値差分値算出部３は、画素統計値算出部２から各領域の画素統計値を受信し、第３階層と第２階層、第２階層と第１階層、第１階層と第０階層の画素統計値の差分値をそれぞれ算出し、算出された各階層間の画素統計値の差分値を、画素統計値差分値補正部６と画素統計値差分値再補正部８に出力する。

画素統計値差分値補正部６は、画素統計値差分値算出部３から各階層間の画素統計値の差分値を受信し、ノイズパラメータ保存部４に保存されるノイズパラメータを参照して、各階層間の画素統計値の差分値を補正する。そして、補正した各階層間の画素統計値の差分値を画素統計値差分値再補正部８に出力する。

画素統計値差分値再補正部８は、画素統計値差分値算出部３から補正前の各階層間の画素統計値の差分値を、画素統計値差分値補正部６から補正後の各階層間の画素統計値の差分値をそれぞれ受信し、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して、各階層間の画素統計値の差分値を再補正する。そして、再補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。

他の構成要素は、第一の実施の形態の画像処理装置と同様なので、説明を省略する。

第二の実施の形態は、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができる。

＜第三の実施の形態＞
本発明の第三の実施の形態を説明する。

第一の実施の形態においても、ノイズ除去については十分な効果を得るが、画像によってはエッジがなまる（エッジがボケる）場合がある。そこで、第三の実施の形態では、各周波数帯のノイズを適切に抑圧しつつ、エッジのなまりを抑制することができる画像処理方法、および画像処理装置について説明する。

図１０は、本発明の第三の実施の形態である画像処理方法を説明するための図である。

本発明の第三の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値とエッジ情報とを求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性と、当該階層の次に画素の参照範囲が広い階層のエッジ情報に基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。

ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。

また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。

さらに、エッジ情報とは、注目画素を中心とした、上下左右の領域間の画素の統計量（平均値、メディアンなど）の差分値で定義されるものとする。

図１０では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。

以下、具体的な処理の説明を行うが、図１０における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。また、そこで，一例として，第３階層の空間平均値l₃(x, y)と第２階層の空間平均値l₂(x, y)の差分値b_2-3(x, y)を、画像に含まれるノイズ情報に基づくノイズパラメータσ_2-3と、人間の視覚の空間周波数特性に基づく視覚特性パラメータμ_2-3^csfと、第３階層のエッジ情報e₃(x, y)を用いて補正し、補正された差分値b’_2-3(x, y)を算出する処理の詳細を説明する。

なお、第３階層の空間平均値l₃(x, y)の計算は式(1)、第２階層の空間平均値l₂(x, y)の計算は式(2)、差分値b_2-3(x, y)の計算は式(3)、ノイズパラメータσ_2-3の計算は式(5)、視覚特性パラメータμ_2-3^csfの計算は式(6)と同様であるとする。

第三の実施の形態では、第０階層（原画像と同じ解像度の階層）以外で、当該階層の参照する範囲におけるエッジ情報を算出する。第３階層のエッジ情報e₃(x, y)は、以下の式で表される。
なお、gv₃はカーネルサイズ(2k₃+1)×k₃のフィルタカーネル、gh₃はカーネルサイズk₃×(2k₃+1)のフィルタカーネルであり、その係数は
である。当然であるが、水平・垂直方向のエッジ情報の算出において、Sobelフィルタ等の重み付きフィルタ係数を用いても良い。また、式(24)のe₃(x, y)の算出において、単純な加算でなく、
としても良い。

続いて、算出されたエッジ情報e₃(x, y)を用いて、式(4)の補正量λ_2-3を以下のように修正する。
式(25)中、τ_{low, 3}およびτ_{high, 3}は、それぞれ、第３階層の対象領域が平坦領域、あるいはエッジ領域であるどうかを判定するための閾値、α_{low, 3}およびα_{high, 3}は、それぞれ、第３階層の対象領域が平坦領域、あるいはエッジ領域である場合に、補正量λ_2-3を修正するための係数である。なお、
である。式(26)の形状を図１１に示す。

式(25)により補正量λ_2-3は、注目画素がエッジに含まれる場合
には補正量を小さく修正し、注目画素が平坦領域に含まれる場合
には、補正量をλ_2-3に近いまま保つ。エッジ領域にも平坦領域にも含まれない場合は
エッジ情報に基づいて補正量を修正する。

このように、本発明の第三の実施の形態では、エッジ情報に基づいて補正量の制御を行っており、この方法を用いることでエッジのなまりを防ぐことができる。

次に、本発明の第三の実施の形態の画像処理装置を説明する。

図１２は、本発明の第三の実施の形態の画像処理装置１０３のブロック図である。

本発明の第三の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、エッジ情報算出部９と、を備える。

第三の実施の形態の画像処理装置は、エッジ情報算出部９を備えることが、第一の実施の形態の画像処理装置と異なる。

領域画素値抽出部１は、画素位置(x,y)を中心とする、広領域Ω₃(x, y)にある画素の画素値と、中領域Ω₂(x, y)にある画素の画素値と、狭領域Ω₁(x, y)にある画素の画素値と、入力画素値P_in(x, y)とを抽出して、画素統計値算出部２とエッジ情報算出部９に出力する。

エッジ情報算出部９は、各領域の画素値を受信し、その領域のエッジ情報を算出する。そして、算出された各エッジ情報を画素統計値差分値補正部６に出力する。

画素統計値差分値補正部６は、画素統計値差分値算出部３から各階層間の画素統計値の差分値、エッジ情報算出部９から各領域のエッジ情報を受信し、ノイズパラメータ保存部４に保存されるノイズパラメータと、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して各階層間の画素統計値の差分値の補正量を決定し、さらに、決定した補正量をエッジ情報に基づいて修正し、修正した補正量に基づいて、各階層間の画素統計値の差分値を補正する。そして、補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。

他の構成要素は第一の実施の形態と同様なので、説明を省略する。

第三の実施の形態は、エッジのなまりを防ぎつつ、各周波数帯のノイズを適切に抑圧できる。

＜第四の実施の形態＞
本発明の第四の実施の形態を説明する。

第二の実施の形態においても、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができるが、画像によってはエッジがなまる（エッジがボケる）場合がある。そこで、第四の実施の形態では、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去やエッジのなまりを抑制することができる画像処理方法、および画像処理装置について説明する。

図１３は、本発明の第四の実施の形態である画像処理方法を説明するための図である。

本発明の第四の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値とエッジ情報とを求め当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記当該階層の残差情報を人間の視覚特性に基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正と、残差情報の補正を繰り返し、補正された前記各階層間の差分値と、補正された前記各階層の残差情報を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。

ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。

また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。

さらに、エッジ情報とは、注目画素を中心とした、上下左右の領域間の画素の統計量（平均値、メディアンなど）の差分値で定義されるものとする。

図１３では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。

以下、具体的な処理の説明を行うが、図１３における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで，一例として，第３階層の空間平均値l₃(x, y)と第２階層の空間平均値l₂(x, y)の差分値b_2-3(x, y)を、画像に含まれるノイズ情報に基づくノイズパラメータσ_2-3を用いて補正し、補正される前の差分値b_2-3(x, y)と補正された差分値b’_2-3(x, y)の差分値（残差値）r_2-3(x, y)を、人間の視覚の空間周波数特性に基づく視覚特性パラメータμ_2-3^csfと、第３階層のエッジ情報e₃(x, y)を用いて補正し、補正された差分値b’_2-3(x, y)を再補正した差分値b’’_2-3(x, y)を算出する処理の詳細を説明する。

なお、第３階層の空間平均値l₃(x, y)の計算は式(1)、第２階層の空間平均値l₂(x, y)の計算は式(2)、差分値b_2-3(x, y)の計算は式(3)、ノイズパラメータσ_2-3の計算は式(5)、視覚特性パラメータμ_2-3^csfの計算は式(6)、残差値r_2-3(x, y)の計算は式(17)、第３階層のエッジ情報e₃(x, y)の計算は式(24)と同様であるとする。

第４の実施の形態では、式(18)の補正された残差値r’_2-3(x, y)を算出する計算を以下のように行う。
ここで、μ’_2-3は、式(26)の関数hを用いて、以下の式で表される。
さらに、得られた補正された残差値r’_2-3(x, y)と補正された差分値b’_2-3(x, y)を用いて、式(20)より、再補正された差分値b’’_2-3(x, y)を得る。

式(28)より、注目画素がエッジに含まれる場合は、μ’_2-3は０に近づくように修正されるため、結果として、式(27)の出力値
となる。つまり、再補正後の差分値
となるため、この階層においてボケは発生しない。逆に、注目画素が平坦領域に含まれる場合には、μ’_2-3はμ_2-3に近い値をとるため、第２の実施の形態の処理結果と同様となり、人間の視覚特性に基づいたノイズ抑圧が実現される。

次に、本発明の第四の実施の形態の画像処理装置を説明する。

図１４は本発明の第四の実施の形態の画像処理装置１０４のブロック図である。

第四の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、画素統計値差分値再補正部８と、エッジ情報算出部９と、を備える。

第四の実施の形態の画像処理装置は、エッジ情報算出部９を備えることが、第二の実施の形態の画像処理装置と異なる。また、画素統計値差分値再補正部８を備えることが、第三の実施の形態の画像処理装置と異なる。

領域画素値抽出部１は、第三の実施の形態と同様に動作する。

画素統計値差分値算出部３は、第二の実施の形態と同様に動作する。

画素統計値差分値補正部６は、第二の実施の形態と同様に動作する。

エッジ情報算出部９は、各領域の画素値を受信し、その領域のエッジ情報を算出する。そして、算出された各エッジ情報を画素統計値差分値再補正部８に出力する。

画素統計値差分値再補正部８は、画素統計値差分値算出部３から補正前の各階層間の画素統計値の差分値を、画素統計値差分値補正部６から補正後の各階層間の画素統計値の差分値を、エッジ情報算出部９から各領域のエッジ情報をそれぞれ受信し、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して、各階層間の画素統計値の差分値を、エッジ情報と視覚特性パラメータに基づいて再補正する。そして、再補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。

他の構成要素は、第一の実施の形態と同様なので、説明を省略する。

第四の実施の形態は、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができる。さらに、エッジのなまりを防ぐことができる。

尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、
当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
画像処理方法。

（付記２） 前記階層間の画素統計値の差分値の補正及び前記注目画素の補正は、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、
前記階層間の残差情報を、人間の視覚特性に基づいて補正し、
補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の再補正を繰り返し、
再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記１に記載の画像処理方法。

（付記３） 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
付記２に記載の画像処理方法。

（付記４） 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
付記１および付記３のいずれかに記載の画像処理方法。

（付記５） 前記人間の視覚特性は、視覚周波数特性を用いる
付記１から付記４のいずれかに記載の画像処理方法。

（付記６） 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段と
を有する画像処理装置。

（付記７） 画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記階層間の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正する画素統計値差分値再補正手段を有し、
前記画素統計値差分値補正手段は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御手段は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記６に記載の画像処理装置。

（付記８） 前記画素統計値差分値再補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
付記７に記載の画像処理装置。

（付記９） 前記画素統計値差分値補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
付記６からび付記８のいずれかに記載の画像処理装置。

（付記１０） 前記人間の視覚特性は、視覚周波数特性を用いる
付記６から付記９のいずれかに記載の画像処理装置。

（付記１１） 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理と
をコンピュータに実行させるプログラム。

（付記１２） 画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記階層間の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正する画素統計値差分値再補正処理を有し、
前記画素統計値差分値補正処理は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御処理は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記１１に記載のプログラム。

（付記１３） 前記画素統計値差分値再補正処理は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
付記１２に記載のプログラム。

（付記１４） 前記画素統計値差分値補正処理は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
付記１１から付記１３のいずれかに記載のプログラム。

（付記１５） 前記人間の視覚特性は、視覚周波数特性を用いる
付記１１から付記１４のいずれかに記載のプログラム。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 領域画素値抽出部
２ 画素統計値算出部
３ 画素統計値差分値算出部
４ ノイズパラメータ保存部
５ 視覚特性パラメータ保存部
６ 画素統計値差分値補正部
７ 出力画素制御部
８ 画素統計値差分値再補正部
９ エッジ情報算出部
１０１ 画像処理装置
１０２ 画像処理装置
１０３ 画像処理装置
１０４ 画像処理装置

Claims (10)

1. 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、
   当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、
   前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、
   画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、
   補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
   画像処理方法。
2. 前記階層間の画素統計値の差分値の補正及び前記注目画素の補正は、
   前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
   補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、
   前記階層間の残差情報を、人間の視覚特性に基づいて補正し、
   補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、
   画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の再補正を繰り返し、
   再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
   請求項１に記載の画像処理方法。
3. 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
   請求項２に記載の画像処理方法。
4. 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
   請求項１および請求項３のいずれかに記載の画像処理方法。
5. 前記人間の視覚特性は、視覚周波数特性を用いる
   請求項１から請求項４のいずれかに記載の画像処理方法。
6. 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出手段と、
   画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、
   画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、
   補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段と
   を有する画像処理装置。
7. 画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記階層間の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正する画素統計値差分値再補正手段を有し、
   前記画素統計値差分値補正手段は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
   前記出力画素制御手段は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
   請求項６に記載の画像処理装置。
8. 前記画素統計値差分値再補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
   請求項７に記載の画像処理装置。
9. 前記画素統計値差分値補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
   請求項６からび請求項８のいずれかに記載の画像処理装置。
10. 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出処理と、
    画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、
    画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、
    補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理と
    をコンピュータに実行させるプログラム。