JP4111980B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像のダイナミックレンジを適切に改善する画像処理装置及び画像処理方法に関するものである。

従来、画像の階調特性を改善する方法として、１画面の入力画像から同一輝度の画素の画素数を累積することによって得られる累積頻度（ヒストグラム）が、均等に分布するように階調変換を行う、ヒストグラムイコライゼーションが提案されている（例えば、特許文献１参照）。

また、入力画像から空間的な輝度変化の加重平均を求め、求められた加重平均の対数変換値と、入力画像の対数変換値とから、改善された輝度信号を算出することで、画像のダイナミックレンジを改善させるＲＥＴＩＮＥＸと呼ばれる方法が提案されている（例えば、非特許文献１及び特許文献２参照）。

特開２００２−２７２８５号公報（段落００２９−００４１、図１） 特開２００５−３８１１９号公報（段落００２８−００３１、図１） Ｚ．Ｒａｈｍａｎ ｅｔ ａｌ．， "Ａ Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ Ｆｏｒ Ｃｏｌｏｒ Ｒｅｎｄｉｔｉｏｎ ａｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ"， ＸＩＸ Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．２８４７， ｐｐ．１８３−１９１， Ｎｏｖ．１９９６

しかしながら、前述のヒストグラムイコライゼーションでは、少なくとも１画面分の画像のヒストグラムデータを記録し、記録されたヒストグラムデータからヒストグラムの偏りを解析し、この解析結果をもとに階調特性を決める。このため、解析に使用した画像と解析結果を反映する画像との間には、１画面以上のタイミングずれが生じるので、入力画像のダイナミックレンジが適切に改善されない場合があった。例えば、動画像において、上記のような１画面以上のタイミングずれがある場合は、解析に使用した画像と解析結果を反映する画像との違いによって、解析結果を反映する画像に対して最適な階調特性を決めることができないという問題があった。

また、ＲＥＴＩＮＥＸを用いる方法では、加重平均を用いるための畳み込み積分及び加重平均と入力信号の対数計算などの計算処理が複雑であるので、ハードウェア（例えば、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールド プログラマブル ゲート アレイ））や組込みマイコンによってＲＥＴＩＮＥＸを実行する場合に、処理時間が長くなる、実装容量（ゲート規模、メモリ容量）が大きくなるという問題があった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、簡単な構成で、入力画像のダイナミックレンジを適切に改善することができる画像処理装置及び画像処理方法を提供することにある。

本発明の画像処理装置は、入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理装置であって、補正を行う画素と該補正を行う画素の周辺画素の輝度の分布を求めて出力するフィルタ手段と、前記フィルタ手段の出力から、前記補正を行う画素の補正利得を求める補正利得検出手段と、前記補正利得検出手段によって求められた前記補正利得を用いて、前記入力画像信号の画素ごとに演算を施す演算手段とを有し、前記フィルタ手段の出力は、補正を行う画素と該補正を行う画素の周辺画素の平均輝度であり、前記演算手段による前記演算は、乗算であり、前記補正利得検出手段は、前記平均輝度に前記補正利得を乗算した値が単調増加関数となるように、かつ、前記平均輝度が大きい場合には、前記補正利得が小さくなる特性であり、前記平均輝度が小さい場合には、前記補正利得が大きくなる特性を持つように、前記補正利得を算出することを特徴としている。

また、本発明の画像処理方法は、入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理方法であって、補正を行う画素と該補正を行う画素の周辺画素の輝度の分布を求めるステップと、前記輝度の分布から、前記補正を行う画素の補正利得を求めるステップと、前記求められた前記補正利得を用いて、前記入力画像信号の画素ごとに演算を施すステップとを有し、前記輝度の分布を求めるステップにおける前記輝度の分布は、補正を行う画素と該補正を行う画素の周辺画素の平均輝度であり、前記演算を施すステップにおける前記演算は、乗算であり、前記補正利得を求めるステップにおける前記補正利得は、前記平均輝度に前記補正利得を乗算した値が単調増加関数となるように、かつ、前記平均輝度が大きい場合には、前記補正利得が小さくなる特性であり、前記平均輝度が小さい場合には、前記補正利得が大きくなる特性を持つように、前記補正利得を算出することを特徴としている。

本発明によれば、補正を行う画素の周辺画素の輝度分布に基づいて画素ごとに補正利得を求め、この補正利得を用いて補正を行う画素を補正するので、入力画像の階調特性を適切に改善することができる。

また、本発明によれば、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）５の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る画像処理装置５は、輝度検出手段１と、フィルタ手段２と、補正利得検出手段３と、演算手段４とを有する。なお、本出願において「…手段」と呼ばれる構成は、電気回路などのハードウェア、プログラムにより動作するソフトウェア、又はハードウェアとソフトウェアの組み合わせのいずれで構成してもよい。例えば、輝度検出手段１と、フィルタ手段２と、補正利得検出手段３と、演算手段４は、マイコン（図示せず。）を用いたソフトウェアによって実現することができる。

実施の形態１に係る画像処理装置５は、入力画像信号Ｘｉｎに基づいて画素ごとに補正利得Ｇ_ｋを算出し、算出された補正利得Ｇ_ｋを用いて入力画像信号Ｘｉｎに画素ごとに補正処理を施して、補正後の画像信号Ｘｏｕｔを生成する。画像処理装置５の補正処理では、例えば、固体撮像素子を用いて撮像された撮像画像のダイナミックレンジを改善する。この補正処理により、従来、黒つぶれしやすかった撮像画面内の低輝度領域のコントラストを改善し、認識性能・撮像性能を向上させることができる。

入力画像信号Ｘｉｎは、例えば、８ビット階調で、水平６４０×垂直４８０画素に２次元配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画像信号（以下「ＲＧＢ信号」と言う。）である。入力画像信号ＸｉｎのＲ信号レベルをＲ（Ｍ，Ｎ）、入力画像信号ＸｉｎのＧ信号レベルをＧ（Ｍ，Ｎ）、入力画像信号ＸｉｎのＢ信号レベルをＢ（Ｍ，Ｎ）と表記する。ここで、Ｍは水平画素位置、Ｎは垂直画素位置を示す。

入力画像信号Ｘｉｎは、ＲＧＢ信号に限らず、ＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）信号などであってもよい。画像処理装置５は、入力画像信号ＸｉｎとしてＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ信号を用いる場合には、各色空間の信号をＲＧＢ信号に色変換処理する色変換手段（図示せず）を備える。また、入力画像信号Ｘｉｎの階調数は、上記８ビットに限定されず、静止画ファイルで用いられる１０ビット又は１２ビットなどの他の階調数であってもよい。さらに、入力画像信号Ｘｉｎの画素数は、上記値に限定されず、水平１０２４×垂直９６０画素などの他の画素数であってもよい。

輝度検出手段１は、入力画像信号Ｘｉｎから輝度信号成分を求めて出力する。ＩＴＵ−Ｒ ＢＴ．７０９規定の場合、輝度信号Ｙは、ＲＧＢ信号から、次式（１）で求めることができる。
Ｙ＝０．２９９×Ｒ（Ｍ，Ｎ）＋０．５８７×Ｇ（Ｍ，Ｎ）＋０．１１４×Ｂ（Ｍ，Ｎ）
…（１）
なお、ＲＧＢ信号から輝度信号Ｙを求めるための変換式は、上記式（１）に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。また、入力画像信号Ｘｉｎに輝度信号Ｙが含まれる場合は、輝度検出手段１は、輝度信号Ｙを求めるための計算を行わずに、入力画像信号Ｘｉｎの輝度信号Ｙをフィルタ手段２に出力する。

フィルタ手段２は、１次元ｎタップの非巡回型デジタルフィルタであり、ディレイ手段６と、係数手段７と、加算手段８とを有する。ディレイ手段６は、入力画像信号Ｘｉｎの輝度信号を遅延させる遅延素子ＤＬ（−１）、遅延素子ＤＬ（−１）の出力を遅延させる遅延素子ＤＬ（０）、及び遅延素子ＤＬ（０）の出力を遅延させる遅延素子ＤＬ（１）を有する。係数手段７は、遅延素子ＤＬ（−１）の出力に係数ａ_ｋ（−１）を乗算する乗算器、遅延素子ＤＬ（０）の出力に係数ａ_ｋ（０）を乗算する乗算器、及び遅延素子ＤＬ（１）の出力に係数ａ_ｋ（１）を乗算する乗算器を有する。なお、タップ数ｎは、ｎ＝２×ｋ＋１（ｋは正の整数）を満たす。

フィルタ手段２は、輝度検出手段１から出力された輝度信号にフィルタ処理を施して、フィルタ処理後のフィルタ信号を出力する。図１は、タップ数ｎが３タップである場合を示す。なお、フィルタ手段２から出力されるフィルタ信号は、例えば、平均輝度Ｙａｖｇであり、次式（２）で求めることができる。

式（２）において、Ｙ（−１）、Ｙ（０）、及びＹ（１）はそれぞれ、補正を行う画素の１画素後の画素の輝度信号、補正を行う画素の輝度信号、及び補正を行う画素の１画素前の画素の輝度信号を示す。ここで、係数ａ_ｋ（−１）＝ａ_ｋ（０）＝ａ_ｋ（１）＝１とすると、式（２）の分母は、次式のようになる。

したがって、式（２）により、補正を行う画素と、補正を行う画素の周辺画素の平均輝度を求めることができる。なお、「補正を行う画素の周辺画素」とは、ｉを所定の整数としたときに、補正を行う画素のｉ画素前の画素から補正を行う画素の１画素前の画素まで、及び、補正を行う画素の１画素後の画素から補正を行う画素のｉ画素後の画素までである。所定の整数ｉが１であるときには、「補正を行う画素の周辺画素」は、補正を行う画素の１画素前の画素、及び、補正を行う画素の１画素後の画素である。

このように１次元の非巡回型デジタルフィルタの構成を用いることで、輝度検出手段１の輝度信号Ｙの１次元方向のフィルタ出力を求めることができる。求められたフィルタ出力は、輝度信号Ｙと補正を行う画素の周辺画素の平均値を求めるように構成することで、１次元方向の明るさの分布の変化を求めることができる。よって、明るさの分布の変化に対応した補正利得を検出することができ、明るさの分布の変化を考慮した、信号のコントラストを補正することができる。また、デジタル信号処理回路としては、一般的な構成であり、回路規模の簡素化が図れ、ゲート規模削減、コスト低下の効果がある。

タップ数ｎは、３タップに限らず、任意のタップ数とすることができる。タップ数を増やすことで、カットオフ周波数の特性を細かく設定することができ、また、広い範囲に及ぶ緩やかな輝度変化を検出することができる。このように、タップ数ｎを切替えることで、入力画像内の異なる照明条件による輝度分布の変化に応じて最適なフィルタ手段２を構成することができる。

以上の説明においては、フィルタ手段２が１次元の非巡回型デジタルフィルタである場合を説明したが、フィルタ手段２は２次元の非巡回型デジタルフィルタであってもよい。２次元の非巡回型デジタルフィルタを用いることによって、入力画像の輝度の領域的な変化を検出することができる。

また、フィルタ手段２は、上記式（２）に基づく平均輝度Ｙａｖｇを算出する処理を行う構成に限定されず、明るさの分布の変化を求めることができる構成であれば良く、加重平均を出力する構成、ローパスフィルタを用いた構成、又はバンドパスフィルタを用いた構成等のような他の構成とすることができる。

補正利得検出手段３は、フィルタ手段２から出力されたフィルタ信号である平均輝度Ｙａｖｇに基づいて補正利得Ｇ_ｋを算出して出力する。補正利得Ｇ_ｋの算出処理の詳細は、後述する。

演算手段４は、補正利得検出手段３から出力された補正利得Ｇ_ｋが入力され、入力画像信号Ｘｉｎに補正利得Ｇ_ｋを乗算して出力する。

図２は、実施の形態１に係る画像処理装置５の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。図２に示されるように、実施の形態１に係る画像処理装置５は、フィルタ処理（ステップＳ１）、画素ごとの補正利得の演算処理（画素利得演算処理）である補正利得検出処理（ステップＳ２）、及び補正利得を用いて入力画像信号を補正する処理である演算処理（ステップＳ３）を行う。フィルタ処理（ステップＳ１）において、フィルタ処理手段２は入力画像信号Ｘｉｎの平均輝度Ｙａｖｇにフィルタ処理を施し、フィルタ処理後の輝度信号を出力する。次の補正利得検出処理（ステップＳ２）において、フィルタ処理手段２からの出力に応じて画素ごとの補正利得Ｇ_ｋを求める。次の補正利得演算処理（ステップＳ３）において、演算手段４は補正利得検出処理（ステップＳ２）によって得られた補正利得Ｇ_ｋを用いて入力画像信号Ｘｉｎの演算を画素ごとに行い、補正後の画像信号Ｘｏｕｔを出力する。

以下に、補正利得検出手段３及び演算手段４の動作を詳細に説明する。補正利得検出手段３は、例えば、次式（３）により補正利得Ｇ_ｋを求める。

式（３）において、Ｙａｖｇは、フィルタ手段２から出力され補正利得検出手段３に入力される平均輝度を示し、Ｇｍａｘは、補正利得の最大値である最大利得を示し、Ｙｍａｘは、フィルタ手段２の最大出力である最大輝度を示す。

最大輝度Ｙｍａｘは、画像信号のデジタル分解能（階調数）により一義的に決まる。例えば、８ビット階調の場合は、最大輝度Ｙｍａｘは２５５であり、１０ビット階調の場合は、最大輝度Ｙｍａｘは１０２３である。

最大利得Ｇｍａｘは、入力画像のダイナミックレンジを向上させ、コントラストが改善できるように、予め統計的、実験的に得られた補正利得である。γ補正を行うことで、メリハリの無いコントラストの低い画像処理であったが、補正利得を用いることで、コントラスト感の高い、画像となり、表示品位が向上する。補正利得検出手段３は、最大利得Ｇｍａｘを入力画像のレベルによらず一定値とする構成とすることができ、又は、入力画像の黒レベルと白レベルの頻度や、平均映像信号レベルなどの入力画像から得られる、画面全体や被写体の明るさ、コントラスト、輝度分布、輝度のヒストグラム、色の分布等の情報に応じて最大利得Ｇｍａｘを切替える構成とすることもできる。このように最大利得Ｇｍａｘが調整可能であることは、動画像に用いた場合に、動画像内の明るさの分布に最適な補正利得を得られ、画質の最適化を図れる。

図３は、補正利得検出手段３から出力される補正利得Ｇ_ｋを示すグラフであり、図４は、補正利得検出手段３から出力される補正利得Ｇ_ｋを示す表である。図３において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、補正利得Ｇ_ｋを示す。

図３及び図４に示されるように、最大利得Ｇｍａｘが１より大きい場合には、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘが増加するにつれて（すなわち、平均輝度Ｙａｖｇが増加するにつれて）、補正利得Ｇ_ｋは最大利得Ｇｍａｘから減少し、平均輝度Ｙａｖｇが最大輝度Ｙｍａｘに等しくなると（すなわち、Ｙａｖｇ／Ｙｍａｘ＝１になると）、補正利得Ｇ_ｋは１倍になる。また、最大利得Ｇｍａｘが１である場合には、補正利得Ｇ_ｋは１倍になる。

なお、補正利得検出手段３として、式（３）による演算を実行して補正利得Ｇ_ｋを得る構成を説明したが、予め平均輝度Ｙａｖｇに対応する補正利得Ｇ_ｋをルックアップテーブルとして保持しておくこともできる。このようなルックアップテーブルを用いた場合には、割り算処理を行う必要が無くなるので、補正利得検出手段３における計算処理の簡素化を図ることができる。

図５は、実施の形態１において用いる補正利得を、最大輝度で規格化した平均輝度に乗算した値を示すグラフである。図５において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇ_ｋを乗算した値Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示す。

ここで、補正利得Ｇ_ｋは、補正輝度Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘが単調増加関数になるように求めた値である。図５には、最大利得Ｇｍａｘが１倍、３倍、５倍の場合の補正輝度Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示している。補正輝度は、Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘ以外の計算に基づく補正輝度を用いてもよい。図５から分かるように、最大利得Ｇｍａｘが１倍の場合は、入力画像信号Ｘｉｎがそのまま出力される。図５から分かるように、最大利得Ｇｍａｘが大きくなるにつれて、低輝度側の傾きが大きく、高輝度側の傾きが小さくなる。低輝度側の傾きを大きくすることで、黒つぶれしやすい低域の信号成分を増幅して出力することができ、低輝度部のコントラストが改善できる。また、高輝度側の傾きを低輝度側に比べて１．０倍程度に小さくすることで、高輝度側の輝度信号やコントラストの信号が維持される。これにより、高輝度側が白つぶれする問題を防ぐことができ、高輝度や低輝度の信号においてもコントラスの高い信号を取り出せ、視認性の向上が図れる。

図６は、実施の形態１に係る画像処理装置５による補正処理前の画像の一例を示す図であり、図７は、実施の形態１に係る画像処理装置５による補正処理後の画像の一例を示す図である。

図６は、明るい領域、すなわち、窓の外の景色（符号ＤＳ１で示される部分）が鮮明に再現されているが、暗い領域、すなわち、室内の人物ＨＤ１などは、黒潰れに近い状態になっていることを示している。

図８（ａ）及び（ｂ）は、実施の形態１に係る画像処理装置において、撮像画像の明るい領域（すなわち、図６において窓を通して部屋の外が見える領域ＤＳ１）の処理に関し、図８（ａ）は、画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図８（ｂ）は、図８（ａ）と同じ画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図８（ａ）に破線で示されるように、入力画像信号の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．６、画素位置ｐ２において０．７、画素位置ｐ３において０．８、画素位置ｐ４において０．７、画素位置ｐ５において０．８、画素位置ｐ６において０．６である。

よって、図８（ａ）に実線で示されるように、タップ数ｎが３であるときには、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｐ１において０．６６、画素位置ｐ２において０．７０、画素位置ｐ３において０．７３、画素位置ｐ４において０．７６、画素位置ｐ５において０．７０、画素位置ｐ６において０．７０となる。

最大利得Ｇｍａｘが３倍であるとき、求めた平均輝度Ｙａｖｇと式（３）より、補正利得Ｇ_ｋは、画素位置ｐ１において１．２９倍、画素位置ｐ２において１．２５倍、画素位置ｐ３において１．２２倍、画素位置ｐ４において１．１９倍、画素位置ｐ５において１．２５倍、画素位置ｐ６において１．２５倍となる。このように、各画素の平均輝度Ｙａｖｇを求めることで、各画素の補正利得Ｇ_ｋを求めることができる。

図８（ｂ）は、図８（ａ）と同じ画素位置ｐ０から画素位置Ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと、規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。図８（ｂ）に破線で示されるように、入力画像信号の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．６、画素位置ｐ２において０．７、画素位置ｐ３において０．８、画素位置ｐ４において０．７、画素位置ｐ５において０．８、画素位置ｐ６において０．６である。

座標（Ｍ，Ｎ）の画素の利得補正した出力画像信号Ｘｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力画像信号Ｘｉｎ（Ｍ，Ｎ）と利得Ｇ_ｋを用いて、次式（４）で求めることができる。
Ｘｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｘｉｎ（Ｍ，Ｎ） …（４）

図８（ｂ）に実線で示されるように、利得補正後の規格化された出力画像信号Ｘｏｕｔ／Ｙｍａｘは、画素位置ｐ１において０．７７、画素位置ｐ２において０．８８、画素位置ｐ３において０．９８、画素位置ｐ４において０．８３、画素位置ｐ５において１．００、画素位置ｐ６において０．７５となる。

なお、一般に、入力画像がＲＧＢ信号の場合は、次式（５ａ）、（５ｂ）、（５ｃ）が成り立つ。
Ｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｒｉｎ（Ｍ，Ｎ） …（５ａ）
Ｇｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｇｉｎ（Ｍ，Ｎ） …（５ｂ）
Ｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｂｉｎ（Ｍ，Ｎ） …（５ｃ）
ここで、Ｒｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した出力Ｒ信号であり、Ｒｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力Ｒ信号であり、Ｇｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した出力Ｇ信号であり、Ｇｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力Ｇ信号であり、Ｂｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した出力Ｂ信号であり、Ｂｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力Ｂ信号である。

また、一般に、入力画像が、ＹＣｂＣｒ信号の場合は、次式（６ａ）、（６ｂ）、（６ｃ）が成り立つ。
Ｙｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｙｉｎ（Ｍ，Ｎ） …（６ａ）
Ｃｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｃｂｉｎ（Ｍ，Ｎ）−Ｃｂｏｆ）＋Ｃｂｏｆ
…（６ｂ）
Ｃｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｃｒｉｎ（Ｍ，Ｎ）−Ｃｒｏｆ）＋Ｃｒｏｆ
…（６ｃ）
ここで、Ｙｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した輝度信号であり、Ｙｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力輝度信号であり、Ｃｂｏｕｔ（Ｍ，Ｎ）及びＣｒｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した色差信号であり、Ｃｂｉｎ（Ｍ，Ｎ）及びＣｒｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力色差信号であり、Ｃｂｏｆ及びＣｒｏｆは、色差信号を信号処理する際のオフセット量である。

また、式（５ａ）、（５ｂ）、（５ｃ）に示すように、ＲＧＢ信号一律に同じ補正利得Ｇ_ｋを乗算することにより、局所領域でのホワイトバランスが、ずれることなく、ダイナミックレンジを改善することができる。

図９（ａ）及び（ｂ）は、実施の形態１に係る画像処理装置において、撮像画像の暗い領域（輝度が低い領域）ＨＤ１の処理に関し、図９（ａ）は、画素位置ｑ０から画素位置ｑ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図９（ｂ）は、図９（ａ）と同じ画素位置ｑ０から画素位置ｑ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図９（ａ）に破線で示されるように、入力画像の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、輝度が低い領域ＨＤ１内の画素位置ｑ１において０．１、画素位置ｑ２において０．２、画素位置ｑ３において０．３、画素位置ｑ４において０．２、画素位置ｑ５において０．３、画素位置ｑ６において０．１である。また、図９（ａ）に実線で示されるように、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｑ１において０．１６、画素位置ｑ２において０．２０、画素位置ｑ３において０．２３、画素位置ｑ４において０．２６、画素位置ｑ５において０．２０、画素位置ｑ６において０．２０となる。また、補正利得Ｇ_ｋは、画素位置ｑ１において２．２５倍、画素位置ｑ２において２．１４倍、画素位置ｑ３において２．０５倍、画素位置ｑ４において１．９７倍、画素位置ｑ５において２．１４倍、画素位置ｑ６において２．１４倍である。

図９（ｂ）に実線で示されるように、入力画像の信号は、輝度信号レベルに一致しているとすると、各画素の利得補正した出力画像信号Ｘｏｕｔは、画素位置ｑ１において０．２３、画素位置ｑ２において０．４３、画素位置ｑ３において０．６２、画素位置ｑ４において０．３９、画素位置ｑ５において０．６４、画素位置ｑ６において０．２１となる。

図８（ｂ）から分かるように、明るい領域ＤＳ１では、補正利得が約１．２倍と、ほぼ入力画像と同一の信号レベルの出力画像が出力される。これにより、明るい領域の画素単位のコントラストは、保持される。これに対し、図９（ｂ）から分かるように、暗い領域ＨＤ１では、補正利得が約２倍となる。このことは、黒レベルで圧縮されていた信号レベルが、明るくなった上、暗い領域の画素単位のコントラストも増幅されていることを示している。

以上に説明したように、平均輝度Ｙａｖｇにより画素ごとに補正利得Ｇ_ｋを求め、補正利得Ｇ_ｋを画像信号に画素ごとに乗算する処理を施すことにより、暗い領域ＨＤ１は鮮明に（図７のＨＤ２）、明るい領域ＤＳ１は、そのままのコントラストを維持する（図７のＤＳ２）のように、ダイナミックレンジを改善できる。

図１０は、入力画像の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図であり、図１１は、改善された画像の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図である。図１０及び図１１は、図６、図７、図８（ａ）、（ｂ）、図９（ａ）、（ｂ）のダイナミックレンジ改善の効果をヒストグラムにより示している。

図１０及び図１１に示されるように、入力画像の明るい領域（図１０のＤＳ１）は、高輝度領域であるため、撮像画像は、高い輝度レベルに分布する。また、入力画像の暗い領域ＨＤ１は、低輝度領域であるため、撮像画像は、低い輝度レベルに分布する。

図１０及び図１１に示されるように、入力画像の補正を行うと、明るい領域ＤＳ１では、補正利得が小さいため、領域ＤＳ２の高い輝度レベルに分布していた２点鎖線で示される信号は、領域ＤＳ２の実線で示される信号になるが、変化は小さい。これに対し、領域ＨＤ１の低輝度レベルに分布した２点鎖線で示される信号は、領域ＨＤ２の実線で示される信号になり、変化が大きい。

このことは、式（３）を用いた補正を行うことで、低輝度においても、高輝度においても、コントラストが改善され、低輝度側の黒つぶれが解消されること、及び、低輝度の信号が大きく高輝度側に移動することで、視認性のより、メリハリのあるダイナミックレンジが改善された画像が得られることを示している。さらに、補正を行うことで、平均輝度が中央付近に分布することになり、ダイナミックレンジの狭い表示装置（例えば、液晶ディスプレイ）においても、表示品位の向上が図れる。

また、実施の形態１に係る画像処理装置５によれば、補正を行う画素の周辺画素の輝度分布に基づいて、補正を行う画素のダイナミックレンジを補正するので、解析結果の反映タイミングを極力短くするができ、入力画像のダイナミックレンジを適切に改善することができる。

さらに、実施の形態１に係る画像処理装置５によれば、外付けフレームメモリを用いることなく画素単位でダイナミックレンジ拡大を実現でき、また、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

実施の形態２．
図１２は、本発明の実施の形態２に係る画像処理装置（実施の形態２に係る画像処理方法を実施する装置）１２の構成を概略的に示すブロック図である。実施の形態２に係る画像処理装置１２は、輝度検出手段１と、フィルタ手段２と、補正利得検出手段３と、乗算手段４と、オフセット検出手段９と、オフセット減算手段１０と、オフセット加算手段１１とを有する。図１２において、図１の構成と同一又は対応する構成には、同じ符号を付す。

実施の形態２に係る画像処理装置１２は、入力画像の信号レベルのオフセットを調整する手段を有している。オフセットは、入力画像を撮影した撮像装置（図示せず）が、逆光状態であったり、撮像装置のレンズのフレアーが画像に影響を及ぼしたり、被写体の撮像環境・条件により、信号レベルが黒浮きした状態である。

以下に、オフセット調整を行った場合の詳細な補正の動作を説明する。オフセット検出手段９は、入力画像Ｘｉｎの最小信号を検出することで、入力画像の黒浮きの程度を示すオフセット量を求める。オフセット量Ｏｆｆｓｅｔは、次式（７）で求めることができる。
Ｏｆｆｓｅｔ＝Ｐ×ＭＩＮ（Ｒ，Ｇ，Ｂ） …（７）
ここで、ＭＩＮ（Ｒ，Ｇ，Ｂ）は、入力画像ＲＧＢ信号の最小値を示しており、Ｐは、０≦Ｐ≦１を満たす正の実数である。オフセット量Ｏｆｆｓｅｔは、１フレーム以上前の補正を行うために有効な１画面分の画像のＲ，Ｇ，Ｂ信号の最小値ＭＩＮ（Ｒ，Ｇ，Ｂ）を検出し、記憶することで、自動検出することができる。

図１２では、オフセット検出手段９によってオフセット量Ｏｆｆｓｅｔを入力画像Ｘｉｎから自動検出する場合の構成を示しているが、オフセット量Ｏｆｆｓｅｔを外部装置から入力する構成を採用することもできる。外部装置において、補正を行いたい対象の信号に対して、補正利得を向上することで、外部装置の性能改善が行える。具体的には、外部装置では、指紋、静脈、顔などのバイオメトリック認証や、形状認証、文字認識などの高度な画像処理を行い、被写体の特徴点（顔認証の場合は、顔）を検出し、特徴点の検出結果をもとに認証を行う機能を有している。外部装置においては、画像処理装置５の画像より、特徴点を有する領域と、領域内の信号レベルを検出した結果より、オフセット量Ｏｆｆｓｅｔを求め、設定することで、特徴点の信号を強調することが可能となる。また、特徴点の信号レベルが増大することで、外部装置の検出精度、認証率などの性能を向上させることができる。

オフセット減算手段１０は、オフセット検出手段９で求めたオフセット量Ｏｆｆｓｅｔを、座標（Ｍ，Ｎ）の入力Ｒ信号Ｒｉｎ（Ｍ，Ｎ）、座標（Ｍ，Ｎ）の入力Ｇ信号Ｇｉｎ（Ｍ，Ｎ）、座標（Ｍ，Ｎ）の入力Ｂ信号Ｂｉｎ（Ｍ，Ｎ）のそれぞれから減算して、
Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと、
Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと、
Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと
を出力する。

演算手段４は、オフセット減算手段１０からのオフセット量Ｏｆｆｓｅｔを減算した信号に、補正利得検出手段３で得た補正利得Ｇ_ｋを乗算して、
Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と、
Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と、
Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と
を出力する。

オフセット加算手段１１は、乗算手段８からの乗算信号が入力され、オフセット減算手段１０と同じオフセット量Ｏｆｆｓｅｔを加算して、
Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと
を出力する。

オフセット減算手段１０、演算手段４、及びオフセット加算手段１１の処理をまとめると、次式（８ａ）、（８ｂ）、（８ｃ）のようになる。
Ｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（８ａ）
Ｇｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（８ｂ）
Ｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（８ｃ）

オフセット補正を行わない場合、補正利得Ｇ_ｋがオフセット量Ｏｆｆｓｅｔを増幅してしまい、コントラストを向上させたい信号への補正利得が減少し、全体的にコントラストの無い信号へ変換してしまう。オフセット補正を行うことで、コントラストを向上させたい信号への補正利得を増大させることができ、コントラストの高い処理が実現できる。

なお、オフセット減算手段１０とオフセット加算手段１１のオフセット量は、０≦Ｐ≦１を満たす範囲で、異なる値になってもよい。特に、オフセット加算手段１１のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段１０のオフセット量Ｏｆｆｓｅｔに比べ小さくすることで、黒浮きが軽減される効果を有する。つまり、オフセット補正後の信号は、オフセット量Ｏｆｆｓｅｔ１により、画像の黒つぶれを防いだ上で、オフセット補正前の黒浮き分が補正され、メリハリの無い、黒信号のしまりのない画質を改善できる。つまり、黒レベルのしまった画像を得られる。オフセット加算手段１１のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段１０のオフセット量Ｏｆｆｓｅｔに比べ小さくする処理は、次式（９ａ）、（９ｂ）、（９ｃ）、（９ｄ）のようになる。
Ｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（９ａ）
Ｇｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（９ｂ）
Ｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（９ｃ）
Ｏｆｆｓｅｔ＞Ｏｆｆｓｅｔ１ …（９ｄ）

なお、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態２に係る画像処理装置１２によれば、画像のオフセット量を検出することができ、検出したオフセット量に基づいてオフセット補正することで、低い輝度に分布した信号のコントラストを改善による画質の向上を図れる。

また、実施の形態２に係る画像処理装置においては、補正利得処理前のオフセット量の減算量と補正利得処理後のオフセット量の加算量を切替えることが可能であり、オフセット補正後の黒信号のしまりを向上させることができ、画質の向上を図れる。

実施の形態３．
実施の形態３に係る画像処理装置は、補正利得検出手段３による補正利得算出の計算式が、上記実施の形態１において示した式（３）と異なる。具体的には、補正利得Ｇ_ｋは、最大利得Ｇｍａｘと、最小利得Ｇｍｉｎ、平均輝度Ｙａｖｇと、最大輝度Ｙｍａｘを用いて、次式（１０）により得る。

ここで、Ｇｍｉｎは、入力画像の高輝度信号に乗算する最小利得を示している。

図１３は、式（１０）の演算を行う補正利得検出手段３から出力される補正利得Ｇ_ｋを示すグラフであり、図１４は、実施の形態３において用いる補正利得を、最大輝度で規格化した平均輝度に乗算した値を示すグラフである。図１４において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇ_ｋを乗算した値Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示す。

実施の形態３の補正利得は、Ｇｍｉｎは、実験的、統計的な処理で得られた補正利得の最小値であり、式（１）に比べ、Ｙａｖｇ／Ｙｍａｘが大きくなっても、補正利得Ｇ_ｋは、１未満の値を持つ。平均輝度が高い領域では、平均輝度を中心に画素ごとの信号レベルはばらついている。この画素ごとの信号のバラツキに対して補正利得を式（３）に比べて、小さくすることができ、高輝度部の白つぶれを防止することができる。高輝度部のコントラスト信号を白つぶれにて無くすことを防ぎ、補正利得Ｇｍｉｎにより、圧縮してコントラスト信号を保存することができる。

なお、補正利得の特性は、図１４に示されるような特性に限らず、例えば、図１５又は図１６に示されるような特性を持つ補正利得を実現することもできる。このような補正利得を用いることによって、表示装置（図示せず）や撮像装置の階調特性を考慮した、表示装置や撮像装置に最適なダイナミックレンジ改良を行うことができる。

また、実施の形態３において、上記以外の点は、上記実施の形態１又は２の場合と同じである。

実施の形態３の画像処理装置５または、画像処理装置１２によれば、明るさが明るい分布の高輝度信号のコントラスト情報を維持することができ、白つぶれすることを防ぐことができる。

実施の形態４．
本発明の実施の形態４に係る画像処理装置は、フィルタ手段２によるフィルタ処理の内容が、上記実施の形態１乃至３の場合と相違する。実施の形態４においては、フィルタ手段は、例えば、非線形フィルタであるイプシロンフィルタ（εフィルタ）を有している。

図１７は、実施の形態４におけるフィルタ手段の非線形フィルタをεフィルタで構成する場合の区間線形関数を示す図である。また、図１８は、フィルタ手段として線形フィルタを用いた比較例の補正後の輝度信号レベルを示す図である。また、図１９は、実施の形態４の非線形フィルタを用いた場合の補正後の輝度信号レベルを示す図である。

図１８に示されるように、フィルタ手段として線形フィルタを用いた比較例の場合には、入力画像は平滑化されるため、領域輝度が急激に変化する領域（例えば、図１８の補正前の輝度レベルは画素位置５と６の間で急激に変化している）が入力画像中に存在した場合、平均輝度Ｙａｖｇは、急激な輝度変化の影響を受ける。なお、図１８に示される平均輝度（フィルタ出力）は、タップ数ｎ＝５で求めた値である。

画素位置５では、画素位置６以降の高い輝度信号の影響を受け、画素位置１から画素位置４までの平均輝度（フィルタ出力）に比べ、平均輝度が高いレベルで出力される。平均輝度が高くなることで、補正利得は小さくなり、画素位置５の補正後の出力画像（図１８における太い実線）の信号レベルは小さくなっていることが分かる。

また、画素位置６においては、平均輝度が、画素位置５以前の輝度信号の影響を受け、小さな値となる。このため、補正利得は大きくなり、補正後の出力レベル（図１８における太い実線）は大きな値となる。画素間の輝度変化が激しい領域（エッジ領域）において、補正利得が大きくなることで、エッジ部の信号が強調される、アパーチャ効果によりコントラスト感を強調できる。アパーチャ効果を持つことは、写真、ディスプレイなどの観賞を目的とした画像処理や、エッジが強調された画像を用いて認識処理が可能な認識装置において、エッジ部が強調され、メリハリのある、視感度の高い、表示品位の高い画像を生成することができる。

一方、微少のコントラスト差から特徴点を検出する認証装置においては、前処理において、エッジ強調をかけずに、忠実な信号を出力する必要がある。したがって、このように、輝度の変化が激しい領域が存在する場合、平均輝度において、輝度の変化を考慮する必要がある。

そこで、実施の形態４においては、フィルタ手段２に非線形のフィルタ特性を持たせることで、輝度の変化が激しい場合においても、前述の問題を除くことが可能となる。例えば、フィルタ手段２に非線形のεフィルタを用いる。一般に、一次のεフィルタは、次式（１１）及び（１２）で定義される。

このとき、関数ｆ（ｘ）は、ｘを変数とする区間線形関数であり、次式（１３）で与えられる。ｙ（ｎ）は、Ｙ信号のεフィルタの出力の平均輝度を、ｘ（ｎ）は、ｎ画素の輝度を示している。式（１３）は、画素（ｎ）と、平均を求める画素間（±ｋ画素）の差分値を求める。差分値が、ε以内であれば平均値を求めるために差分値を用い、差分値がεを超える場合はα（ここでは、０）を用いる。このような処理を行うことで、急激な輝度変化を伴うエッジやノイズによる特異的に輝度が変化する場合など、輝度の急激な変化量に対して平均値が引きずられることが無く補正利得を求めることができる。

ここで、α＝０とした関数が、図１７に示される区間線形関数である。

フィルタ手段２に非線形のεフィルタを用いた場合の平均輝度を図１９に示す。画素位置５や画素位置６においても、入力画像の輝度の変化（傾向）を再現している。また、補正利得を演算した出力画像の信号レベルにおいても、図１８の特性とは異なり、入力画像の輝度の変化（傾向）を再現できている。

このように、εフィルタを用いることで、入力画像において、急峻な輝度変化の存在する画像においてもエッジ情報を保持したうえで、最適なダイナミックレンジ変換処理を実現することができる。

εフィルタは、コンパレータとラインメモリで構成でき、ハードウェアの実装面積の縮小、ソフトウェア処理時間の短縮化などの効果がある。

なお、εフィルタに限らず、領域の輝度レベルを検出することが可能な手段であれば、メジアンフィルタ、スタックフィルタなどの非線形フィルタを用いた構成でもよい。

また、実施の形態４において、上記以外の点は、上記実施の形態１乃至３の場合のいずれかと同じである。

実施の形態４の信号処理装置５、信号処理装置１２によれば、フィルタ手段の出力が、エッジ情報を保持することができ、急激な輝度変化の場合のマッハ効果を抑制することができる。

本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態１に係る画像処理装置の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。 実施の形態１に係る画像処理装置において用いる補正利得を示すグラフである。 実施の形態１に係る画像処理装置において用いる補正利得を示す表である。 実施の形態１に係る画像処理装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態１に係る画像処理装置による補正処理前の画像の一例を示す図である。 実施の形態１に係る画像処理装置による補正処理後の画像の一例を示す図である。 （ａ）は、図６に示される輝度の高い領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図６に示される輝度の高い領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す図である。 （ａ）は、図６に示される輝度の低い領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図６に示される輝度の低い領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す図である。 入力画像の各輝度の発生頻度（度数）をヒストグラムにより示す図である。 改善された画像の各輝度の発生頻度（度数）をヒストグラムにより示す図である。 本発明の実施の形態２に係る画像処理装置（実施の形態２に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態３に係る画像処理装置において用いる補正利得を示すグラフである。 実施の形態３に係る画像処理装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態３に係る他の画像処理装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態３に係る他の画像処理装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 本発明の実施の形態４に係る画像処理装置のフィルタ手段をεフィルタで構成する場合の区間線形関数を示す図である。 フィルタ手段として線形フィルタを用いた比較例の画像処理装置の補正後の輝度信号レベルを示す図である。 実施の形態４に係る画像処理装置のフィルタ手段として非線形フィルタを用いた場合の補正後の輝度信号レベルを示す図である。

符号の説明

１ 輝度検出手段、 ２ フィルタ手段、 ３ 補正利得検出手段、 ４ 演算手段、 ５，１２ 画像処理手段、 ６ ディレイ手段、 ７ 係数手段、 ８ 加算手段、 ９ オフセット検出手段、 １０ オフセット減算手段、 １１ オフセット加算手段。

Claims (5)

1. 入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理装置において、
   補正を行う画素と該補正を行う画素の周辺画素の輝度の分布を求めて出力するフィルタ手段と、
   前記フィルタ手段の出力から、前記補正を行う画素の補正利得を求める補正利得検出手段と、
   前記補正利得検出手段によって求められた前記補正利得を用いて、前記入力画像信号の画素ごとに演算を施す演算手段と
   を有し、
   前記フィルタ手段の出力は、補正を行う画素と該補正を行う画素の周辺画素の平均輝度であり、
   前記演算手段による前記演算は、乗算であり、
   前記補正利得検出手段は、前記平均輝度に前記補正利得を乗算した値が単調増加関数となるように、かつ、前記平均輝度が大きい場合には、前記補正利得が小さくなる特性であり、前記平均輝度が小さい場合には、前記補正利得が大きくなる特性を持つように、前記補正利得を算出する
   ことを特徴とする画像処理装置。
2. 前記フィルタ手段の出力をＹａｖｇとし、
   前記フィルタ手段の出力の最大値Ｙｍａｘとし、
   前記補正利得をＧ_ｋとし、
   前記補正利得の最大値をＧｍａｘとしたときに、次式
   

   

   の関係を満たすことを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ手段の出力をＹａｖｇとし、
   前記フィルタ手段の出力の最大値Ｙｍａｘとし、
   前記補正利得をＧ_ｋとし、
   前記補正利得の最大値をＧｍａｘとし、
   前記補正利得の最小値をＧｍｉｎとしたときに、次式
   

   

   の関係を満たすことを特徴とする請求項１に記載の画像処理装置。
4. 前記入力画像信号から入力画像の黒浮きの程度を示す第１のオフセット量を検出するオフセット検出手段と、
   前記入力画像信号から、前記第１のオフセット量を減算するオフセット減算手段と、
   前記演算手段の出力に、前記第１のオフセット量に等しいか又は前記第１のオフセット量より小さい第２のオフセット量を加算するオフセット加算手段と
   を有し、
   前記演算手段による前記演算は、前記オフセット減算手段の出力に対して行われる
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理方法において、
   補正を行う画素と該補正を行う画素の周辺画素の輝度の分布を求めるステップと、
   前記輝度の分布から、前記補正を行う画素の補正利得を求めるステップと、
   前記求められた前記補正利得を用いて、前記入力画像信号の画素ごとに演算を施すステップと
   を有し、
   前記輝度の分布を求めるステップにおける前記輝度の分布は、補正を行う画素と該補正を行う画素の周辺画素の平均輝度であり、
   前記演算を施すステップにおける前記演算は、乗算であり、
   前記補正利得を求めるステップにおける前記補正利得は、
   前記平均輝度に前記補正利得を乗算した値が単調増加関数となるように、かつ、前記平均輝度が大きい場合には、前記補正利得が小さくなる特性であり、前記平均輝度が小さい場合には、前記補正利得が大きくなる特性を持つように、算出さる
   ことを特徴とする画像処理方法。

Images