JP5142833B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像信号を画素ごとに補正する画像処理装置及び画像処理方法に関するものである。

従来、画像の階調特性を改善する方法として、１画面の入力画像から同一輝度の画素の画素数を累積することによって得られる累積頻度（ヒストグラム）が、均等に分布するように階調変換を行う、ヒストグラムイコライゼーションが提案されている（例えば、特許文献１参照）。

また、入力画像から空間的な輝度変化の加重平均を求め、求められた加重平均の対数変換値と、入力画像の対数変換値とから、改善された輝度信号を算出することで、画像のダイナミックレンジを改善させるＲＥＴＩＮＥＸと呼ばれる方法が提案されている（例えば、非特許文献１及び特許文献２参照）。

ヒストグラムイコライゼーションでは、少なくとも１画面分の画像のヒストグラムデータを記録し、記録されたヒストグラムデータからヒストグラムの偏りを解析し、この解析結果をもとに階調特性を決める。このため、解析に使用した画像と解析結果を反映する画像との間には、１画面以上のタイミングずれが生じるので、入力画像のダイナミックレンジが適切に改善されない場合があった。例えば、動画像において、上記のような１画面以上のタイミングずれがある場合は、解析に使用した画像と解析結果を反映する画像との違いによって、解析結果を反映する画像に対して最適な階調特性を決めることができない。

また、ＲＥＴＩＮＥＸを用いる方法では、加重平均を用いるための畳み込み積分及び加重平均と入力信号の対数計算などの計算処理が複雑であるので、ハードウェア（例えば、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールド プログラマブル ゲート アレイ）や組込みマイコンによってＲＥＴＩＮＥＸを実行する場合に、処理時間が長くなる、及び実装容量（ゲート規模、メモリ容量）が大きくなる。

そこで、より簡単な構成で、入力画像のダイナミックレンジを改善する方法として、画素ごとに周辺画素の平均輝度を求め、その平均輝度から求めた補正利得を乗算することにより、入力画像の輝度値を補正する方法が提案されている（例えば、特許文献３参照）。

この方法では、補正を行う画素の周辺画素の輝度情報のみを用いて各画素の補正を行うので、解析結果の反映タイミングを極力短くすることができる。また、外付けフレームメモリを用いる必要がないため、計算や処理を簡素化することができ、構成の簡素化によるコスト低減を図ることができる。

特開２００２−２７２８５号公報（段落００２９−００４１、図１） 特開２００５−３８１１９号公報（段落００２８−００３１、図１） 特開２００８−７２４５０号公報 Ｚ．Ｒａｈｍａｎ ｅｔ ａｌ．， "Ａ Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ Ｆｏｒ Ｃｏｌｏｒ Ｒｅｎｄｉｔｉｏｎ ａｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ"， ＸＩＸ Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．２８４７， ｐｐ．１８３−１９１， Ｎｏｖ．１９９６

しかしながら、特許文献３による方法では、周辺の平均輝度から補正を行う画素の補正利得を求める際に、輝度の大小にかかわらず単一の関係を用いるため、高輝度部において補正利得が適切な値とならない場合があった。例えば、高輝度部の補正利得が１倍よりも大きい値となる場合には、補正により飽和する画素が現れ、白とびやカラーバランスのくずれが起こるという問題があった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、簡単な構成で入力画像のダイナミックレンジを適切に改善することができ、かつ、高輝度部における画質を維持することができる画像処理装置及び画像処理方法を提供することにある。

本発明の画像処理装置は、入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理装置において、補正を行う画素と該補正を行う画素の周辺画素の平均輝度を求めて出力するフィルタ手段と、前記補正を行う画素の補正利得を出力する補正利得出力手段と、前記補正利得出力手段から出力される前記補正利得を、前記入力画像信号に画素ごとに乗算して、前記補正後の画像信号を生成する補正利得演算手段と、前記入力画像信号から画像の情報を抽出して解析する画像解析手段と、前記画像解析手段による画像解析結果に基づいて前記補正利得出力手段が保持する閾値の最適値を決定するパラメータ検出手段とを有し、前記補正利得出力手段は、前記平均輝度がゼロのときに最大値となり、前記平均輝度が増加するにつれて単調減少する値の第１の補正利得を出力する第１の手段と、前記平均輝度に依存しない一定の値の第２の補正利得を出力する第２の手段と、前記閾値が保持されており、前記平均輝度が前記閾値以下か前記閾値を超えるかを判断し、前記平均輝度が前記閾値以下であるときに前記補正利得出力手段から出力される前記補正利得を前記第１の補正利得とし、前記平均輝度が前記閾値を超えるときに前記補正利得出力手段から出力される前記補正利得を前記第２の補正利得とする切替手段とを有し、前記画像解析手段は、前記入力画像信号の各輝度の発生頻度を示すヒストグラムを前記画像解析結果として出力し、前記パラメータ検出手段は、前記画像解析結果から得られた前記ヒストグラムにおける発生頻度に基づいて検出された領域の分布位置に応じて、前記閾値の最適値を決定して前記補正利得出力手段に出力することを特徴としている。

また、本発明の画像処理方法は、入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理方法において、補正を行う画素と該補正を行う画素の周辺画素の平均輝度を求めて出力するフィルタステップと、前記補正を行う画素の補正利得を出力する補正利得出力ステップと、前記補正利得出力ステップにおいて出力される前記補正利得を、前記入力画像信号に画素ごとに乗算して、前記補正後の画像信号を生成する補正利得演算ステップと、前記入力画像信号から画像の情報を抽出して解析する画像解析ステップと、前記画像解析手段による画像解析結果に基づいて前記補正利得出力手段が保持する閾値の最適値を決定するパラメータ検出ステップとを有し、前記補正利得出力ステップは、前記平均輝度がゼロのとき最大値となり、前記平均輝度が増加するにつれて単調減少する値の第１の補正利得を出力する第１のステップと、前記平均輝度に依存しない一定の値の第２の補正利得を出力する第２のステップと、記憶手段に前記閾値が保持されており、前記平均輝度が前記閾値以下か前記閾値を超えるかを判断し、前記平均輝度が前記閾値以下であるときに前記補正利得出力ステップにおいて出力される前記補正利得を前記第１の補正利得とし、前記平均輝度が前記閾値を超えるときに前記補正利得出力ステップにおいて出力される前記補正利得を前記第２の補正利得とする切替ステップとを有し、前記画像解析ステップにおいては、前記入力画像信号の各輝度の発生頻度を示すヒストグラムを前記画像解析結果として出力し、前記パラメータ検出ステップにおいては、前記画像解析結果から得られた前記ヒストグラムにおける発生頻度に基づいて検出された領域の分布位置に応じて、前記閾値の最適値を決定して出力し、前記記憶手段に保持させることを特徴としている。

本発明によれば、補正を行う画素の周辺画素の輝度分布に基づいて画素ごとに補正利得を求め、この補正利得を用いて補正を行う画素を補正するので、入力画像の階調特性を適切に改善することができる。

また、本発明によれば、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

さらに、本発明によれば、補正後の画像において、高輝度部での飽和による白とびや色の変化を防ぐことができるので、画質の向上を図ることができる。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）５の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る画像処理装置５は、輝度検出手段１と、フィルタ手段２と、補正利得出力手段３と、補正利得演算手段４とを有する。なお、本出願において「…手段」と呼ばれる構成は、機能ブロックを意味し、電気回路などのハードウェア、プログラムにより動作するソフトウェア、又はハードウェアとソフトウェアの組み合わせのいずれで構成してもよい。例えば、輝度検出手段１と、フィルタ手段２と、補正利得出力手段３と、補正利得演算手段４は、マイコン（図示せず）を用いたソフトウェアによって実現することができる。

実施の形態１に係る画像処理装置５は、入力画像信号Ｘｉｎに基づいて画素ごとに補正利得Ｇ_ｋを算出し、算出された補正利得Ｇ_ｋを用いて入力画像信号Ｘｉｎに画素ごとに補正処理を施して、補正後の画像信号Ｘｏｕｔを生成する。画像処理装置５の補正処理では、例えば、固体撮像素子を用いて撮像された撮像画像のダイナミックレンジを改善する。この補正処理により、従来、黒つぶれしやすかった撮像画面内の低輝度部のコントラストを改善し、認識性能及び撮像性能を向上させることができる。

入力画像信号Ｘｉｎは、例えば、８ビット階調で、水平６４０×垂直４８０画素に２次元配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画像信号（以下「ＲＧＢ信号」と言う。）である。入力画像信号ＸｉｎのＲ信号レベルをＲ（Ｍ，Ｎ）、入力画像信号ＸｉｎのＧ信号レベルをＧ（Ｍ，Ｎ）、入力画像信号ＸｉｎのＢ信号レベルをＢ（Ｍ，Ｎ）と表記する。ここで、Ｍは水平画素位置、Ｎは垂直画素位置を示す。

入力画像信号Ｘｉｎは、ＲＧＢ信号に限らず、ＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）信号などであってもよい。画像処理装置５は、入力画像信号ＸｉｎとしてＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ信号を用いる場合には、各色空間の信号をＲＧＢ信号に色変換処理する色変換手段（図示せず）を備える。また、入力画像信号Ｘｉｎの階調数は、上記８ビットに限定されず、静止画ファイルで用いられる１０ビット又は１２ビットなどの他の階調数であってもよい。さらに、入力画像信号Ｘｉｎの画素数は、上記値に限定されず、水平１０２４×垂直９６０画素などの他の画素数であってもよい。

輝度検出手段１は、入力画像信号Ｘｉｎから輝度信号成分を求めて出力する。ＩＴＵ−Ｒ ＢＴ．７０９規定の場合、輝度信号Ｙは、ＲＧＢ信号から、次式（１）で求めることができる。
Ｙ＝０．２９９×Ｒ（Ｍ，Ｎ）＋０．５８７×Ｇ（Ｍ，Ｎ）＋０．１１４×Ｂ（Ｍ，Ｎ）
…（１）
なお、ＲＧＢ信号から輝度信号Ｙを求めるための変換式は、上記式（１）に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。また、入力画像信号Ｘｉｎに輝度信号Ｙが含まれる場合は、輝度検出手段１は、輝度信号Ｙを求めるための計算を行わずに、入力画像信号Ｘｉｎの輝度信号Ｙをフィルタ手段２に出力する。

図２は、フィルタ手段２の構成例を示す図である。図２に示されるように、フィルタ手段２は、例えば、１次元ｎタップの非巡回型デジタルフィルタであり、ディレイ手段２１と、係数手段２２と、加算手段２３とを有する。ディレイ手段２１は、入力画像信号Ｘｉｎの輝度信号を遅延させる遅延素子ＤＬ（−１）、遅延素子ＤＬ（−１）の出力を遅延させる遅延素子ＤＬ（０）、及び遅延素子ＤＬ（０）の出力を遅延させる遅延素子ＤＬ（１）を有する。係数手段２２は、遅延素子ＤＬ（−１）の出力に係数ａ_ｋ（−１）を乗算する乗算器、遅延素子ＤＬ（０）の出力に係数ａ_ｋ（０）を乗算する乗算器、及び遅延素子ＤＬ（１）の出力に係数ａ_ｋ（１）を乗算する乗算器を有する。なお、タップ数ｎは、ｎ＝２×ｋ＋１（ｋは正の整数）を満たす。

フィルタ手段２は、輝度検出手段１から出力された輝度信号にフィルタ処理を施して、フィルタ処理後のフィルタ信号を出力する。図２は、タップ数ｎが３タップである場合を示す。なお、フィルタ手段２から出力されるフィルタ信号は、例えば、平均輝度Ｙａｖｇであり、次式（２）で求めることができる。

式（２）において、Ｙ（−１）、Ｙ（０）、及びＹ（１）はそれぞれ、補正を行う画素の１画素後の画素の輝度信号、補正を行う画素の輝度信号、及び補正を行う画素の１画素前の画素の輝度信号を示す。ここで、係数ａ_ｋ（−１）＝ａ_ｋ（０）＝ａ_ｋ（１）＝１とすると、式（２）の分母は、次式のようになる。

したがって、式（２）により、補正を行う画素と、補正を行う画素の周辺画素の平均輝度を求めることができる。なお、「補正を行う画素の周辺画素」とは、ｉを所定の整数としたときに、補正を行う画素のｉ画素前の画素から補正を行う画素の１画素前の画素まで、及び、補正を行う画素の１画素後の画素から補正を行う画素のｉ画素後の画素までである。所定の整数ｉが１であるときには、「補正を行う画素の周辺画素」は、補正を行う画素の１画素前の画素、及び、補正を行う画素の１画素後の画素である。

このように１次元の非巡回型デジタルフィルタの構成を用いることで、輝度検出手段１の輝度信号Ｙの１次元方向のフィルタ出力を求めることができる。求められたフィルタ出力は、輝度信号Ｙと補正を行う画素の周辺画素の平均値を求めるように構成することで、１次元方向の明るさの分布の変化を求めることができる。よって、明るさの分布の変化に対応した補正利得を検出することができ、明るさの分布の変化を考慮した、信号のコントラストを補正することができる。また、デジタル信号処理回路としては、一般的な構成であり、回路規模の簡素化が図れ、ゲート規模削減、コスト低下の効果がある。

タップ数ｎは、３タップに限らず、任意のタップ数とすることができる。タップ数を増やすことで、カットオフ周波数の特性を細かく設定することができ、また、広い範囲に及ぶ緩やかな輝度変化を検出することができる。このように、タップ数ｎを切替えることで、入力画像内の異なる照明条件による輝度分布の変化に応じて最適なフィルタ手段２を構成することができる。

以上の説明においては、フィルタ手段２が１次元の非巡回型デジタルフィルタである場合を説明したが、フィルタ手段２は２次元の非巡回型デジタルフィルタであってもよい。２次元の非巡回型デジタルフィルタを用いることによって、入力画像の輝度の領域的な変化を検出することができる。

また、フィルタ手段２は、上記式（２）に基づく平均輝度Ｙａｖｇを算出する処理を行う構成に限定されず、明るさの分布の変化を求めることができる構成であれば良く、加重平均を出力する構成、ローパスフィルタを用いた構成、又はバンドパスフィルタを用いた構成等のような他の構成とすることができる。

図１に示されるように、補正利得出力手段３は、フィルタ手段２から出力されたフィルタ信号である平均輝度Ｙａｖｇに基づいて補正利得Ｇ_ｋを出力する。補正利得出力手段３は、例えば、平均輝度Ｙａｖｇに依存して変化する第１の補正利得Ｇ_ｋ１を出力する第１の手段３１と、平均輝度Ｙａｖｇに依存しない一定の値の第２の補正利得Ｇ_ｋ２を出力する第２の手段３２と、閾値（切替点輝度）Ｙｔｐが保持されており、平均輝度Ｙａｖｇが切替点輝度Ｙｔｐ以下か切替点輝度Ｙｔｐを超えるかを判断し、平均輝度Ｙａｖｇが切替点輝度Ｙｔｐ以下であるときに補正利得出力手段３から出力される補正利得Ｇ_ｋを第１の補正利得Ｇ_ｋ１とし、平均輝度Ｙａｖｇが切替点輝度Ｙｔｐを超えるときに補正利得出力手段３から出力される補正利得Ｇ_ｋを第２の補正利得Ｇ_ｋ２とする切替手段３３とを有する。なお、補正利得出力手段３内に示される３つの機能ブロック（第１の手段３１、第２の手段３２、及び切替手段３３）は、それぞれ独立した構成を意味するものではなく、３つの機能ブロックを１つの構成（回路又はソフトウェアなど）で実現してもよい。例えば、ルックアップテーブルを保持する記憶手段とそこからデータを読み出す読出手段、又は、１つの計算手段などによって補正利得出力手段３を実現できる。また、補正利得Ｇ_ｋの算出処理の詳細は、後述する。

また、図１に示されるように、補正利得演算手段４は、補正利得出力手段３から出力された補正利得Ｇ_ｋが入力され、入力画像信号Ｘｉｎに補正利得Ｇ_ｋを乗算して出力する。

図３は、実施の形態１に係る画像処理装置５の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。図３に示されるように、実施の形態１に係る画像処理装置５は、フィルタ処理（ステップＳ１）、画素ごとの補正利得の演算処理（画素利得演算処理）である補正利得検出処理（ステップＳ２）、及び補正利得を用いて入力画像信号を補正する補正利得演算処理である乗算処理（ステップＳ３）を行う。フィルタ処理（ステップＳ１）において、フィルタ手段２は入力画像信号Ｘｉｎの輝度信号Ｙにフィルタ処理を施し、フィルタ処理後の輝度信号Ｙａｖｇを出力する。次の補正利得検出処理（ステップＳ２）において、フィルタ手段２からの出力に応じて画素ごとの補正利得Ｇ_ｋを求める。次の補正利得演算処理（ステップＳ３）において、補正利得演算手段４は補正利得検出処理（ステップＳ２）によって得られた補正利得Ｇ_ｋを用いて入力画像信号Ｘｉｎの演算を画素ごとに行い、補正後の画像信号Ｘｏｕｔを出力する。

以下に、補正利得出力手段３及び補正利得演算手段４の動作を詳細に説明する。実施の形態１において、補正利得出力手段３は、入力画像信号Ｘｉｎの低輝度部（所定の輝度値以下の輝度値の画素により構成される領域）と高輝度部（所定の輝度値を超える輝度値の画素により構成される領域）で、異なる算出式を用いて補正利得Ｇ_ｋを求める。低輝度部に対する補正利得Ｇ_ｋは、例えば、式（３ａ）により求め、高輝度部に対する補正利得Ｇ_ｋは、例えば、式（３ｂ）により求める。式（３ａ）の補正利得Ｇ_ｋは、図１の第１の手段３１から出力される第１の補正利得Ｇ_ｋ１であり、式（３ｂ）の補正利得Ｇ_ｋは、図１の第２の手段３２から出力される第２の補正利得Ｇ_ｋ２である。

式（３ａ）及び（３ｂ）において、Ｙａｖｇは、フィルタ手段２から出力され補正利得出力手段３に入力される平均輝度を示し、Ｇｍａｘは、補正利得の最大値である最大利得を示し、Ｙｍａｘは、フィルタ手段２の最大出力である最大輝度を示し、Ｙｔｐは、低輝度部と高輝度部を分ける切替点（閾値）の輝度値（切替点輝度）を示す。

最大輝度Ｙｍａｘは、画像信号のデジタル分解能（階調数）により一義的に決まる。例えば、８ビット階調の場合は、最大輝度Ｙｍａｘは２５５であり、１０ビット階調の場合は、最大輝度Ｙｍａｘは１０２３である。

最大利得Ｇｍａｘは、入力画像のダイナミックレンジを向上させ、コントラストが改善できるように、予め統計的、実験的に得られた補正利得である。γ補正による画像処理では、メリハリの無いコントラストの低い画像であったが、補正利得を用いることで、コントラスト感の高い画像となり、表示品位が向上する。補正利得出力手段３は、最大利得Ｇｍａｘを入力画像信号のレベルによらず一定値とする構成とすることができ、又は、入力画像信号の黒レベルと白レベルの頻度や、平均映像信号レベルなどの入力画像信号から得られる、画面全体や被写体の明るさ、コントラスト、輝度分布、輝度のヒストグラム、色の分布等の情報に応じて最大利得Ｇｍａｘを切替える構成とすることもできる。このように最大利得Ｇｍａｘが調整可能であることは、動画像に用いた場合に、動画像内の明るさの分布に最適な補正利得を得られ、画質の最適化を図れる。

切替点輝度Ｙｔｐは、補正利得の算出式を切り替える輝度の閾値であり、平均輝度Ｙａｖｇからの入力が切替点輝度Ｙｔｐ以下の場合は、式（３ａ）により補正利得Ｇ_ｋを求める。また、平均輝度Ｙａｖｇからの入力が切替点輝度Ｙｔｐより大きい場合は、式（３ｂ）により補正利得Ｇ_ｋを求める。ここで、切替点輝度Ｙｔｐにおいては、両者の式により求められる補正利得が等しくなるように定める。

切替点輝度Ｙｔｐは、入力画像の高輝度部の画質を維持できるように、予め統計的、実験的に得られた値である。高輝度部の画素について１倍を超える補正利得を用いた場合には、後述するように、飽和により白とびが起こる課題があったが、切替点輝度Ｙｔｐを超える高輝度部の画素について用いる補正利得Ｇ_ｋを１倍とすることで、高輝度部の階調を維持することができる。

図４は、補正利得出力手段３により得られる補正利得Ｇ_ｋを示すグラフであり、図５は、補正利得出力手段３により得られる補正利得Ｇ_ｋを示す表である。図４において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、補正利得Ｇ_ｋを示す。

図４及び図５に示されるように、最大利得Ｇｍａｘが１より大きい場合には、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘが増加するにつれて（すなわち、平均輝度Ｙａｖｇが増加するにつれて）、補正利得Ｇ_ｋは最大利得Ｇｍａｘから減少する。そして、平均輝度Ｙａｖｇが切替点輝度Ｙｔｐに等しくなると（図４における、Ｙａｖｇ／Ｙｍａｘ＝Ｙｔｐ／Ｙｍａｘの点に達すると）、補正利得Ｇ_ｋは１倍となり、以降、補正利得Ｇ_ｋは１倍となる。また、最大利得Ｇｍａｘが１である場合には、補正利得Ｇ_ｋは常に１倍となる。

補正利得出力手段３は、上述した式（３ａ）及び（３ｂ）による演算を実行して補正利得Ｇ_ｋを得る構成としてもよいし、又は、予め平均輝度Ｙａｖｇに対応する補正利得Ｇ_ｋをルックアップテーブルとして保持しておくこともできる。演算により補正利得Ｇ_ｋを得る場合には、補正利得出力手段３に入力される平均輝度Ｙａｖｇと、切替点輝度Ｙｔｐとの大小を比較するための比較手段（図示せず）を用いて、補正利得Ｇ_ｋの算出式を切り替える構成とすることができる。

ルックアップテーブルを用いる場合には、最大輝度Ｙｍａｘまでの補正利得を一括して保持してもよいし、又は、切替点輝度Ｙｔｐによって分けられる低輝度部と高輝度部で別々に保持してもよい。後者の場合には、補正利得出力手段３に入力される平均輝度Ｙａｖｇと、切替点輝度Ｙｔｐとの大小を比較するための比較手段（図示せず）を用いて、参照するルックアップテーブルを切り替える構成とすることができる。高輝度部の補正利得Ｇ_ｋを常に１倍とする場合は、高輝度部のルックアップテーブルを保持する必要がなく、メモリ使用量の削減を図ることができる。

図６は、実施の形態１において用いる補正利得Ｇ_ｋを、最大輝度で規格化した平均輝度Ｙａｖｇ／Ｙｍａｘに乗算した値を示すグラフである。Ｙｔｐ／Ｙｍａｘ＝０．７５の場合について示す。図６において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇ_ｋを乗算した値Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示す。

規格化された平均輝度Ｙａｖｇ／Ｙｍａｘが規格化された切替点輝度Ｙｔｐ／Ｙｍａｘ以下の領域では、最大利得Ｇｍａｘが大きくなるほど、Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘは規格化された平均輝度Ｙａｖｇ／Ｙｍａｘの低い側で大きな勾配を持ち、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘの増加に伴って勾配が小さくなる（後述する図１６における規格化された切替点輝度Ｙｔｐ／Ｙｍａｘ以下の領域の曲線）。規格化された平均輝度Ｙａｖｇ／Ｙｍａｘの低い側の傾きを大きくすることで、黒つぶれしやすい低域の信号成分を増幅して出力することができ、低輝度部のコントラストが改善できる。また、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘが規格化された切替点輝度Ｙｔｐ／Ｙｍａｘより大きい高輝度部では、傾きが１となっており、入力画像信号Ｘｉｎがそのまま出力されるので、高輝度部の輝度信号やコントラストの信号が維持される。これにより、高輝度部が白とびする問題を防ぐことができ、高輝度部と低輝度部の信号の両方においてコントラストの高い信号を取り出せ、視認性の向上が図れる。

なお、補正利得Ｇ_ｋは、切替点輝度Ｙｔｐにおいて連続であるという条件を満たせば、他の式により求めることもできる。例えば、平均輝度Ｙａｖｇが切替点輝度Ｙｔｐより大きいとき、補正利得Ｇ_ｋは１倍から単調に減少するような関数を用いることができる。この場合には、高輝度部においてコントラスト情報を圧縮して、白とびを防ぐ効果がある。

図７は、実施の形態１に係る画像処理装置５による補正処理前の画像の一例を示す図であり、図８は、実施の形態１に係る画像処理装置５による補正処理後の画像の一例を示す図である。図７は、明るい領域、すなわち、窓の外の景色（符号ＤＳ１で示される部分）が鮮明に再現されているが、暗い領域、すなわち、室内の人物ＨＤ１などは、黒潰れに近い状態になっていることを示している。なお、「明るい領域」及び「暗い領域」とは、実施の形態１に係る画像処理装置の動作を説明するために用いられる用語であり、切替点輝度Ｙｔｐによって分けられる「低輝度部」及び「高輝度部」とは同じ意味ではないが、以下の説明においては、「明るい領域」が「高輝度部」に含まれ、「暗い領域」が「低輝度部」に含まれる場合を説明する。

図９（ａ）及び（ｂ）は、実施の形態１に係る画像処理装置において、撮像画像の明るい領域（すなわち、図７において窓を通して部屋の外が見える領域ＤＳ１）の処理に関し、図９（ａ）は、画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図９（ｂ）は、図９（ａ）と同じ画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図９（ａ）に破線で示されるように、入力画像信号の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．７、画素位置ｐ２において０．８、画素位置ｐ３において０．９、画素位置ｐ４において０．８、画素位置ｐ５において０．９、画素位置ｐ６において０．７である。

よって、図９（ａ）に実線で示されるように、タップ数ｎが３であるときには、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｐ１において０．７７、画素位置ｐ２において０．８０、画素位置ｐ３において０．８３、画素位置ｐ４において０．８７、画素位置ｐ５において０．８０、画素位置ｐ６において０．８３となる。

求めた規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、規格化された切替点輝度Ｙｔｐ／Ｙｍａｘが０．７５であるとき、式（３ｂ）より、補正利得Ｇ_ｋは、画素位置ｐ１から画素位置ｐ６までのすべてにおいて１．０倍となる。

図９（ｂ）は、図９（ａ）と同じ画素位置ｐ０から画素位置ｐ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと、規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

座標（Ｍ，Ｎ）の画素の利得補正した出力画像信号Ｘｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力画像信号Ｘｉｎ（Ｍ，Ｎ）と利得Ｇ_ｋを用いて、次式（４）で求めることができる。
Ｘｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｘｉｎ（Ｍ，Ｎ） …（４）

図９（ｂ）に実線で示されるように、利得補正後の規格化された出力画像信号Ｘｏｕｔ／Ｙｍａｘは、画素位置ｐ１において０．７、画素位置ｐ２において０．８、画素位置ｐ３において０．９、画素位置ｐ４において０．８、画素位置ｐ５において０．９、画素位置ｐ６において０．７となる。

なお、一般に、入力画像がＲＧＢ信号の場合は、次式（５ａ）、（５ｂ）、（５ｃ）が成り立つ。
Ｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｒｉｎ（Ｍ，Ｎ） …（５ａ）
Ｇｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｇｉｎ（Ｍ，Ｎ） …（５ｂ）
Ｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｂｉｎ（Ｍ，Ｎ） …（５ｃ）
ここで、Ｒｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した出力Ｒ信号であり、Ｒｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力Ｒ信号であり、Ｇｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した出力Ｇ信号であり、Ｇｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力Ｇ信号であり、Ｂｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した出力Ｂ信号であり、Ｂｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力Ｂ信号である。

また、一般に、入力画像が、ＹＣｂＣｒ信号の場合は、次式（６ａ）、（６ｂ）、（６ｃ）が成り立つ。
Ｙｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｙｉｎ（Ｍ，Ｎ） …（６ａ）
Ｃｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｃｂｉｎ（Ｍ，Ｎ）−Ｃｂｏｆ）＋Ｃｂｏｆ
…（６ｂ）
Ｃｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｃｒｉｎ（Ｍ，Ｎ）−Ｃｒｏｆ）＋Ｃｒｏｆ
…（６ｃ）
ここで、Ｙｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した輝度信号であり、Ｙｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力輝度信号であり、Ｃｂｏｕｔ（Ｍ，Ｎ）及びＣｒｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した色差信号であり、Ｃｂｉｎ（Ｍ，Ｎ）及びＣｒｉｎ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力色差信号であり、Ｃｂｏｆ及びＣｒｏｆは、色差信号を信号処理する際のオフセット量である。

また、式（５ａ）、（５ｂ）、（５ｃ）に示すように、ＲＧＢ信号に一律に同じ補正利得Ｇ_ｋを乗算することにより、局所領域でのホワイトバランスがずれることなく、ダイナミックレンジを改善することができる。

図９（ｃ）及び（ｄ）は、実施の形態１に係る画像処理装置において、撮像画像の暗い領域ＨＤ１の処理に関し、図９（ｃ）は、画素位置ｑ０から画素位置ｑ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図９（ｄ）は、図９（ｃ）と同じ画素位置ｑ０から画素位置ｑ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図９（ｃ）に破線で示されるように、入力画像の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、輝度が低い領域ＨＤ１内の画素位置ｑ１において０．１５、画素位置ｑ２において０．２、画素位置ｑ３において０．２５、画素位置ｑ４において０．２、画素位置ｑ５において０．２５、画素位置ｑ６において０．１５である。また、図９（ｃ）に実線で示されるように、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｑ１において０．１８、画素位置ｑ２において０．２０、画素位置ｑ３において０．２２、画素位置ｑ４において０．２３、画素位置ｑ５において０．２０、画素位置ｑ６において０．２２となる。また、補正利得Ｇ_ｋは、最大利得Ｇｍａｘが５倍であるとき、画素位置ｑ１において２．５３倍、画素位置ｑ２において２．４２倍、画素位置ｑ３において２．３２倍、画素位置ｑ４において２．２３倍、画素位置ｑ５において２．４２倍、画素位置ｑ６において２．３２倍である。

図９（ｄ）に実線で示されるように、入力画像の信号が輝度信号レベルに一致しているとすると、規格化された出力画像信号Ｘｏｕｔ／Ｙｍａｘは、画素位置ｑ１において０．３８、画素位置ｑ２において０．４８、画素位置ｑ３において０．５８、画素位置ｑ４において０．４５、画素位置ｑ５において０．６０、画素位置ｑ６において０．３５となる。

図９（ｂ）から分かるように、明るい領域ＤＳ１では、補正利得が１倍となり、ほぼ入力画像と同一の信号レベルの出力画像が出力される。これにより、もともと鮮明であった明るい領域のコントラストは保持される。これに対し、図９（ｄ）から分かるように、暗い領域ＨＤ１では、補正利得が約２〜３倍となる。このことは、黒レベルで圧縮されていた信号レベルが、明るくなった上、暗い領域のコントラストも増幅されていることを示している。

以上に説明したように、実施の形態１に係る画像処理装置によれば、平均輝度Ｙａｖｇにより画素ごとに補正利得Ｇ_ｋを求め、補正利得Ｇ_ｋを画像信号に画素ごとに乗算する処理を施すことにより、暗い領域ＨＤ１は鮮明に（図８のＨＤ２）、明るい領域ＤＳ１は、そのままのコントラストを維持する（図８のＤＳ２）ように、ダイナミックレンジを改善できる。

図１０は、入力画像の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図であり、図１１は、改善された画像の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図である。図１０及び図１１は、図９（ａ）乃至（ｄ）のダイナミックレンジ改善の効果をヒストグラムにより示している。

図１０及び図１１に示されるように、入力画像の明るい領域（図１０のＤＳ１）は、高輝度部に含まれるため、撮像画像は、高い輝度レベルに分布する。また、入力画像の暗い領域ＨＤ１は、低輝度部に含まれるため、撮像画像は、低い輝度レベルに分布する。

図１０及び図１１に示されるように、入力画像の補正を行うと、明るい領域ＤＳ１では、補正利得が１倍であるため、領域ＤＳ２の高い輝度レベルに分布していた信号は、領域ＤＳ２で示されるように、ほとんど変化しない。これに対し、図１０に示される暗い領域ＨＤ１の低輝度レベルに分布した信号は、図１１において領域ＨＤ２で示される信号になり、変化が大きい。

このことは、式（３ａ）及び（３ｂ）を用いた補正を行うことで、低輝度部においてコントラストが改善され、低輝度部の黒つぶれが解消されること、及び、低輝度部の信号が大きく高輝度側に移動することで、視認性のよい、メリハリのあるダイナミックレンジが改善された画像が得られることを示している。さらに、式（３ａ）及び（３ｂ）を用いた補正を行うことで、平均輝度が中央付近に分布することになり、ダイナミックレンジの狭い表示装置（例えば、液晶ディスプレイ）においても、表示品位の向上が図れる。

次に、補正利得出力手段３において、式（３ａ）及び（３ｂ）を用いる利点について述べる。

例えば、比較例として、次式（７）のように、補正利得Ｇ_ｋを単一の式により求める場合を考える。

式（７）において、平均輝度Ｙａｖｇ、最大利得Ｇｍａｘ、最大輝度Ｙｍａｘは、式（３ａ）におけるものと同じである。

図１２は、式（７）により得られる比較例の補正利得Ｇ_ｋを示すグラフであり、図１３は、式（７）により得られる比較例の補正利得Ｇ_ｋを示す表である。図１２において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、補正利得Ｇ_ｋを示す。

図１２又は図１３から分かるように、補正利得Ｇ_ｋの算出に式（７）を用いた場合には、高輝度部においても、補正利得が１．０倍より若干大きい値となる。そのため、高輝度部では、補正により輝度値がさらに増加し、最大輝度Ｙｍａｘによって頭打ちとなって、飽和する画素が現れることがある。これにより、白とびやカラーバランスのくずれが起こる課題があった。以下に、比較例の場合の課題について詳しく説明する。

図１４は、補正処理前の画像の一例であり、下段には画像の一部分を拡大したものを示している。図１４に示されるように、空に浮かぶ雲のような画像では、輝度値が最大輝度Ｙｍａｘに近いレベルに分布している。例えば、図１４では、雲の部分の輝度値が８ビット階調で２５５、空の部分の輝度値が８ビット階調で２５４と、輝度差が非常に小さくなっていることを示している。

図１５（ａ）及び（ｂ）は、図１４に示したような、輝度値が最大輝度Ｙｍａｘに近いレベルに分布している領域での比較例における処理に関し、図１５（ａ）は、画素位置ｒ０から画素位置ｒ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図１５（ｂ）は、図１５（ａ）と同じ画素位置ｒ０から画素位置ｒ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図１５（ａ）に破線で示されるように、比較例においては、入力画像信号の規格化された輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．９、画素位置ｐ２において０．９５、画素位置ｐ３において１．０、画素位置ｐ４において０．９５、画素位置ｐ５において０．９、画素位置ｐ６において０．９５である。

図１５（ａ）に実線で示されるように、比較例においては、タップ数ｎが３であるときには、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｐ１において０．９３、画素位置ｐ２において０．９５、画素位置ｐ３において０．９７、画素位置ｐ４において０．９５、画素位置ｐ５において０．９３、画素位置ｐ６において０．９５となる。

比較例においては、最大利得Ｇｍａｘが５倍であるとき、求めた平均輝度Ｙａｖｇと式（７）より、補正利得Ｇ_ｋは、画素位置ｐ１において１．０６倍、画素位置ｐ２において１．０４倍、画素位置ｐ３において１．０３倍、画素位置ｐ４において１．０４倍、画素位置ｐ５において１．０６倍、画素位置ｐ６において１．０４倍となる。

図１５（ｂ）に実線で示されるように、比較例においては、利得補正後の規格化された出力画像信号Ｘｏｕｔ／Ｙｍａｘは、画素位置ｐ１において０．９５、画素位置ｐ２において０．９９、画素位置ｐ３において１．０、画素位置ｐ４において０．９９、画素位置ｐ５において０．９５、画素位置ｐ６において０．９９となる。

比較例においては、画素位置ｐ３において、利得補正後の規格化された輝度値は１．０３となるが、飽和して最大輝度Ｙｍａｘを超える輝度値を表現できないため、１．０に抑えられる。そのため、画素位置ｐ２と、画素位置ｐ１及び画素位置ｐ３との階調差が小さくなってしまい、白とびとして高輝度部の視認性の低下が起こる。

また、比較例においては、入力画像がＲＧＢ信号の場合は、利得補正により、Ｒ信号、Ｇ信号、Ｂ信号の少なくとも１つが飽和してしまうときがある。この場合には、出力信号のＲＧＢ比であるカラーバランスがくずれ、色味が変化する。

図１６（ａ）及び（ｂ）は、実施の形態１に関する図であり、図１６（ａ）は、画素位置ｒ０から画素位置ｒ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図１６（ｂ）は、図１６（ａ）と同じ画素位置ｒ０から画素位置ｒ６までにおける規格化された輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力信号Ｘｏｕｔ／Ｙｍａｘを示す図である。規格化された切替点輝度Ｙｔｐ／Ｙｍａｘ＝０．７５であるとすると、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、図１５（ａ）の実線に示したようにすべて０．７５より大きい値である。したがって、式（３ｂ）より、補正利得Ｇ_ｋは、画素位置ｒ１から画素位置ｒ６までにおいて１．０倍となる。よって、利得補正後の規格化された出力画像信号Ｘｏｕｔ／Ｙｍａｘは、規格化された入力画像信号Ｘｉｎ／Ｙｍａｘがそのまま出力され、画素位置ｒ１において０．９、画素位置ｒ２において０．９５、画素位置ｒ３において１．０、画素位置ｒ４において０．９５、画素位置ｒ５において０．９、画素位置ｒ６において０．９５となる。最大輝度Ｙｍａｘに近いレベルにおいても、階調がそのまま保存されていることが分かる。

このように、式（３ａ）及び（３ｂ）を用いた補正を行うことで、低輝度部においてコントラストが改善され、低輝度部における黒つぶれが解消されるだけでなく、高輝度部においても、入力画像のコントラスト情報を保存し、飽和による白とびや、カラーバランスのくずれを防ぐことができる。結果として、表示装置のダイナミックレンジに合わせて、輝度の分布を圧縮することになり、表示品位の向上が図れる。

また、実施の形態１に係る画像処理装置５によれば、補正を行う画素の周辺画素の輝度分布に基づいて、補正を行う画素のダイナミックレンジを補正するので、解析結果の反映タイミングを極力短くするができ、入力画像のダイナミックレンジを適切に改善することができる。

さらに、実施の形態１に係る画像処理装置５によれば、外付けフレームメモリを用いることなく画素単位でダイナミックレンジ拡大を実現でき、また、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

実施の形態２．
図１７は、本発明の実施の形態２に係る画像処理装置（実施の形態２に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。図１７において、図１の構成と同一又は対応する構成には、同じ符号を付す。実施の形態２に係る画像処理装置１１は、入力画像信号Ｘｉｎから画像の情報を抽出して解析する画像解析手段６と、画像解析手段６による画像解析結果に基づいて閾値の最適値（切替点輝度）を求めるパラメータ検出手段７とを有する点、及び、切替手段３３ａがパラメータ検出手段７が求めた閾値の最適値に基づいて切替点輝度Ｙｔｐを調節する点が、上記実施の形態１に係る装置と異なる。

画像解析手段６は、入力画像の情報、例えば、画面全体や被写体の明るさ、コントラスト、輝度分布、輝度のヒストグラム、色の分布等を求めて出力する。画像解析手段６は、被写体の特徴点（例えば、人の顔など）を検出する機能を有してもよい。

パラメータ検出手段７は、画像解析手段６で得られた画像解析結果から、補正利得Ｇ_ｋを求めるときに用いる切替点輝度Ｙｔｐの最適値を求めて出力する。

補正利得出力手段３は、パラメータ検出手段７で求められ切替点輝度Ｙｔｐの値を用いて、例えば、上述した式（３ａ）及び（３ｂ）から補正利得Ｇ_ｋを算出する。

図１８（ａ１）及び（ｂ１）は、入力画像の輝度のヒストグラムであり、切替点輝度Ｙｔｐの値を、点線で示した輝度レベルに決めた場合を表している。図１８（ａ２）及び（ｂ２）は、それぞれ、図１８（ａ１）及び（ｂ１）に示された切替点輝度Ｙｔｐの値にしたがって補正した画像の輝度のヒストグラムを示している。

図１８（ａ１）、（ａ２）、（ｂ１）、及び（ｂ２）のように、輝度のヒストグラムにおいて、明るい領域（図１８のＤＳ１）の輝度分布と、暗い領域（図１８のＨＤ１）の輝度分布がはっきり分かれたような画像を入力画像とする場合には、図１８（ａ１）に点線で示される切替点輝度Ｙｔｐのように、切替点輝度Ｙｔｐの値を、明るい領域の輝度分布の最小値又はこの最小値よりも少し小さい値に決定するとよい。このようにすることで、明るい領域（ＤＳ１）を正しく検出し、明るい領域の画素についての補正を最適な補正利得Ｇ_ｋを用いて行なうことができる。ここで、切替点輝度Ｙｔｐを超える輝度の画素についての補正利得Ｇ_ｋを常に１倍とした場合には、明るい領域の階調を維持し、画質の向上を図ることができる。また、切替点輝度Ｙｔｐの値をできるだけ高く設定することで、暗い領域（ＨＤ１）に対する補正利得Ｇ_ｋを向上させることができるため、暗い領域（ＨＤ１）のコントラストをより拡大することができる（図１８（ａ２））。

また、図１８（ｂ１）に点線で示される切替点輝度Ｙｔｐのように、切替点輝度Ｙｔｐの値を、明るい領域（ＤＳ１）よりもかなり小さい値に決定することもできる。ここで、切替点輝度Ｙｔｐを超える輝度の画素についての補正利得Ｇ_ｋを常に１倍とすれば、補正の対象とする輝度レベルを切替点輝度Ｙｔｐ以下の低輝度部のみに限定し、より軽度な補正を行うことができる（図１８（ｂ２））。図１８（ｂ１）及び（ｂ２）に示される画像処理方法は、低輝度部の黒つぶれのみを補正したい場合に有効である。

以上では、画面全体の輝度のヒストグラムを用いて切替点輝度Ｙｔｐの値を決める場合について説明したが、被写体の特徴点（例えば、人の顔など）の検出結果に基づいて注目領域を決定し、注目領域の輝度分布から切替点輝度Ｙｔｐの値を決めることもできる。この場合は、注目領域に対して最適な補正利得Ｇ_ｋを用いることができ、特徴点のコントラスト改善に特化した補正を行うことが可能である。

なお、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態２に係る画像処理装置１１によれば、入力画像の情報（輝度のヒストグラム等）に応じて補正利得の切替点輝度Ｙｔｐを調節することができ、輝度分布の異なる画像に対して、ダイナミックレンジを適切に改善することができる。

また、実施の形態２に係る画像処理装置１１によれば、補正の対象とする輝度レベルを調節することができ、黒つぶれや、特徴点のコントラスト改善に特化した補正を行うことができる。

実施の形態３．
図１９は、本発明の実施の形態３に係る画像処理装置（実施の形態３に係る画像処理方法を実施する装置）１２の構成を概略的に示すブロック図である。図１９において、図１の構成と同一又は対応する構成には、同じ符号を付す。図１９に示されるように、実施の形態３に係る画像処理装置１２は、入力画像信号Ｘｉｎから入力画像の黒浮きの程度を示す第１のオフセット量を検出するオフセット検出手段８と、補正利得演算手段４の前段に配置され、入力画像信号Ｘｉｎから第１のオフセット量を減算するオフセット減算手段９と、補正利得演算手段４の後段に配置され、補正利得演算手段４の出力に第１のオフセット量に等しいか又は第１のオフセット量より小さい第２のオフセット量を加算するオフセット加算手段１０とを有し、補正利得演算手段４による演算がオフセット減算手段９の出力に対して行われる点が、上記実施の形態１に係る装置と異なる。

実施の形態３に係る画像処理装置１２は、入力画像の信号レベルのオフセットを調整する手段を有している。オフセットは、入力画像を撮影した撮像装置（図示せず）が、逆光状態であったり、撮像装置のレンズのフレアーが画像に影響を及ぼしたり、被写体の撮像環境・条件により、信号レベルが黒浮きした状態である。

以下に、オフセット調整を行った場合の詳細な補正の動作を説明する。オフセット検出手段８は、入力画像信号Ｘｉｎの最小を検出することで、入力画像の黒浮きの程度を示すオフセット量を求める。オフセット量Ｏｆｆｓｅｔは、次式（８）で求めることができる。
Ｏｆｆｓｅｔ＝Ｐ×ＭＩＮ（Ｒ，Ｇ，Ｂ） …（８）
ここで、ＭＩＮ（Ｒ，Ｇ，Ｂ）は、入力画像ＲＧＢ信号の最小値を示しており、Ｐは、０≦Ｐ≦１を満たす値である。オフセット量Ｏｆｆｓｅｔは、１フレーム以上前の補正を行うために有効な１画面分の画像のＲ，Ｇ，Ｂ信号の最小値ＭＩＮ（Ｒ，Ｇ，Ｂ）を検出し、記憶することで、自動検出することができる。

図１９では、オフセット検出手段８によってオフセット量Ｏｆｆｓｅｔを入力画像信号Ｘｉｎから自動検出する場合の構成を示しているが、オフセット量Ｏｆｆｓｅｔを外部装置から入力する構成を採用することもできる。外部装置において、補正を行いたい対象の信号に対して、補正利得を向上することで、外部装置の性能改善が行える。具体的には、外部装置では、指紋、静脈、顔などのバイオメトリック認証や、形状認証、文字認識などの高度な画像処理を行い、被写体の特徴点（顔認証の場合は、顔）を検出し、特徴点の検出結果をもとに認証を行う機能を有している。外部装置においては、画像処理装置５の画像より、特徴点を有する領域と、領域内の信号レベルを検出した結果より、オフセット量Ｏｆｆｓｅｔを求め、設定することで、特徴点の信号を強調することが可能となる。また、特徴点の信号レベルが増大することで、外部装置の検出精度、認証率などの性能を向上させることができる。

オフセット減算手段９は、オフセット検出手段８で求めたオフセット量Ｏｆｆｓｅｔを、座標（Ｍ，Ｎ）の入力Ｒ信号Ｒｉｎ（Ｍ，Ｎ）、座標（Ｍ，Ｎ）の入力Ｇ信号Ｇｉｎ（Ｍ，Ｎ）、座標（Ｍ，Ｎ）の入力Ｂ信号Ｂｉｎ（Ｍ，Ｎ）のそれぞれから減算して、
Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと、
Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと、
Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと
を出力する。

補正利得演算手段４は、オフセット減算手段９からのオフセット量Ｏｆｆｓｅｔを減算した信号に、補正利得出力手段３で得た補正利得Ｇ_ｋを乗算して、
Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と、
Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と、
Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と
を出力する。

オフセット加算手段１０は、乗算手段８からの乗算信号が入力され、オフセット減算手段９と同じオフセット量Ｏｆｆｓｅｔを加算して、
Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと
を出力する。

オフセット減算手段９、補正利得演算手段４、及びオフセット加算手段１０の処理をまとめると、次式（９ａ）、（９ｂ）、（９ｃ）のようになる。
Ｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（９ａ）
Ｇｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（９ｂ）
Ｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（９ｃ）

オフセット補正を行わない場合、補正利得Ｇ_ｋがオフセット量Ｏｆｆｓｅｔを増幅してしまい、コントラストを向上させたい信号への補正利得が減少し、全体的にコントラストの無い信号へ変換してしまう。オフセット補正を行うことで、コントラストを向上させたい信号への補正利得を増大させることができ、コントラストの高い処理が実現できる。

なお、オフセット減算手段９とオフセット加算手段１０のオフセット量は、０≦Ｐ≦１を満たす範囲で、異なる値になってもよい。特に、オフセット加算手段１０のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段９のオフセット量Ｏｆｆｓｅｔに比べ小さくすることで、黒浮きが軽減される効果を有する。つまり、オフセット補正後の信号は、オフセット量Ｏｆｆｓｅｔ１により、画像の黒つぶれを防いだ上で、オフセット補正前の黒浮き分が補正され、メリハリの無い、黒信号のしまりのない画質を改善できる。つまり、黒レベルのしまった画像を得られる。オフセット加算手段１０のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段９のオフセット量Ｏｆｆｓｅｔに比べ小さくする処理は、次式（１０ａ）、（１０ｂ）、（１０ｃ）、（１０ｄ）のようになる。
Ｒｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｒｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１０ａ）
Ｇｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｇｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１０ｂ）
Ｂｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｂｉｎ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１０ｃ）
Ｏｆｆｓｅｔ＞Ｏｆｆｓｅｔ１ …（１０ｄ）

なお、実施の形態３において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態３に係る画像処理装置１２によれば、画像のオフセット量を検出することができ、検出したオフセット量に基づいてオフセット補正することで、低い輝度に分布した信号のコントラストを改善による画質の向上を図れる。

また、実施の形態３に係る画像処理装置においては、補正利得処理前のオフセット量の減算量と補正利得処理後のオフセット量の加算量を切替えることが可能であり、オフセット補正後の黒信号のしまりを向上させることができ、画質の向上を図れる。

本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態１に係るフィルタ手段の構成を概略的に示すブロック図である。 実施の形態１に係る画像処理装置の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。 実施の形態１に係る画像処理装置において用いる補正利得の例を示すグラフである。 実施の形態１に係る画像処理装置において用いる補正利得の例を示す表である。 実施の形態１に係る画像処理装置において用いる補正利得を、規格化した平均輝度に乗算した値の例を示すグラフである。 実施の形態１に係る画像処理装置による補正処理前の画像の一例を示す図である。 実施の形態１に係る画像処理装置による補正処理後の画像の一例を示す図である。 （ａ）は、図７に示される輝度の高い領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図８に示される輝度の高い領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す図であり、（ｃ）は、図７に示される輝度の低い領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｄ）は、図８に示される輝度の低い領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す図である。 入力画像の各輝度の発生頻度（度数）の一例をヒストグラムにより示す図である。 改善された画像の各輝度の発生頻度（度数）の一例をヒストグラムにより示す図である。 比較例により得られる補正利得を示すグラフである。 比較例により得られる補正利得を示す表である。 比較例の課題を説明するための補正処理前の画像の一例及びその一部（雲を含む部分）を拡大して示す図である。 （ａ）及び（ｂ）は、比較例に関する図であり、（ａ）は、図１４に示される輝度値が最大輝度に近いレベルに分布している領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図１４に示される輝度値が最大輝度に近いレベルに分布している領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す。 （ａ）及び（ｂ）は、実施の形態１に関する図であり、（ａ）は、図１４に示される輝度値が最大輝度に近いレベルに分布している領域における規格化された輝度（破線）及び規格化された平均輝度（実線）を示し、（ｂ）は、図１４に示される輝度値が最大輝度に近いレベルに分布している領域における規格化された輝度（破線）及び規格化された出力輝度（実線）を示す。 本発明の実施の形態２に係る画像処理装置（実施の形態２に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態２に係る切替点輝度の決め方を示す図である。 本発明の実施の形態３に係る画像処理装置（実施の形態３に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。

符号の説明

１ 輝度検出手段、 ２ フィルタ手段、 ３，３ａ 補正利得出力手段、 ４ 補正利得演算手段、 ５，１１，１２ 画像処理装置、 ６ 画像解析手段、 ７ パラメータ検出手段、 ８ オフセット検出手段、 ９ オフセット減算手段、 １０ オフセット加算手段、 ２１ ディレイ手段、 ２２ 係数手段、 ２３ 加算手段、 ３１ 第１の手段、 ３２ 第２の手段、 ３３，３３ａ 切替手段。

Claims (4)

1. 入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理装置において、
   補正を行う画素と該補正を行う画素の周辺画素の平均輝度を求めて出力するフィルタ手段と、
   前記補正を行う画素の補正利得を出力する補正利得出力手段と、
   前記補正利得出力手段から出力される前記補正利得を、前記入力画像信号に画素ごとに乗算して、前記補正後の画像信号を生成する補正利得演算手段と、
   前記入力画像信号から画像の情報を抽出して解析する画像解析手段と、
   前記画像解析手段による画像解析結果に基づいて前記補正利得出力手段が保持する閾値の最適値を決定するパラメータ検出手段と
   を有し、
   前記補正利得出力手段は、
   前記平均輝度がゼロのときに最大値となり、前記平均輝度が増加するにつれて単調減少する値の第１の補正利得を出力する第１の手段と、
   前記平均輝度に依存しない一定の値の第２の補正利得を出力する第２の手段と、
   前記閾値が保持されており、前記平均輝度が前記閾値以下か前記閾値を超えるかを判断し、前記平均輝度が前記閾値以下であるときに前記補正利得出力手段から出力される前記補正利得を前記第１の補正利得とし、前記平均輝度が前記閾値を超えるときに前記補正利得出力手段から出力される前記補正利得を前記第２の補正利得とする切替手段と
   を有し、
   前記画像解析手段は、前記入力画像信号の各輝度の発生頻度を示すヒストグラムを前記画像解析結果として出力し、
   前記パラメータ検出手段は、前記画像解析結果から得られた前記ヒストグラムにおける発生頻度に基づいて検出された領域の分布位置に応じて、前記閾値の最適値を決定して前記補正利得出力手段に出力する
   ことを特徴とする画像処理装置。
2. 前記第２の補正利得は、１倍であることを特徴とする請求項１に記載の画像処理装置。
3. 前記平均輝度をＹａｖｇとし、
   前記平均輝度の最大値をＹｍａｘとし、
   前記閾値をＹｔｐとし、
   前記補正利得をＧ_ｋとし、
   前記補正利得の最大値をＧｍａｘとしたときに、次式
   

   

   の関係を満たすことを特徴とする請求項１に記載の画像処理装置。
4. 入力画像信号を画素ごとに補正して、補正後の画像信号を生成する画像処理方法において、
   補正を行う画素と該補正を行う画素の周辺画素の平均輝度を求めて出力するフィルタステップと、
   前記補正を行う画素の補正利得を出力する補正利得出力ステップと、
   前記補正利得出力ステップにおいて出力される前記補正利得を、前記入力画像信号に画素ごとに乗算して、前記補正後の画像信号を生成する補正利得演算ステップと、
   前記入力画像信号から画像の情報を抽出して解析する画像解析ステップと、
   前記画像解析手段による画像解析結果に基づいて前記補正利得出力手段が保持する閾値の最適値を決定するパラメータ検出ステップと
   を有し、
   前記補正利得出力ステップは、
   前記平均輝度がゼロのとき最大値となり、前記平均輝度が増加するにつれて単調減少する値の第１の補正利得を出力する第１のステップと、
   前記平均輝度に依存しない一定の値の第２の補正利得を出力する第２のステップと、
   記憶手段に前記閾値が保持されており、前記平均輝度が前記閾値以下か前記閾値を超えるかを判断し、前記平均輝度が前記閾値以下であるときに前記補正利得出力ステップにおいて出力される前記補正利得を前記第１の補正利得とし、前記平均輝度が前記閾値を超えるときに前記補正利得出力ステップにおいて出力される前記補正利得を前記第２の補正利得とする切替ステップと
   を有し、
   前記画像解析ステップにおいては、前記入力画像信号の各輝度の発生頻度を示すヒストグラムを前記画像解析結果として出力し、
   前記パラメータ検出ステップにおいては、前記画像解析結果から得られた前記ヒストグラムにおける発生頻度に基づいて検出された領域の分布位置に応じて、前記閾値の最適値を決定して出力し、前記記憶手段に保持させる
   ことを特徴とする画像処理方法。

Images