JP2004038842A - Image processing device and image processing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To automatically adjust contrast of a digital image obtained by a digital camera and the like for offering a clear image at a high speed. <P>SOLUTION: On an input image 1 obtained by an image input means 10, a contrast improving means 12 improves contrast by using a visual sense model. That is, a contrast improvement amount VRPij is computed according to relative comparison between a pixel value VPij of an object pixel Pij and a weighted mean pixel value VAPij of a pixel value within a periphery view field areaof the object pixel Pij. An contrast emphasized image 3 is generated by controlling a reference value in conversion of the contrast improvement amount value into an actual pixel value. On the basis of brightness of the input image, a coupling coefficient between the emphasized image 3 and the input image 1 is varied suitably. <P>COPYRIGHT: (C)2004,JPO

Description

【０００９】
【数２】

【００１０】
【数３】

【００１１】
以上のように、この従来の発明では周辺視野での平均画素値に対する対象画素値を調整された画素値Ｉ’（ｉ，ｊ）として算出し、この値に対して、ディスプレイ２４３によって使用されるレティネックス出力Ｒ（ｉ，ｊ）を生成するためのフィルタ処理が２４２により行われる。２４２はＩ’（ｉ，ｊ）を対数領域からディスプレイ２４３で扱われるＲ（ｉ，ｊ）の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセット及び利得変換関数を適用する処理が用いられる。
【００１２】
しかしながら、この手法の場合、周辺視野関数を制御するｃによる影響を大きく受ける。例えば、このｃが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このｃが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。このように扱う画像内の画素値のダイナミックスレンジに応じて適切なｃを考慮する必要があり画像依存性の問題が挙げられる。その改善として、複数の周辺視野領域を設ける手法も同じ特許内に提案されているが、いくつ周辺視野領域を用意するかが明確になっていない。また、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。
【００１３】
また、複数の定数ｃにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値Ｉ’（ｉ，ｊ）は複数領域を用意してもＩ（ｉ，ｊ）に関係なく１．０近傍になる。このような場合、画素値変動の小さい対象画素でのＩ’（ｉ，ｊ）はその入力画像全体におけるＩ’（ｉ，ｊ）の平均近傍に位置する場合が多く、２４２におけるオフセット及び利得変換関数如何に問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。
【００１４】
この課題を解決するための手法として、先行出願より入力画像と強調画像の適応的な合成画像を導出することでこれらを改善できることを示した。その一方で、画像の平坦化、特に輪郭部分における濃度差の減少が発生した。
【００１５】
【発明が解決しようとする課題】
このように、従来の人間の視覚モデルをもとにしたコントラスト改善技術では、その他の手法よりもより鮮明なコントラスト変換画像を得ることができたが、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。その対応策として、複数の周辺視野を用意した多重解像度モデルも提案されているが、処理時間が膨大となってしまう。
【００１６】
また、画像合成時により生じた合成画像の平坦化、特に輪郭部分のさらなる強調が必要になる。
【００１７】
本発明はかかる点に鑑みてなされたものであり、撮像された明暗部を持つ画像のみを用いてより鮮明かつ高速に撮像画像のコントラストを改善することができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するために本発明の第１の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の輝度に応じて制御することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【００１９】
上記課題を解決するために本発明の第２の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、対象画素の輝度に応じて周辺領域の平均画素値である比較濃度を制御するものである。こうすることで、より対象画素の濃度とその周囲の比較濃度の差を強調することができ、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【００２０】
上記課題を解決するために本発明の第３の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の濃度と周囲画素の濃度の差分に応じて上記コントラスト改善量を補正することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【００２１】
上記課題を解決するために本発明の第４の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直方向位置を決定し、決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の加算値を求める。そして、得られた各水平画素位置における加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出することで処理の簡略化を実現するものである。
【００２２】
上記課題を解決するために本発明の第５の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直・水平方向位置を決定する。そして、決定された水平画素位置に対して、選択された垂直方向の画素濃度の加算値を求める。そして、対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれる場合には、その含まれる水平画素位置での加算値を用いる。対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれない場合にはその隣接する選択された水平画素位置における加算値を用いる。この手順をもとに、対象画素に対する比較濃度を高速に算出することで処理の簡略化を実現するものである。
【００２３】
上記課題を解決するために本発明の第６の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。そして本発明の第１の画像処理装置及び方法と同様に得られたコントラスト改善量を実際の画素値に変換し、入力画像との合成処理を行う。その後、入力画像における対象画素の輝度・色成分と合成画像の輝度・色成分と比較して、輝度の低下をしないようにするとともに、入力画像の色成分に比例した値を用いることで、合成画像における色ずれを抑えることで最終的に出力される画像の高画質化を実現したものである。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の第１から第６の実施の形態である画像処理装置の全体構成図を、図２は本発明の第１から第３の実施の形態である画像処置装置におけるコントラスト改善手段の構成を、図４は第１から第６の実施の形態である画像処置装置における画像合成手段の構成図を表す。
【００２５】
図５は本発明の第１の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２６】
図６は本発明の第２の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２７】
図７は本発明の第３の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２８】
図１４は本発明の第４の実施の形態である画像処理装置におけるコントラスト改善手段の構成図を表し、図１７は本発明の第５の実施の形態である画像処理装置におけるコントラスト改善手段の構成図を表す。
【００２９】
図１９は本発明の第６の実施の形態である画像処理装置における後処理手段の構成図を表す。
【００３０】
また、図９は本発明の第１から第６の実施の形態である画像処理方法における全体のフローチャートを表す図である。
【００３１】
図１０は本発明の第１の実施の形態である画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャートを表す図である。
【００３２】
図１１は本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャートを表す図である。
【００３３】
図１２は本発明の第３の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャートを表し、図２０は本発明の第６の実施の形態である画像処理方法におけるコントラスト改善処理と後処理手段のフローチャートを表す図である。
【００３４】
なお、構成図の各図において、同一部には同じ番号を付している。また、なお、これ以降で、画素位置（ｉ，ｊ）の単位には全て画素単位が用いられることする。
【００３５】
（第１の実施の形態）
まず、本発明の第１の実施の形態である画像処理装置及び画像処理方法について説明する。図１はその全体の構成を表す図であり、１は入力画像を、２は最終的に出力される出力画像を、３はコントラスト改善手段１２で得られた強調処理後の画像を現す。そして、１０は１の入力画像を得るためのＣＣＤ素子のような画像入力手段であり、１１は入力画像に逆ガンマ変換等のような前処理を行う前処理手段、１２は１１で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善処理手段、１３はデジタル入力画像と１２のコントラスト改善手段で得られた強調画像を合成する画像合成手段であり、１４は１３で得られた合成画像に入力画像にかかっていたガンマ変換のような後処理を行う後処理手段であり、１５は１３で得られた合成画像を最終処理後の画像として所望のデバイス（プリンタ、ディスプレイ等）で出力するための画像出力手段である。コントラスト改善手段は図２のような構成になる、図２において、２０は対象画素Ｐｉｊの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段であり、２１は対象画素Ｐｉｊにおけるカラー３成分値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を広さｃのＰｉｊ周囲領域より選択された比較対象画素との比較によりコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），　Ｒｇ（ｉ，ｊ），　Ｒｂ（ｉ，ｊ））を算出する強調量導出手段であり、２２は強調量導出手段２１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃ（ｒｔｃ（ｉ，ｊ），ｇｔｃ（ｉ，ｊ），ｂｔｃ（ｉ，ｊ））を求める変換基準値算出手段であり、２３は２２の変換基準値ともとに強調量導出手段２１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段である。強調量導出手段２１は図５のように、周囲平均手段５０と改善量算出手段５１より構成される。
【００３６】
また、画像合成手段１３は図４に示されるように、入力画像１内の輝度情報をもとに入力画像１とコントラスト改善手段で得られた強調画像３に掛かる結合係数ｗｓ（ｓ＝１，３；ここでｗ１は入力画像１に掛かる結合係数であり、ｗ３は強調画像３に掛かる結合係数を示す）を決定する結合係数導出手段４０と、結合係数導出手段４０で得られた結合係数ｗ０、ｗ１を使って、入力画像１とコントラスト改善手段で得られた強調画像３の加重平均画像を生成する加重平均合成手段４１、そして４１で得られた加重平均合成画像と入力画像１、そして強調画像３を比較して出力画像の画素値を決定する出力値決定手段４２より構成される。
【００３７】
以上のように構成された第１の実施の形態である画像処理装置の動作について図９、図１０に従い説明する。
【００３８】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。
【００３９】
デジタル入力画像１に対して、図８のような前処理が行われる。近年、このようなコントラスト改善が行われる画像データはデジタルカメラ（ＤＳＣ）で撮影されたものが増えている。通常、ＤＳＣで撮影された画像データをパソコン等でモニタ表示を行う場合、入力画像をより鮮明にするために図８上左図のような上に凸の形をしているガンマ関数を用いた変換処理が行われている。一般に使用されているｓＲＧＢ空間ではこのガンマ変換におけるガンマγは２．２が使用される。プリンタで出力する場合にも、このガンマ関数が予め入力画像に掛けられていることを前提にして出力のための画像処理が実行される。そのため、ＣＣＤ等の撮影素子で得られた画像データを正確に抽出するために、γ＝２．２の効果を戻すための逆ガンマ関数による変換処理が必要になり、前処理手段１１は図８上右図のような下に凸の逆ガンマ変換を行う。
【００４０】
次に、逆ガンマ変換されたデジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図１３のように行われる。人間の視覚では、図１３に模式的に示されるように対象画素Ｐｉｊに対して知覚された画素値のみでＰｉｊの画素情報（色、コントラストなど）を認知するのではなく、対象画素Ｐｉｊをその周囲にある画素の情報との相対的な関係により、対象画素値Ｐｉｊの画素値を調整することでＰｉｊの画素情報を知覚している。これは、従来例で説明したようにＥｄｗｉｎ　Ｌａｎｄにより紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。
【００４１】
まず、対象画素Ｐｉｊの画素値ＶＰｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））をＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。そして、周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を求めるとともに、このＶＡＰｉｊとＶＰｉｊの間の相対的関係につながるコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。このＶＡＰｉｊとして、従来例のように式（数１）の第２項におけるｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））と式（数２）、（数３）のようにガウス関数で定義された周辺視野関数Ｆ（ｘ，ｙ）の畳み込み積分値で定義することも可能であり、コントラスト改善量ＶＲＰｉｊも式（数１）を３成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。その例として、式（数４）のようにＶＡＰｉｊはｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の平均値を定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））も式（数５）のように各成分ごとの画素値ＶＰｉｊの加重平均画素値ＶＡＰｉｊに対する比として定義することができる。
【００４２】
【数４】

【００４３】
【数５】

【００４４】
また、式（数６）、（数７）のようにｃ画素の周辺視野内における輝度ｙ（ｉ，ｊ）の平均値をＶＡＰｉｊの３成分として定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））は式（数７）のように画素Ｐｉｊにおける各成分値の加重平均画素値ＶＡＰｉｊに対する比として定義することも可能である。
【００４５】
【数６】

【００４６】
【数７】

【００４７】
こうすることで、式（数４）（数５）のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できると考える。そこで本発明では式（数６）、式（数７）による定義を採用することとした。
【００４８】
以上のような対象画素Ｐｉｊに対するコントラスト改善量ＶＲＰｉｊを入力画像内の全ての画像に対して行う。この処理を周囲平均手段５０と改善量算出手段５１が行う。
【００４９】
次に、このコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を実際の画素値に変換する必要がある。この処理としては、ＶＲＰｉｊの各成分を０．０から１．０の範囲内の値に変換し、必要と思われる部分を抽出した実際の画素値に変換する方法等が考えられるが、ここではより簡易化のために、変換基準値ＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を算出してその変換基準値をＶＲＰｉｊの各成分に乗算して、強調画像３の画素Ｐｉｊにおける画素値とする。この場合、通常扱われる８ビットの整数データである０から２５５に変換しても良いが、ここではその値を０．０から１．０の正規化した範囲内の実数データにまず変換基準値とコントラスト改善量ＶＲＰｉｊを使って変換し、その後に０から２５５の８ビットデータの整数データに変換することとする。そのため、ＶＴｃの各成分が取りえる値は０．０から１．０の範囲になる。ＶＴｃの決定を変換基準値算出手段２２が行うが、一律にＶＴｃ＝（０．５，０．５，０．５）のように取りえる画素値の平均に設定することもできる。しかしながら、輝度が高いほど高めに、低いほど低めになるように変換する方が入力画像１からの急激な変化を抑制することができると思われる。つまり、このように入力画像１の対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）に応じてＶＴｃの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制することが可能となる。よって、ここでもそのようにｙ（ｉ，ｊ）におうじてＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を制御することとした。その一例は式（数８）のようになるが、このような線形関数ではなく、非線形関数を用いることも考えられる。
【００５０】
【数８】

【００５１】
なお、この式（数８）における傾きを大きくしすぎると、暗部におけるコントラスト改善を抑制しすぎることで本来の特徴である、変動差がある部分を強調してコントラスト改善する特徴を損なうことがある。またＶＴｃの取りうる範囲は０．０から１．０であるので、これらの条件をもとに式（数８）を設定する必要がある。
【００５２】
強調量導出手段２１のＶＲＰｉｊと変換基準値算出手段２２のＶＴｃの結果を受けて、２３の画素値変換手段が強調画像３の画素Ｐｉｊにおける画素値を求める。
【００５３】
一方、Ｒｅｔｉｎｅｘ理論に基づくコントラスト改善手法の課題として、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、ＣＣＤ等で入力時発生したシャドウ部における色ノイズを際立たせる。本件特許出願の発明者らは、先の出願（日本国　特願２００２−３３６５８号）において、これらの問題を解決するために、入力画像１と視覚モデルで得られた強調画像３を適応的に合成することで入力画像１が本来持つ輝度レベルの低減や上昇を抑えることとした。本発明でもその手段を用いるが、上記示した強調量導出手段２１からのＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃを対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）に応じて制御する処理と組み合わせてやることで、より入力画像１のもつ雰囲気を保ちながら、暗部の見えを改善することが可能となる。なお、画像合成手段１５は図４のように構成されており、まず４０で入力画像１に掛かる結合係数ｗ１と強調画像３に掛かる結合係数ｗ３を制御する。そして４１において、このｗ１とｗ３を用いた加重平均合成画像４を生成する。最後に４２において、入力画像１の対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）、色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）を求めるとともに、合成画像４の対応する画素の輝度ｗｙ（ｉ，ｊ），色差ｗｃｒ（ｉ，ｊ），ｗｃｂ（ｉ，ｊ）を求める。そして、ｙ（ｉ，ｊ）≧ｗｙ（ｉ，ｊ）の場合には、ｗｙ（ｉ，ｊ）＝ｙ（ｉ，ｊ）として、このｗｙ（ｉ，ｊ），ｗｃｒ（ｉ，ｊ），ｗｃｂ（ｉ，ｊ）よりＲＧＢ空間におけるＶＷＰｉｊ（ｗｒ（ｉ，ｊ），ｗｇ（ｉ，ｊ），ｗｂ（ｉ，ｊ））に変換することで最終的な出力画像２を生成する。
【００５４】
なお、４０の時点で、入力画像１画素値ＶＰｉｊと強調画像３の画素値ＶＲＰｉｊを比較して、ＶＰｉｊが３成分ともＶＲＰｉｊより大きい場合にはｗ１＝１．０、ｗ３＝０．０とし、それ以外にはｗ１＝ｗ３＝０．５として合成画像の画素値ＶＷＰｉｊを求めることとしたが、前記した先行出願（日本国　特願２００２−３３６５８号）のように入力画像の対応する画素におけるエッジ情報で制御する手法や、輝度ｙ（ｉ，ｊ）と予め決めたしきい値ＴＨ，ＴＨＣｏｍｂを用いて、式（数９）のように制御する手法も可能である。
【００５５】
【数９】

【００５６】
なお、式（数９）の場合、ｅｘｐ関数による処理のオーバーヘッドが考えられるが、予め設定した精度に応じたｅｘｐ関数をテーブル化してそのテーブル参照することでこの処理のオーバーヘッドは抑えることができる。この式（数９）は暗部では極力強調画像３を優先するが、入力画像の輝度と強調画像の輝度の比をもとに、その改善が急激な場合にはｗ３を抑制することで暗部でのノイズ強調を抑制するように工夫したものである。
【００５７】
以上のような構成や処理を行うことで本発明の第１の実施の形態である画像処理装置及び画像処理方法は、従来例の視覚モデルの利点を有効に生かすことでハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。また、先行出願やＪｏｂｓｏｎらの従来手法のように、２１で得られたコントラスト改善量より有効を思われる領域を抽出する処理が不要となるため、処理量の削減にもつながるという利点も持つ。
【００５８】
さらに、本発明ではコントラスト改善手段１２は図２のように１つの周辺領域ｃによる構成をしているが、この周辺領域ｃの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなＪｏｂｓｏｎらのような複数の周辺領域サイズｃ［ｓ］を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図３のような構成になる。
【００５９】
周辺範囲初期化手段３０でまずｃ＝ｃ０というように、予め用意された複数の周辺視野領域サイズｃ［ｓ］（ｓ＝０，１，．．，Ｃｎｕｍ−１）のｃ０を周辺視野領域に設定する。この場合、ｃ［ｓ］は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。２０、２１では、現在設定されているｃ＝ｃｋの矩形域の周辺視野に対して、周辺視野における画素値のコントラスト改善量ＶＲＰｉｊ［ｓ］　（Ｒｒ＃ｓ（ｉ，ｊ），Ｒｇ＃ｓ（ｉ，ｊ），Ｒｂ＃ｓ（ｉ，ｊ））　が算出される。そして、すべてのｃ［ｓ］で２１での画素Ｐｉｊ周辺視野におけるコントラスト改善量計算が終了したかどうかの判定を終了判定手段３１で行う。終了していないと判定された場合には周辺範囲変更手段３２へ処理が移り、現在設定されている周辺視野領域ｃをつぎの候補に変更し再び２０、２１での処理が行われる。一方、３１で終了判定された場合には、各周辺視野領域ｃ［ｓ］に対するＰｉｊのコントラスト改善量ＶＲＰｉｊ［ｓ］（Ｒｒ＃ｓ（ｉ，ｊ），Ｒｇ＃ｓ（ｉ，ｊ），Ｒｂ＃ｓ（ｉ，ｊ））の重み付き平均値を求め、その値をＰｉｊのコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））と設定する。簡易化のために、各ｃ［ｓ］によるＶＲＰｉｊ［ｓ］の平均値をＰｉｊのコントラスト改善量ＶＲＰｉｊとして採用する。これ以外にも、ｃ［ｓ］による値ＶＲＰｉｊ［ｓ］を各成分別に比較して最大値となる値をＰｉｊのコントラスト改善量ＶＲＰｉｊとすることも可能である。こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。
【００６０】
これ以降の処理は１つの周辺範囲の場合と同様のため省略する。
【００６１】
なお、これらの処理は本発明の第１の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００６２】
また、本発明の第１の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００６３】
（第２の実施の形態）
次に本発明の第２の実施の形態である画像処理装置及び画像処理方法について説明する。
【００６４】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図２のようになり、複数の周辺範囲ｃ［ｓ］を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図６のような構成になる。
【００６５】
強調量導出手段２１は、対象画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の周囲より選択された比較対象画素の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する周囲平均手段５０と、Ｐｉｊにおける輝度のエッジ情報ｅ（ｉ，ｊ）を求めるエッジ情報検出手段６０と、６０のｅ（ｉ，ｊ）をもとに５０のＶＡＰｉｊを補正する係数ＶＤＡＰｉｊ（ｄｃｒ（ｉ，ｊ），ｄｃｇ（ｉ，ｊ），ｄｃｂ（ｉ，ｊ））を求める補正係数算出手段６１と、６１で得られた補正係数ＶＤＡＰｉｊをもとにＶＡＰｉｊを補正する比較量補正手段６２と、６２で得られたＰｉｊの局所的な特徴を表すＶＡＰｉｊと画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する改善量算出手段５１より構成される。
【００６６】
以上のように構成された第２の実施の形態である画像処理装置の動作について説明する。
【００６７】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲ｃもしくはｃ［ｓ］内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。そして、この値を変換基準値ＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。
【００６８】
強調量導出手段２１では、まず、入力画像内における画素Ｐｉｊの画素値ＶＰｉｊをＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を算出する。それとともに、この値を補正する補正係数ＶＤＡＰｉｊ（ｄｃｒ（ｉ，ｊ），ｄｃｇ（ｉ，ｊ），ｄｃｂ（ｉ，ｊ））を求める。本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値ＶＴｃを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していたが、この輪郭付近での平坦化解消をするには、変換基準値ＶＴｃを制御するのではなく一律の中心値（ここでは、０．０から１．０での範囲で扱っているため０．５）に設定して、５０で得られた周囲範囲Ａｉｊ内の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を制御することでも同じような効果が得られると思われる。よって、本発明では入力画像内の対象画素Ｐｉｊの情報を使って、ＶＡＰｉｊを補正する補正係数ＶＤＡＰｉｊ（ｄｃｒ（ｉ，ｊ），ｄｃｇ（ｉ，ｊ），ｄｃｂ（ｉ，ｊ））を求め、この値を６１でＶＡＰｉｊに各成分ごとに乗算することで輪郭付近での強調程度を高めることとした。その補正係数制御としては、ここでは、対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）のエッジ情報ｅ（ｉ，ｊ）をもとに式（数１０）のように、線形的にエッジ情報の程度におうじて補正係数を抑制することとした。しかし、この制御方法は一義的に決まるものではなく、非線形関数による制御も可能である。なお、式（数１０）においてａｖｅ＃ｅはｅ（ｉ，ｊ）の画像内平均を表すが簡略化のために０．５を設定することも可能である。
【００６９】
【数１０】

【００７０】
しかし、本発明の第１の実施例と同様に入力画像内の対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）をもとに線形的に補正係数を制御することも可能であり、この場合には、輝度が高いほど補正係数を小さくするようにするものである。
【００７１】
このような手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。
【００７２】
また、本発明の第１の実施例と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【００７３】
なお、これらの処理は本発明の第２の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００７４】
また、本発明の第２の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００７５】
（第３の実施の形態）
次に本発明の第３の実施の形態である画像処理装置及び画像処理方法について説明する。
【００７６】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図２のようになり、複数の周辺範囲ｃ［ｓ］を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図７のような構成になる。
【００７７】
強調量導出手段２１は、対象画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の周囲より選択された比較対象画素の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する周囲平均手段５０と、Ｐｉｊにおける輝度と、周囲領域内より選択された比較対象画素Ｑｉｊの輝度の差分量の絶対値の重み付き加重和Ａｄｙ（ｉ，ｊ）を求める輝度差分平均手段７０と、Ａｄｙ（ｉ，ｊ）をもとに５１で得られたコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を強調する強調成分ＶＢＲＰｉｊ（ＢＲｒ（ｉ，ｊ），ＢＲｇ（ｉ，ｊ），ＢＲｂ（ｉ，ｊ））を算出する強調成分算出手段７１と、７１で得られたＶＢＲＰｉｊ（ＢＲｒ（ｉ，ｊ），ＢＲｇ（ｉ，ｊ），ＢＲｂ（ｉ，ｊ））をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を補正する改善量補正手段７２より構成される。
【００７８】
以上のように構成された第３の実施の形態である画像処理装置の動作について説明する。
【００７９】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲ｃもしくはｃ［ｓ］内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。そして、この値を変換基準値ＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。
【００８０】
強調量導出手段２１では、まず、入力画像内における画素Ｐｉｊの画素値ＶＰｉｊをＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を算出する。
【００８１】
本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値ＶＴｃを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していた。また、本発明の第２の実施例では、変換基準値ＶＴｃを制御するのではなく、Ｐｉｊの輝度ｙ（ｉ，ｊ）のエッジ情報ｅ（ｉ，ｊ）をもとに周囲範囲内の重み付き加重和ＶＡＰｉｊを制御することで合成画像３におけるエッジ付近での平坦化現象を抑制していた。
【００８２】
この第３の実施例では、まず輝度差分平均算出手段７０で、対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）とその周辺範囲より比較画素として選択されたＱ（ｉ，ｊ）の輝度ｙｓ（ｉ，ｊ）間の差分量の絶対値の重み付き加重和Ａｄｙ（ｉ，ｊ）を求める。そして、この値をもとに強調成分算出手段７１が式（数１１）に従い、強調成分ＶＢＲＰｉｊ（ＢＲｒ（ｉ，ｊ），ＢＲｇ（ｉ，ｊ），ＢＲｂ（ｉ，ｊ））を求めるのである。
【００８３】
【数１１】

【００８４】
この式は、Ａｄｙ（ｉ，ｊ）をＰｉｊにおける変位強調量と見なし、５１で得られたＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の１．０からの変位量をこのＡｄｙ（ｉ，ｊ）と予め設定された強調係数で強調する成分量を算出するものである。例えば、均一に輝度が変わらないところでは、強調成分は生じない。しかし、コントラスト改善量が１．０より大きい対象画素に対しては強調画像の画素値をより強調するような成分が算出され、逆にコントラスト改善量が１．０より小さい対象画素に対しては、強調画像の画素値を抑制するような成分が得られる。そのため、強調画像３においてよりエッジ付近等での画素値変化が大きいところにおけるメリハリ感がますこととなり、最終的に得られる合成画像２における画像のメリハリ感の保存を実現することができる。
【００８５】
以上のように、本発明の第３の実施の形態例では、このような強調成分を算出する手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。
【００８６】
また、本発明の第１の実施例と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【００８７】
なお、これらの処理は本発明の第３の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００８８】
また、本発明の第３の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００８９】
（第４の実施の形態）
次に本発明の第４の実施の形態である画像処理装置及び画像処理方法について説明する。
【００９０】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図１４のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Ｐｉｊの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、各水平画素位置ｉに対して、選択された比較画素を対象とした垂直方向での加算値Ｎ［ｉ］を求める垂直方向加算手段１４０と、１４０より対象画素Ｐｉｊの周辺範囲に含まれる水平画素位置ｉの加算値Ｎ［ｉ］より周辺範囲の加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する簡易周囲平均手段１４１と、１４１で得られたＰｉｊの局所的な特徴を表すＶＡＰｉｊと画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する改善量算出手段５１と、５１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃ（ｒｔｃ（ｉ，ｊ），ｇｔｃ（ｉ，ｊ），ｂｔｃ（ｉ，ｊ））を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。
【００９１】
図１４のように構成された第４の実施の形態である画像処理装置におけるコントラスト改善処理の処理の流れを説明する。
【００９２】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では、まず周辺領域ｃ内で比較対象画素を選択する。その場合、例えば図１６の左図のように、ある間隔で垂直方向に間引いて比較対象画素Ｑｉｊを決める。次に、垂直方向加算手段１４０が図１６左図のように各水平画素位置ｉにおける垂直方向での輝度値の加算値Ｎ［ｉ］を求める。そして、簡易周囲平均手段１４１では、このＮ［ｉ］より対象画素Ｐｉｊの周辺領域ｃ内に含まれるＮ［ｋ］の加重和Ｓを求め、その周辺範囲内に含まれる比較画素数ｍで除することで平均比較対象輝度Ａｓｙ（ｉ，ｊ）を算出する。そして、この値と対象画素Ｐｉｊの画素値（ｒ（ｉ．ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を各々比較することでコントラスト改善量ＶＲＰｉｊを求める。さらに、対象画素Ｐｉｊが図１６右図のように水平画素位置ｉがｉ＋１へ移った場合、図１６のようにまずＰｉｊで得られた加重和Ｓより先頭のＮ［０］を減する。そして、それに新しく周辺範囲に含まれることとなったＮ［７］を加えることでＰｉ＋１ｊの周辺範囲内の比較画素の輝度の総和Ｓが得られる。この値を同じように比較対象画素数ｍで除することで平均比較対象輝度Ａｓｙ（ｉ＋１，ｊ）が得られる。このように、予め用意しておいた垂直方向での加算値Ｎ［ｋ］を加減算することで簡易に平均比較対象輝度が得られる。これが、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の対象画素Ｐｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比較対象濃度ＶＡＰｉｊをなるのである。こうすることで、周辺範囲内のＶＡＰｉｊを求める際のフィルタリング処理を高速に行うことができる。
【００９３】
Ｒｅｔｉｎｅｘ処理によるコントラスト改善を行う場合、このＶＡＰｉｊを求める処理量の削減が大きなポイントになっていた。特に、図１５のように複数の周辺範囲領域ｃ［ｋ］をもつ多重解像度処理をした場合、その処理量は非常に膨大となってします。しかしながら、本発明のように、重み付き加重和を単純な周辺範囲内の平均に簡略化しそして、そのための周辺範囲内の加重和計算手続きを工夫することで処理量の削減を実現することができる。
【００９４】
このコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）に応じて式（数８）のように変換基準値ＶＴｃの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制する。なお、この際に、本発明の第２の実施例における平均比較濃度ＶＡＰｉｊの制御や第３の実施例のような強調成分ＶＢＲＰｉｊの制御する処理を加えることも可能である。
【００９５】
さらに、本発明ではコントラスト改善手段１２は図１４のように１つの周辺領域ｃによる構成をしているが、この周辺領域ｃの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなＪｏｂｓｏｎらのような複数の周辺領域サイズｃ［ｓ］を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図１５のような構成になる。
【００９６】
こうした場合、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。
【００９７】
以上のように本発明の第４の画像処理装置及び画像処理方法は、本発明の第１の実施の例においてもっとも処理量の多い対象画素周辺の平均比較画素濃度ＶＡＰｉｊの算出過程を工夫・簡略化することで、エッジ保存しながらのコントラスト改善効果を保ちながら処理時間を短縮化することができる。特にこの高速化の効果は複数の周辺範囲ｃ［ｋ］を持つ場合ほどその効果は大きくなるものである。
【００９８】
さらに、これらの処理は本発明の第４の実施の形態であるカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００９９】
また、本発明の第４の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１００】
（第５の実施の形態）
本発明の第５の実施の形態である画像処理装置及び画像処理方法について説明する。
【０１０１】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図１７のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Ｐｉｊの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、水平画素位置における選択されたｉに対して、選択された比較画素を対象とした垂直方向での加算値Ｎ［ｉ］を求める間引き垂直方向加算手段１７０と、１７０より対象画素Ｐｉｊの周辺範囲に含まれる水平画素位置ｉの加算値Ｎ［ｉ］より周辺範囲の加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する簡易周囲平均手段１４１と、１４１で得られたＰｉｊの局所的な特徴を表すＶＡＰｉｊと画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する改善量算出手段５１と、５１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃ（ｒｔｃ（ｉ，ｊ），ｇｔｃ（ｉ，ｊ），ｂｔｃ（ｉ，ｊ））を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。
【０１０２】
この発明は、本発明の第４の実施の形態例と比較すると、水平画素位置ｉ全てに対して、選択された比較対象画素のみを対象とした垂直方向での加算処理を行うのではなく、予め比較画素決定手段で水平画素位置も所定の間隔で間引いて選択を行う。そして、選択された水平画素位置ｉの垂直方向での加算処理を行うようにしたものである。
【０１０３】
図１８はその処理の概要を表すが、図１８の左図のように水平画素位置に間引いかれたとする。その場合、間引き垂直方向加算処理１７０では、ｉ＝０における垂直方向加算値Ｎ［０］を間引かれたｉ＝１における垂直方向加算値Ｎ［１］＝Ｎ［０］に振り分ける。同様に、Ｎ［３］＝Ｎ［２］、Ｎ［５］＝Ｎ［４］のように補間する。このようにすることで、全ての水平画素位置に対して垂直方向での加算処理を行うことがなく処理量の削減となる。また、つづく水平画素位置ｉ＋１に対する処理の場合は図１７右図のようになり、先頭のＮ［０］が対象画素Ｐｉｊの周辺領域ｃ内に含まれるＮ［ｋ］の加重和Ｓより減算される。その後、新しく周辺範囲に含まれることとなったＮ［７］が加えられることになるが、このｉ＝７の水平画素位置における垂直方向加算処理は比較画素決定手段２０で除かれているため、比較画素決定手段２０で選択されｉ＝７に最も隣接したｉ＝６におけるＮ［６］でＮ［７］を補間した。そしてその補間されたＮ［７］を先ほどの加重和Ｓに加算する。その後、周辺範囲内に含まれる比較画素数ｍで除することで平均比較対象輝度Ａｓｙ（ｉ，ｊ）が算出される。こうすることで、本発明の第４の実施の形態例よりも重み付き加重和の計算手続きを削減することができ、より処理量の削減を実現することができる。
【０１０４】
なお、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）に応じて式（数８）のように変換基準値ＶＴｃの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制しているが、本発明の第２の実施例における平均比較濃度ＶＡＰｉｊの制御や第３の実施例のような強調成分ＶＢＲＰｉｊの制御する処理を加えることも可能である。
【０１０５】
さらに、本発明ではコントラスト改善手段１２は図１７のように１つの周辺領域ｃによる構成をしているが、この周辺領域ｃの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなＪｏｂｓｏｎらのような複数の周辺領域サイズｃ［ｓ］を持つ多重解像度モデルがより効果的であることも本発明の第１の実施例と同様である。
【０１０６】
さらに、これらの処理は本発明の第５の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１０７】
また、本発明の第５の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１０８】
（第６の実施の形態）
本発明の第６の実施の形態である画像処理装置及び画像処理方法について説明する。
【０１０９】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成される。そして、コントラスト改善手段は本発明の第１から第５の実施例のいずかと同様の構成で組み立てられる。また、画像合成手段１３も本発明の第１の実施例と同様に図４のようになる。この発明のポイントは、後処理手段が図１９のように構成されていることであり、図１９において、１９０は入力画像の輝度と色差を計算する入力輝度・色差算出手段であり、１９１は合成画像３のＰｉｊにおける輝度ｗｙ（ｉ，ｊ）と１９０で得られた輝度ｙ（ｉ，ｊ）を比較し、その間の比Ｒａｔｉｏ（ｉ，ｊ）を算出する輝度比算出手段であり、１９２は得られた輝度比をもとに合成画像３の輝度ｗｙ（ｉ，ｊ）を調整する輝度調整手段であり、１９３は調整された輝度ｗｙ（ｉ，ｊ）とｙ（ｉ，ｊ）間のＲａｔｉｏ（ｉ，ｊ）より入力画像の色差を修正する色差成分修正手段であり、１９４は修正された色差成分と輝度より合成画像３の画素値ＶＷＰｉｊ（ｗｒ（ｉ，ｊ），ｗｇ（ｉ，ｊ），ｗｂ（ｉ，ｊ））を再算出する画像再生成手段であり、１９５は所定のガンマ変換を行うガンマ変換手段である。
【０１１０】
このように構成された、本発明の第６の実施の形態である画像処理方法の処理を背罪するが、コントラスト改善処理と後処理手段は図２０のようになる。コントラスト改善処理は、本発明の第１の実施の例と同じように行われるが、第１の実施例の場合、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））が成分ごとに式（数６）（数７）に従い算出されるのに対し、本発明では、式（数６）と式（数１１）のように、周辺範囲内の平均比較輝度Ａｙ（ｉ，ｊ）と対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）の比に示される改善輝度ｙＲＰ（ｉ，ｊ）を算出する。
【０１１１】
そして、このｙＲＰ（ｉ，ｊ）を変換基準値算出手段２２で得られたｙＴｃ（ｉ，ｊ）をもとに実際の画素値のもつ輝度ｙＲＰ（ｉ，ｊ）に変換する。次に、画像合成手段１３で強調画像３の輝度ｙＲＰ（ｉ，ｊ）と入力画像１の輝度ｙ（ｉ，ｊ）の合成輝度画像２を生成する。つまり、本発明の第１から第５の実施例で３成分ごとに扱ってきたのに対し、ここでは輝度のみで画像合成まで処理を行うのである。これは、本発明の第１の実施例の式（数６）（数７）のように平均比較輝度ＶＡＰｉｊと入力画像ＶＰｉｊの各成分比を使う場合、入力画像１の色バランスはある程度保持されるが、その後で行われる強調・補正処理で図２１左図のように入力画像１の色バランスが崩れることがありうる。そこで、本発明では図２１の右図のように、合成後の改善輝度ｗｙ（ｉ，ｊ）とｙ（ｉ，ｊ）間の改善比Ｒａｔｉｏ（ｉ，ｊ）をもとに入力画像の色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）を修正した改善色差ｗｃｒ（ｉ，ｊ），　ｗｃｂ（ｉ，ｊ）を生成し、これらの値をもとに合成画像の画素値ＶＷＰｉｊを算出することで色バランスの保持を図ったものである。
【０１１２】
しかし、合成後の改善輝度ｗｙ（ｉ，ｊ）とｙ（ｉ，ｊ）間の比Ｒａｔｉｏ（ｉ，ｊ）をそのまま入力画像の色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）に乗算して得られた色差ｗｃｒ（ｉ，ｊ），　ｗｃｂ（ｉ，ｊ）が飽和する可能性があるため、この飽和判定を行う。そして、もしｗｃｒ（ｉ，ｊ）が飽和していた場合には、この色差に対する比ｄＲａｔｉｏ（ｉ，ｊ）＝ｗｃｒ（ｉ，ｊ）／ｃｒ（ｉ，ｊ）を改めて合成後の改善輝度と入力画像の輝度による改善比Ｒａｔｉｏ（ｉ，ｊ）とする。この値をもとに合成後の改善輝度ｄｗｙ（ｉ，ｊ）を計算する処理を１９２の輝度調整手段が行う。次に、１９３がＲａｔｉｏ（ｉ，ｊ）を使って改めて、入力画像の色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）を修正して合成後の色差ｄｗｃｒ（ｉ，ｊ），ｄ　ｗｃｂ（ｉ，ｊ）を生成するのである。その後、実際の画素値に変換して合成画像３のＰｉｊにおける画素値ＶＷＰｉｊ（ｗｒ（ｉ，ｊ），ｗｇ（ｉ，ｊ），ｗｂ（ｉ，ｊ））を求め、ガンマ変換手段１９５が入力画像に本来加えられていたガンマ変換処理を行うことで最終的に画像出力手段１５で出力する出力画像２を生成するのである。
【０１１３】
このように本発明では、入力画像における色のバランスを保つために、コントラスト改善処理時には輝度のみの改善を行い、その際の改善度合いを示す改善比をもとに入力画像の色差を修正することで合成画像の色バランス改善を図るものである。とくに、修正後の色差の飽和状態を考慮して改善度合いを図ることで、入力画像の色バランスを保持しながらコントラスト改善を行うことが可能となり、改めて色バランスを改善するための手段や仕組みを考慮する必要がないことが特徴である。
【０１１４】
さらに、これらの処理は本発明の第６の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１１５】
また、本発明の第６の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１１６】
【発明の効果】
以上のように、本発明の第１の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の輝度に応じて制御することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【０１１７】
以上のように、本発明の第２の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、対象画素の輝度に応じて周辺領域の平均画素値である比較濃度を制御するものである。こうすることで、より対象画素の濃度とその周囲の比較濃度の差を強調することができ、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【０１１８】
以上のように、本発明の第３の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の濃度と周囲画素の濃度の差分に応じて上記コントラスト改善量を補正することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【０１１９】
以上のように、本発明の第４の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直方向位置を決定し、決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の加算値を求める。そして、得られた各水平画素位置における加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出することで処理の簡略化を実現するものである。
【０１２０】
以上のように、本発明の第５の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直・水平方向位置を決定する。そして、決定された水平画素位置に対して、選択された垂直方向の画素濃度の加算値を求める。そして、対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれる場合には、その含まれる水平画素位置での加算値を用いる。対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれない場合にはその隣接する選択された水平画素位置における加算値を用いる。この手順をもとに、対象画素に対する比較濃度を高速に算出することで処理の簡略化を実現するものである。
【０１２１】
以上のように、本発明の第６の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。そして本発明の第１の画像処理装置及び方法と同様に得られたコントラスト改善量を実際の画素値に変換し、入力画像との合成処理を行う。その後、入力画像における対象画素の輝度・色成分と合成画像の輝度・色成分と比較して、輝度の低下をしないようにするとともに、入力画像の色成分に比例した値を用いることで、合成画像における色ずれを抑えることで最終的に出力される画像の高画質化を実現したものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である画像処理装置の構成を表すブロック図
【図２】本発明の第１の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表す図
【図３】本発明の第１の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図
【図４】本発明の第１の実施の形態である画像処理装置における画像合成手段の構成を表すブロック図
【図５】本発明の第１の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図６】本発明の第２の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図７】本発明の第３の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図８】本発明の第１，２，３，４，５の実施の形態である画像処理装置における前処理手段と後処理手段の例を表す模式図
【図９】本発明の第１の実施の形態である画像処理方法における全体のフローチャート
【図１０】本発明の第１の実施の形態である画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャート
【図１１】本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート
【図１２】本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート
【図１３】本発明の第１から第６の実施の形態のいずれかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルの概念図
【図１４】本発明の第４の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表すブロック図
【図１５】本発明の第４の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図
【図１６】本発明の第４の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート
【図１７】本発明の第５の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表すブロック図
【図１８】本発明の第５の実施の形態である画像処理方法におけるコントラスト改善処理の概要を表す図
【図１９】本発明の第６の実施の形態である画像処理装置における後処理手段の構成を表す図
【図２０】本発明の第６の実施の形態である画像処理方法におけるコントラスト改善処理と後処理手段のフローチャート
【図２１】本発明の第６の実施の形態である画像処理方法における後処理の概要を表す図
【図２２】従来例における画像処理装置の構成を表すブロック図
【図２３】従来例における画像処理装置の構成を表すブロック図
【図２４】従来例における画像処理装置の構成を表すブロック図
【符号の説明】
１　入力画像
２　出力画像
３　強調画像
１０　画像入力手段
１１　前処理手段
１２　コントラスト改善手段
１３　画像合成手段
１４　後処理手段
１５　画像出力手段
２０　比較画素決定手段
２１　強調量導出手段
２２　変換基準値算出手段
２３　画素値変換手段
３０　周辺範囲初期化手段
３１　終了判定手段
３２　周辺範囲変更手段
４０　結合係数導出手段
４１　加重平均合成手段
４２　出力値決定手段
５０　周囲平均手段
５１　改善量算出手段
６０　エッジ情報検出手段
６１　補正係数算出手段
６２　比較量補正手段
７０　輝度差分平均手段
７１　強調成分算出手段
７２　改善量補正手段
１４０　垂直方向加算手段
１４１　簡易周囲平均手段
１７０　間引き垂直方向加算手段
１９０　入力輝度・色差計算手段
１９１　輝度比算出手段
１９２　輝度調整手段
１９３　色差成分修正手段
１９４　画像再生成手段
１９５　ガンマ変換手段
２２０　画像データ入力手段
２２１　画像データ分割手段
２２２　ヒストグラム作成手段
２２３　コントラスト伸張手段
２２４　画像データ出力手段
２３０　ＣＣＤ
２３１　メモリ
２３２　乗算手段
２３３　レベル重み付加手段Ｈ
２３４　加算手段
２３５　速度変換手段
２３６　レベル圧縮手段
２３７　タイミング制御手段
２３８　レベル重み付加手段Ｌ
２３９　画像合成部
２４０　ディジタル撮像装置
２４１　プロセッサ
２４２　フィルタ
２４３　ディスプレイ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method capable of automatically adjusting the contrast of a digital image obtained by a digital camera or the like and obtaining a clearer image at a higher speed.
[0002]
[Prior art]
A color image captured by a digital camera is actually captured due to the SN level representing the noise ratio in the analog value obtained by the CCD device serving as an image sensor and the conversion accuracy when converting an analog value to a digital value. Since the range is limited to a range smaller than the dynamic range of the pixel density of the natural image, the phenomenon of losing information in shadowed details tends to occur. In particular, this tendency is large when an attempt is made to photograph a sample in which a bright area and a dark area are mixed in an image. As an improvement, a method of performing contrast enhancement so as to widen the range of the luminance and the like of the digital image from an image part having a higher luminance to an image part having a lower luminance can be considered. As a conventional method of contrast enhancement, a histogram showing the distribution state of the luminance values of all the pixels constituting the original image is created, and the luminance value of the pixels in the original image is converted to a new luminance by using a cumulative curve of the histogram as a luminance conversion curve. There is a histogram equalization method that converts the values into values and enhances the contrast of the image. In this method, since the luminance of the pixels in the entire area of the original image is converted to new luminance with the same luminance conversion curve, there may be a part where the contrast is reduced rather partially. Therefore, when it is desired to perform contrast enhancement on the entire image, it is necessary to perform contrast enhancement processing suitable for the region.
[0003]
As a further improvement of this method, many local histogram equalization methods that divide an image into a plurality of rectangular regions and apply the above-described histogram equalization method to each region have been proposed (for example, Japanese Patent Application Laid-Open No. 2000-285230). ), And its configuration is as shown in FIG. FIG. 22 illustrates a contrast improving unit, which includes an image data dividing unit 221 that divides an image into rectangles, a histogram creating unit 222 that creates a histogram for each rectangle, and a contrast extending unit 223 that extends the contrast for each rectangle. Consisting of However, when this method is used, problems have been pointed out such as a rectangular region where contrast is excessively enhanced, and a possibility that contrast is discontinuous at a boundary between adjacent rectangular regions.
[0004]
On the other hand, without using the histogram, as a solution to such a problem, the shutter time and the aperture of the digital camera are changed for each field, and the bright and dark portions are separately imaged, and each piece of obtained information is stored in one field. A method has been proposed in which a halftone density is realized by synthesizing a single image to approximate the dynamic range of the pixel density of an actually captured natural image. As an example, there is an example referred to in Japanese Patent Application Laid-Open No. 6-141229, and the configuration of the apparatus is as shown in FIG. In FIG. 23, reference numeral 230 denotes an image sensor for performing a photoelectric effect on an object, 231 a memory for recording an image signal, 232 a multiplying means for multiplying the signal level by a constant number, and 233 and 238 weighting according to the level of the image signal. Level weighting means, 234 is an addition means for adding signals, 235 is a speed conversion means for converting the speed of the image signal, 236 is a level compression means for compressing the level of the image signal, and 237 is a timing control for controlling the timing of each block. Means. The device of the present invention performs weighted synthesis in accordance with the signal levels of two or more images having different charge accumulation periods in the image sensor, converts the obtained synthesized image output into the speed of a standard TV signal, and converts the output of the TV signal into a standard TV signal. Since the present invention relates to a television imaging device that compresses to a reference level, it has a speed conversion unit, a level compression unit, and the like. Therefore, when applied to a digital camera, the speed conversion means and the level compression means are not necessary components. However, in the case of the method based on image synthesis obtained in a plurality of charge accumulation periods as in the present invention, discontinuity in contrast in the synthesized image is unlikely to occur, but since at least two images are continuously taken, the principle Can not take the same image. Therefore, when these images are combined, there is a possibility that an image may be created in which the details of the combined image are blurred or shifted, though the shutter speed is also affected. If the density range for photographing a bright part and the density range for photographing a dark part cannot cover the entire density range of the image, there is a risk that discontinuity may occur in the two intermediate density ranges. is there.
[0005]
By the way, when a person observes the details and colors in such a shaded area, the human vision perceives the dynamics and colors of the wide density of the image without causing the above problems. Can be. The concept of such a central / peripheral vision Retinex centered on human vision is described by Edwin Land in "An Alternative Technique for the Computation of the Designator in the Retirement Society of Associates, Vol. Pp. 3078 to pp. 3080 (1986). Among them, the concept of Retinex in human vision describes an inverse square function in which the central visual field has a diameter of 2 to 4 basic units and the peripheral visual field has a diameter of about 200 to 250 times the central visual field. ing. Then, the spatial average of the signal intensities in the central visual field and the peripheral visual field is defined as related to the perceived intensity. In accordance with these principles, techniques for improving the color and brightness expression in dark areas as described above have been recently proposed. This example is described in International Publication No. WO97 / 45809 (published number of Japanese Patent Publication No. 2000-511315 in Japan), and FIG. 24 shows the configuration. Although a grayscale image is described here as an example, the present invention can be extended to a color image. The pixel value I (i, j) at (i, j) of the image is adjusted by the processor 241 and the filter 242 to perform a filtering process.
[0006]
For each pixel, the processor 241 calculates an adjustment pixel value I ′ (i, j) as in the following equation (Equation 1). Here, F (x, y) is a peripheral visual field function representing a peripheral visual field, and “*” indicates a convolution operation process.
[0007]
Then, the normalization coefficient K is determined so that F (x, y) satisfies the condition of Expression (2), whereby the second term of Expression (1) becomes the pixel value of the peripheral visual field. It corresponds to the average value. That is, the equation (Equation 1) is equivalent to logarithmic conversion of the ratio of the pixel value of each pixel to the average pixel value in a large area. The peripheral visual field function F (i, j) is designed so that the contribution ratio becomes higher as approaching the target pixel from the correspondence with the human visual model, and a Gaussian function such as Expression (3) is applied. . Here, c is a constant for controlling the adjustment pixel value I ′ (i, j) of each pixel value I (i, j).
[0008]
(Equation 1)

[0009]
(Equation 2)

[0010]
[Equation 3]

[0011]
As described above, in this conventional invention, the target pixel value with respect to the average pixel value in the peripheral visual field is calculated as the adjusted pixel value I ′ (i, j), and this value is used by the display 243. The filter processing for generating the Retinex output R (i, j) is performed by 242. Reference numeral 242 converts I ′ (i, j) from a logarithmic area to an R (i, j) pixel value area handled by the display 243, and the same is applied to all pixels for simplification of processing. A process that applies an offset and gain conversion function is used.
[0012]
However, this method is greatly affected by c that controls the peripheral visual field function. For example, when this c becomes a large value, the peripheral field of view contributing to the target pixel becomes large, so that only color compensation in a large shadow can be performed. On the other hand, when this c is a small value, only the vicinity of the target pixel becomes And only improvement in small shadow areas can be seen. It is necessary to consider an appropriate c according to the dynamic range of the pixel values in the image to be treated in this way, and there is a problem of image dependency. As an improvement, a method of providing a plurality of peripheral visual fields is proposed in the same patent, but it is not clear how many peripheral visual fields are prepared. In addition, there is a problem that the processing time becomes enormous by preparing many small peripheral regions from large peripheral regions in order to improve the improvement accuracy.
[0013]
Further, when the pixel value fluctuation is very small within the maximum peripheral field of view set by the plurality of constants c, the adjusted pixel value I ′ (i, j) is I (i, j) even if a plurality of regions are prepared. ) Is close to 1.0 regardless of). In such a case, I ′ (i, j) at the target pixel having a small pixel value variation is often located near the average of I ′ (i, j) in the entire input image. Regardless of the function, there is a tendency that it tends to go near the center of the actual pixel value. In particular, in a uniformly wide image area having highlight luminance, there is a problem that the luminance after adjustment is easily adjusted in a decreasing direction and visually deteriorates. On the other hand, in a wide area with low luminance, such as a night view, color noise or compression noise generated at the time of shooting may appear due to excessive emphasis.
[0014]
As a method for solving this problem, it has been shown that these can be improved by deriving an adaptive composite image of an input image and an enhanced image from a prior application. On the other hand, flattening of the image, in particular, reduction of the density difference in the contour portion occurred.
[0015]
[Problems to be solved by the invention]
As described above, with the conventional contrast improvement technology based on the human visual model, a clearer contrast-converted image can be obtained than with other methods. There is a problem that the design of the filter processing for converting the pixel values into the actual pixel values to be finally handled involves much empirical knowledge. As a countermeasure, a multi-resolution model having a plurality of peripheral visual fields has been proposed, but the processing time becomes enormous.
[0016]
In addition, it is necessary to flatten the synthesized image generated at the time of image synthesis, in particular, to further emphasize the outline portion.
[0017]
The present invention has been made in view of the above circumstances, and provides an image processing apparatus and an image processing method capable of improving the contrast of a captured image more clearly and at high speed by using only an image having a captured light and dark portion. The purpose is to do.
[0018]
[Means for Solving the Problems]
In order to solve the above-described problem, a first image processing apparatus and an image processing method according to the present invention obtain a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral area thereof. When converting the obtained contrast improvement amount to the actual pixel value, by controlling according to the brightness of the target pixel, the flattening of the image that occurs in the composite image of the input image and the emphasized image and the density difference It is intended that the reduction can be improved.
[0019]
In order to solve the above-mentioned problem, a second image processing apparatus and an image processing method according to the present invention provide a method for obtaining a luminance of a target pixel when calculating a contrast improvement amount by comparing a pixel value of the target pixel with an average pixel value in a peripheral area thereof. Is used to control the comparison density, which is the average pixel value in the peripheral area. By doing so, the difference between the density of the target pixel and the comparative density around the target pixel can be enhanced, and the flattening of the image generated in the composite image of the input image and the enhanced image and the reduction of the density difference in the outline portion are improved. It is something that can be done.
[0020]
In order to solve the above-described problems, a third image processing apparatus and an image processing method according to the present invention obtain a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral area thereof. When converting the obtained contrast improvement amount to an actual pixel value, by correcting the contrast improvement amount according to the difference between the density of the target pixel and the density of the surrounding pixels, a composite image of the input image and the enhanced image is obtained. The flattening of the resulting image and the reduction of the density difference in the contour portion can be improved.
[0021]
In order to solve the above problem, the fourth image processing apparatus and image processing method of the present invention determine a vertical position of a pixel to be used at the time of contrast improvement when calculating an average pixel value in a peripheral area of a target pixel. Then, for the determined pixel, an added value of the pixel density in the vertical direction is obtained for each horizontal pixel position. Then, the comparison density for the target pixel is calculated using the value of the horizontal pixel position included in the area set as the peripheral pixel of the target pixel from the obtained sum at each horizontal pixel position, thereby simplifying the processing. It realizes the conversion.
[0022]
In order to solve the above-described problems, a fifth image processing apparatus and an image processing method according to the present invention first determine a vertical / horizontal position of a pixel used for contrast improvement when calculating an average pixel value in a peripheral area of a target pixel. decide. Then, an addition value of the selected pixel density in the vertical direction is obtained for the determined horizontal pixel position. Then, when the selected horizontal pixel position is included in the area set as a peripheral pixel of the target pixel, the added value at the included horizontal pixel position is used. If the selected horizontal pixel position is not included in the area set as the peripheral pixel of the target pixel, the sum at the adjacent selected horizontal pixel position is used. Based on this procedure, the processing is simplified by calculating the comparison density for the target pixel at high speed.
[0023]
In order to solve the above-described problems, a sixth image processing apparatus and an image processing method according to the present invention obtain a contrast improvement amount by comparing a pixel value of a target pixel with an average pixel value in a peripheral area thereof. Then, similarly to the first image processing apparatus and method of the present invention, the obtained contrast improvement amount is converted into an actual pixel value, and a synthesis process with the input image is performed. Thereafter, the luminance and color components of the target pixel in the input image are compared with the luminance and color components of the composite image, so that the luminance is not reduced, and a value proportional to the color component of the input image is used. This realizes high quality of an image finally output by suppressing color misregistration in the image.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an overall configuration diagram of an image processing apparatus according to first to sixth embodiments of the present invention, and FIG. 2 is a contrast improving unit in an image processing apparatus according to first to third embodiments of the present invention. FIG. 4 shows a configuration diagram of an image synthesizing unit in the image processing apparatus according to the first to sixth embodiments.
[0025]
FIG. 5 shows a configuration diagram of the enhancement amount deriving means in the image processing apparatus according to the first embodiment of the present invention.
[0026]
FIG. 6 shows a configuration diagram of the enhancement amount deriving means in the image processing apparatus according to the second embodiment of the present invention.
[0027]
FIG. 7 shows a configuration diagram of the enhancement amount deriving means in the image processing apparatus according to the third embodiment of the present invention.
[0028]
FIG. 14 is a configuration diagram of a contrast improving unit in an image processing apparatus according to a fourth embodiment of the present invention, and FIG. 17 is a configuration of a contrast improving unit in the image processing apparatus according to a fifth embodiment of the present invention. FIG.
[0029]
FIG. 19 shows a configuration diagram of a post-processing unit in an image processing apparatus according to a sixth embodiment of the present invention.
[0030]
FIG. 9 is a diagram showing an entire flowchart in the image processing method according to the first to sixth embodiments of the present invention.
[0031]
FIG. 10 is a diagram illustrating a flowchart of the contrast improvement processing and the image synthesis processing in the image processing method according to the first embodiment of the present invention.
[0032]
FIG. 11 is a diagram illustrating a flowchart of the contrast improvement processing in the image processing method according to the second embodiment of the present invention.
[0033]
FIG. 12 is a flowchart of the contrast improvement processing in the image processing method according to the third embodiment of the present invention, and FIG. 20 is the contrast improvement processing and post-processing in the image processing method according to the sixth embodiment of the present invention. It is a figure showing the flowchart of a means.
[0034]
In the drawings of the configuration, the same parts are denoted by the same reference numerals. In addition, hereafter, it is assumed that all pixel units are used as the unit of the pixel position (i, j).
[0035]
(First Embodiment)
First, an image processing apparatus and an image processing method according to a first embodiment of the present invention will be described. FIG. 1 is a diagram showing the entire configuration, wherein 1 denotes an input image, 2 denotes an output image finally output, and 3 denotes an image after enhancement processing obtained by the contrast improving means 12. Reference numeral 10 denotes image input means such as a CCD device for obtaining one input image, 11 denotes preprocessing means for performing preprocessing such as inverse gamma conversion on the input image, and 12 denotes the image obtained by 11. Contrast improvement processing means for performing contrast improvement processing for enhancing details of the digital input image, 13 is an image synthesis means for synthesizing the digital input image and the enhanced image obtained by the 12 contrast improvement means, and 14 is the image synthesis means. Post-processing means 15 for performing post-processing such as gamma conversion applied to the input image on the obtained composite image. Reference numeral 15 designates the composite image obtained in 13 as a final processed image as a desired device (printer, display). And the like). The contrast improving means has a configuration as shown in FIG. 2. In FIG. 2, reference numeral 20 denotes comparison pixel determining means for determining a peripheral pixel to be compared from a peripheral area of the target pixel Pij, and reference numeral 21 denotes a color 3 in the target pixel Pij. The component value VPij (r (i, j), g (i, j), b (i, j)) is compared with a comparison target pixel selected from a Pij surrounding area having a width c to obtain a contrast improvement amount VRPij (Rr). (I, j), Rg (i, j), Rb (i, j)) is an emphasis amount deriving means. Reference numeral 22 denotes a contrast improvement amount VRPij obtained by the emphasis amount deriving means 21 and an actual pixel value. Is a conversion reference value calculating means for obtaining a conversion reference value VTc (rtc (i, j), gtc (i, j), btc (i, j)) at the time of conversion into. By the emphasis amount deriving means 21 A contrast improvement amount VRPij that is a pixel value converting means for converting the pixel values after contrast enhancement in the actual pixel Pij. As shown in FIG. 5, the emphasis amount deriving unit 21 includes a surrounding averaging unit 50 and an improvement amount calculating unit 51.
[0036]
Further, as shown in FIG. 4, the image synthesizing unit 13 uses the coupling coefficient ws (s = 1, s = 1) applied to the input image 1 and the enhanced image 3 obtained by the contrast improving unit based on the luminance information in the input image 1. 3; where w1 is a coupling coefficient applied to the input image 1, w3 is a coupling coefficient applied to the enhanced image 3), and a coupling coefficient w0 obtained by the coupling coefficient deriving means 40 , W1, a weighted average synthesizing unit 41 for generating a weighted average image of the input image 1 and the emphasized image 3 obtained by the contrast improving unit, and the weighted average synthesized image obtained by 41, the input image 1, and the emphasis. It is composed of output value determining means 42 for comparing the image 3 and determining the pixel value of the output image.
[0037]
The operation of the image processing apparatus according to the first embodiment configured as described above will be described with reference to FIGS.
[0038]
The color image 1 is digitally input via the image input means 10. In the case of 10, in the case of a color image, component data of red r, green g, and blue b are normally obtained with the precision of the input means (a value of 0 to 255 for 8 bits). At 10, this value is normalized to a value from 0.0 to 1.0.
[0039]
Preprocessing as shown in FIG. 8 is performed on the digital input image 1. In recent years, image data on which such a contrast improvement is performed has been increasingly taken by a digital camera (DSC). Normally, when image data captured by DSC is displayed on a monitor of a personal computer or the like, a gamma function having an upward convex shape as shown in the upper left diagram of FIG. 8 is used to make the input image clearer. Conversion processing has been performed. In the commonly used sRGB space, 2.2 is used as the gamma γ in this gamma conversion. Also when outputting with a printer, image processing for output is executed on the assumption that this gamma function is multiplied in advance by the input image. Therefore, in order to accurately extract image data obtained by a photographing element such as a CCD, a conversion process using an inverse gamma function for returning the effect of γ = 2.2 is required. Performs downward convex inverse gamma conversion as shown in the upper right figure.
[0040]
Next, contrast improvement processing for improving the contrast in the dark part of the input image is performed by the contrast improvement means 12 on the digital input image 1 subjected to the inverse gamma conversion. The contrast improving means 12 performs the processing as shown in FIG. In human vision, as shown schematically in FIG. 13, the pixel information (color, contrast, etc.) of Pij is not recognized only by the pixel value perceived for the target pixel Pij, but the target pixel Pij is The pixel information of Pij is perceived by adjusting the pixel value of the target pixel value Pij based on the relative relationship with the information of surrounding pixels. This is referred to as the Retinex concept introduced by Edwin Land as described in the conventional example. Even in a scene where the intensity of the pixel value changes, the color of the object can be recognized with high accuracy. The present invention also clarifies the color and detailed information in a dark part such as a shadow by utilizing this concept.
[0041]
First, the pixel value VPij (r (i, j), g (i, j), b (i, j)) of the target pixel Pij is regarded as the central visual field in Land, and an area belonging to a rectangular area of c pixels around it Is regarded as the peripheral visual field. Then, a weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) of the pixel values in the peripheral visual field is obtained, and the relative relationship between VAPij and VPij is calculated. A connected contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated. As this VAPij, as in the conventional example, the pixel value VPij (r (i, j), g (i, j), b (i, j) in the peripheral visual field of the c pixel in the second term of Expression (Equation 1) ) And Equations (2) and (3) can be defined by the convolution integral value of the peripheral visual field function F (x, y) defined by the Gaussian function, and the contrast improvement amount VRPij is also calculated by the equation (2). Although it is possible to define Equation 1) independently for three components, in the present invention, the definition is made in consideration of simplification and high-speed processing. As an example, VAPij is an average value of pixel values VPij (r (i, j), g (i, j), b (i, j)) in the peripheral visual field of c pixels as shown in Expression (4). Defined, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is also the weighted average pixel value of the pixel value VPij for each component as shown in Expression (5). It can be defined as a ratio to VAPij.
[0042]
(Equation 4)

[0043]
(Equation 5)

[0044]
Further, as shown in Expressions (6) and (7), the average value of luminance y (i, j) in the peripheral visual field of c pixels is defined as three components of VAPij, and the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) can also be defined as the ratio of each component value at the pixel Pij to the weighted average pixel value VAPij as in equation (7).
[0045]
(Equation 6)

[0046]
(Equation 7)

[0047]
By doing so, it is considered that the obtained balance of the amount of contrast improvement can be better maintained than the case where the amount of contrast improvement is calculated independently for each component as in Equations (Equation 4) and (Equation 5). Therefore, in the present invention, the definitions based on Expression (6) and Expression (7) are adopted.
[0048]
The contrast improvement amount VRPij for the target pixel Pij as described above is performed for all the images in the input image. This processing is performed by the surrounding averaging means 50 and the improvement amount calculating means 51.
[0049]
Next, it is necessary to convert the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) into an actual pixel value. As this processing, a method of converting each component of VRPij into a value in the range of 0.0 to 1.0 and converting a part deemed necessary to an actual pixel value extracted may be considered. For further simplification, a conversion reference value VTc (trc, tgc, tbc) is calculated, and the conversion reference value is multiplied by each component of VRPij to obtain a pixel value of a pixel Pij of the emphasized image 3. In this case, the data may be converted from 8-bit integer data, which is generally handled, to 0 to 255. Here, the value is first converted to a real number data within a normalized range of 0.0 to 1.0 by a conversion reference value. And the contrast improvement amount VRPij, and then convert it to 8-bit integer data of 0 to 255. Therefore, the value that each component of VTc can take is in the range of 0.0 to 1.0. The VTc is determined by the conversion reference value calculating means 22, but may be uniformly set to an average of pixel values such as VTc = (0.5, 0.5, 0.5). However, it seems that the conversion from the input image 1 can be suppressed more rapidly if the conversion is performed such that the higher the luminance is, the lower the luminance is. That is, by controlling the value of VTc according to the luminance y (i, j) of the target pixel Pij of the input image 1 in this manner, it is possible to suppress a sharp increase in the luminance level of the shadow portion. Therefore, the VTc (trc, tgc, tbc) is controlled in this manner in accordance with y (i, j). An example is as shown in equation (8), but it is also possible to use a non-linear function instead of such a linear function.
[0050]
(Equation 8)

[0051]
If the inclination in the equation (Equation 8) is too large, the contrast improvement in the dark part may be suppressed too much, thereby impairing the original feature, that is, the feature of enhancing the contrast by enhancing the portion having the fluctuation difference. . Further, since the range that VTc can take is from 0.0 to 1.0, it is necessary to set the equation (Equation 8) based on these conditions.
[0052]
Receiving the results of VRPij of the emphasis amount deriving means 21 and VTc of the conversion reference value calculating means 22, the pixel value converting means 23 obtains the pixel value of the pixel Pij of the emphasized image 3.
[0053]
On the other hand, as a problem of the contrast improvement method based on the Retinex theory, a decrease in luminance level occurs in a highlight portion having a uniform color in a very large area as described in the conventional example. Similarly, in a shadow portion having a uniform color in a very large area, the luminance level in the emphasized image sharply rises, thereby highlighting color noise in the shadow portion generated at the time of input by a CCD or the like. In the prior application (Japanese Patent Application No. 2002-33658), the inventors of the present patent application adaptively applied the input image 1 and the emphasized image 3 obtained by the visual model in order to solve these problems. Combining suppresses a reduction or increase in the luminance level that the input image 1 originally has. Although this means is also used in the present invention, the conversion reference value VTc for converting VRPij from the emphasis amount deriving means 21 into an actual pixel value is controlled according to the luminance y (i, j) of the target pixel Pij. By combining this with the processing of performing the above, it is possible to improve the appearance of the dark portion while maintaining the atmosphere of the input image 1 more. The image synthesizing means 15 is configured as shown in FIG. 4. First, at 40, the coupling coefficient w1 applied to the input image 1 and the coupling coefficient w3 applied to the enhanced image 3 are controlled. Then, at 41, a weighted average composite image 4 using these w1 and w3 is generated. Finally, at 42, the luminance y (i, j) and the color differences cr (i, j), cb (i, j) of the target pixel Pij of the input image 1 are obtained, and the luminance wy ( i, j), color difference wcr (i, j), wcb (i, j). If y (i, j) ≧ wy (i, j), wy (i, j) = y (i, j) and wy (i, j), wcr (i, j), The final output image 2 is generated by converting wcb (i, j) into VWPij (wr (i, j), wg (i, j), wb (i, j)) in the RGB space.
[0054]
At the time of 40, the one-pixel value VPij of the input image is compared with the pixel value VRPij of the emphasized image 3, and if VPij is larger than VRPij for all three components, w1 = 1.0 and w3 = 0.0, In addition to the above, w1 = w3 = 0.5 was set to obtain the pixel value VWPij of the composite image. However, as described in the above-mentioned prior application (Japanese Patent Application No. 2002-33658), the edge at the corresponding pixel of the input image was determined. A method of controlling with information or a method of controlling as shown in Expression (9) using luminance y (i, j) and predetermined threshold values TH and THComb are also possible.
[0055]
(Equation 9)

[0056]
In addition, in the case of Expression (Equation 9), the overhead of the processing by the exp function can be considered, but the overhead of this processing can be suppressed by tabulating the exp function according to the preset accuracy and referring to the table. This equation (Equation 9) gives priority to the emphasized image 3 as much as possible in the dark part. However, based on the ratio between the luminance of the input image and the luminance of the emphasized image, if the improvement is drastic, w3 is suppressed in the dark part. Is devised so as to suppress noise emphasis.
[0057]
By performing the above-described configuration and processing, the image processing apparatus and the image processing method according to the first embodiment of the present invention can effectively reduce the luminance in the highlight portion by effectively utilizing the advantages of the conventional visual model. It is possible to easily and accurately perform contrast improvement by suppressing noise emphasis with respect to a sharp rise in luminance in a shadow portion. In addition, there is no need to perform a process of extracting a region that is considered to be more effective than the contrast improvement amount obtained in 21 as in the prior application and the conventional method of Jobson et al.
[0058]
Further, in the present invention, the contrast improving means 12 is constituted by one peripheral region c as shown in FIG. 2, but it is considered that the size of the peripheral region c is caused by the size of the dark portion to be improved. It is. In general, in the case of a natural image, since there may be shadow portions having various sizes, a multi-resolution model having a plurality of peripheral region sizes c [s] such as Jobson described in the related art is more effective. It is a target. When the present invention is applied to such a multi-resolution model, twelve contrast improving means have a configuration as shown in FIG.
[0059]
First, the peripheral range initializing means 30 sets c0 of a plurality of prepared peripheral visual region sizes c [s] (s = 0, 1,..., Cnum-1) as the peripheral visual region such that c = c0. Set. In this case, c [s] may be prepared in ascending order from the minimum size area, or may be prepared in descending order from the maximum size, but it is better to arrange the size change directions. Here, assuming that the peripheral image is prepared in descending order from the maximum size, it is assumed that the detail in the input image is improved while the peripheral visual field region is sequentially reduced. In 20 and 21, the contrast improvement amount VRPij [s] (Rr # s (i, j), Rg # s () of the pixel value in the peripheral visual field is set for the currently set peripheral visual field of the rectangular area of c = ck. i, j), Rb # s (i, j)) are calculated. Then, the end determination unit 31 determines whether or not the calculation of the contrast improvement amount in the peripheral visual field of the pixel Pij at 21 has been completed for all c [s]. If it is determined that the processing has not been completed, the processing moves to the peripheral range changing means 32, the currently set peripheral visual field area c is changed to the next candidate, and the processing in steps 20 and 21 is performed again. On the other hand, when the end is determined in 31, the contrast improvement amount VRPij [s] of Pij for each peripheral visual field region c [s] (Rr # s (i, j), Rg # s (i, j), Rb) #S (i, j)), and the weighted average value is set as the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) of Pij. . For simplicity, the average value of VRPij [s] for each c [s] is adopted as the Pij contrast improvement amount VRPij. In addition, it is also possible to compare the value VRPij [s] based on c [s] for each component and set the maximum value as the contrast improvement amount VRPij of Pij. In such a case, although the processing time is increased by the comparison processing rather than the addition processing, the pixel value of the image generated as the emphasized image 3 fluctuates slowly, and there is an advantage that a sharp rise in the edge portion can be suppressed.
[0060]
Subsequent processes are the same as in the case of one peripheral range, and will not be described.
[0061]
Note that these processes are similarly performed by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the first embodiment of the present invention. Can be realized.
[0062]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the first embodiment of the present invention.
[0063]
(Second embodiment)
Next, an image processing apparatus and an image processing method according to a second embodiment of the present invention will be described.
[0064]
The overall configuration diagram is configured as shown in FIG. 1 similarly to the first embodiment of the present invention. When the contrast improving means has one peripheral range c, it becomes as shown in FIG. In the case of having c [s], the configuration is as shown in FIG. Similarly, the image combining means 13 is as shown in FIG. The emphasis amount deriving means 21 in FIG. 2 or FIG. 3 has a configuration as shown in FIG.
[0065]
The emphasis amount deriving unit 21 calculates the weighted weighted sum VAPij (Ar (Ar (A)) of the comparison target pixels selected from around the target pixel Pij (r (i, j), g (i, j), b (i, j)). i, j), Ag (i, j), Ab (i, j)), an averaging means 50 for calculating the edge information e (i, j) of the luminance in Pij, and an edge information detecting means 60, 60 Correction coefficient calculating means 61 for obtaining a coefficient VDAPij (dcr (i, j), dcg (i, j), dcb (i, j)) for correcting 50 VAPij based on e (i, j) of A comparison amount correction unit 62 for correcting VAPij based on the correction coefficient VDAPij obtained in 61, a VAPij representing a local feature of Pij obtained in 62, and a pixel Pij (r (i, j), g ( i, j), b (i, j)) Metering VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) comprised of improvement amount calculation means 51 for calculating a.
[0066]
The operation of the image processing apparatus according to the second embodiment configured as described above will be described.
[0067]
The color image 1 is digitally input via the image input means 10. In the case of 10, in the case of a color image, component data of red r, green g, and blue b are normally obtained with the precision of the input means (a value of 0 to 255 for 8 bits). At 10, this value is normalized to a value from 0.0 to 1.0. Next, the processing unit 11 performs a pre-process on the digital input image 1 to return the gamma conversion of the input image to the original linear form. Then, a contrast improvement process for improving the contrast in the dark part is performed on the input image 1 after the preprocessing by the contrast improvement unit 12. The contrast improving means 12 performs the processing as shown in FIG. 2 or FIG. First, a comparison target pixel to be used for comparison density calculation is selected from peripheral pixels in the peripheral range c or c [s] of the target pixel, and the contrast enhancement amount VRPij (Rr (i, j)) is calculated based on the comparison target pixel and the target pixel. , Rg (i, j), Rb (i, j)). Then, this value is converted into a pixel value which is actual 8-bit integer data using the conversion reference value VTc (trc, tgc, tbc). Then, the image synthesizing means 13 shown in FIG. 4 performs adaptive synthesis of the obtained enhanced image 3 and the input image 1, and the gamma conversion originally added to the input image to the obtained synthesized image 2 is renewed. By performing the post-processing unit 14, the image output unit 15 generates a final output image to be output to a device such as a printer or a display.
[0068]
First, the emphasis amount deriving unit 21 regards the pixel value VPij of the pixel Pij in the input image as a central visual field in Land, and regards a region surrounding the rectangular area of c pixels as a peripheral visual field. Then, based on the comparison target pixel selected by the comparison pixel determination means 20, the weighted weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) in the surrounding range is obtained. ) Is calculated. At the same time, a correction coefficient VDAPij (dcr (i, j), dcg (i, j), dcb (i, j)) for correcting this value is obtained. In the first embodiment of the present invention, the flattening phenomenon near the edge of the output image 2 which occurs in the composite image 3 by controlling the conversion reference value VTc when converting the contrast improvement amount into the actual pixel value is controlled. However, in order to eliminate flattening in the vicinity of the contour, the conversion reference value VTc is not controlled but a uniform center value (here, the conversion reference value VTc is handled in a range of 0.0 to 1.0). Is set to 0.5) to control the weighted weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) in the surrounding range Aij obtained at 50. It seems that similar effects can be obtained by doing so. Therefore, in the present invention, a correction coefficient VDAPij (dcr (i, j), dcg (i, j), dcb (i, j)) for correcting VAPij is obtained using information on the target pixel Pij in the input image. This value is multiplied by 61 to VAPij for each component to increase the degree of emphasis near the contour. As the correction coefficient control, here, based on the edge information e (i, j) of the luminance y (i, j) of the target pixel Pij, the degree of the edge information is linearly expressed as in Expression (10). It was decided to suppress the correction coefficient. However, this control method is not uniquely determined, and control using a nonlinear function is also possible. In equation (10), ave # e represents the average of e (i, j) in the image, but may be set to 0.5 for simplification.
[0069]
(Equation 10)

[0070]
However, similarly to the first embodiment of the present invention, it is also possible to linearly control the correction coefficient based on the luminance y (i, j) of the target pixel Pij in the input image. In this case, The correction coefficient is made smaller as the luminance increases.
[0071]
By adopting such means, it is possible to improve the contrast in the dark part so that the sharpness of the emphasized image 3 and the sharpness of the image 3 and the composite image 2 of the input image 1 are preserved to some extent.
[0072]
Further, similarly to the first embodiment of the present invention, a multi-resolution configuration as shown in FIG. 3 is also possible. In this way, while taking advantage of the image sharpness preservation effect of the present invention, the pixel value of the input image can be reduced. The contrast of the input image can be automatically improved without being greatly influenced by the dark area size such as the dynamic range and the shadow, which leads to more efficient image contrast adjustment.
[0073]
Note that these processes are similarly performed by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the second embodiment of the present invention. Can be realized.
[0074]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the second embodiment of the present invention.
[0075]
(Third embodiment)
Next, an image processing apparatus and an image processing method according to a third embodiment of the present invention will be described.
[0076]
The overall configuration diagram is configured as shown in FIG. 1 similarly to the first embodiment of the present invention. When the contrast improving means has one peripheral range c, it becomes as shown in FIG. In the case of having c [s], the configuration is as shown in FIG. Similarly, the image combining means 13 is as shown in FIG. Then, the emphasis amount deriving means 21 in FIG. 2 or 3 has a configuration as shown in FIG.
[0077]
The emphasis amount deriving unit 21 calculates the weighted weighted sum VAPij (Ar (Ar (A)) of the comparison target pixels selected from around the target pixel Pij (r (i, j), g (i, j), b (i, j)). i, j), Ag (i, j), Ab (i, j)), and a peripheral averaging means 50 for calculating the difference between the luminance at Pij and the luminance of the comparison target pixel Qij selected from the surrounding area. A luminance difference averaging means 70 for obtaining a weighted weighted sum Ady (i, j) of absolute values; and a contrast enhancement amount VRPij (Rr (i, j), Rg obtained at 51 based on Ady (i, j)). (I, j), emphasis component calculation means 71 for calculating an emphasis component VBRPij (BRr (i, j), BRg (i, j), BRb (i, j)) for emphasizing Rb (i, j)). , 71 obtained from BRBR (i, j), BRg (i, j) , BRb (i, j)) and an improvement amount correcting means 72 for correcting the contrast enhancement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)). .
[0078]
The operation of the image processing apparatus according to the third embodiment configured as described above will be described.
[0079]
The color image 1 is digitally input via the image input means 10. In the case of 10, in the case of a color image, component data of red r, green g, and blue b are normally obtained with the precision of the input means (a value of 0 to 255 for 8 bits). At 10, this value is normalized to a value from 0.0 to 1.0. Next, the processing unit 11 performs a pre-process on the digital input image 1 to return the gamma conversion of the input image to the original linear form. Then, a contrast improvement process for improving the contrast in the dark part is performed on the input image 1 after the preprocessing by the contrast improvement unit 12. The contrast improving means 12 performs the processing as shown in FIG. 2 or FIG. First, a comparison target pixel to be used for comparison density calculation is selected from peripheral pixels in the peripheral range c or c [s] of the target pixel, and the contrast enhancement amount VRPij (Rr (i, j)) is calculated based on the comparison target pixel and the target pixel. , Rg (i, j), Rb (i, j)). Then, this value is converted into a pixel value which is actual 8-bit integer data using the conversion reference value VTc (trc, tgc, tbc). Then, the image synthesizing means 13 shown in FIG. 4 performs adaptive synthesis of the obtained enhanced image 3 and the input image 1, and the gamma conversion originally added to the input image to the obtained synthesized image 2 is renewed. By performing the post-processing unit 14, the image output unit 15 generates a final output image to be output to a device such as a printer or a display.
[0080]
First, the emphasis amount deriving unit 21 regards the pixel value VPij of the pixel Pij in the input image as a central visual field in Land, and regards a region surrounding the rectangular area of c pixels as a peripheral visual field. Then, based on the comparison target pixel selected by the comparison pixel determination means 20, the weighted weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) in the surrounding range is obtained. ) Is calculated.
[0081]
In the first embodiment of the present invention, the flattening phenomenon near the edge of the output image 2 which occurs in the composite image 3 by controlling the conversion reference value VTc when converting the contrast improvement amount into the actual pixel value is controlled. Had been suppressed. Further, in the second embodiment of the present invention, instead of controlling the conversion reference value VTc, the weight within the surrounding range is determined based on the edge information e (i, j) of the luminance y (i, j) of Pij. By controlling the weighted sum VAPij, the flattening phenomenon near the edge in the composite image 3 is suppressed.
[0082]
In the third embodiment, first, the luminance difference average calculating means 70 calculates the luminance ys (i) of Q (i, j) selected as a comparison pixel from the luminance y (i, j) of the target pixel Pij and its peripheral range. , J) is obtained. Then, based on this value, the emphasis component calculating means 71 obtains the emphasis component VBRPIij (BRr (i, j), BRg (i, j), BRb (i, j)) according to the equation (Equation 11). .
[0083]
[Equation 11]

[0084]
This equation regards Ady (i, j) as the displacement emphasis amount in Pij, and calculates the value of 1.VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained in 51. The amount of the component that enhances the displacement from 0 with this Ady (i, j) and a preset enhancement coefficient is calculated. For example, where the luminance does not change uniformly, no emphasis component occurs. However, for a target pixel whose contrast improvement amount is larger than 1.0, a component that further enhances the pixel value of the emphasized image is calculated, and conversely, for a target pixel whose contrast improvement amount is smaller than 1.0. , A component that suppresses the pixel value of the emphasized image is obtained. For this reason, the sharpness of the enhanced image 3 becomes larger where the pixel value changes near the edge and the like become greater, and the sharpness of the image in the finally obtained composite image 2 can be preserved.
[0085]
As described above, in the third embodiment of the present invention, by incorporating such means for calculating the emphasized component, the sharpness of the emphasized image 3 and the composite image 2 of the image 3 and the input image 1 can be reduced to some extent. It is possible to improve the contrast in a dark part as if saving.
[0086]
Further, similarly to the first embodiment of the present invention, a multi-resolution configuration as shown in FIG. 3 is also possible. In this way, while taking advantage of the image sharpness preservation effect of the present invention, the pixel value of the input image can be reduced. The contrast of the input image can be automatically improved without being greatly influenced by the dark area size such as the dynamic range and the shadow, which leads to more efficient image contrast adjustment.
[0087]
Note that these processes are similarly performed by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the third embodiment of the present invention. Can be realized.
[0088]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the third embodiment of the present invention.
[0089]
(Fourth embodiment)
Next, an image processing apparatus and an image processing method according to a fourth embodiment of the present invention will be described.
[0090]
The overall configuration diagram is configured as shown in FIG. 1 similarly to the first embodiment of the present invention, and when the contrast improving means has one peripheral range c, it has a configuration as shown in FIG. Similarly, the image combining means 13 is as shown in FIG. The contrast improvement unit 12 includes a comparison pixel determination unit 20 that determines a peripheral pixel to be compared from the peripheral region of the target pixel Pij, and a vertical direction that targets the selected comparison pixel for each horizontal pixel position i. And a weighted sum VAPij (Ar (i, Ar (i, i) of the peripheral range from the addition value N [i] of the horizontal pixel position i included in the peripheral range of the target pixel Pij. j), Ag (i, j), Ab (i, j)), a simple surrounding averaging means 141, a VAPij representing a local feature of Pij obtained by 141, and a pixel Pij (r (i, j) ), G (i, j), b (i, j)) to calculate the contrast enhancement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)). The amount of improvement calculating means 51 to be A conversion reference value calculation means 22 for obtaining a conversion reference value VTc (rtc (i, j), gtc (i, j), btc (i, j)) for converting the trust improvement amount VRPij into an actual pixel value; A pixel value conversion unit 23 converts the contrast improvement amount VRPij obtained by the improvement amount correction unit 72 into a pixel value of the actual pixel Pij after the contrast improvement together with the conversion reference value 22.
[0091]
The flow of the contrast improvement processing in the image processing apparatus according to the fourth embodiment configured as shown in FIG. 14 will be described.
[0092]
The color image 1 is digitally input via the image input means 10. In the case of 10, in the case of a color image, component data of red r, green g, and blue b are normally obtained with the precision of the input means (a value of 0 to 255 for 8 bits). At 10, this value is normalized to a value from 0.0 to 1.0. Next, the processing unit 11 performs a pre-process on the digital input image 1 to return the gamma conversion of the input image to the original linear form. Then, a contrast improvement process for improving the contrast in the dark part is performed on the input image 1 after the preprocessing by the contrast improvement unit 12. The contrast improving unit 12 first selects a pixel to be compared in the peripheral area c. In this case, for example, as shown in the left diagram of FIG. 16, the pixels Qij to be compared are determined by thinning out at certain intervals in the vertical direction. Next, the vertical direction adding means 140 obtains an added value N [i] of the luminance value in the vertical direction at each horizontal pixel position i as shown in the left diagram of FIG. Then, the simple surrounding averaging means 141 obtains the weighted sum S of N [k] included in the peripheral region c of the target pixel Pij from the N [i], and divides the sum by the number m of comparison pixels included in the peripheral range. Then, the average comparison target luminance Asy (i, j) is calculated. Then, the contrast improvement amount VRPij is obtained by comparing this value with the pixel value (r (ij), g (i, j), b (i, j)) of the target pixel Pij. Further, when the horizontal pixel position i of the target pixel Pij moves to i + 1 as shown in the right diagram of FIG. 16, first, the leading N [0] is subtracted from the weighted sum S obtained by Pij as shown in FIG. Then, by adding N [7] which is newly included in the peripheral range, the sum S of the luminance of the comparison pixels in the peripheral range of Pi + 1j is obtained. Similarly, by dividing this value by the number m of comparison target pixels, an average comparison target luminance Asy (i + 1, j) is obtained. As described above, the average comparison target luminance can be easily obtained by adding or subtracting the addition value N [k] in the vertical direction prepared in advance. This is the target pixel Pij (r (i, j), g (i, j), b (i) of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)). , J)). By doing so, it is possible to perform filtering processing at the time of obtaining VAPij in the peripheral range at high speed.
[0093]
When the contrast is improved by the Retinex processing, the reduction of the processing amount for obtaining the VAPij has been a major point. In particular, when performing multi-resolution processing having a plurality of peripheral range areas c [k] as shown in FIG. 15, the processing amount is extremely enormous. However, as in the present invention, it is possible to reduce the processing amount by simplifying the weighted weighted sum to an average in a simple peripheral range and devising a procedure for calculating the weighted sum in the peripheral range for that purpose. .
[0094]
When converting the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) into an actual pixel value, it is the same as in the first embodiment of the present invention. By controlling the value of the conversion reference value VTc according to Expression (8) in accordance with the luminance y (i, j) at the target pixel Pij of the input image 1, a sharp rise in the luminance level of the shadow portion is suppressed. . At this time, it is also possible to add a process for controlling the average comparison density VAPij in the second embodiment of the present invention and a process for controlling the emphasis component VBRPij as in the third embodiment.
[0095]
Further, in the present invention, the contrast improving means 12 is constituted by one peripheral area c as shown in FIG. 14, but it is considered that the size of the peripheral area c is caused by the size of the dark portion to be improved. It is. In general, in the case of a natural image, since there may be shadow portions having various sizes, a multi-resolution model having a plurality of peripheral region sizes c [s] such as Jobson described in the related art is more effective. It is a target. When the present invention is applied to such a multi-resolution model, twelve contrast improving means have a configuration as shown in FIG.
[0096]
In such a case, there is also an advantage that the pixel value of the image generated as the emphasized image 3 fluctuates slowly, and a sharp rise in the edge portion can be suppressed.
[0097]
As described above, the fourth image processing apparatus and the image processing method of the present invention devise and simplify the calculation process of the average comparison pixel density VAPij around the target pixel having the largest processing amount in the first embodiment of the present invention. Thus, the processing time can be reduced while maintaining the contrast improvement effect while preserving the edges. In particular, the effect of the speeding up is greater when a plurality of peripheral ranges c [k] are provided.
[0098]
Further, these processes are the same in software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the color image processing method according to the fourth embodiment of the present invention. Can be realized.
[0099]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the fourth embodiment of the present invention.
[0100]
(Fifth embodiment)
An image processing apparatus and an image processing method according to a fifth embodiment of the present invention will be described.
[0101]
The overall configuration diagram is configured as shown in FIG. 1 similarly to the first embodiment of the present invention, and when the contrast improving means has one peripheral range c, it has a configuration as shown in FIG. Similarly, the image combining means 13 is as shown in FIG. The contrast improving unit 12 includes a comparison pixel determining unit 20 that determines a peripheral pixel to be compared from a peripheral region of the target pixel Pij, and a comparison pixel selected for a selected i at a horizontal pixel position. A thinning-out vertical direction addition means 170 for obtaining an addition value N [i] in the vertical direction, and a weighted sum VAPij () of the peripheral range from the addition value N [i] of the horizontal pixel position i included in the peripheral range of the target pixel Pij by the 170 Simple peripheral averaging means 141 for calculating Ar (i, j), Ag (i, j), Ab (i, j)), VAPij representing the local feature of Pij obtained in 141, and pixel Pij (r Based on the ratio of (i, j), g (i, j), b (i, j)), the contrast enhancement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j) )) Improvement amount calculating means 51 And a conversion for obtaining a conversion reference value VTc (rtc (i, j), gtc (i, j), btc (i, j)) for converting the contrast improvement amount VRPij obtained in 51 into an actual pixel value. The reference value calculation means 22 and the pixel value conversion means 23 for converting the contrast improvement amount VRPij obtained by the improvement amount correction means 72 together with the conversion reference value of 22 into the pixel value of the actual pixel Pij after the contrast improvement. Is done.
[0102]
Compared with the fourth embodiment of the present invention, the present invention does not perform the addition process in the vertical direction only for the selected comparison target pixel for all the horizontal pixel positions i, The horizontal pixel position is also thinned out at predetermined intervals by the comparison pixel determination means in advance for selection. Then, an addition process in the vertical direction of the selected horizontal pixel position i is performed.
[0103]
FIG. 18 shows the outline of the processing. It is assumed that the horizontal pixel position is thinned out as shown in the left diagram of FIG. In that case, in the thinned vertical direction addition processing 170, the vertical direction added value N [0] at i = 0 is distributed to the thinned vertical direction added value N [1] = N [0] at i = 1. Similarly, interpolation is performed as N [3] = N [2] and N [5] = N [4]. By doing so, the processing amount is reduced without performing the addition process in the vertical direction for all the horizontal pixel positions. Further, in the case of the processing for the subsequent horizontal pixel position i + 1, the result is as shown in the right diagram of FIG. 17, in which the leading N [0] is subtracted from the weighted sum S of N [k] included in the peripheral area c of the target pixel Pij. You. Thereafter, N [7] newly included in the peripheral range is added. However, since the vertical addition processing at the horizontal pixel position of i = 7 is excluded by the comparison pixel determination means 20, N [7] is interpolated by N [6] at i = 6 which is selected by the comparison pixel determination means 20 and is closest to i = 7. Then, the interpolated N [7] is added to the weighted sum S. After that, the average comparison target luminance Asy (i, j) is calculated by dividing by the number m of comparison pixels included in the peripheral range. By doing so, the procedure for calculating the weighted weighted sum can be reduced as compared with the fourth embodiment of the present invention, and the processing amount can be further reduced.
[0104]
When the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is converted into an actual pixel value, the same as in the first embodiment of the present invention is performed. By controlling the value of the conversion reference value VTc according to Expression (8) according to the luminance y (i, j) at the target pixel Pij of the input image 1 as described above, a sharp increase in the luminance level of the shadow portion is suppressed. However, it is also possible to add a process of controlling the average comparison density VAPij in the second embodiment of the present invention or a process of controlling the emphasis component VBRPij as in the third embodiment.
[0105]
Further, in the present invention, the contrast improving means 12 is constituted by one peripheral region c as shown in FIG. 17, but it is considered that the size of the peripheral region c is caused by the size of the dark portion to be improved. It is. In general, in the case of a natural image, since there may be shadow portions having various sizes, a multi-resolution model having a plurality of peripheral region sizes c [s] such as Jobson described in the related art is more effective. This is also the same as in the first embodiment of the present invention.
[0106]
Further, these processes are similarly performed by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the fifth embodiment of the present invention. Can be realized.
[0107]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the fifth embodiment of the present invention.
[0108]
(Sixth embodiment)
An image processing apparatus and an image processing method according to a sixth embodiment of the present invention will be described.
[0109]
The entire configuration is configured as shown in FIG. 1 similarly to the first embodiment of the present invention. The contrast improving means is assembled in the same configuration as any of the first to fifth embodiments of the present invention. Further, the image synthesizing means 13 is as shown in FIG. 4 similarly to the first embodiment of the present invention. The point of the present invention is that the post-processing means is configured as shown in FIG. 19. In FIG. 19, reference numeral 190 denotes input luminance / color difference calculation means for calculating the luminance and color difference of the input image, and 191 denotes synthesis. Luminance ratio calculating means for comparing the luminance wy (i, j) in Pij of the image 3 with the luminance y (i, j) obtained at 190 and calculating a ratio Ratio (i, j) therebetween. Luminance adjusting means for adjusting the luminance wy (i, j) of the composite image 3 based on the obtained luminance ratio, and reference numeral 193 denotes a value between the adjusted luminance wy (i, j) and y (i, j). A chrominance component correcting unit 904 for correcting the chrominance of the input image from the ratio (i, j), and 194 is a pixel value VWPij (wr (i, j), wg (i, j), image reproduction for recalculating wb (i, j)) A means, 195 is a gamma conversion means for performing predetermined gamma conversion.
[0110]
Contrary to the processing of the image processing method according to the sixth embodiment of the present invention, the contrast improvement processing and the post-processing means are as shown in FIG. The contrast improvement processing is performed in the same manner as in the first embodiment of the present invention. However, in the case of the first embodiment, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb) (I, j)) is calculated for each component in accordance with Equations (6) and (7), whereas in the present invention, as in Equations (6) and (11), An improved luminance yRP (i, j) represented by a ratio between the average comparison luminance Ay (i, j) and the luminance y (i, j) of the target pixel Pij is calculated.
[0111]
Then, based on yTc (i, j) obtained by the conversion reference value calculating means 22, the yRP (i, j) is converted into a luminance yRP (i, j) having an actual pixel value. Next, a composite luminance image 2 of the luminance yRP (i, j) of the emphasized image 3 and the luminance y (i, j) of the input image 1 is generated by the image synthesizing means 13. In other words, while processing is performed for each of the three components in the first to fifth embodiments of the present invention, processing up to image synthesis is performed using only luminance. This is because the color balance of the input image 1 is maintained to some extent when the respective ratios of the average comparison luminance VAPij and the input image VPij are used as in the equations (6) and (7) of the first embodiment of the present invention. However, the color balance of the input image 1 may be lost as shown in the left diagram of FIG. Therefore, in the present invention, as shown in the right diagram of FIG. 21, the color difference of the input image is determined based on the improvement ratio Ratio (i, j) between the combined luminance wy (i, j) and y (i, j). Generate improved color differences wcr (i, j) and wcb (i, j) by modifying cr (i, j) and cb (i, j), and calculate the pixel value VWPij of the composite image based on these values. By doing so, the color balance is maintained.
[0112]
However, the color difference cr (i, j), cb (i, j) of the input image is directly multiplied by the ratio Ratio (i, j) between the improved luminance wy (i, j) after synthesis and y (i, j). Since the color differences wcr (i, j) and wcb (i, j) obtained as described above may be saturated, the saturation determination is performed. If wcr (i, j) is saturated, the ratio dRatio (i, j) = wcr (i, j) / cr (i, j) to the color difference is again set to the improved luminance after synthesis. The improvement ratio by the luminance of the input image is defined as Ratio (i, j). Based on this value, the luminance adjustment unit 192 performs a process of calculating the improved luminance dwy (i, j) after the combination. Next, 193 corrects the color differences cr (i, j) and cb (i, j) of the input image again by using Ratio (i, j), and outputs the synthesized color differences dwcr (i, j), d wcb (I, j) is generated. After that, the pixel values are converted to actual pixel values to obtain pixel values VWPij (wr (i, j), wg (i, j), wb (i, j)) in Pij of the composite image 3, and the gamma conversion means 195 inputs the values. By performing the gamma conversion process originally applied to the image, the output image 2 finally output by the image output means 15 is generated.
[0113]
As described above, in the present invention, in order to maintain the color balance in the input image, only the luminance is improved during the contrast improvement processing, and the color difference of the input image is corrected based on the improvement ratio indicating the degree of improvement at that time. Is to improve the color balance of the composite image. In particular, by taking the degree of improvement into account in consideration of the saturated state of the color difference after correction, it is possible to improve the contrast while maintaining the color balance of the input image. The feature is that there is no need to consider it.
[0114]
Further, these processes are similarly performed by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to the image processing method according to the sixth embodiment of the present invention. Can be realized.
[0115]
Further, the present invention can be similarly realized by using a semiconductor chip such as an LSI chip generated according to the image processing method according to the sixth embodiment of the present invention.
[0116]
【The invention's effect】
As described above, the first image processing apparatus and the first image processing method of the present invention determine the contrast improvement amount by comparing the pixel value of the target pixel with the average pixel value in the surrounding area. When converting the obtained contrast improvement amount to the actual pixel value, by controlling according to the brightness of the target pixel, the flattening of the image that occurs in the composite image of the input image and the emphasized image and the density difference It is intended that the reduction can be improved.
[0117]
As described above, the second image processing device and the image processing method of the present invention, when calculating the contrast improvement amount by comparing the pixel value of the target pixel and the average pixel value in the surrounding area, according to the brightness of the target pixel. To control the comparison density, which is the average pixel value of the peripheral area. By doing so, the difference between the density of the target pixel and the comparative density around the target pixel can be enhanced, and the flattening of the image generated in the composite image of the input image and the enhanced image and the reduction of the density difference in the outline portion are improved. It is something that can be done.
[0118]
As described above, according to the third image processing apparatus and the image processing method of the present invention, the contrast improvement amount is obtained by comparing the pixel value of the target pixel and the average pixel value in the surrounding area. When converting the obtained contrast improvement amount to an actual pixel value, by correcting the contrast improvement amount according to the difference between the density of the target pixel and the density of the surrounding pixels, a composite image of the input image and the enhanced image is obtained. The flattening of the resulting image and the reduction of the density difference in the contour portion can be improved.
[0119]
As described above, according to the fourth image processing apparatus and the image processing method of the present invention, when calculating the average pixel value in the peripheral area of the target pixel, first, the vertical position of the pixel used at the time of improving the contrast is determined and determined. For each of the horizontal pixels, the sum of the pixel densities in the vertical direction is determined for each of the horizontal pixels. Then, the comparison density for the target pixel is calculated using the value of the horizontal pixel position included in the area set as the peripheral pixel of the target pixel from the obtained sum at each horizontal pixel position, thereby simplifying the processing. It realizes the conversion.
[0120]
As described above, according to the fifth image processing apparatus and the image processing method of the present invention, when calculating the average pixel value in the peripheral area of the target pixel, first, the vertical / horizontal position of the pixel used at the time of improving the contrast is determined. . Then, an addition value of the selected pixel density in the vertical direction is obtained for the determined horizontal pixel position. Then, when the selected horizontal pixel position is included in the area set as a peripheral pixel of the target pixel, the added value at the included horizontal pixel position is used. If the selected horizontal pixel position is not included in the area set as the peripheral pixel of the target pixel, the sum at the adjacent selected horizontal pixel position is used. Based on this procedure, the processing is simplified by calculating the comparison density for the target pixel at high speed.
[0121]
As described above, according to the sixth image processing apparatus and the image processing method of the present invention, the contrast improvement amount is obtained by comparing the pixel value of the target pixel with the average pixel value in the surrounding area. Then, similarly to the first image processing apparatus and method of the present invention, the obtained contrast improvement amount is converted into an actual pixel value, and a synthesis process with the input image is performed. Thereafter, the luminance and color components of the target pixel in the input image are compared with the luminance and color components of the composite image, so that the luminance is not reduced, and a value proportional to the color component of the input image is used. This realizes high quality of an image finally output by suppressing color misregistration in the image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a contrast improving unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 3 is a block diagram showing a configuration of a multi-resolution contrast improving unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 4 is a block diagram illustrating a configuration of an image combining unit in the image processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a block diagram illustrating a configuration of an emphasis amount calculating unit in the image processing apparatus according to the first embodiment of the present invention;
FIG. 6 is a block diagram illustrating a configuration of an emphasis amount calculating unit in the image processing apparatus according to the second embodiment of the present invention;
FIG. 7 is a block diagram illustrating a configuration of an emphasis amount calculation unit in an image processing apparatus according to a third embodiment of the present invention.
FIG. 8 is a schematic diagram illustrating an example of a pre-processing unit and a post-processing unit in the image processing apparatus according to the first, second, third, fourth, and fifth embodiments of the present invention.
FIG. 9 is an overall flowchart of an image processing method according to the first embodiment of the present invention;
FIG. 10 is a flowchart of a contrast improvement process and an image synthesis process in the image processing method according to the first embodiment of the present invention;
FIG. 11 is a flowchart of a contrast improvement process in the image processing method according to the second embodiment of the present invention;
FIG. 12 is a flowchart of a contrast improvement process in the image processing method according to the second embodiment of the present invention;
FIG. 13 is a conceptual diagram of a human visual model used for a contrast improvement process in the image processing method according to any of the first to sixth embodiments of the present invention.
FIG. 14 is a block diagram illustrating a configuration of a contrast improving unit in an image processing apparatus according to a fourth embodiment of the present invention.
FIG. 15 is a block diagram illustrating a configuration of a contrast improving unit at multiple resolutions in an image processing apparatus according to a fourth embodiment of the present invention.
FIG. 16 is a flowchart of a contrast improvement process in an image processing method according to a fourth embodiment of the present invention.
FIG. 17 is a block diagram illustrating a configuration of a contrast improving unit in an image processing apparatus according to a fifth embodiment of the present invention.
FIG. 18 is a diagram illustrating an outline of a contrast improvement process in an image processing method according to a fifth embodiment of the present invention.
FIG. 19 is a diagram illustrating a configuration of a post-processing unit in an image processing apparatus according to a sixth embodiment of the present invention.
FIG. 20 is a flowchart of contrast improvement processing and post-processing means in an image processing method according to a sixth embodiment of the present invention.
FIG. 21 is a diagram illustrating an outline of post-processing in an image processing method according to a sixth embodiment of the present invention;
FIG. 22 is a block diagram illustrating a configuration of an image processing apparatus according to a conventional example.
FIG. 23 is a block diagram illustrating a configuration of an image processing apparatus according to a conventional example.
FIG. 24 is a block diagram illustrating a configuration of an image processing apparatus according to a conventional example.
[Explanation of symbols]
1 Input image
2 Output image
3 emphasized image
10 Image input means
11 Preprocessing means
12 Contrast improvement means
13 Image synthesis means
14 Post-processing means
15 Image output means
20 Comparison pixel determination means
21 Emphasis amount derivation means
22 Conversion reference value calculation means
23 Pixel value conversion means
30 Peripheral range initialization means
31 Termination determination means
32 Peripheral range changing means
40 Coupling coefficient derivation means
41 Weighted average synthesis means
42 Output value determination means
50 Ambient average means
51 Improvement amount calculation means
60 Edge information detecting means
61 Correction coefficient calculation means
62 Comparison amount correction means
70 Brightness difference averaging means
71 Emphasis component calculation means
72 Improvement amount correction means
140 Vertical addition means
141 Simple Averaging Means
170 Thinning vertical direction adding means
190 Input luminance / color difference calculation means
191 brightness ratio calculation means
192 brightness adjustment means
193 Color difference component correction means
194 Image Regenerating Means
195 Gamma conversion means
220 Image data input means
221 Image data division means
222 Histogram creation means
223 Contrast expansion means
224 Image data output means
230 CCD
231 memory
232 Multiplication means
233 Level weighting means H
234 Addition means
235 Speed conversion means
236 level compression means
237 Timing control means
238 Level weighting means L
239 Image synthesis unit
240 Digital Imaging Device
241 processor
242 filter
243 display

Claims (20)

Image input means for inputting digital image data;
Preprocessing means for performing preprocessing on the input image obtained by the image input means,
Contrast improvement processing means for performing contrast improvement processing of the pre-processed image obtained by the pre-processing means,
Image synthesizing means for synthesizing the enhanced image and the input image obtained by the contrast improvement processing means,
Post-processing means for performing post-processing on the combined image obtained by the image combining means,
An image processing apparatus comprising: an image output unit that outputs an image after post-processing obtained by the post-processing unit. Contrast improving means, comparing pixel determining means for determining a pixel to be used at the time of improving the contrast from around the target pixel,
Enhancement amount deriving means for obtaining the contrast improvement amount of the target pixel based on the density of the pixel obtained by the comparison pixel determining means,
Conversion reference value calculation means for calculating a reference value when converting the contrast improvement amount obtained by the enhancement amount derivation means into an actual pixel value,
The image processing apparatus further comprises a pixel value conversion unit that converts the contrast improvement amount obtained by the emphasis amount derivation unit into an actual pixel value based on the conversion reference value obtained by the conversion reference value calculation unit. The image processing device according to claim 1. An emphasis amount deriving unit, a surrounding averaging unit that calculates a comparison target density representing a local feature from the surrounding pixel density selected by the comparison pixel determining unit,
3. The image processing apparatus according to claim 2, further comprising an improvement amount calculating unit that obtains a contrast improvement amount from the weighted average density obtained by the surrounding averaging unit and the target pixel density. An emphasis amount deriving unit, a surrounding averaging unit that calculates a comparison target density representing a local feature from the surrounding pixel density selected by the comparison pixel determining unit,
Edge information detecting means for detecting edge information of the target pixel;
Correction coefficient calculating means for calculating a correction coefficient obtained from the edge information obtained by the edge information detecting means,
Comparison amount correction means for correcting the weighted average density obtained by the surrounding average means with a correction coefficient obtained by the correction coefficient calculation means,
The image processing apparatus according to claim 2, further comprising an improvement amount calculation unit that obtains a contrast improvement amount from the corrected comparison density obtained by the comparison amount correction unit and the target pixel density. An emphasis amount deriving unit, a surrounding averaging unit that calculates a comparison target density representing a local feature from the surrounding pixel density selected by the comparison pixel determining unit,
Improvement amount calculation means for obtaining a contrast improvement amount from the weighted average density and the target pixel density obtained by the surrounding average means,
Enhancement component calculation means for calculating an enhancement component obtained from the density difference between the peripheral pixel selected by the comparison pixel determination means and the target pixel,
3. The image processing apparatus according to claim 2, further comprising an improvement amount correction unit that adds the enhancement component obtained by the enhancement component calculation unit to the contrast improvement amount obtained by the improvement amount calculation unit. Contrast improvement means, a comparison pixel determination means for determining a vertical position of a pixel to be used at the time of contrast improvement from around the target pixel,
Vertical addition means for performing weighted addition of pixel density in the vertical direction for each horizontal pixel position for the pixels obtained by the comparison pixel determination means,
From the value at each horizontal pixel position obtained by the vertical direction addition means, a simple surrounding that calculates a comparative density for the target pixel by using a value of a horizontal pixel position included in a region set as a peripheral pixel of the target pixel Averaging means,
Correction coefficient calculation means for calculating a correction coefficient obtained from the density of pixels surrounding the target pixel;
A comparison amount correction unit that corrects the comparison density obtained by the simple surrounding average unit with a correction coefficient obtained by the correction coefficient calculation unit,
Improvement amount calculation means for obtaining a contrast improvement amount from a comparison density representing a surrounding feature obtained by the comparison amount correction means and a target pixel density;
Conversion reference value calculation means for obtaining a reference value when converting the contrast improvement amount obtained by the improvement amount calculation means into an actual pixel value,
The image processing apparatus further comprises a pixel value conversion unit that converts the contrast improvement amount obtained by the emphasis amount derivation unit into an actual pixel value based on the conversion reference value obtained by the conversion reference value calculation unit. The image processing device according to claim 1. Contrast improvement means, comparison pixel determination means for determining a vertical position and a horizontal position of a pixel to be used at the time of contrast improvement from around the target pixel,
With respect to the pixels obtained by the comparison pixel position determination unit, at a selected horizontal pixel position, a thinning vertical addition unit that performs weighted addition of pixel density in the vertical direction,
From the addition value obtained by the thinning-out vertical direction addition means for the horizontal pixel position selected by the comparison pixel determination means, using the value of the horizontal pixel position included in the area set as the surrounding pixels of the target pixel, Simple peripheral averaging means for calculating a comparison density for the target pixel;
Correction coefficient calculation means for calculating a correction coefficient obtained from the density of the surrounding pixels selected by the comparison pixel determination means,
A comparison amount correction unit that corrects the comparison density obtained by the simple surrounding average unit with a correction coefficient obtained by the correction coefficient calculation unit,
Improvement amount calculation means for obtaining a contrast improvement amount from a comparison density representing a surrounding feature obtained by the comparison amount correction means and a target pixel density;
Conversion reference value calculation means for obtaining a reference value when converting the corrected contrast improvement amount obtained by the improvement amount calculation means into an actual pixel value,
The image processing apparatus further comprises a pixel value conversion unit that converts the contrast improvement amount obtained by the emphasis amount derivation unit into an actual pixel value based on the conversion reference value obtained by the conversion reference value calculation unit. The image processing device according to claim 1. Preprocessing means for specifying a color space to be handled by the input image;
2. An image processing apparatus according to claim 1, wherein said color space specifying means comprises a linearizing means for performing an inverse conversion of a gamma conversion pre-processed on the input image with respect to the specified color space. . 2. The image processing apparatus according to claim 1, wherein the post-processing unit includes a gamma conversion unit that performs conversion using a gamma function of the color space specified by the color space specification unit. Post-processing means, input luminance / color calculating means for calculating a luminance value and a color difference component of the input image,
A luminance adjustment unit that compares the luminance component of the input image and the luminance component of the composite image obtained by the input luminance / color calculation unit, and adjusts the luminance component of the composite image;
Color component correction means for correcting the color components of the input image obtained by the input brightness / color calculation means based on the brightness components of the composite image obtained by the brightness adjustment means,
A luminance component of the composite image obtained by the luminance adjustment unit, and an image regenerating unit that re-converts to a composite image using the corrected color component obtained by the color component correction unit;
2. The image processing apparatus according to claim 1, further comprising a gamma conversion unit that performs a conversion based on a gamma function specified by a color space specifying unit in the preprocessing unit on the composite image obtained by the image regenerating unit. An image processing apparatus as described in the above. In an image processing method for handling digital image data,
Performs predetermined pre-processing on the input digital image data,
Perform contrast improvement processing of the obtained pre-processed image,
The enhanced image obtained by the contrast improvement processing and the input image are combined, and
An image processing method, wherein post-processing is performed on an image after synthesis obtained by image synthesis processing. As contrast improvement processing,
Determine the pixels to be used when improving the contrast from around the target pixel,
The contrast improvement amount of the target pixel is obtained based on the determined pixel density,
A reference value for converting the contrast improvement amount obtained in the enhancement amount derivation process into an actual pixel value is obtained,
12. The image processing method according to claim 11, wherein the contrast improvement amount obtained in the enhancement amount derivation process is converted into an actual pixel value based on the reference value. As the emphasis amount derivation process,
A comparison target density representing a local feature is obtained from the surrounding pixel density of the target pixel,
13. The image processing method according to claim 12, wherein a contrast improvement amount is obtained from the obtained comparison target density and target pixel density. As the emphasis amount derivation process,
A comparison target density representing a local feature is obtained from the surrounding pixel density of the target pixel,
Find edge information from the pixel density selected as a peripheral pixel of the target pixel,
Calculate the correction coefficient obtained from the obtained edge information,
The obtained weighted average density as a comparison target density is corrected with a correction coefficient,
The contrast improvement amount is obtained from the corrected comparison target density and the target pixel density,
Based on the reference value when converting the contrast improvement amount to the actual pixel value,
13. The image processing method according to claim 12, wherein the obtained contrast improvement amount is converted into an actual pixel value based on a conversion reference value. As the emphasis amount derivation process,
A comparison target density representing a local feature is obtained from the surrounding pixel density of the target pixel,
The contrast improvement amount is obtained from the obtained comparison target density and the target pixel density,
Calculating an enhancement component obtained from a density difference between a peripheral pixel of the target pixel and the target pixel,
Correction is performed by adding an emphasis component to the obtained contrast improvement amount,
Find a reference value when converting the corrected contrast improvement amount to an actual pixel value,
13. The image processing method according to claim 12, wherein the contrast improvement amount obtained in the enhancement amount derivation process is converted into an actual pixel value based on the reference value. As contrast improvement processing,
Determine the vertical position of the pixel to be used at the time of contrast improvement from around the target pixel,
For the determined pixels, a weighted addition value of the pixel density in the vertical direction is obtained for each horizontal pixel position,
From the obtained weighted addition value at each horizontal pixel position, a comparison density for the target pixel is calculated using the value of the horizontal pixel position included in the area set as a peripheral pixel of the target pixel,
Calculate the correction coefficient obtained from the density of the surrounding pixels of the target pixel,
The obtained comparison density is corrected with a correction coefficient obtained from the density of the surrounding pixels of the target pixel,
The contrast improvement amount is obtained from the corrected comparison target density and the target pixel density,
A method for converting the obtained contrast improvement amount into an actual pixel value based on a reference value when converting the obtained contrast improvement amount into an actual pixel value. Item 12. The image processing method according to Item 11. As contrast improvement processing,
Determine the vertical position and horizontal position of the pixel to be used at the time of contrast improvement from around the target pixel,
At the selected horizontal pixel position, perform weighted addition of the density of the selected vertical pixel position in the vertical direction,
From the addition value in the vertical direction obtained for the selected horizontal pixel position, a comparison density for the target pixel is calculated using an addition value included in an area set as a peripheral pixel of the target pixel,
Based on the correction coefficient obtained from the density of the selected surrounding pixel, a process of correcting the comparative density for the target pixel is performed,
The contrast improvement amount is obtained from the corrected comparison target density and the target pixel density,
Based on a reference value when converting the obtained contrast improvement amount into an actual pixel value, the obtained contrast improvement amount is converted into an actual pixel value based on the reference value. The image processing device according to claim 11. As preprocessing,
Specify the color space to handle the input image,
12. The image processing method according to claim 11, wherein an inverse conversion of a gamma conversion previously performed on the input image for the specified color space is performed. As post-processing,
12. The image processing method according to claim 11, wherein conversion is performed using a gamma function specified in a color space specification process as preprocessing. As post-processing,
Calculate the luminance value and color difference component of the input image,
The luminance component of the obtained input image is compared with the luminance component of the composite image to adjust the luminance component of the composite image,
Modify the color components of the input image based on the luminance components of the obtained composite image,
Using the luminance component of the obtained composite image and the corrected color component, the image is re-converted into a composite image,
12. The image processing method according to claim 11, wherein the obtained composite image is converted by a gamma function specified by a color space specifying unit in the preprocessing unit.

Images