JP2009059119A - 階調補正装置、階調補正方法、階調補正プログラム - Google Patents

Abstract

【課題】画像の階調補正に際して人物の顔部分に適切な階調を確保する。
【解決手段】
画像１００を複数のブロック領域１０１に分割し領域毎に明るさレベルを判定し、判定した各ブロック領域１０１の明るさレベルに基づき画像１００の各画素に補正特性を設定し、設定した補正特性に従って画素の明るさを個別に補正する構成である。画像１００において顔認識を行い、認識した顔部分Ｃの明るさレベルと、顔部分Ｃに重なる複数のブロック領域１０１（顔ブロックＤ）の平均的な明るさレベルとを判定し、双方の明るさレベルの比較結果に基づき、先に判定した顔ブロックＤに属するブロック領域１０１の明るさレベルを調整する。また、各画素に設定する補正特性を、顔部分Ｃにおける各画素の平均輝度値に基づき補正する。画像内における人物の顔部分を重視した階調補正を行うことができる。
【選択図】 図４

Description

本発明は、例えばデジタルカメラに用いて好適な階調補正装置、階調補正方法、階調補正プログラムに関するものである。

従来、画像の階調を自動的に補正する方法として画像の輝度レベルを画素毎に補正する方法がある。例えば下記特許文献１には以下の技術が記載されている。まず、入力画像を複数のブロック領域に分割し、各ブロック領域について平均輝度レベル（全画素の輝度レベルの平均）を求め、平均輝度レベルに応じてブロック領域毎に補正曲線を別個に選択する。次に、対象となる画素が含まれるブロック領域（主ブロック領域）、及びそのブロック領域と隣接する複数のブロック領域（副ブロック領域）にそれぞれ選択した複数種の補正曲線を加重平均して新たな補正曲線を作成し、その補正曲線を用いて輝度レベルを画素毎に変換する。係る技術によれば、階調補正に伴い局部の詳細が失われるのを避けることが可能となる。
特開平９−６５２５２号公報

しかしながら、上記の技術においては階調補正に伴い局部の詳細が失われるのを避けることはできるものの、その階調補正効果は汎用的なものに過ぎない。そのため、補正対象の画像内に人物の顔が存在する場合、例えば顔部分において明るい部分と暗い部分とのメリハリが低下しやすく、また、顔部分とその背景部分との明るさが大きく異なっているときには、階調補正に伴い顔部分が不自然に明るくなったり、暗くなったりすることもあり、顔部分に良好な補正結果を得ることが難しいという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、画像の階調補正に際して人物の顔部分に適切な階調を確保することが可能となる階調補正装置、階調補正方法、及び階調補正プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る階調補正装置にあっては、入力した画像の階調を補正する階調補正装置において、前記画像に設定した複数のブロック領域の明るさ情報を取得する第１の取得手段と、前記画像から人物の顔部分を検出する顔検出手段と、この顔検出手段により検出された顔部分の明るさ情報を取得する第２の取得手段と、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づいて前記画像の明るさを補正する補正手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る階調補正装置にあっては、前記補正手段は、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づいて前記画像の各画素に補正特性を設定する特性設定手段を含み、前記特性設定手段により設定された補正特性に従い前記画像の画素の明るさを個別に補正することを特徴とする。

また、請求項３記載の発明に係る階調補正装置にあっては、前記特性設定手段が画素毎に設定する補正特性は画素の明るさの変化に対する補正係数の変化特性であるとともに、前記特性設定手段は、前記補正係数の最大値が前記第２の取得手段により取得された顔部分の明るさ情報に応じた値に制限される変化特性を画素毎に設定し、前記補正手段は、前記画像の画素の明るさを、各画素の明るさに対応するとともに前記特性補正手段により設定された補正特性に従った補正係数を用いて個別に補正することを特徴とする。

また、請求項４記載の発明に係る階調補正装置にあっては、前記補正手段は、前記画像の各画素の明るさに対応するとともに前記特性補正手段によ設定された補正特性に従った補正係数を所定の補正関数を用いて演算する演算手段を含み、前記特性設定手段は、前記所定の補正関数を構成する変数に前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づく値を設定することにより前記画像の各画素に補正特性を設定することを特徴とする。

また、請求項５記載の発明に係る階調補正装置にあっては、前記特性設定手段は、前記複数のブロック領域のうちの所定のブロック領域に、予め決められている複数の補正特性のうちで前記第１の取得手段によりブロック領域毎に取得された明るさ情報に対応する第１の特性設定手段と、前記複数のブロック領域のうちの前記所定のブロック領域以外のブロック領域に、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づく補正特性を設定する第２の特性設定手段と、前記第１の特性設定手段及び前記第２の特性設定手段により複数のブロック領域の各々に設定された補正特性に基づいて前記画像の各画素に所定の補正特性を設定する第３の特性設定手段とを含むことを特徴とする。

また、請求項６記載の発明に係る階調補正装置にあっては、前記第３の特性設定手段は、前記所定の補正特性として、前記複数のブロック領域の各々の中心画素には、前記第１の特性設定手段により複数のブロック領域の各々に設定された補正特性をそのまま設定し、前記中心画素以外の他の画素には、当該他の画素に隣接する１又は複数の中心画素に設定した補正特性から補間した補正特性を設定することを特徴とする。

また、請求項７記載の発明に係る階調補正装置にあっては、前記第１の取得手段は、複数のブロック領域の明るさ情報を前記画像の各画素のＨＳＶ色空間における明度情報に基づき取得し、前記第２の取得手段は、前記顔部分の明るさ情報を前記画像の各画素のＹＵＶ色空間における輝度情報に基づき取得することを特徴とする。

また、請求項８記載の発明に係る階調補正装置にあっては、前記補正手段は、前記画像における前記顔検出手段により検出された顔部分に重なる１または複数のブロック領域からなる顔ブロックの各画素の明るさを、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報との双方に基づき補正することを特徴とする。

また、請求項９記載の発明に係る階調補正装置にあっては、前記第１の取得手段により取得された複数のブロック領域の明るさ情報、及び前記第２の取得手段により取得された顔部分の明るさ情報の双方は明るさレベルであり、前記画像の画素情報に基づき前記顔ブロックに属する１または複数のブロック領域の各々の明るさレベルの平均である平均レベルを取得する第３の取得手段をさらに備え、前記補正手段は、前記第２の取得手段により取得された顔部分の明るさレベルと前記第３の取得手段により取得された顔ブロックの平均レベルとを比較する比較手段を備え、この比較手段による比較結果に基づいて前記顔ブロックの各画素の明るさを補正することを特徴とする。

また、請求項１０記載の発明に係る階調補正装置にあっては、前記補正手段は、前記比較手段による比較結果に基づき、前記顔部分の明るさレベルが前記顔ブロックの平均レベルよりも高い場合には、前記顔ブロックに属する１または複数のブロック領域の各々の明るさを上げるとともに、前記顔部分の明るさレベルが前記顔ブロックの平均レベルよりも低い場合には、前記顔ブロックに属する１または複数のブロック領域の各々の明るさを下げる調整手段を含むことを特徴とする。

また、請求項１１記載の発明に係る階調補正装置にあっては、前記第１の取得手段は、前記複数のブロック領域の明るさ情報として前記画像の各画素のＨＳＶ色空間における明度情報に基づいた明るさ情報を取得し、前記第２の取得手段は、前記顔部分の明るさ情報として前記画像の各画素のＹＵＶ色空間における輝度情報に基づいた明るさ情報を取得することを特徴とする。

また、請求項１２記載の発明に係る階調補正装置にあっては、前記顔検出手段によって前記画像から人物の顔部分が検出されたか否かを判断する判断手段をさらに備え、前記補正手段は、前記判断手段により顔が検出できたと判断された場合に、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づいて前記画像の明るさを補正することを特徴とする。

また、請求項１３記載の発明に係る階調補正装置にあっては、前記第１の取得手段は、前記画像に設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段と、前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段とを含み、前記複数のブロック領域の各々を注目領域としたときの前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せに基づいて前記画像に設定した複数のブロック領域の明るさ情報を取得することを特徴とする。

また、請求項１４記載の発明に係る階調補正方法にあっては、入力した画像の階調を補正する階調補正方法において、前記画像に設定した複数のブロック領域の明るさ情報を取得する第１の取得工程と、前記画像から人物の顔部分を検出する顔検出工程と、この顔検出工程により検出された顔部分の明るさ情報を取得する第２の取得手段と、前記第１の取得工程により取得した複数のブロック領域の明るさ情報と前記第２の取得工程により取得した顔部分の明るさ情報とに基づいて前記画像の明るさを補正する補正工程とを含むことを特徴とする。

また、請求項１５記載の発明にあっては、入力した画像の階調を補正する階調補正装置が有するコンピュータに、前記画像に設定した複数のブロック領域の明るさ情報を取得するための第１の取得処理と、前記画像から人物の顔部分を検出するための顔検出処理と、この顔検出処理に伴い検出された顔部分の明るさ情報を取得するための第２の取得処理と、前記第１の取得処理に伴い取得された複数のブロック領域の明るさ情報と前記第２の取得処理に伴い取得された顔部分の明るさ情報とに基づいて前記画像の明るさを補正するための補正処理とを実行させるための階調補正プログラムとした。

本発明によれば、画像の階調補正に際して人物の顔部分に適切な階調を確保することが可能となる。

以下、本発明の好ましい実施の形態を図にしたがって説明する。図１は、本発明に係る階調補正装置の構成を示すブロック図である。この階調補正装置は、入力した画像の階調を自動的に補正するものであって、デジタルカメラ等の撮像装置やプリンタ、その他の画像処理機能を有する各種の画像処理装置に組み込まれて使用される。

図示したように本実施形態の階調補正装置は、ＲＧＢの色成分毎の画素データからなる画像データが入力する入力部１と、Ｖ値変換部２、Ｖ値平均算出部３、第１のキー判定部４、第２のキー判定部５、第３のキー判定部６、顔検出部７、Ｙ値変換部８、Ｙ値平均算出部９、顔部分キー判定部１０、顔ブロックキー判定部１１、判定結果調整部１２、ヒストグラム作成部１３、補正ゲイン演算部１４、座標カウンタ１５、階調変換部１６、出力部１７の各部からなり、入力部１に入力した画像データのゲインを階調変換部１６において画素毎に調整する構成である。

Ｖ値変換部２は、入力部１に入力した画像データの画素値（Ｒ値、Ｇ値、Ｂ値）をＨＳＶ色空間におけるＶ (ｖａｌｕｅ：明度）成分の値に変換し、変換したＶ値（Ｖｉｎ）をＶ値平均算出部３及びヒストグラム作成部１３へ出力する。なお、周知のようにＶ値はＲ値、Ｇ値、Ｂ値の最大値であり、下記式によって変換する。
Ｖｉｎ ＝ ｍａｘ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）

Ｖ値平均算出部３は、入力画像を予め決められている複数のブロック領域（分割領域）に分割し、各々のブロック領域をそれぞれ注目領域とし、面積が異なる２種類のキー判定領域について各々の領域内の全画素のＶ値の平均（以下、平均Ｖ値）をそれぞれ算出する。図２は入力画像１００における上記ブロック領域１０１を示した模式図であり、同図（ａ）、及び同図（ｂ）に斜線で示した領域がキー判定領域である。

すなわち図２（ａ）に示したように、Ｖ値平均算出部３は、注目領域であるブロック領域１０１（図でＡ）それ自体を第１のキー判定領域Ａとして平均Ｖ値を算出する。また、図２（ｂ）に示したように、注目領域となっているブロック領域１０１（図でＡ）と、その周囲に隣接する８つの他のブロック領域１０１（図でＢ１，Ｂ２，・・・Ｂ８）とからなる領域を第２のキー判定領域Ｂとして平均Ｖ値を算出する。

第１のキー判定部４は、Ｖ値平均算出部３により算出された上述した第１のキー判定領域Ａの平均Ｖ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準におけるいずれの明るさレベル（以下、第１の明るさレベル）に該当するのかを判定する。以下の説明ではこれを第１のキー判定という。ここで判定する明るさレベルは「ロー」、「ミドル」、「ハイ」の３段階である。なお、各明るさレベルに対応する平均Ｖ値の範囲は例えば平均Ｖ値の全範囲（０〜最大値）を３等分した範囲である。

第２のキー判定部５は、Ｖ値平均算出部３により算出された上述した第２のキー判定領域Ｂの平均Ｖ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準におけるいずれの明るさレベル（以下、第２の明るさレベル）に該当するのかを判定する。以下の説明ではこれを第２のキー判定という。ここで判定する明るさレベルも上述した第１のキー判定の場合と同一基準に基づく明るさレベルであり、「ロー」、「ミドル」、「ハイ」のいずれかである。

第３のキー判定部６は、上述した第１及び第２のキー判定の結果（第１及び第２の明るさレベル）の組合せに対応する明るさレベルであって、前述した明るさ基準よりも詳細にレベル分けされた明るさ基準におけるいずれの明るさレベル（以下、第３の明るさレベル）に該当するのかを判定する。つまり注目領域となっているブロック領域１０１について、その周囲に隣接する８つの他のブロック領域１０１（Ｂ１，Ｂ２，・・・Ｂ８）との間における相対的な明るさの関係を考慮した明るさレベルを判定する。以下の説明ではこれを第３のキー判定と呼ぶ。

本実施形態において、係る第３のキー判定で判定される明るさレベルは「ロー１」、「ロー２」、「ミドル１」、「ミドル２」、「ハイ１」、「ハイ２」の６段階のいずれかのレベルであり、「ロー１」が最低レベル、「ハイ２」が最高レベルである。また、第１及び第２の明るさレベルの組合せと第３の明るさレベルとの対応関係は予め決められている。図３は、それを示した図である。

また、Ｖ値平均算出部３と、第１のキー判定部４、第２のキー判定部５、第３のキー判定部６により本発明の第１の取得手段が構成される。

顔検出部７は、入力画像（静止画像）に存在する予め決められている所定サイズ以上の任意の人物の顔部分を検出し、検出した顔部分に対応する領域（顔領域）の座標情報を取得し、それをＹ値平均算出部９、及び補正ゲイン演算部１４へ出力する本発明の顔検出手段であり、具体的には画像データの一時記憶メモリや、画像処理回路、顔検出動作に際して使用するパラメータを記憶する複数のレジスタ等から構成されている。なお、本実施形態において顔部分の検出方法は、予め用意（記憶）されている人物の顔に関する輪郭や色等のモデルパターンと特徴が近い顔部分を検出するパターンマッチングによる公知の方法である。また、座標情報として取得する顔領域は、検出した顔部分に対応する矩形領域である。

Ｙ値変換部８は、入力部１に入力した画像データの画素値（Ｒ値、Ｇ値、Ｂ値）をＹＵＶ色空間におけるＹ (輝度）値に変換し、変換したＹ値をＹ値平均算出部９へ出力する。なお、Ｙ値は下記式により変換する。
Ｙ ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ

Ｙ値平均算出部９は、顔検出部７により検出された入力画像における顔部分と、顔部分の一部又全部を含む１又は複数のブロック領域の各々の領域内の全画素のＹ値の平均値（以下、平均Ｙ値）をそれぞれ算出する。以下の説明では顔部分の一部又全部を含む、すなわち顔部分に重なる１又は複数のブロック領域を一括して顔ブロックと呼ぶ。図４は、入力画像１００におけるブロック領域１０１と、顔部分Ｃ、上記顔ブロックＤを示した模式図であって、顔ブロックＤが４つのブロック領域１０１（図でＤ１〜Ｄ４）からなる場合の例である。

顔部分キー判定部１０は、Ｙ値平均算出部９により算出された上記顔部分Ｃの平均Ｙ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準におけるいずれの明るさレベルに該当するのかを判定する。ここで判定する明るさレベルは、前述した第３のキー判定と同じ明るさ基準（６段階の明るさレベル）に基づく明るさレベルである。この顔部分キー判定部１０と前記Ｙ値平均算出部９とにより本発明の第２の取得手段が構成される。

顔ブロックキー判定部１１は、Ｙ値平均算出部９により算出された顔ブロックＤに属する各々のブロック領域１０１の平均Ｙ値から、前記顔部分キー判定部１０と同様に前述した第３のキー判定と同じ明るさ基準によるいずれの明るさレベルに該当するのかをそれぞれ判定し、判定した各々のブロック領域１０１の明るさレベルを平均化した明るさレベルを最終的に顔ブロックＤの明るさレベルと判定する。

上記明るさレベルの平均化は、具体的には６段階の明るさレベルに１〜６のレベル値を割り当てておき、そのレベル値の平均を計算することによって行う（但し、小数点以下は四捨五入）。例えば、図４に示した顔ブロックＤに属する各々のブロック領域１０１（Ｄ１〜Ｄ４）の明るさレベルがそれぞれ「ロー２」、「ミドル１」、「ハイ１」、「ハイ２」であれば、レベル値の平均は（２＋３＋５＋６）／４＝４であり、レベル値「４」に対応する「ミドル２」を顔ブロックＤの明るさレベルとする。この顔ブロックキー判定部１１と前記Ｙ値平均算出部９とにより本発明の第３の取得手段が構成される。

なお、顔ブロックキー判定部１１において顔ブロックＤの明るさレベルを判定するときの明るさ基準は、顔部分キー判定部１０において顔部分Ｃの明るさレベルを判定するときの明るさ基準と同一であればよく、顔部分Ｃ及び顔ブロックＤについては、その明るさレベルを第３のキー判定とは異なる複数段階にレベル分けされた明るさ基準によって判定しても構わない。

判定結果調整部１２は本発明の調整手段であり、前記顔ブロックＤに属する各々のブロック領域１０１について、第３のキー判定部６における第３のキー判定の結果（第３の明るさレベル）を、顔部分キー判定部１０と顔ブロックキー判定部１１によるキー判定の結果、つまり顔部分Ｃの明るさレベルと、顔ブロックＤの平均化された明るさレベルに基づき調整する。

具体的な調整内容は、図１３に示したようにして行う。すなわち判定結果調整部１２は、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとを比較し（ステップＳ１０１）、顔部分Ｃの明るさレベルの方が高い、つまり顔部分Ｃの方が明るい場合には（ステップＳ１０２でＹＥＳ）、顔ブロックＤに属する各ブロック領域１０１の明るさレベルを、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差に応じて明るい側へシフトする（ステップＳ１０３）。

逆に、顔ブロックＤの明るさレベルの方が高い、つまり顔ブロックＤの方が明るい場合には（ステップＳ１０２でＮＯ、ステップＳ１０４でＹＥＳ）、顔ブロックＤに属する各ブロック領域１０１の明るさレベルを、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差に応じて暗い側へシフトする（ステップＳ１０５）。

また、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとが同一である場合には（ステップＳ１０２，Ｓ１０４が共にＮＯ）、顔ブロックＤに属する各ブロック領域１０１の明るさレベルをそのまま維持する（ステップＳ１０６）。

ここで、上記ステップＳ１０３，Ｓ１０５において、ブロック領域１０１の明るさレベルを顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差に応じて明るい側、または暗い側へシフトするときのシフト量（調整度合）は予め決められた調整度合であって、例えば顔部分Ｃと顔ブロックＤとの間のレベル差が１段階変化する毎にシフト量も１段階変化させたり、レベル差が２段階変化する毎にシフト量を１段階変化させたりする。なお、上記シフト量（調整度合）は、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差が大きいほど大きくする方がよいが、上記シフト量をあまり大きくすると周辺のブロック領域１０１とのバランスが悪くなる可能性も大きくなるため、注意が必要である。

また、ここでは便宜上、入力画像１００において検出した顔、すなわち顔部分Ｃが１箇所である場合について説明したが、顔部分Ｃが複数検出されている場合には、判定結果調整部１２は、各々の顔ブロックＤに属する各ブロック領域１０１について前述した明るさレベルの調整を行う。さらに、その場合において、複数の顔部分Ｃが近接して存在しており、各々の顔ブロックＤに重なる部分（ブロック領域１０１）があったときには、当該ブロック領域１０１の明るさレベルは、予め決められている基準（顔部分Ｃの面積等）に照らして優先度がより高い顔部分Ｃ、及びその顔ブロックＤの明るさレベルに基づき調整する。

ヒストグラム作成部１３は、前記Ｖ値変換部２により変換された全画素のＶ値（Ｖｉｎ）からＶ値別の画素数をカウントし、カウント結果を入力画像全体の明るさの分布状態を示すヒストグラム情報として前記補正ゲイン演算部１４へ出力する。

補正ゲイン演算部１４は本発明の特性設定手段（第１の特性設定手段、第２の特性設定手段、第３の特性設定手段）、演算手段、判断手段であり、前記判定結果調整部１２から出力された第３のキー判定の結果である明るさレベル、または調整後の明るさレベルと前記ヒストグラム情報とに基づき、後述するゲイン関数（補正関数）を用いて階調変換部１６による画素毎のゲイン調整時における補正用のゲイン、つまり画像データの各画素値に乗じる階調補正用の補正係数を個別に算出し、それを階調変換部１６に設定する。

座標カウンタ１５は、補正ゲイン演算部１４においてゲインの算出対象となる画素の座標位置（横位置及び縦位置）をカウントする。

階調変換部１６は、補正ゲイン演算部１４において画素毎に演算されたゲインで画像データのゲインを画素毎に調整する。すなわち各画素の画素値（Ｒ値、Ｇ値、Ｂ値）を上記ゲイン係数を乗じた画素値に変換する。出力部１７は、階調変換部１６によるゲイン調整後の画像データを出力する。なお、本実施形態においては、前記補正ゲイン演算部１４と階調変換部１６とにより本発明の補正手段が構成される。

ここで、前記補正ゲイン演算部１４における補正用のゲインの演算動作について詳述する。まず、補正ゲイン演算部１４は、ゲイン算出時に基本とする各画素のＶ値の変化に対するゲインの変化特性であって、後述するゲイン関数により得られる補正特性を全画素に個別に設定する。

具体的には、複数のブロック領域１０１の各々の中心画素に対し、前述した「ロー１」、「ロー２」、「ミドル１」、「ミドル２」、「ハイ１」、「ハイ２」の６段階の明るさレベル（図３参照）にそれぞれ対応して予め決められている複数種の補正特性のうちから、第３のキー判定でブロック領域１０１毎に判定された第３の明るさレベルに対応する補正特性を代表補正特性として設定する。

また、中心画素以外の画素には、それと隣接する複数の中心画素に設定した代表補正特性から線形補間により新たな補正特性を取得し、その補正特性を設定する。なお、他の画素に設定する補正特性の補間については、線形補間に限らずスプライン補間等の他の補間方法でも構わない。

図５（ａ）は、入力画像１００を９つのブロック領域に分割する場合における各々のブロック領域と、それらの中心画素（図で「＋」）とを示した図であり、図５（ｂ）は、中心画素以外のある画素（図で「・」）と、当該画素の補正特性の取得（補間）に使用される中心画素との関係を示した図である。図５（ｂ）に示したように、前述した他の画素に設定する補正特性の補間に際しては、当該画素に隣接する最大で４つの中心画素の代表補正特性を使用する。但し、入力画像の上下左右の角部分に位置するブロック領域内の画素については、そのブロック領域の中心画素に設定した代表補正特性をそのまま補正特性として設定する。
次に、代表補正特性及び補正特性について詳述する。

ここで、各画素に設定する代表補正特性及び補正特性は、
ｇ（Ｖｉｎ，ｌｅｖ，ｘ）
で表される図６（ａ）に示した基本となるゲイン関数によって得られる特性であり、補正ゲイン演算部１４は、このゲイン関数においてその特性を決めるパラメータ（変数）であるゲインレベル（ｌｅｖ）及び次数（ｘ）の値を前述した代表補正特性又は補正特性として画素毎に設定する。

図６（ｂ）及び図６（ｃ）は、上記ゲイン関数によって得られるＶ値（Ｖｉｎ）の変化に対するゲイン（ｇ）の変化特性を示した図であり、上記ゲイン関数により算出されるゲイン（ｇ）は、Ｖ値（Ｖｉｎ）が大きくなるにつれて小さくなり、Ｖ値が最大値のとき１．０倍となる。また、前記パラメータの値の違いは以下のように特性に反映される。

すなわち、図６（ｂ）に示したように、次数（ｘ）の値が同一の場合、ゲインレベル（ｌｅｖ）が大きいほど全体のゲイン（ｇ）が大きくなり、「ｌｅｖ＝２」であるときゲイン（ｇ）の最大値が２．０倍となる。また、図６（ｃ）に示したように、ゲインレベル（ｌｅｖ）の値が同一の場合、次数（ｘ）が大きいほど、中間の明るさ領域、特にハイライト（Ｖ値が最大）側のゲイン（ｇ）が抑えられ、値によってはハイライト側（Ｖ値が大きい側）のゲイン（ｇ）が１．０以下となる。

つまり上記ゲイン関数を用いて階調変換部１６に設定するゲインを画素毎に算出するとき、ゲインレベル（ｌｅｖ）を大きくして全体的にゲインを上げれば、入力画像の暗い部分の階調を向上することができる。同時に次数（ｘ）を大きくしてハイライト（Ｖ値が最大）側のゲインを１．０以下とすれば、入力画像の明るい部分での白とびを軽減することができる。

そのため、図示しないが前述した６段階（「ロー１」、・・・「ハイ２」）の各々の明るさレベルに対応するゲインレベル（ｌｅｖ）には、明るさレベルが上がるに従い順に小さくなる値が設定されており、また、各々の明るさレベルに対応する次数（ｘ）には、明るさレベルが上がるに従い順に大きくなる値が設定されている。また、双方のパラメータ（ｌｅｖ，ｘ）の値は経験則に基づいて予め決められた値である。

また、補正ゲイン演算部１４においては、前述したゲイン関数をそのまま用いてゲインを算出するのではなく、図７（ａ）に示した下記式で表されるゲイン関数
ｇｌｉｍ（Ｖｉｎ，ｌｅｖ，ｘ）＝
ｍｉｎ｛ｇ（Ｖｉｎ，ｌｅｖ，ｘ），（ｌｅｖ −１．０）×ｌｉｍ＋１．０｝
によってゲインを算出する。

このゲイン関数におけるパラメータ（ｌｉｍ）は、ゲインの上限を決めるゲイン制限係数であり、その値を１．０以下に設定することにより、ゲインレベル（ｌｅｖ）の値に対応してゲインの上限を調整することができる。なお、本実施形態において、ゲイン制限係数の値は画像全体（全画素）で同一とする。以下の説明においては上記ゲイン関数を、便宜上、ゲイン制限後のゲイン関数という。

図７（ｂ）は「ｌｉｍ＝１」としたときの各画素のＶ値の変化に対するゲインの変化特性を示した図であり、この場合はゲイン制限を行わない場合と同様の特性となる。同図（ｃ）は「ｌｉｍ＝０．５」としたときの各画素のＶ値の変化に対するゲインの変化特性を示した図であり、ゲイン制限係数を１．０未満に設定することにより、ゲインレベル（ｌｅｖ）の値が小さいときほど、Ｖ値がより大きい側の画素に対するゲインを抑えることができる。つまり、暗い部分の画素に対するゲインを抑えれば、画像のコントラスト（暗部の締まり）を強調することができる。

本実施形態において、上記ゲイン制限係数（ｌｉｍ）には、前記顔検出部７によって入力画像から所定サイズ以上の任意の人物の顔部分が検出されていた場合、図８（ａ）に示した式により算出した値を設定する。この式において、
Ｙａｖｅ＿ｆａｃｅ
は、前記Ｙ値平均算出部９により算出された顔部分Ｃ（図４参照）の平均Ｙ値、
ｌｅｖ＿ｆａｃｅ、ｘ＿ｆａｃｅ
は、各々のブロック領域１０１の中心画素のうちで顔部分Ｃの中心座標に最も近い中心画素に代表補正特性として設定したゲインレベル（ｌｅｖ）及び次数（ｘ）、
ｇ（Ｙａｖｅ，ｌｅｖ＿ｆａｃｅ，ｘ＿ｆａｃｅ）
は、上記中心画素の代表補正特性に従い算出される顔部分の平均Ｙ値に対応したゲインであり、上記代表補正特性のゲインレベル（ｌｅｖ＿ｆａｃｅ）と、上記ゲイン（以下、顔部分ゲイン）との比率をゲイン制限係数（ｌｉｍ）とする。

図８（ｂ）は、上記のように取得したゲイン制限係数（ｌｉｍ）を用いることにより得られる、各画素のＶ値の変化に対するゲインの変化特性を示す図である。つまりゲイン制限係数（ｌｉｍ）を上述した計算式により算出した値とすることにより、顔の平均Ｙ値よりも小さいＶ値の画素に対するゲインを、顔部分の平均Ｙ値に対応したゲイン
ｇ（Ｙａｖｅ，ｌｅｖ＿ｆａｃｅ，ｘ＿ｆａｃｅ）
に制限し、これにより画像内の顔部分の階調を重視したコントラスト強調（以下、顔優先コントラスト強調）を行う。

また、上記と異なり前記顔検出部７によって入力画像から所定サイズ以上の任意の人物の顔部分が検出されていない場合、ゲイン制限係数（ｌｉｍ）には、前述した第３のキー判定の結果に基づき入力画像のコントラスト状態を判定（推定）するコントラスト判定を行い、その判定結果に応じた値を設定する。

具体的には、第３のキー判定に際して明るさレベルが最低である「ロー１」であったブロック領域の数と、明るさレベルが最高である「ハイ２」であったブロック領域の数とを個別にカウントし、双方の明るさレベルについて、各々のカウント数がレベル毎に決められている閾値（Ｎ，Ｍ）以上であるか、または閾値（Ｎ，Ｍ）未満であるかを確認する。そして、「ロー１」の数（Ｎ以上の数、Ｎ未満の数）と、「ハイ２」の数（Ｍ以上の数、Ｍ未満の数）との組合せからコントラスト状態を判定し、その判定結果に応じてゲイン制限係数を設定する。

例えばコントラスト状態を４段階に分けて判定する場合、「ロー１」の数が閾値（Ｎ）以上で、かつ「ハイ２」の数が閾値（Ｍ）以上であったときには画像のコントラストが最も高い状態であると判定し、ゲイン制限係数の値を「１．０」に設定する。つまり実質的に前述したコントラスト強調を行わないようにする。また、「ロー１」の数が閾値（Ｎ）未満で、かつ「ハイ２」の数が閾値（Ｍ）未満であったときには、画像のコントラストが最も低い状態であると判定し、ゲイン制限係数の値を「０．５」に設定する。

一方、上述したゲイン制限後のゲイン関数を用いて各画素に対するゲインの上限を調整すれば、上記の顔優先コントラスト強調を行うことができるが、その場合においても、図６（ｃ）に示したように、ゲインの算出に際して各画素に設定する次数（ｘ）の値がある程度大きいときには、ハイライト部分（Ｖ値が最大値の画素部分）を除くハイライト側（Ｖ値が大きい側）のゲイン（ｇ）が１．０以下となる。つまり画像内の明るい部分の画素値をマイナス補正することになる。

これは、明るい部分の階調が乏しい画像ではコントラストの無用な低下につながり、また、白とびが大きい（白とびしている部分が多い）画像では、白とびが生じている部分と、その周囲における白とびに近い部分（Ｖ値が最大値付近）との間の階調差が大きくなるトーンジャンプを生じさせる要因となる。

そのため、補正ゲイン演算部１４においては、各画素のゲインの算出に際して、入力画像が、明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否か、つまり明るい部分の階調が乏しい画像、または白とびが大きい画像であるか否かの判定（以下、ハイライト判定）を行い、マイナス補正が不適切となる画像であると判定した場合においては、図９（ａ）に示した下記式で表されるゲイン関数
ｇｃｒｉｐ（Ｖｉｎ，ｌｅｖ，ｘ）＝ ｍａｘ｛ｇｌｉｍ（Ｖｉｎ，ｌｅｖ，ｘ），１．０｝
によってゲインを算出する。

つまり、ゲインの下限を「１．０」にクリップ（制限）することにより、入力画像が明るい部分の階調が乏しい画像である場合におけるコントラストの無用の低下、及び白とびが大きい画像である場合におけるトーンジャンプの発生を回避する。以下の説明においては上記ゲイン関数を、便宜上、クリップ後のゲイン関数という。

図９（ｂ）、同図（ｃ）は、前述したゲイン制限係数（ｌｉｍ）の値が「１．０」に設定している場合における、上記クリップの有無によるゲインの変化特性の違いを示した図であり、図９（ｂ）は上記クリップを行わないときの変化特性、同図（ｃ）は上記クリップを行うときの変化特性である。

また、本実施形態において前述したハイライト判定は、前記ヒストグラム作成部１３により取得されたヒストグラム情報（画像全体のＶ値別の画素数による明るさの分布状態）に基づき以下のようにして行う。すなわち図１０（ａ）に示したように、最大階調値（最大Ｖ値）から数％（例えば５〜１０％）下の階調位置の階調値Ｘよりも大きい階調値の画素数が予め決められている一定数以下であるときには、入力画像が明るい部分の階調が乏しく、マイナス補正が不適切となる画像であると判断する。また、図１０（ｃ）に示したように、最大階調値（最大Ｖ値）の画素数が予め決められている一定数以上であるときには、入力画像が白とびが大きく、マイナス補正が不適切となる画像であると判定する。そして、図１０（ｂ）に示したように、階調値Ｘよりも大きい階調値の画素数が予め決められている一定数を超え、かつ最大階調値（最大Ｖ値）の画素数が予め決められている一定数未満であるとき、つまり２つの判定条件のいずれにも該当しないときには、入力画像が明るい部分の階調が豊かであり、マイナス補正が適切となる画像であると判定する。

ここで、上記のハイライト判定に使用するヒストグラム情報はＲ値、Ｇ値、Ｂ値の最大値であるＶ値別の画素数による明るさの分布状態であるため、入力画像が、色飽和が生じている部分が多い画像である場合についても、白とびが大きい画像の場合と同様にマイナス補正が不適切である画像と判定することができる。そのため、白とびが生じている付近におけるトーンジャンプに加え、色飽和が生じている付近におけるトーンジャンプの発生を同時に回避することができる。

以上のように補正ゲイン演算部１４は、上記ハイライト判定の結果に応じ、入力画像が、ゲインのクリップが必要である画像である場合についてはクリップ後のゲイン関数
ｇｃｒｉｐ（Ｖｉｎ，ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、それを前記階調変換部１６に補正用のゲインとして設定し、また、入力画像が、ゲインのクリップが不要である画像である場合についてはゲイン制限後のゲイン関数
ｇｌｉｍ（Ｖｉｎ，ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、それを前記階調変換部１６に補正用のゲインとして設定する。

そして、階調変換部１６では、補正ゲイン演算部１４により上記ハイライト判定の結果に応じて算出されたゲインにより画像データの画素値を画素毎に調整する。すなわち入力した各画素のＲ，Ｇ，Ｂ別の画素値Ｒｉｎ，Ｇｉｎ，Ｂｉｎを下記式
Ｒｏｕｔ ＝ Ｒｉｎ × ｇｌｉｍ（Ｖｉｎ，ｌｅｖ，ｘ）
Ｇｏｕｔ ＝ Ｇｉｎ × ｇｌｉｍ（Ｖｉｎ，ｌｅｖ，ｘ）
Ｂｏｕｔ ＝ Ｂｉｎ × ｇｌｉｍ（Ｖｉｎ，ｌｅｖ，ｘ）
または下記式
Ｒｏｕｔ ＝ Ｒｉｎ × ｇｃｒｉｐ（Ｖｉｎ，ｌｅｖ，ｘ）
Ｇｏｕｔ ＝ Ｇｉｎ × ｇｃｒｉｐ（Ｖｉｎ，ｌｅｖ，ｘ）
Ｂｏｕｔ ＝ Ｂｉｎ × ｇｃｒｉｐ（Ｖｉｎ，ｌｅｖ，ｘ）
により得られる画素値Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔに変換する。つまり入力画像の各画素の輝度レベル（明るさ）を画素毎に設定された補正特性に従い個別に補正する。これにより入力画像の階調を自動的に補正することができる。

図１１、及び図１２は、上述した階調補正装置における動作内容を示したフローチャートである。同図に示した各ステップの詳細については先の説明と重複するため説明を省略するが、ステップＳ１がＶ値平均算出部３による動作、ステップＳ２が第１のキー判定部４、第２のキー判定部５、第３のキー判定部６による動作である。また、ステップＳ４が顔検出部７による動作であり、ステップＳ５がＹ値平均算出部９による動作、ステップＳ６が顔部分キー判定部１０及び顔ブロックキー判定部１１による動作である。また、ステップＳ７が判定結果調整部１２による動作であり、図１３がその詳細を示したフローチャートである。これについても既に説明した通りである。

そして、ステップＳ８〜Ｓ１７が補正ゲイン演算部１４による動作であり、ステップＳ１８が階調変換部１６による動作である。なお、ステップＳ１７，Ｓ１８の動作は、実際には画素数に応じた回数だけ繰り返し行われる。

以上のように本実施形態の階調補正装置においては、入力画像１００に所定サイズ以上の顔が存在している場合、入力部１に入力した画像データのゲインを階調変換部１６において画素毎に調整するときの、全ての画素に設定するゲインの上限を入力画像１００における顔部分Ｃの明るさに応じて調整するようにした。すなわち前述したように画素毎のゲインの算出に使用するゲイン関数として、顔部分Ｃの平均Ｙ値を用いて算出したゲイン制限係数（ｌｉｍ）をパラメータとするゲイン制限後のゲイン関数（図７及び図８参照）を使用することにより、入力画像１００に対して顔優先コントラスト強調を施すようにした。

これにより、顔部分での目の周りや口元等の暗い部分の画素に対するゲインを抑え、顔の暗い部分を適度に暗く引き締めることによって顔部分の階調にメリハリを持たせることができる。つまり画像内における人物の顔部分を重視した階調補正を行うことができ、その結果、画像の階調補正に際して人物の顔部分に適切な階調を確保することができる。

さらに、画素毎のゲインの算出に使用する補正特性の設定に先立ち、各々のブロック領域１０１の中心画素に設定する補正特性（代表補正特性）を決めるときに基準とする各々のブロック領域１０１の明るさレベルを取得する際、顔ブロックＤに属するブロック領域１０１（顔部分Ｃに重なりその一部又全部を含むブロック領域１０１）については（図４参照）、前述した第１〜第３のキー判定によっていったん判定した複数のブロック領域１０１の明るさレベルを、顔部分Ｃの明るさレベルと、顔ブロックＤの平均レベル（顔ブロックＤに属する各ブロック領域１０１の明るさレベルの平均）との差に応じて調整（高レベル側または低レベル側へシフト）するようにした。

これにより、顔部分Ｃのサイズが、各々のブロック領域１０１と同程度、またはそれ以下の大きさといった小さなサイズである場合に生ずる顔部分Ｃの画素に対するゲインの過不足を補うことができる。

例えば図１４（ａ）に示したように、顔部分Ｃが暗く、かつ背景が明るいときには、前述したような明るさレベル調整を行なわないと、顔ブロックＤに属するブロック領域１０１の平均Ｖ値に基づく明るさレベルが高くなるため、顔ブロックＤにおける各画素のゲインレベルが小さくなり、その結果、顔部分Ｃの画素に対するゲインが不足するが、前述したように明るさレベルを調整することにより係る顔部分Ｃに対するゲイン不足を回避することができ、階調補正に伴い顔部分Ｃが不自然に暗くなる事態をなくすことができる。

また、図１４（ｂ）に示したように、顔部分Ｃが明るく暗く、かつ背景が暗いときには、前述したような明るさレベル調整を行なわないと、顔ブロックＤに属するブロック領域１０１の平均Ｖ値に基づく明るさレベルが低くなるため、顔ブロックＤにおける各画素のゲインレベルが大きくなり、その結果、顔部分Ｃの画素に対するゲインが過剰となるが、前述したように明るさレベルを調整することにより、係る顔部分Ｃに対するゲイン過剰を回避することができ、階調補正に伴い顔部分Ｃが不自然に明るくなる事態をなくすことができる。

つまり顔ブロックＤに属するブロック領域１０１の明るさレベルの調整を行うことによっても、画像内における人物の顔部分を重視した階調補正を行うことができ、その結果、画像の階調補正に際して人物の顔部分に適切な階調を確保することができる。

また、本実施形態においては、画素毎のゲイン算出に際し、入力画像について前述したハイライト判定を行い、入力画像が明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否かを判定し、上記マイナス補正が不適切となる画像である場合には、画素毎に設定するゲインの下限を「１．０」にクリップ（制限）するようにした。これにより、入力画像が明るい部分の階調が乏しい画像である場合におけるコントラストの無用な低下、及び白とびが大きい画像である場合におけるトーンジャンプの発生や、色飽和が生じている部分の周囲におけるトーンジャンプの発生を防止することができる。

なお、前述した顔優先コントラスト強調と、顔ブロックＤに属するブロック領域１０１の明るさレベルの調整とは、本実施形態のように並行して実施することが望ましいが、それらは必ずしも並行して実施しなくともよく、いずれか一方のみを実施するようにしてもよい。

また、本実施形態では、入力画像１００の階調補正に際し、画素毎に補正特性（ゲイン関数）を設定し、設定した補正特性に従って画素の明るさを個別に補正する階調補正装置について説明したが、本発明において各画素の明るさを個別に補正する具体的な方法はこれに限定されるものでなく、これ以外の方法であってもよい。

その場合であっても、各画素の明るさを、各々のブロック領域１０１の明るさ情報と顔部分Ｃの明るさ情報とに基づいて個別に補正すれば、画像内における人物の顔部分を重視した階調補正を行うことができ、それにより人物の顔部分に適切な階調を確保することが可能となる。

また、本実施形態においては、入力画像１００に所定サイズ以上の顔が存在している場合には、各画素に設定するゲインを図７（ａ）に示したゲイン制限後のゲイン関数を用いて算出するものとし、そのゲイン関数のパラメータに、各々のブロック領域１０１の明るさレベルと顔ブロックＤの明るさレベルとに基づいて取得した値を設定することにより、顔部分の階調を重視した顔優先コントラスト強調を行うようにしたが、以下のようにしてもよい。

例えば、図６（ａ）に示した基本となるゲイン関数を用いて、各々のブロック領域１０１の明るさレベルに基づいた補正特性を画素毎に設定し、設定した補正特性に従い各画素のゲインをいったん算出し、算出したゲインを顔ブロックＤの明るさレベルに基づいて補正するようにしてもよい。また、それとは別に、各々のブロック領域１０１の明るさレベルを顔ブロックＤの明るさレベルに基づいて予め高めに判定することにより、結果的に各画素に対するゲインの上限を制限するようにしてもよい。

また、本実施形態においては、各々のブロック領域１０１のうちで顔ブロックＤに属するブロック領域１０１の明るさレベルを、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差に応じて調整し、調整後の明るさレベルに基づいて顔ブロックＤに属するブロック領域１０１の中心画素に代表補正特性を設定することにより、顔部分Ｃの画素に対するゲインの過不足を補うようにしたが、以下のようにしてもよい。

例えば、顔ブロックＤに属するブロック領域１０１の明るさレベルを上記のように調整せずに、そのブロック領域１０１の中心画素に代表補正特性をそれぞれ設定する際、その他の一般のブロック領域１０１とは異なり、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差を勘案した代表補正特性をそれぞれ設定するようにしてもよい。

また、顔ブロックＤに属するブロック領域１０１については、その明るさレベルを判定する時点で、その周囲に隣接する８つの他のブロック領域１０１との間における相対的な明るさの関係を考慮するだけでなく、予め顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差を勘案して明るさレベルを判定し、その判定結果に基づき顔ブロックＤに属するブロック領域１０１の中心画素に、他のブロック領域１０１と同様の基準に従い代表補正特性を設定するようにしてもよい。

さらに、顔ブロックＤに属するブロック領域１０１の明るさレベルを上記のように調整せずに、複数のブロック領域１０１の各々の中心画素に設定する代表補正特性を各々のブロック領域１０１の明るさレベルに応じていったん決定した後、顔ブロックＤに属するブロック領域１０１の代表補正特性のみを、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差を勘案した補正特性に変更するようにしてもよい。

また、顔ブロックＤに属するブロック領域１０１の中心画素に設定する代表補正特性については、そのブロック領域１０１の明るさレベルと、顔部分Ｃの明るさレベルと顔ブロックＤの明るさレベルとの差との組合せに基づいて直接決定するようにしてもよい。

ここで、本実施形態においては、入力画像１００を複数のブロック領域１０１に分割し、各々のブロック領域１０１について明るさレベル（明るさ情報）を取得したが、明るさレベルを取得するブロック領域は必ずしも入力画像１００を分割した領域である必要はなく、ブロック領域とし、隣接するもの同士が部分的に重なるような複数のブロック領域を設定するようにしてもよい。

また、顔部分Ｃの明るさ情報として平均Ｙ値を取得したが、かつ顔ブロックＤの明るさ情報が、顔ブロックＤに属する各々のブロック領域１０１の明るさレベルを平均化した明るさレベルであって、各ブロック領域１０１の明るさレベルを各々の平均Ｙ値に基づき判定したが、顔部分Ｃの明るさ情報として平均Ｖ値を取得し、かつ各ブロック領域１０１の明るさレベルを各々の平均Ｖ値に基づき判定するようにしてもよい。なお、その場合には、一般に人物の顔部分はＲ成分が多い肌色であるため平均Ｙ値よりも平均Ｖ値の方が高くなる。つまり顔部分Ｃや顔ブロックＤの明るさレベルが高くなる。そのため、それを勘案して最終的に取得する顔ブロックＤに属する各々のブロック領域１０１の明るさレベルを調整したり、顔優先コントラスト強調に際しゲイン制限係数（ｌｉｍ）を算出したりする必要がある。

また、第１及び第２のキー判定領域Ａ，Ｂの明るさレベルを「ロー」、「ミドル」、「ハイ」の３段階で判定したが、判定する明るさレベルの段階数は２段階でもよいし４段階以上でもよい。また、第１のキー判定領域Ａと第２のキー判定領域Ｂとにおいて判定する明るさレベルの段階数を異なる段階数としてもよい。

また、本実施形態と同様に段階数を同一にする場合には、例えば第１のキー判定領域Ａに対する第１のキー判定と第２のキー判定領域Ｂに対する第２のキー判定とにおける判定基準、つまり平均Ｖ値と明るさレベルとの対応関係を変えることにより第２のキー判定の結果に重み付けを行ってもよい。

また、第３のキー判定で判定する各々のブロック領域１０１の明るさレベル、つまり各々の中心画素に設定する代表補正特性を決めるときに基準となる明るさを「ロー１」〜「ハイ２」の６段階で判定したが、その段階数は変更しても構わない。ただし、判定する明るさレベルの段階数は多い方が的確な階調補正を行うことができる。そのため、第３のキー判定で判定する明るさレベルの段階数は、本実施形態のように第１及び第２のキー判定領域Ａ，Ｂの明るさを判定するときの明るさレベルの段階数よりも多くすることが望ましい。

また、各ブロック領域１０１の明るさレベルを各画素のＶ値（具体的には各ブロック領域の平均Ｖ値）に基づき判定するようにしたが、それを各画素のＲ値、Ｇ値、Ｂ値から得られるＹ（輝度）値等の他の明るさ情報に基づき判定してもよい。ただし、Ｖ値以外の明るさ情報を用いた場合には前述したハイライト判定に際して色飽和を判断できず、色飽和部分に対して不要なゲインを与えてしまう場合があるため、明るさ情報としてはＶ値を用いることが望ましい。

また、本実施形態では、前述した第２の明るさレベルを取得する対象領域である第２のキー判定領域を、注目領域となっているブロック領域１０１（図２（ｂ）でＡ）と、その周囲に隣接する８つの他のブロック領域１０１（同図でＢ１，Ｂ２，・・・Ｂ８）とからなる領域（包括領域）Ｂとしたが、本発明において第２の明るさレベルを取得する対象領域はこれに限定されるものではない。例えば、注目領域の周囲に隣接する８つの他のブロック領域のみを第２のキー判定領域としてもいいし、注目領域の周囲に隣接する８つの他のブロック領域のうちのいくつかのブロック領域（図２（ｂ）でＢ２，Ｂ４，Ｂ５，Ｂ７など）を第２のキー判定領域としてもよい。

また、以上説明した図１に示した階調補正装置の各部はＡＳＩＣ（特定用途向け集積回路）により構成することができる。また、入力部１と出力部１７以外の各部の全て、又はその一部の機能については、例えば階調補正装置をデジタルカメラ等の装置に組み込む場合、それらの装置が有するコンピュータを所定の階調補正プログラムに従い動作させることにより実現してもよい。

本発明に係る階調補正装置のブロック図である。 入力画像におけるブロック領域を示した模式図である。 第１及び第２の明るさレベルの組合せと第３の明るさレベルとの対応関係を示す図である。 入力画像における顔部分、及び顔ブロックを示した模式図である。 （ａ）は、入力画像におけるブロック領域、及びその中心画素を示す図、（ｂ）は、補正特性の補間時における中心画素と他の画素との関係を示す概念図である。 基本となるゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ゲイン制限後のゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 （ａ）は、ゲイン制限係数の計算式、（ｂ）は、そのゲイン制限係数を用いることにより得られるゲインの変化特性を示す説明図である。 クリップ後のゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ハイライト判定の方法を示す図である。 階調補正装置動作内容を示すフローチャートである。 図１１に続くフローチャートである。 判定結果調整部による各々のブロック領域の明るさレベルの具体的な調整内容を示すフローチャートである。 顔部分の画素に対するゲインに過不足が生ずる場合の例を示す模式図である。

符号の説明

１ 入力部
２ Ｖ値変換部
３ Ｖ値平均算出部
４ 第１のキー判定部
５ 第２のキー判定部
６ 第３のキー判定部
７ 顔検出部
８ Ｙ値変換部
９ Ｙ値平均算出部
１０ 顔部分キー判定部
１１ 顔ブロックキー判定部
１２ 判定結果調整部
１３ ヒストグラム作成部
１４ 補正ゲイン演算部
１５ 座標カウンタ
１６ 階調変換部
１７ 出力部
１００ 入力画像
１０１ ブロック領域
Ａ 第１のキー判定領域
Ｂ 第２のキー判定領域
Ｃ 顔部分
Ｄ 顔ブロック

Claims (15)

1. 入力した画像の階調を補正する階調補正装置において、
   前記画像に設定した複数のブロック領域の明るさ情報を取得する第１の取得手段と、
   前記画像から人物の顔部分を検出する顔検出手段と、
   この顔検出手段により検出された顔部分の明るさ情報を取得する第２の取得手段と、
   前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づいて前記画像の明るさを補正する補正手段と
   を備えたことを特徴とする階調補正装置。
2. 前記補正手段は、
   前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づいて前記画像の各画素に補正特性を設定する特性設定手段を含み、
   前記特性設定手段により設定された補正特性に従い前記画像の画素の明るさを個別に補正する
   ことを特徴とする請求項１記載の階調補正装置。
3. 前記特性設定手段が画素毎に設定する補正特性は画素の明るさの変化に対する補正係数の変化特性であるとともに、前記特性設定手段は、前記補正係数の最大値が前記第２の取得手段により取得された顔部分の明るさ情報に応じた値に制限される変化特性を画素毎に設定し、
   前記補正手段は、前記画像の画素の明るさを、各画素の明るさに対応するとともに前記特性補正手段により設定された補正特性に従った補正係数を用いて個別に補正する
   ことを特徴とする請求項２記載の階調補正装置。
4. 前記補正手段は、前記画像の各画素の明るさに対応するとともに前記特性補正手段によ設定された補正特性に従った補正係数を所定の補正関数を用いて演算する演算手段を含み、
   前記特性設定手段は、前記所定の補正関数を構成する変数に前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づく値を設定することにより前記画像の各画素に補正特性を設定する
   ことを特徴とする請求項３記載の階調補正装置。
5. 前記特性設定手段は、
   前記複数のブロック領域のうちの所定のブロック領域に、予め決められている複数の補正特性のうちで前記第１の取得手段によりブロック領域毎に取得された明るさ情報に対応する第１の特性設定手段と、
   前記複数のブロック領域のうちの前記所定のブロック領域以外のブロック領域に、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づく補正特性を設定する第２の特性設定手段と、
   前記第１の特性設定手段及び前記第２の特性設定手段により複数のブロック領域の各々に設定された補正特性に基づいて前記画像の各画素に所定の補正特性を設定する第３の特性設定手段と
   を含むことを特徴とする請求項２又は３，４記載の階調補正装置。
6. 前記第３の特性設定手段は、前記所定の補正特性として、前記複数のブロック領域の各々の中心画素には、前記第１の特性設定手段により複数のブロック領域の各々に設定された補正特性をそのまま設定し、前記中心画素以外の他の画素には、当該他の画素に隣接する１又は複数の中心画素に設定した補正特性から補間した補正特性を設定することを特徴とする請求項５記載の階調補正装置。
7. 前記第１の取得手段は、複数のブロック領域の明るさ情報を前記画像の各画素のＨＳＶ色空間における明度情報に基づき取得し、
   前記第２の取得手段は、前記顔部分の明るさ情報を前記画像の各画素のＹＵＶ色空間における輝度情報に基づき取得する
   ことを特徴とする請求項１乃至６いずれか記載の階調補正装置。
8. 前記補正手段は、前記画像における前記顔検出手段により検出された顔部分に重なる１または複数のブロック領域からなる顔ブロックの各画素の明るさを、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報との双方に基づき補正することを特徴とする請求項１乃至６いずれか記載の階調補正装置。
9. 前記第１の取得手段により取得された複数のブロック領域の明るさ情報、及び前記第２の取得手段により取得された顔部分の明るさ情報の双方は明るさレベルであり、
   前記画像の画素情報に基づき前記顔ブロックに属する１または複数のブロック領域の各々の明るさレベルの平均である平均レベルを取得する第３の取得手段をさらに備え、
   前記補正手段は、前記第２の取得手段により取得された顔部分の明るさレベルと前記第３の取得手段により取得された顔ブロックの平均レベルとを比較する比較手段を備え、この比較手段による比較結果に基づいて前記顔ブロックの各画素の明るさを補正する
   ことを特徴とする請求項８記載の階調補正装置。
10. 前記補正手段は、前記比較手段による比較結果に基づき、前記顔部分の明るさレベルが前記顔ブロックの平均レベルよりも高い場合には、前記顔ブロックに属する１または複数のブロック領域の各々の明るさを上げるとともに、前記顔部分の明るさレベルが前記顔ブロックの平均レベルよりも低い場合には、前記顔ブロックに属する１または複数のブロック領域の各々の明るさを下げる調整手段を含むことを特徴とする請求項９記載の階調補正装置。
11. 前記第１の取得手段は、前記複数のブロック領域の明るさ情報として前記画像の各画素のＨＳＶ色空間における明度情報に基づいた明るさ情報を取得し、
    前記第２の取得手段は、前記顔部分の明るさ情報として前記画像の各画素のＹＵＶ色空間における輝度情報に基づいた明るさ情報を取得する
    ことを特徴とする請求項８乃至１０いずれか記載の階調補正装置。
12. 前記顔検出手段によって前記画像から人物の顔部分が検出されたか否かを判断する判断手段をさらに備え、
    前記補正手段は、前記判断手段により顔が検出できたと判断された場合に、前記第１の取得手段により取得された複数のブロック領域の明るさ情報と前記第２の取得手段により取得された顔部分の明るさ情報とに基づいて前記画像の明るさを補正する
    ことを特徴とする請求項１乃至１１いずれか記載の階調補正装置。
13. 前記第１の取得手段は、
    前記画像に設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段と、
    前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段と
    を含み、
    前記複数のブロック領域の各々を注目領域としたときの前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せに基づいて前記画像に設定した複数のブロック領域の明るさ情報を取得する
    ことを特徴とする請求項１乃至１２いずれか記載の階調補正装置。
14. 入力した画像の階調を補正する階調補正方法において、
    前記画像に設定した複数のブロック領域の明るさ情報を取得する第１の取得工程と、
    前記画像から人物の顔部分を検出する顔検出工程と、
    この顔検出工程により検出された顔部分の明るさ情報を取得する第２の取得手段と、
    前記第１の取得工程により取得した複数のブロック領域の明るさ情報と前記第２の取得工程により取得した顔部分の明るさ情報とに基づいて前記画像の明るさを補正する補正工程と
    を含むことを特徴とする階調補正方法。
15. 入力した画像の階調を補正する階調補正装置が有するコンピュータに、
    前記画像に設定した複数のブロック領域の明るさ情報を取得するための第１の取得処理と、
    前記画像から人物の顔部分を検出するための顔検出処理と、
    この顔検出処理に伴い検出された顔部分の明るさ情報を取得するための第２の取得処理と、
    前記第１の取得処理に伴い取得された複数のブロック領域の明るさ情報と前記第２の取得処理に伴い取得された顔部分の明るさ情報とに基づいて前記画像の明るさを補正するための補正処理と
    を実行させるための階調補正プログラム。

Images