JP4697987B2 - 画像処理装置及びその方法 - Google Patents

Description

本発明は、画像処理装置及びその方法に関する。

一般に、多値画像を補正する画像処理装置では、画像中の最も明るいハイライト部分又は最も暗いシャドウ部分の輝度値を調整することによって、コントラストのより鮮明な画像を得る。

また、一般に、ホワイトバランス調整は、画像内の輝度が高い方から数％の範囲の高輝度領域において、輝度が所定の閾値以上である画素を除いた画素を対象としてＲ、Ｇ、Ｂ値の平均値を算出し、その平均値に基づいて各画素を補正することにより行われる。

特開平１０−７９８５７号公報

しかしながら、上記の画像処理装置では、対象画像のシーンに拘らず、即ち画像の特徴を考慮することなく、画像の補正を行う。

したがって、例えば、白い壁を背景とする人物写真等のような全体的に輝度の高い画像を補正する場合において、画像処理装置は、該画像を露出オーバーの画像と判断し、白い壁の部分を適正露出よりも暗く再現すると共に、人物の部分を非常に暗く再現する。

本発明は、上記の背景に鑑みてなされたものであり、例えば、画像中の部分的な領域の色（明度、彩度、色相を含む）が適正になるように画像を補正することを目的とする。

上述の目的は、外部機器から提供される、撮影に係る第１の画像および第１の画像の部分的な領域を特定する情報を保持する入力画像保持手段と、入力画像保持手段から第１の画像および第１の画像の部分的な領域を特定する情報とを読み出し、第１の画像の部分的な領域を特定する情報に基づいて、第１の画像から第１の画像の部分的な領域の画像である第２の画像を抽出する抽出手段と、第１の画像に基づいて第１の画像補正規則を作成する第１の作成手段と、第２の画像に基づいて第２の画像補正規則を作成する第２の作成手段と、第１及び第２の画像補正規則に従って第１の画像を補正する補正手段とを備え、第１の画像補正規則は第１の画像のホワイトバランス及び／又はコントラストを補正する規則であり、第２の画像補正規則は第２の画像の露出を補正する規則であることを特徴とする画像処理装置によって達成される。

また、上述の目的は、外部機器から提供される、撮影に係る第１の画像および第１の画像の部分的な領域を特定する情報を入力画像保持手段に保持する保持工程と、入力画像保持手段から第１の画像および第１の画像の部分的な領域を特定する情報とを読み出し、第１の画像の部分的な領域を特定する情報に基づいて、第１の画像から、第１の画像の部分的な領域の画像である第２の画像を抽出する抽出工程と、第１の画像に基づいて第１の画像補正規則を作成する第１の作成工程と、第２の画像に基づいて第２の画像補正規則を作成する第２の作成工程と、第１及び第２の画像補正規則に従って第１の画像を補正する補正工程とを備え、第１の画像補正規則は第１の画像のホワイトバランス及び／又はコントラストを補正する規則であり、第２の画像補正規則は第２の画像の露出を補正する規則であることを特徴とする画像処理方法によっても達成される。

本発明によれば、例えば、画像中の部分的な領域の色が適正になるように画像を補正することができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

＜装置構成＞
図１は、本発明の好適な実施の形態に係る画像処理装置の構成を示す図である。なお、この画像処理装置は、例えば、ソフトウェアをメモリ媒体に格納してコンピュータ（或いはＣＰＵ）に提供することにより実現することもできる。また、この画像処理装置は、例えば、電子カメラ（スチルカメラ、ビデオカメラを含む）、複写機、プリンタ等の、画像処理部を有する電子機器に組み込むこともできる。

図１に示す画像処理装置は、入力画像保持部１、画像処理部１００及び出力画像保持部１１を含む。画像処理部１００は、画像入力部２、画像バッファ３、ヒストグラム保持部４、ルックアップテーブル保持部５、ヒストグラム作成部６、ルックアップテーブル作成部７、画像補正部９及び画像出力部１０を含む。

入力画像保持部１は、例えば、外部機器から提供される画像データ及びそれに付随するマスクデータを保持する。なお、マスクデータは、画像データに基づいて、例えば画像処理部１００において生成してもよい。マスクデータについては後述する。

画像入力部２は、入力画像保持部１から画像データ及びマスクデータを読み込んで、画像バッファ３に書き込む。ヒストグラム保持部４は、画像データ全体のヒストグラムと、マスクデータによって特定されるマスク領域のヒストグラムを保持する。ルックアップテーブル保持部５は、画像データを補正する際に参照されるルックアップテーブルを保持する。

ヒストグラム作成部６は、画像バッファ３に格納された画像データ及びマスクデータに基づいて、該画像データ全体のヒストグラム及びマスク領域のヒストグラムを作成し、ヒストグラム保持部４に格納する。ルックアップテーブル作成部７は、ヒストグラム保持部４に格納されたヒストグラムに基づいて所定のパラメータを算出し、該パラメータに基づいてルックアップテーブルを作成し、ルックアップテーブル保持部５に格納する。

画像補正部９は、ルックアップテーブル保持部５に格納されたルックアップテーブルに基づいて、画像バッファ３に格納されている画像データを補正し、補正後の画像データを画像バッファ３に格納する。

画像出力部１０は、画像バッファ３から補正後の画像データを読み込んで、出力画像保持部１１に書き込む。

＜画像補正方法＞
図２は、図１に示す画像処理装置による画像補正方法の概要を示すフローチャートである。

まず、ステップＳ１では、画像入力部２は、入力画像保持部１から画像データ及びマスクデータを読み込んで画像バッファ３に格納する。

ステップＳ２で、ヒストグラム作成部６は、画像バッファ３に格納された画像データ及びマスクデータに基づいてヒストグラムを作成し、ヒストグラム保持部４に格納する。ヒストグラム作成部６の動作の詳細は、図３に示す通りであり、これについては後述する。

ステップＳ３では、ルックアップテーブル作成部７は、ヒストグラム保持部４に格納されたヒストグラムに基づいて、所定の補正パラメータを算出し、該補正パラメータに基づいてルックアップテーブルを作成し、ルックアップテーブル保持部５に格納する。ルックアップテーブル作成部７の動作の詳細は、図４に示す通りであり、これについては後述する。

ステップＳ４では、画像補正部９は、ルックアップテーブル保持部５に格納されたルックアップテーブルに基づいて、画像バッファ３に格納された画像データを補正し、補正後の画像データを画像バッファ３に格納する。

ステップＳ５では、画像出力部１０は、画像バッファ３に格納された画像データを出力画像保持部１２に書き込むことによって出力する。

＜マスクデータ＞
マスクデータは、画像中の部分的な領域を特定するデータの一例である。図８は、マスクデータの一例を示す図である。この実施の形態では、マスクデータは、図８（ｃ）に示すように、画像データを構成する各画素が各々マスクされているか否かを示すマスク情報（例えば、２値画像）１１２０を含む。

マスク情報１１２０は、例えば、人の肌色に近い画素をマスクする情報とすることが好ましい。この場合、肌の露出部分に相当する画素がマスクされる。このようなマスク情報１１２０は、画像データを解析して、人の肌色に近い画素を抽出することにより作成することができる。

また、マスク情報１１２０は、主被写体の部分を抽出して、その部分をマスクする情報とすることもできる。このようなマスク情報１１２０は、例えば、一般に主被写体の鮮鋭度が高いことを利用して、画像全体の中の鮮鋭度の高い部分を抽出することにより作成することができる。

図８（ｂ）は、主被写体としての人物の部分をマスクする例である。

マスクデータには、図８（ｃ）に示すように、マスクされている領域が何であるかを示す属性情報（例えば、人の肌、空）１１０１、及び／又は、再現したい色を示す色情報（例えば、人の好ましい肌色、好ましい空の色）１１０２等の付加情報１１１０を付加してもよい。これにより、付加情報１１１０を考慮して、画像データを補正する際のルックアップテーブルを作成することができる。

＜ヒストグラム作成処理＞
図３は、図２のステップＳ２においてヒストグラム作成部６により実行されるヒストグラム作成処理を示すフローチャートであるまず、ステップＳ１１では、ヒストグラム作成部６は、画像バッファ３から画像データとマスクデータ（マスク情報）を１画素分ずつ取り出す。画像データは、当該画素のＲＧＢ各色の輝度（Ｒ、Ｇ、Ｂ）、マスクデータ（マスク情報）は、当該画素をマスクするか否かを示す情報である。

ステップＳ１２では、ヒストグラム作成部６は、画像データのＲ、Ｇ、Ｂの各値に基づいて、（１）式に従って、当該画素の輝度の加重平均値Ｌを算出する。

Ｌ＝（３×Ｒ＋６×Ｇ＋１×Ｂ）／１０ ・・・（１）式
ステップＳ１３では、ヒストグラム作成部６は、ヒストグラム保持部４に格納されている画像全体についてのヒストグラムを更新する。ここで、ヒストグラム保持部４には、ヒストグラムとして、輝度の加重平均値Ｌ毎の度数（画素数）ＨｉｓｔＬ［Ｌ］、ＲＧＢ各色の累積輝度値を当該画素の輝度の加重平均値Ｌ毎に格納するＨｉｓｔＲ［Ｌ］、ＨｉｓｔＧ［Ｌ］、ＨｉｓｔＢ［Ｌ］、マスクデータ（マスク情報）によってマスクされている領域の輝度の加重平均値Ｌ毎の度数（画素数）ＨｉｓｔＬＭｓｋ［Ｌ］が保持されている。初期状態は、全て０である。ヒストグラムの更新は、（２）式に従って実行する。なお、ＨｉｓｔＬＭｓｋ［Ｌ］の更新は、ステップＳ１３ではなく、後述のステップＳ１５で実行される。

ＨｉｓｔＲ［Ｌ］＝ＨｉｓｔＲ［Ｌ］＋Ｒ
ＨｉｓｔＧ［Ｌ］＝ＨｉｓｔＧ［Ｌ］＋Ｇ
ＨｉｓｔＢ［Ｌ］＝ＨｉｓｔＢ［Ｌ］＋Ｂ
ＨｉｓｔＬ［Ｌ］＝ＨｉｓｔＬ［Ｌ］＋１
・・・（２）式
ステップＳ１４では、ヒストグラム作成部６は、マスクデータ（マスク情報）に基づいて、当該画素がマスクされているか否かを判定し、マスクされている場合はステップＳ１５に進み、マスクされていない場合はステップＳ１６に進む。

ステップＳ１５では、ヒストグラム作成部６は、ヒストグラム保持部４に格納されているマスク領域（マスクされている領域）についてのヒストグラムを更新する。具体的には、ステップＳ１５では、ヒストグラム作成部６は、マスクデータ（マスク情報）によってマスクされている領域の輝度の加重平均値Ｌの度数（画素数）ＨｉｓｔＬＭｓｋ［Ｌ］を（３）式に従って更新する。

ＨｉｓｔＬＭｓｋ［Ｌ］＝ＨｉｓｔＬＭｓｋ［Ｌ］＋１ ・・・（３）式
ステップＳ１６では、画像データを構成する全画素について上記の処理を終了したか否かを判定し、終了している場合は図３に示す処理を終了し、終了していない場合はステップＳ１１に戻る。

図６は、図３に示す処理により作成されるヒストグラムＨｉｓｔＬ［Ｌ］の一例を示す図である。

＜パラメータ算出／ルックアップテーブルの作成処理＞
図４は、図２のステップＳ３においてルックアップテーブル作成部７により実行されるパラメータ算出／ルックアップテーブル作成処理を示すフローチャートである。

まず、ステップＳ２１では、ルックアップテーブル作成部７は、ヒストグラム保持部４に格納されているヒストグラムＨｉｓｔＬ［Ｌ］に基づいて、画像中の最大輝度（正確には、輝度の加重平均の最大値）を求める。図６に示すヒストグラムでは、最大輝度は”２５２”である。

ステップＳ２２では、ルックアップテーブル作成部７は、採り得る最大輝度”２５５”（８ビットデータの場合）から所定値（図６では、所定値＝”１０”）を減算しながら、減算により得られる比較値（”２５５”、”２４５”、”２３５”、・・・）と、ステップＳ２１で求めた画像中の最大輝度（図６では、”２５２”）とを比較し、画像中の最大輝度（図６では、”２５２”）を最初に下回る比較値ＬＨ’を決定する。そして、ルックアップテーブル作成部７は、総画素数の所定の割合の画素数（例えば、１％）を含む領域であって輝度ＬＨ’を一方の境界とする領域の他方の境界を規定する輝度ＬＨを決定し、輝度ＬＨを画像のハイライトポイントとする（図６では、ＬＨ＝”２３４”がハイライトポイント）。そして、ルックアップテーブル作成部７は、（４）式に従って、輝度ＬＨ〜ＬＨ’の領域のＲＧＢの平均輝度（ＲＨ、ＧＨ、ＢＨ）を算出する。

・・・（４）式
ステップＳ２３では、ヒストグラム作成部７は、ヒストグラム保持部４に格納されているヒストグラムＨｉｓｔＬ［Ｌ］に基づいて、画像中の最小輝度（正確には、輝度の加重平均値の最小値）を求める。図６に示すヒストグラムでは、最小輝度は”５”である。

ステップＳ２４では、採り得る最小輝度”０”に所定値（図６では、所定値＝”１０”）を加算しながら、加算により得られる比較値（０、１０、２０、・・・）と、ステップＳ２３で求めた画像中の最小輝度（図６では、”５”）とを比較し、画像中の最小輝度（図６では、”５”）を最初に上回る比較値ＬＳ’（図６では、”１０”）を決定する。そして、ルックアップテーブル作成部７は、総画素数の所定の割合の画素数（例えば、１％）を含む領域であって輝度の加重平均値ＬＳ’を一方の境界とする領域の他方の境界ＬＳを決定し、輝度の加重平均値ＬＳを画像のシャドウポイントとする（図６では、ＬＳ＝”２２”がシャドウポイント）。そして、ルックアップテーブル作成部７は、（５）式に従って、輝度の加重平均値ＬＳ’〜ＬＳの領域のＲＧＢの平均輝度（ＲＳ、ＧＳ、ＢＳ）を算出する。

・・・（５）式
ステップＳ２５では、ルックアップテーブル作成部７は、ＲＨ、ＧＨ、ＢＨ、ＲＳ、ＧＳ、ＢＳに基づいて、ＲＧＢの各色についてのルックアップテーブルＬＵＴＲ、ＬＵＴＧ、ＬＵＴＢを作成し、ルックアップテーブル保持部５に格納する。図７（ａ）は、Ｒ、Ｇ、ＢについてのルックアップテーブルＬＵＴＲ、ＬＵＴＧ、ＬＵＴＢの一例を示す図である。ルックアップテーブルＬＵＴＲ、ＬＵＴＧ、ＬＵＴＢに基づいてＲ、Ｇ、Ｂの画像値を補正することにより、色かぶり（ホワイトバランス）やコントラストを補正することができる。

また、ルックアップテーブル作成部７は、マスク領域のヒストグラムＨｉｓｔＬＭｓｋ［Ｌ］を補正する際に参照する画像中のハイライトポイントの輝度の加重平均値ＬＨＴｍｐ及びシャドウポイントの輝度の加重平均値ＬＳＴｍｐを（６）式に従って算出する。

ＬＨＴｍｐ＝（ＲＨ×３＋ＧＨ×６＋ＢＨ×１）／１０
ＬＳＴｍｐ＝（ＲＳ×３＋ＧＳ×６＋ＢＳ×１）／１０
・・・（６）式
そして、ルックアップテーブル作成部７は、輝度の加重平均値ＬＨＴｍｐ及びＬＳＴｍｐに基づいて、ＨｉｓｔＬＭｓｋを補正する際に参照するルックアップテーブルＬＵＴＴｍｐを作成する。

ステップＳ２６では、ＬＵＴＴｍｐに基づいて、マスク領域のヒストグラムＨｉｓｔＬＭｓｋを補正する。これにより、マスク領域を含む画像全体におけるハイライトポイント及びシャドウポイントの輝度の加重平均値がマスク領域のヒストグラムＨｉｓｔＬＭｓｋに反映される。

ステップＳ２７では、ルックアップテーブル作成部７は、補正後のマスク領域のヒストグラムＨｉｓｔＬＭｓｋ［Ｌ］に基づいてマスク領域の輝度の加重平均値Ｌの平均値を算出し、その算出した平均値に基づいて、露出を適正に補正するためのルックアップテーブルＬＵＴＬＭｓｋを作成し、ルックアップテーブル保持部５に格納する。図７（ｂ）は、ルックアップテーブルＬＵＴＬＭｓｋの一例を示す図である。

ここで、ステップＳ２５で作成されるルックアップテーブルＬＵＴＲ、ＬＵＴＧ、ＬＵＴＢ（図７（ａ））及びステップＳ２７で作成されるルックアップテーブルＬＵＴＬＭｓｋ（図７（ｂ））について説明する。

ルックアップテーブルＬＵＴＲ、ＬＵＴＧ、ＬＵＴＢは、色かぶり（ホワイトバランス）やコントラストを補正するために使用され得る。図７（ａ）に示す例では、Ｇ用のＬＵＴＧ、Ｂ用のＬＵＴＢ、Ｒ用のＬＵＴＲの順にハイライト側の傾きが大きい。このように、Ｒに対してＧ及びＢを強めることにより、例えば、青っぽく色かぶりしている画像の色かぶりが補正されると共にコントラストが補正される。

一方、図７（ｂ）に示すルックアップテーブルＬＵＴＬＭｓｋは、画像全体のハイライトポイント及びシャドウポイントを考慮しつつマスク領域の露出を最適に補正するためのルックアップテーブルである。例えば、人物の領域をマスク領域として設定することにより、人物の露出が最適に補正することができるルックアップテーブルＬＵＴＬＭｓｋを作成することができる。

＜画像補正処理＞
図５は、図２のステップＳ４において画像補正部９により実行される画像補正処理を示すフローチャートである。

まず、ステップＳ４１では、画像補正部９は、画像バッファ３に格納されている画像データを１画素分取り出す。ここで、画像データは、ＲＧＢ各色の輝度（Ｒ、Ｇ、Ｂ）を示す情報で構成されている。

ステップＳ４２では、画像補正部９は、マスク領域の露出を最適に補正するＬＵＴＬＭｓｋ、及び、色かぶり（ホワイトバランス）やコントラストを補正するＬＵＴＲ、ＬＵＴＧ、ＬＵＴＢに基づいて、画像バッファ３から取り出した画像データを（７）式に従って補正し、補正結果を元のアドレスに上書きする。

Ｒ＝ＬＵＴＬＭｓｋ［ＬＵＴＲ［Ｒ］］
Ｇ＝ＬＵＴＬＭｓｋ［ＬＵＴＧ［Ｇ］］
Ｂ＝ＬＵＴＬＭｓｋ［ＬＵＴＢ［Ｂ］］ ・・・（７）式
ステップＳ４３では、全画素について上記の処理を終了したか否かを判定し、全画素について処理が終了している場合は図５に示す処理を終了し、全画素について終了してい場合はステップＳ４１に戻る。

以上のように、この実施の形態では、マスクデータに基づいてマスク領域の露出を最適に補正するルックアップテーブルを作成し、該ルックアップテーブルを参照して画像データを補正する。

したがって、例えば、人物が写っている画像において、人物の部分をマスクするマスクデータを作成し、該マスクデータに基づいて人物の部分の露出を最適に補正するルックアップテーブルを作成し、該ルックアップテーブルを参照して画像データを補正することにより、例えば、白い壁を背景として写した写真等のように人物の部分が非常に暗い画像であっても、人物の露出を最適に補正することができる。

［変形例］
上記の実施の形態では、採り得る輝度の範囲を０〜２５５のデジタル値（８ビット）であるものとして説明しているが、採り得る輝度の範囲は、０〜２５５に限定されない。また、輝度の代わりに濃度で画像を表現してもよい。

また、上記の実施の形態では、ステップＳ１２及びＳ２５において、Ｒ：Ｇ：Ｂ＝３：６：１の重みで輝度値の加重平均を計算するが、この重みは他の比率としてもよい。また、輝度の加重平均の代わりに、例えば、ＲＧＢの最大値と最小値との平均値等を用いてもよい。

本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の好適な実施の形態に係る画像処理装置の構成を示す図である。 図２は、図１に示す画像処理装置による画像補正方法の概要を示すフローチャートである。 ヒストグラム作成処理を示すフローチャートである。 ルックアップテーブル作成処理を示すフローチャートである。 画像補正処理を示すフローチャートである。 ヒストグラムの一例を示す図である。 ルックアップテーブルの一例を示す図である。 マスクデータの一例を示す図である。

１ 入力画像保持部
２ 画像入力部
３ 画像バッファ
４ ヒストグラム保持部
５ ルックアップテーブル保持部
６ ヒストグラム作成部
７ ルックアップテーブル作成部
９ 画像補正部
１０ 画像出力部
１１ 出力画像保持部
１００ 画像処理部

Claims (4)

1. 外部機器から提供される、撮影に係る第１の画像および該第１の画像の部分的な領域を特定する情報を保持する入力画像保持手段と、
   前記入力画像保持手段から前記第１の画像および該第１の画像の部分的な領域を特定する情報とを読み出し、前記第１の画像の部分的な領域を特定する情報に基づいて、前記第１の画像から前記第１の画像の部分的な領域の画像である第２の画像を抽出する抽出手段と、
   前記第１の画像に基づいて第１の画像補正規則を作成する第１の作成手段と、
   前記第２の画像に基づいて第２の画像補正規則を作成する第２の作成手段と、
   前記第１及び第２の画像補正規則に従って前記第１の画像を補正する補正手段とを備え、
   前記第１の画像補正規則は前記第１の画像のホワイトバランス及び／又はコントラストを補正する規則であり、前記第２の画像補正規則は前記第２の画像の露出を補正する規則であることを特徴とする画像処理装置。
2. 前記第１の作成手段は、前記第１の画像の特徴を示すヒストグラムを作成し、該ヒストグラムに基づいて前記第１の画像補正規則を作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の作成手段は、前記第２の画像補正規則として、前記第２の画像に含まれる画像の輝度に基づいたルックアップテーブルを作成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 外部機器から提供される、撮影に係る第１の画像および該第１の画像の部分的な領域を特定する情報を入力画像保持手段に保持する保持工程と、
   前記入力画像保持手段から前記第１の画像および該第１の画像の部分的な領域を特定する情報とを読み出し、前記第１の画像の部分的な領域を特定する情報に基づいて、前記第１の画像から、該第１の画像の部分的な領域の画像である第２の画像を抽出する抽出工程と、
   前記第１の画像に基づいて第１の画像補正規則を作成する第１の作成工程と、
   前記第２の画像に基づいて第２の画像補正規則を作成する第２の作成工程と、
   前記第１及び第２の画像補正規則に従って前記第１の画像を補正する補正工程とを備え、
   前記第１の画像補正規則は前記第１の画像のホワイトバランス及び／又はコントラストを補正する規則であり、前記第２の画像補正規則は前記第２の画像の露出を補正する規則であることを特徴とする画像処理方法。

Images