JP2007249802A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像に複数の顔領域が検出される場合であっても、主要被写体である可能性の高い顔領域の特性値を重視した補正を行なうことにより、高い精度で適正な画像に補正できる画像処理装置を提供する。
【解決手段】入力された原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算手段１０２と、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出手段１１１を備えている画像処理装置であって、前記顔領域特性値演算手段１０２は、前記原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出する。
【選択図】図１

Description

本発明は、入力された原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算手段と、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出手段を備えている画像処理装置及び画像処理方法に関する。

一般に写真画像処理装置は、写真フィルムに形成された撮影画像をフィルムスキャナによりデジタル画像データとして取り込み、或いはデジタルスチルカメラなどのデジタル撮影機器によって撮影された画像データを各種のメディアドライブ装置を介して取り込み、取り込んだ原画像データのカラー特性や階調特性といった種々の画像特性を補正処理し、その結果、得られた出力画像データに基づいて感光材料（印画紙）を露光して写真プリントを生成するように構成されている。

上述の補正処理では、良好な画質の写真プリントを得るために、入力された原画像データの階調特性やカラー特性と感光材料の階調特性や発色特性等の差異や人間の視覚特性を考慮して、適切な階調特性やカラー特性が得られるように濃度補正処理やカラー補正処理が行なわれる。

このような濃度補正処理としては、入力画像データと出力画像データとが所定のガンマ特性を示す濃度特性曲線となるように補正処理されるのが一般的であるが、撮影された画像の被写体が人物である場合に、その人物の顔領域が適切な明るさとなるように階調補正し、顔領域が好ましい肌領域になるようにカラー補正することにより、高品位の写真プリントを得る技術が提案されている。

例えば、特許文献１には、撮影画像データから検出された顔領域の顔平均濃度値と画像全体の濃度値から求められた補正値を補正する技術が提案されている。

特開２００５−１５９３８７号公報

しかし、原画像に複数の顔画像が検出されたときに、上記従来技術によれば、複数の顔領域に対して一律に平均濃度（平均特性値）を求めて補正に反映させるように構成されているため、主要被写体ではない人物と主要被写体である人物の特性値が同レベルで処理される結果、思惑通りに補正できないという問題があった。

また、画像全体の特性値から求められた補正値と顔領域から求められた補正値を融合して適正な補正値を求める場合であっても、予め定められたパラメータに基づいて融合処理されるため、必ずしも適正に補正されるとは限らないという問題があった。

本発明は、上述した従来の問題点に鑑み、画像に複数の顔領域が検出される場合であっても、主要被写体である可能性の高い顔領域の特性値を重視した補正を行なうことにより、高い精度で適正な画像に補正できる画像処理装置及び画像処理方法を提供する点にある。

上述の目的を達成するため、本発明による画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力された原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算手段と、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出手段を備えている画像処理装置であって、前記顔領域特性値演算手段は、前記原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出する点にある。

上述の構成によれば、原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けすることにより、複数の顔領域のうち大きい顔領域を重視した顔領域平均特性値を算出する。そして、写真画像に複数の顔領域が含まれている場合、一般に、大きい顔が主要被写体である可能性が高いことから、主要被写体である可能性の高い顔領域の特性値を重視した補正を行うことができるのである。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記原画像データの全画像特性値に基づいて基準特性値補正量を算出する基準特性値補正量算出手段と、前記基準特性値補正量算出手段により算出された基準特性値補正量と前記顔領域特性値補正量算出手段により算出された顔領域特性値補正量とを所定の融合率で融合処理して適正特性値補正量を算出する適正特性値補正量算出手段を備えている点にある。

上述の構成によれば、原画像データ全体の特性から得られる基準特性値補正量と、顔領域データ全体の特性から得られる顔領域特性値補正量を所定の融合率で融合処理することで、原画像データ全体のみならず被写体である人物の顔領域をも加味した適性特性値補正量を得ることができるのである。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一特徴構成に加えて、前記顔領域特性値演算手段は、各顔領域のＲＧＢ毎の平均濃度を各顔領域の占有面積で重み付けしたＲＧＢ毎の重み付け平均濃度を顔領域平均特性値として算出し、前記顔領域特性値補正量算出手段は、前記顔領域平均特性値を変換処理した色相彩度座標系における色相と前記目標特性値に対応する前記色相彩度座標系における目標色相との偏差に基づいて色相補正量を算出し、算出した色相補正量を逆変換して得られるＲＧＢ毎のカラー補正量を前記顔領域特性値補正量として算出する点にある。

例えば、ＲＧＢ各値で目標値を設定した場合、前記目標値は一意に定まり、彩度に関係なく補正量が決定されるが、上述の構成によれば、ＲＧＢ毎の平均濃度を色相彩度に変換処理することで、変換処理して色相彩度座標系上に配置された色相と予め設定された目標色相との関係において、原画像の彩度に応じた最適な色相補正量が明らかとなるので、前記色相補正量を正確かつ簡便に算出することができる。よって、前記色相補正量を逆変換して得られるカラー補正量もまた、顔領域画像を適正に補正することができる顔領域特性値補正量として算出されるのである。

また、上述の構成によれば、顔領域の夫々の平均特性値が平均濃度である場合に、複数の顔領域のうち大きい顔領域を重視した顔領域平均特性値を算出することができ、本発明の好適な実施例となる。

同第四の特徴構成は、同請求項４に記載した通り、上述の第二特徴構成に加えて、前記融合率が前記原画像全体に対する全顔領域の面積比率に基づいて設定される点にある。

上述の構成によれば、原画像全体における全顔領域の占める面積比率が大きい場合は顔領域を重視するように融合率を調節し、原画像全体における全顔領域の占める面積比率が小さい場合は顔領域以外を重視するように融合率を調節することができるので、前記原画像全体における顔領域の重要度に応じた適切な補正量の算出が可能となるのである。

上述の目的を達成するため、本発明による画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項５に記載した通り、入力された原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算ステップと、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出ステップを備えている画像処理方法であって、前記原画像データの全画像特性値に基づいて基準特性値補正量を算出する基準特性値補正量算出ステップをさらに備え、前記顔領域特性値演算ステップは、前記原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出し、前記基準特性値補正量算出ステップにより算出された基準特性値補正量と前記顔領域特性値補正量算出ステップにより算出された顔領域特性値補正量とを所定の融合率で融合処理して適正特性値補正量を算出する適正特性値補正量算出ステップを備えている点にある。

以上説明した通り、本発明によれば、画像に複数の顔領域が検出される場合であっても、主要被写体である可能性の高い顔領域の特性値を重視した補正を行なうことにより、高い精度で適正な画像に補正できる画像処理装置及び画像処理方法を提供することができるようになった。

以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない露光された印画紙を現像処理する写真プリンタ２と、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２や、コントローラ３３としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行なう操作ステーション３を備えて構成され、前記操作ステーション３で元画像から編集処理されたプリントデータが前記写真プリンタ２に出力されて所望の写真プリントが生成される。

前記写真プリンタ２は、図２及び図３に示すように、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、前記印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、前記プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えて構成される。

前記露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。

前記搬送経路に沿って配置された前記露光部２４や現像処理部２５に応じたプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、前記露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。

前記操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。

前記コントローラ３３のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図４に示すように、前記フィルムスキャナ３１やメディアドライバ３２によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ４１に転送する画像入力部４０と、前記モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、前記画像入力部４０から転送される写真画像データ及び後述の画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、前記メモリ４１に格納された各写真画像データに対して濃度補正処理やコントラスト補正処理等を行なう画像処理部４７と、前記グラフィックユーザーインターフェース部４２からの表示コマンドに基づいて前記メモリ４１に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等で構成される。

前記フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ２に出力される。

同様に、前記メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ４１に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。

前記画像処理部４７は、図１に示すように、入力された原画像データに含まれる被写体の顔領域を検出する顔領域検出部１０と、前記原画像データに対してカラー補正処理を実施するカラー補正処理部１１と、前記原画像データに対して濃度補正処理を実施する濃度補正処理部１２と、前記濃度補正処理部１２で濃度補正のために生成された濃度補正曲線に対してコントラスト補正を施すコントラスト補正部１３と、撮影レンズに起因する歪を補正する歪補正部１４と、画像のエッジを強調しノイズを低減する鮮鋭化処理部１５と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部１６等を備えて構成されている。

前記顔領域検出部１０は、前記原画像データから被写体として人物の顔領域を抽出する顔領域抽出部１０１と、前記顔領域抽出部１０１で検出された前記原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算手段１０２を備えて構成されている。

前記顔領域抽出部１０１は、例えば、前記原画像データから抽出された濃度エッジやカラーエッジに基づく輪郭が顔領域であるか否かを、予め準備された顔領域の輪郭、目、鼻、口、耳等の複数の要素配置パターンとの一致度を評価することによるパターン認識技術に基づいて検出する等といった公知の技術を用いて実現されるものである。

しかし、上述のパターン認識技術に基づいて検出した顔領域は、顔と周辺領域を合わせた四角形の領域であり顔以外の要素が含まれていることから、より高精度の画像処理を行うために、検出した顔領域から肌領域以外の領域を除去した後に、肌領域の平均特性値を顔領域の平均特性値として求めてもよい。

例えば、一旦検出した顔領域に対して前記顔領域の中心画素の座標（四角形の対角線の交点等）と色相・彩度・濃度を算出しておき、中心画素の座標から放射状に周辺画素を走査していく。走査は、被走査画素の色相・彩度・濃度と前記中心画素の色相・彩度・濃度の差分が予め設定された所定値以内であるか否かで行い、所定値以内であれば前記被走査画素は顔領域を構成するとみなし、所定値より大きければ前記被走査画素は顔領域を構成しないとみなす。顔領域を構成しないとみなされた画素があると、前記中心画素より見て前記被走査画素より外側の画素は顔領域を構成しないとみなし走査は行わない。つまり、上記の方法では、中心画素の座標の色相・彩度・濃度との差分が所定値以内である一連かつ一体の領域が検出され、該検出された領域を顔領域とみなしている。

尚、前記顔領域抽出部１０１における抽出処理は、上述したように自動的に行なうように構成するもののみならず、モニタ３４の画面に表示された原画像に対してオペレータがマウス３６等により手動で入力指定された領域を顔領域として抽出するように構成されるものであってもよい。

前記顔領域特性値演算手段１０２は、入力された原画像データに含まれる顔領域から顔領域平均特性値を算出するように構成されており、詳述すると、前記原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出するように構成されている。

本実施形態では、前記顔領域特性値演算手段１０２は、前記顔領域抽出部１０１で検出された各顔領域のＲＧＢ毎の平均特性値を各顔領域の占有面積で重み付けしたＲＧＢ毎の重み付け平均濃度を顔領域平均特性値として算出しており、例えば、前記顔領域抽出部１０１おいて検出された顔領域が顔領域Ａと顔領域Ｂの２個であり、前記顔領域のサイズが夫々Ｓ_Ａ、Ｓ_Ｂであり、前記顔領域Ａの赤色（Ｒ）の平均特性値がＲ_Ａ、前記顔領域Ａの緑色（Ｇ）の平均特性値がＧ_Ａ、前記顔領域Ａの青色（Ｂ）の平均特性値がＢ_Ａ、前記顔領域Ｂの赤色（Ｒ）の平均特性値がＲ_Ｂ、前記顔領域Ｂの緑色（Ｇ）の平均特性値がＧ_Ｂ、前記顔領域Ｂの青色（Ｂ）の平均特性値がＢ_Ｂである場合において、前記顔領域平均特性値として算出されるＲＧＢ毎の重み付け平均濃度を夫々Ｄ_Ｒ、Ｄ_Ｇ、Ｄ_Ｂとすると、前記重み付け平均濃度Ｄ_Ｒ、Ｄ_Ｇ、Ｄ_Ｂは夫々〔数１〕、〔数２〕、〔数３〕のような演算を行うことによって算出される。

前記カラー補正処理部１１は、前記顔領域特性値演算手段１０２で算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出手段１１１と、前記原画像データの全画像特性値に基づいて基準特性値補正量を算出する基準特性値補正量算出手段１１２と、前記基準特性値補正量算出手段１１２により算出された基準特性値補正量と前記顔領域特性値補正量算出手段１１１により算出された顔領域特性値補正量とを所定の融合率で融合処理して適正特性値補正量を算出する適正特性値補正量算出手段１１３を備えて構成されている。

前記顔領域特性値補正量算出手段１１１は、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出するように構成されている。具体的には以下の手順にて算出される。即ち、第一ステップとして、前記顔領域平均特性値を色相座標系に変換し、第二ステップとして、前記顔領域平均特性値が色相彩度座標系に変換処理された前記顔領域平均特性値に対応する色相と前記色相彩度座標系における前記目標特性値に対応する目標色相との偏差に基づいて色相補正量を算出し、第三ステップとして、算出した色相補正量を逆変換して得られるＲＧＢ毎のカラー補正量を前記顔領域特性値補正量として算出するように構成されている。

以下、各ステップについて詳述する。第一ステップでは、ＲＧＢ毎の重み付け平均濃度Ｄ_Ｒ、Ｄ_Ｇ、Ｄ_Ｂとして算出された前記顔領域平均特性値を〔数４〕に示す行列演算式に基づいて色相彩度座標系に変換する。

前記色相彩度座標系は、図５に示すように、横軸がＰ、縦軸がＱで示されており、原点からの距離で彩度を示しており、原点からの方向で色相を示している。具体的には、原点が無彩色であり、Ｐ座標において原点より正方向の直線を角度ゼロとした場合において、赤色が−５π／６、青色がπ／２、緑色が−π／６、黄色が−π／２、シアンがπ／６、マゼンダが５π／６となっている。そして、〔数４〕で変換された前記顔領域平均特性値は、座標Ｄ（ｐ，ｑ）として前記色相彩度座標系の一点を占める。

第二ステップでは、第一ステップにおいて変換処理された前記顔領域平均特性値の色相彩度座標系における色相、つまり前記座標Ｄ（ｐ，ｑ）と前記目標特性値に対応する前記色相彩度座標系における目標色相との偏差に基づいて色相補正量を算出する。

詳述すると、図５に示すように、前記色相彩度座標系に目標特性値としての目標色相ＴＨを設定しておき、第一ステップにおいて変換処理された前記顔領域平均特性値の色相彩度座標系における座標Ｄ（ｐ，ｑ）との偏差、つまり色相補正量ＲＨ（Δｐ，Δｑ）を算出する。前記目標色相ＴＨは、様々な撮影条件下で撮影した顔領域を含む多数のサンプル画像を統計的に処理することによって得られるものであり、例えば、人間の肌色として理想的な色相を示している。

前記色相補正量ＲＨ（Δｐ，Δｑ）は、前記座標Ｄ（ｐ，ｑ）と前記目標色相ＴＨとの距離、つまり前記座標Ｄ（ｐ，ｑ）から前記目標色相ＴＨへ引いた垂線の距離で示される。

第三ステップでは、算出した前記色相補正量ＲＨ（Δｐ，Δｑ）を逆変換して得られるＲＧＢ毎のカラー補正量を前記顔領域特性値補正量として算出する。つまり、前記色相補正量ＲＨ（Δｐ，Δｑ）を前記顔領域特性補正量ＲＦ（ΔＲ，ΔＧ，ΔＢ）に逆変換する。

前記基準特性値補正量算出手段１１２は、前記原画像データの全画像特性値に基づいて基準特性値補正量を算出するように構成されている。例えば、平均的な戸外の被写体は、ネガ全体の色を混ぜ合わせると灰色に近くなるというエバンスの定理に基づいて、前記原画像データ全体のＲＧＢ毎の平均濃度で示される画素がグレーとなるＲＧＢ毎のカラー補正量を基準特性値補正量として算出するＬＡＴＤ（Ｌａｒｇｅ Ａｒｅａ Ｔｒａｎｓｍｉｔｔａｎｃｅ Ｄｅｎｓｉｔｙ）方式や、高彩度画素を除去したり、彩度によって重み付けをした条件付平均値を求める変形ＬＡＴＤ方式を採用することができる。原画像データ全体のＲＧＢ毎の平均濃度で示される画素がグレーとなるＲＧＢ毎のカラー補正量を基準特性値補正量として算出することで、原画像全体を適正に補正することができる基準特性値補正量を算出することができるのである。

具体的には、前記原画像データ全体のＲＧＢ毎の平均濃度を夫々Ｒ_ＡＶＲ、Ｇ_ＡＶＲ、Ｂ_ＡＶＲとして、グレーを構成するＲＧＢ毎の濃度を夫々Ｒ_ＧＲ、Ｇ_ＧＲ、Ｂ_ＧＲとすると、前記基準特性値補正量ＲＳは、ＲＧＢ毎に算出され、Ｒ_ＧＲ−Ｒ_ＡＶＲ、Ｇ_ＧＲ−Ｇ_ＡＶＲ、Ｂ_ＧＲ−Ｂ_ＡＶＲとなる。通常、Ｒ_ＡＶＲ、Ｇ_ＡＶＲ、Ｂ_ＡＶＲの何れかの成分を基準としてそれらが同値となるように他の成分の補正量を基準特性値補正量と設定する。

前記適正特性値補正量算出手段１１３は、前記基準特性値補正量算出手段１１２により算出された基準特性値補正量ＲＳと前記顔領域特性値補正量算出手段１１１により算出された顔領域特性値補正量ＲＦとを所定の融合率で融合処理して適正特性値補正量ＲＪを算出するように構成されている。本実施例では、前記融合率が前記原画像全体に対する全顔領域の面積比率に基づいて前記適正特性値補正量ＲＪを算出するように構成されている。以下、前記融合率の算出について説明した後に、前記適正特性値補正量ＲＪの算出について説明する。

前記融合率の算出は、例えば、前記原画像において、検出された顔領域が顔領域Ａと顔領域Ｂの２個で、前記顔領域のサイズが夫々Ｓ_Ａ、Ｓ_Ｂであり、前記原画像全体のサイズがＳ_ｓｕｍである場合、顔領域が占める割合Ｐは、〔数５〕のような演算を行うことによって算出される。

そして、顔領域が占める割合Ｐに対して、〔数６〕のような演算を行うことによって、前記融合率ｒ_ｆが算出される。

ここで、係数Ｃ、Ｄは本実施形態の有効な範囲内で適宜設定可能な値であり、試行錯誤の結果、所定値が格納されているが、この所定値に限るものではなく、任意の撮影条件（例えば、撮影光の種類、強度、向き、露光量等）が異なる母集団に基づき適宜設定される値である。係数Ｃ、Ｄの具体的な値としては、例えば、前記平均濃度値と顔領域サイズに基づく重み係数ｒ_ｆが１を超えたら１とする条件下で、Ｃ＝０．０５、Ｄ＝０．５と設定すると、前記顔領域が占める割合Ｐが０（％）から１００（％）へと増加するに従って、前記融合率ｒ_ｆは０．５から１へと増加する。尚、本例では、前記融合率ｒ_ｆは、前記顔領域が占める割合Ｐが１０（％）以上である場合は全てｒ_ｆ＝１となっている。これは、通常の状況で撮影された写真画像の殆どにおいて、顔領域が全領域に対して占める割合が１０パーセント以下であるとの統計から係数Ｃ、Ｄが導かれている結果である。

前記適正特性値補正量ＲＪは、例えば、基準特性値補正量ＲＳ、顔領域特性値補正量ＲＦ、そして前記融合率ｒ_ｆに基づいて、〔数７〕に示すような重み付け演算を行なうことにより算出される。

前記融合率ｒ_ｆを使用することで、前記原画像全体に占める顔領域の割合が大きい場合には、前記基準特性値補正量ＲＳと前記顔領域特性値補正量ＲＦとを融合させる際に、前記顔領域特性値補正量ＲＦに重みを置くことが可能となる。

そして、前記適正特性値補正量算出手段１１３で得られた適正特性補正量ＲＪに基づき、カラー補正が行なわれるのである。

尚、上述の実施形態において、顔領域が検出されなかった場合は、前記基準特性値補正量ＲＳを前記適正特性値補正量ＲＪとしてカラー補正を行う。

以上説明した本発明による画像処理装置は、入力された原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出する顔領域特性値演算手段と、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出手段と、前記原画像データの全画像特性値に基づいて基準特性値補正量を算出する基準特性値補正量算出手段と、前記基準特性値補正量算出手段により算出された基準特性値補正量と前記顔領域特性値補正量算出手段により算出された顔領域特性値補正量とを所定の融合率で融合処理して適正特性値補正量を算出する適正特性値補正量算出手段としてコンピュータを機能させるための画像処理プログラムがインストールされることにより容易に実現される。

以下、別実施形態について説明する。上述の実施形態では、顔領域特性値補正量算出手段１１１における処理での色相補正量ＲＨ（Δｐ，Δｑ）の算出は、顔領域平均特性値を色相彩度座標系に変換した座標Ｄ（ｐ，ｑ）と前記色相彩度座標系における目標色相ＴＨとの距離、つまり前記座標Ｄ（ｐ，ｑ）から前記目標色相ＴＨへ引いた垂線の距離で示される構成について説明したが、前記色相補正量ＲＨ（Δｐ，Δｑ）は、垂線の距離でなくてもよい。

例えば、前記色相補正量ＲＨ（Δｐ，Δｑ）を前記座標Ｄ（ｐ，ｑ）から前記目標色相ＴＨへ引いた垂線の距離とすると、人肌の色に通常求められているよりも赤色成分が少なくなる傾向にある。上述のような赤色成分の減少量を少なくするために、図６に示すように、Δｐに所定の重み付け演算値ｒ_ｐを乗じた値Δｐ・ｒ_ｐを前記色相補正量ＲＨ（Δｐ，Δｑ）のＰ成分とする、つまり前記色相補正量ＲＨをＲＨ_ｒ（Δｐ・ｒ_ｐ，Δｑ）とすることで、二重矢印に示すように赤色成分を増加させるような構成が挙げられる。前記重み付け演算値ｒ_ｐは、例えば、図７に示すように、前記座標Ｄ（ｐ，ｑ）の彩度、つまり原点からの距離に応じて決定される。

尚、上述の重み付け演算値は、Δｑに所定の重み付け演算値ｒ_ｑを乗じた値Δｑ・ｒ_ｑを前記色相補正量ＲＨ（Δｐ，Δｑ）のＱ成分としてもよく、また、ΔｐとΔｑの両方に前記重み付け演算値ｒ_ｐとｒ_ｑを夫々乗じた値を前記色相補正量ＲＨ（Δｐ，Δｑ）のＰ成分とＱ成分としてもよい。

また、彩度に応じて決定される重み付け演算値の代わりに、図８に示すように、前記座標Ｄ（ｐ，ｑ）の色相に応じて決定される補正シフト量ｓ_ｐとｓ_ｑを加えた値Δｐ＋ｓ_ｐとΔｑ＋ｓ_ｑを前記色相補正量ＲＨ（Δｐ，Δｑ）のＰ成分・Ｑ成分とする、つまり前記色相補正量ＲＨをＲＨ_ｓ（Δｐ＋ｓ_ｐ，Δｑ＋ｓ_ｑ）とすることで、赤色成分を増加させるような構成も挙げられる。尚、図８に示すグラフの横軸（原点からの方向）は、色相彩度座標系においてＰ座標の原点から正方向の直線を角度ゼロとした場合の角度をラジアンで示している。

さらに、前記重み付け演算値ｒ_ｐ、ｒ_ｑと前記補正シフト量ｓ_ｐ、ｓ_ｑの双方を用いて、前記色相補正量ＲＨをＲＨ_ｒｓ（Δｐ・ｒ_ｐ＋ｓ_ｐ，Δｑ・ｒ_ｑ＋ｓ_ｑ）と赤色成分を増加させるような構成も挙げられる。

上述の実施形態では、基準特性値補正量算出手段１１２は、原画像データ全体のＲＧＢ毎の平均濃度で示される画素がグレーとなるＲＧＢ毎のカラー補正量を基準特性値補正量として算出するＬＡＴＤ方式を採用するものとして説明したが、基準特性値補正量算出手段１１２としては、原画像データの全画像特性値に基づいて基準特性値補正量を算出するものであれば、これ以外の手法を採用するものであってもよい。

例えば、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求めるＬＡＴＤ演算手段と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段と、前記円領域特性値に基づいてカラー補正量を求める補正量演算手段とを備えて構成するものであってもよい。

ここに、前記円領域特性値は、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値と前記平均画素値との差分値で構成され、前記補正量演算手段は、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成することができる。

上述の実施形態では、カラー補正処理部１１または濃度補正処理部１２は、全画像特性値に基づいて算出された基準特性値補正量と、顔領域の画像特性値に基づいて算出された顔領域特性値補正量とを融合処理して適正特性値補正量を算出する構成について説明したが、前記カラー補正処理部１１または前記濃度補正処理部１２は、顔領域特性値補正量算出手段１１１において顔領域の画像特性値に基づいて算出した顔領域特性値補正量を融合することなく顔領域に対してのみ適用する構成であってもよい。

つまり、前記顔領域特性値補正量算出手段１１１は、顔領域専用の補正量算出手段として独立して使用可能な構成であってもよい。このような構成とすることで、原画像データより検出された顔領域に対しては顔領域特性値補正量を使用して、顔領域以外の領域に対しては基準特性値補正量を使用することが可能となる。また、別装置において予め抽出された又は切り取られた顔領域のみの画像を処理するのに適した構成とすることが可能となる。

上述の実施形態では、各種の特性値や補正量をＲＧＢ表色系で演算処理する構成について説明したが、ＲＧＢ表色系に限るものではなく他の表色系で演算処理されるものであってもよい。例えば、カラー補正する場合にはＣＹＭ表色系などを採用することも可能であり、後述の濃度補正処理ではＹＣＣ表色系を採用することも可能である。

上述の実施形態では、カラー補正に用いるための適正特性値補正量ＲＪをカラー補正処理部１１において算出してカラー補正に用いる形態について説明したが、前記適正特性値補正量ＲＪを濃度補正処理部１２において算出して濃度補正に用いる形態であってもよい。尚、本実施形態の説明において、濃度補正処理部１２に備えられている要素、つまり顔領域特性値補正量算出手段、基準特性値補正量算出手段、及び適正特性値補正量算出手段は、上述の実施形態における要素と番号を変えて説明する。

本実施形態では、例えば、図９に示すように、前記顔領域特性値演算手段１０２は、各顔領域のＲＧＢ毎の平均濃度値の代わりに、各顔領域の構成画素毎のＲＧＢ平均濃度（（Ｒ＋Ｇ＋Ｂ）／３）の画素平均値を各顔領域の占有面積で重み付けした重み付け平均濃度を顔領域平均特性値として算出するように構成されており、前記濃度補正処理部１２は、顔領域特性値補正量算出手段１２１、基準特性値補正量算出手段１２２、適正特性値補正量算出手段１２３を備えて構成されている。

前記基準特性値補正量算出手段１２２は、前記原画像データにおける濃度ヒストグラムを生成して、予め記憶されている〔数８〕に示す関数に従って前記原画像データの濃度補正値Ｇａｍｍａを基準特性値補正量として算出するように構成されている。

ここで、前記Ｍａｘｇは、図１０に示すように、前記原画像データが有する濃度値の最大値、つまり、最も明るい画素の濃度値であり、前記Ｍｉｎｇは、前記原画像データが有する濃度値の最小値、つまり、最も暗い画素の濃度値であり、前記Ｍａｓｓは、前記原画像データの平均濃度となる濃度値である。前記Ｍａｘｋは、前記原画像データにおける濃度設定値の最大の値であり、例えば、８ビットで０階調から２５５階調までの間で濃度値設定が行なわれているときには２５５とする。前記Ｍｉｎｋは、前記原画像データにおける濃度設定値の最小の値であり、例えば、８ビットで０階調から２５５階調までの間で濃度値設定が行なわれているときには０とする。

前記顔領域特性値補正量算出手段１２１は、顔領域検出部１０により求められた顔領域平均特性値Ｄ_Ｆａｖｒを変数とする顔依存濃度補正値モデル式に基づいて顔依存濃度補正値Ｇａｍｍａ（Ｆ）を顔領域特性値補正量として算出するように構成されている。前記モデル式は、様々な撮影条件下で様々な被写体を撮影した多数のサンプル画像に対して、前記基準濃度補正値を変化させた濃度補正値に基づく濃度補正曲線による補正画像を視感評価した結果、顔領域の平均濃度とそのときの顔領域が適正な濃度に補正されたと判断される濃度補正値の分布を統計処理することにより得られた補正関数Ｆ１である。

図１１に示されるのは、補正関数Ｆ１の一例であり、前記顔領域平均特性値Ｄ_Ｆａｖｒに対して顔依存濃度補正値Ｇａｍｍａ（Ｆ）が、Ｇａｍｍａ（Ｆ）＝Ｆ１（Ｄ_Ｆａｖｒ）により求められるものである。ここに、顔領域の平均濃度は８ビット画像で正規化された値として示されている。

前記適正特性値補正量算出手段１２３は、前記基準特性値補正量算出手段１２２により算出された濃度補正値Ｇａｍｍａと前記顔領域特性値補正量算出手段１２１により算出された顔依存濃度補正値Ｇａｍｍａ（Ｆ）とを所定の融合率で融合処理することで算出される適正濃度補正値Ｇａｍｍａ（Ｒ）を適正特性値補正量として算出するように構成されており、所定の融合率として、上述の実施形態で算出したと同様の方法、つまり〔数５〕と〔数６〕のような演算を行う方法によって算出された融合率ｒ_ｆを用いるように構成されている。

前記適正濃度補正値Ｇａｍｍａ（Ｒ）の算出について、具体的には、前記適正特性値補正量算出手段１２３は、前記基準濃度補正値Ｇａｍｍａ、前記顔依存濃度補正値Ｇａｍｍａ（Ｆ）、そして前記融合率ｒ_ｆに基づいて、〔数９〕に示すような重み付け演算を行なうことにより前記濃度補正値Ｇａｍｍａを適正濃度補正値Ｇａｍｍａ（Ｒ）に補正する。

さらに、前記適正特性値補正量算出手段１２３は、前記適正濃度補正値Ｇａｍｍａ（Ｒ）に基づいて、予め記憶されている〔数１０〕に示す関数に従って、入力画素濃度値Ｎｉｎ（ｉ）を前記濃度補正値Ｇａｍｍａに応じた出力画素濃度値Ｎｏｕｔ（ｉ）に濃度値変換するルックアップテーブルとして具現化される濃度補正曲線を生成する（ｉ＝０、１、２、・・・、２５５（８ビットデータの場合））。

ここで、定数Ｌは、前記原画像データの濃度補正処理後の目標階調設定幅であり、例えば、出力画像データを８ビットデータで設定する場合に目標階調設定幅を２５５とすれば、前記出力画素濃度値Ｎｏｕｔ（ｉ）は０から２５５までの値として出力される。

つまり、前記適正特性値補正量算出手段１２３は、図１２に示すように、前記適正濃度補正値Ｇａｍｍａ（Ｒ）が１より大きな値に設定されたときには、前記原画像データが明るくなるように濃度補正処理する濃度補正曲線を生成し、前記適正濃度補正値Ｇａｍｍａ（Ｒ）が１より小さな値に設定されたときには、前記原画像データが暗くなるように濃度補正処理する濃度補正曲線を生成するように構成されている。

尚、上述の説明では、前記顔領域検出部１０によって被写体に人物の顔領域が検出されると判断されるような場合について説明したが、被写体に人物の顔領域が検出されないと判断されるような場合には、前記適正特性値補正量算出手段１２３は、前記適正濃度補正値Ｇａｍｍａ（Ｒ）の代わりに前記濃度補正値Ｇａｍｍａに基づいて濃度補正曲線を生成するように構成されている。または、〔数６〕において顔領域が占める割合ＰがＰ＝０とした融合率ｒ_ｆ＝Ｄを適用するように構成されていてもよい。

このように、前記適性濃度補正値Ｇａｍｍａ（Ｒ）に基づいて前記適正特性値補正量算出手段１２３により生成された濃度補正曲線によって原画像が補正されることにより、主要被写体である人物の顔領域が好ましい階調を示すように補正されるのである。

そして、前記適正特性値補正量算出手段１２３で生成された濃度補正曲線に対して、前記コントラスト補正処理部１３によりコントラスト補正が行なわれる。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。また、上述の複数の実施形態を必要に応じて適宜組み合わせるものであってもよい。

画像処理部における機能ブロック構成の説明図 写真画像処理装置の外観構成の説明図 写真プリンタの説明図 写真画像処理装置の機能ブロック構成の説明図 色相彩度座標系の説明図 色相彩度座標系において色相補正量に重み付け演算を行った場合の説明図 彩度と重み付け演算値の関係を示したグラフの説明図 色相と補正シフト量の関係を示したグラフの説明図 本発明の画像処理を濃度補正に適用した画像処理部における機能ブロック構成の説明図 濃度補正値の算出に係る濃度ヒストグラムの説明図 顔依存濃度補正値を導出するためのモデル式の一例であるグラフの説明図 濃度補正処理における濃度値変移の説明図

符号の説明

１：画像処理装置
１０：顔領域検出部
１０１：顔領域抽出部
１０２：顔領域特性値演算手段
１１：カラー補正処理部
１１１：顔領域特性値補正量算出手段
１１２：基準特性値補正量算出手段
１１３：適正特性値補正量算出手段
１２：濃度補正処理部
４７：画像処理部

Claims (5)

1. 入力された原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算手段と、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出手段を備えている画像処理装置であって、
   前記顔領域特性値演算手段は、前記原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出する画像処理装置。
2. 前記原画像データの全画像特性値に基づいて基準特性値補正量を算出する基準特性値補正量算出手段と、前記基準特性値補正量算出手段により算出された基準特性値補正量と前記顔領域特性値補正量算出手段により算出された顔領域特性値補正量とを所定の融合率で融合処理して適正特性値補正量を算出する適正特性値補正量算出手段を備えている請求項１記載の画像処理装置。
3. 前記顔領域特性値演算手段は、各顔領域のＲＧＢ毎の平均濃度を各顔領域の占有面積で重み付けしたＲＧＢ毎の重み付け平均濃度を顔領域平均特性値として算出し、前記顔領域特性値補正量算出手段は、前記顔領域平均特性値を変換処理した色相彩度座標系における色相と前記目標特性値に対応する前記色相彩度座標系における目標色相との偏差に基づいて色相補正量を算出し、算出した色相補正量を逆変換して得られるＲＧＢ毎のカラー補正量を前記顔領域特性値補正量として算出する請求項１記載の画像処理装置。
4. 前記融合率が前記原画像全体に対する全顔領域の面積比率に基づいて設定される請求項２記載の画像処理装置。
5. 入力された原画像データに含まれる顔領域から顔領域平均特性値を算出する顔領域特性値演算ステップと、算出された顔領域平均特性値と予め設定された目標特性値との偏差に基づいて顔領域特性値補正量を算出する顔領域特性値補正量算出ステップを備えている画像処理方法であって、
   前記原画像データの全画像特性値に基づいて基準特性値補正量を算出する基準特性値補正量算出ステップをさらに備え、前記顔領域特性値演算ステップは、前記原画像データに含まれる複数の顔領域の夫々の平均特性値を夫々の占有面積で重み付けした重み付け平均特性値を顔領域平均特性値として算出し、前記基準特性値補正量算出ステップにより算出された基準特性値補正量と前記顔領域特性値補正量算出ステップにより算出された顔領域特性値補正量とを所定の融合率で融合処理して適正特性値補正量を算出する適正特性値補正量算出ステップを備えている画像処理方法。