JP4284448B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は画像処理装置及び方法に係り、特に露出補正やホワイトバランス補正を行う場合の画像処理装置及び方法に関する。

従来、入力する画像データの中から人物の顔を検出し、その顔を検出結果に基づいてストロボ発光の制御を行う撮像装置が提案されている（特許文献１）。この撮像装置では、人物の顔を検出することで人物撮影か否かを自動的に判定し、自動的に人物撮影に適したストロボの発光制御（赤目防止発光モードによる発光制御）を可能にしている。

また、特許文献１に記載の撮像装置は、顔検出処理より検出された顔の部分の明るさと周囲の明るさとをそれぞれ求め、両者の明るさを比較して逆光か否かを判断し、被写体が逆光であると判断した場合には、人物の顔が暗くならないようにストロボを発光させるようにしている。これにより、人物が画面中央に入っていなくても逆光補正のためのストロボ撮影を自動的に行うことができるようにしている。
特開２００３−１０７５６７号公報

ところで、特許文献１において、人物の顔の検出やその検出した人物の顔の部分の明るさの測定は、前述したように人物撮影か否かの判断や逆光か否かの判断のためであり、特許文献１には、人物の顔の部分の測光結果を、ストロボ発光以外の露出制御に適用する記載がない。

また、特許文献１には、測光方式としては、中央重点測光方式、部分測光方式、スポット測光方式、及び分割測光方式に関する記載があるが、これらの測光方式において、人物の顔の部分の明るさを使用する記載がない。

即ち、特許文献１に記載の撮像装置は、人物などの主要被写体が画面のどの位置に、どのくらいの大きさで入っているかを加味して露出制御を行うことができず、主要被写体の露出がより適正になるような露出制御ができない。

更に、引用文献１には、ホワイトバランス補正に関する記載がなく、人物の顔の部分の測色結果をホワイトバランス補正に適用する記載がない。

本発明はこのような事情に鑑みてなされたもので、従来の中央重点測光方式等の測光方式ではカバーできない人物などの主要被写体の形状や位置に適した重み付けを行った測光や測色を実現することができ、より適正な露出補正やホワイトバランス補正を行うことができる画像処理装置及び方法を提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、入力する画像の画面全体から１つの連続した主要被写体の形状を抽出する主要被写体抽出手段と、前記抽出した主要被写体の形状に合致する主要被写体の領域を第１の重み付け領域とし、前記主要被写体の領域以外の領域を第２の重み付け領域として決定する重み付け領域決定手段と、画面全体を複数の分割領域に分割した各分割領域ごとにそれぞれ重み付け係数を決定する重み付け係数決定手段であって、少なくとも前記第１の重み付け領域内の各分割領域に対して、前記主要被写体内の位置に応じて異なる重み付け係数を決定する重み付け係数決定手段と、画面全体を複数の分割領域に分割して各分割領域ごとに分割測光及び／又は分割測色の測定値を算出する測定手段と、各分割領域ごとに算出された測定値と各測定値の分割領域ごとに決定されている重み付け係数とに基づいて露出補正及び／又はホワイトバランス補正を行う補正手段と、を備えたことを特徴としている。

即ち、人物などの主要被写体の形状を抽出し、その主要被写体の形状に合致する主要被写体の領域を測光／測色のための領域とし、この主要被写体の領域を含む複数の領域を重み付け領域として決定している。一方、画面全体を複数の分割領域に分割して各分割領域ごとに分割測光及び／又は分割測色の測定値を算出し、各分割領域ごとに算出された測定値に対して、それぞれ重み付け係数を決定する。ここで、各分割領域に対する重み付け係数としては、各測定値の分割領域が属する重み付け領域ごとに決定されている係数が使用される。そして、各分割領域ごとに算出された測定値と各測定値の分割領域が属する前記重み付け領域ごとに決定されている重み付け係数とに基づいて露出補正及び／又はホワイトバランス補正を行うようにしている。即ち、各分割領域に対する重み付け係数として、主要被写体の形状や位置の情報が反映され、より主要被写体に適した露出補正及び／又はホワイトバランス補正を可能にしている。

請求項２に示すように請求項１に記載の画像処理装置において、前記主要被写体抽出手段は、一人の人物の顔を抽出することを特徴としている。

請求項３に示すように請求項１又は２に記載の画像処理装置において、前記画面全体を分割する複数の分割領域の形状は、それぞれ面積が等しい六角形であることを特徴としている。即ち、分割領域の形状を六角形にすることで、正方形の分割領域に比べて顔の形状に適した分割領域となる。

請求項４に示すように請求項１又は３に記載の画像処理装置において、前記主要被写体抽出手段は一人の人物の顔を抽出し、前記重み付け領域決定手段は、前記主要被写体の領域である前記第１の重み付け領域を、前記抽出した人物の顔の肌色領域と、頭髪領域と、肌色領域又は頭髪領域の周辺領域とに区分し、前記重み付け係数決定手段は、前記第１の重み付け領域内の各分割領域に対して、前記肌色領域、頭髪領域、及び周辺領域のうちのいずれの分割領域かに応じて異なる重み付け係数を決定することを特徴としている。尚、肌色領域は、頭髪領域や周辺領域よりも重み付け係数を大きくする。

請求項５に示すように請求項１又は３に記載の画像処理装置において、前記重み付け領域決定手段は、前記主要被写体の領域である前記第１の重み付け領域を、前記主要被写体の中心からの距離に応じて主要被写体の内部を複数の重み付け領域に区分し、前記重み付け係数決定手段は、前記第１の重み付け領域内の各分割領域に対して、前記複数の重み付け領域のうちのいずれの分割領域かに応じて異なる重み付け係数を決定することを特徴としている。尚、主要被写体の中心に距離が近い領域ほど重み付け係数を大きくする。

請求項６に示すように請求項１から５のいずれかに記載の画像処理装置において、前記重み付け領域決定手段は、前記主要被写体の領域以外の領域である前記第２の重み付け領域を、前記主要被写体の中心からの距離に応じて複数の重み付け領域に区分し、前記重み付け係数決定手段は、前記第２の重み付け領域内の各分割領域に対して、前記複数の重み付け領域のうちのいずれの分割領域かに応じて異なる重み付け係数を決定することを特徴としている。尚、主要被写体の中心に距離が近い領域ほど重み付け係数を大きくする。

請求項７に示すように請求項１から６のいずれかに記載の画像処理装置において、主要被写体に対する光源の入射方向を検知する光源方向検知手段を更に備え、前記重み付け係数決定手段は、前記検知した主要被写体に対する光源の入射方向に応じて前記主要被写体の領域に対する重み付け係数を変更することを特徴としている。

請求項８に示すように請求項７に記載の画像処理装置において、前記光源方向検知手段は、逆光、順光、及び斜光の状態を検知し、前記重み付け係数決定手段は、前記検知した主要被写体に対する光源の入射方向が逆光、順光、及び斜光の状態のいずれかに応じて前記主要被写体の領域に対する重み付け係数を変更することを特徴としている。例えば、主要被写体に対する光源の入射方向が逆光の場合には、順光に比べて重み付け係数が大きくなるように変更することで、主要被写体が暗くならないようにする。

請求項９に示すように請求項１から８のいずれかに記載の画像処理装置において、前記重み付け係数決定手段は、前記決定した重み付け領域ごとに決定する重み付け係数を、更に分割測光用と分割測色用とで異ならせることを特徴としている。

請求項１０に係る画像処理方法は、入力する画像の画面全体から１つの連続した主要被写体の形状を抽出する工程と、前記抽出した主要被写体の形状に合致する主要被写体の領域を第１の重み付け領域とし、前記主要被写体の領域以外の領域を第２の重み付け領域として決定する工程と、前記決定した重み付け領域ごとにそれぞれ重み付け係数を決定する工程であって、少なくとも前記第１の重み付け領域内の各分割領域に対して、前記主要被写体内の位置に応じて異なる重み付け係数を決定する工程と、画面全体を複数の分割領域に分割して各分割領域ごとに分割測光及び／又は分割測色の測定値を算出する工程と、各分割領域ごとに算出された測定値と各測定値の分割領域が属する前記重み付け領域ごとに決定されている重み付け係数とに基づいて露出補正及び／又はホワイトバランス補正を行う工程と、を含むことを特徴としている。

本発明によれば、人物などの主要被写体の形状や位置に適した重み付けを行った測光や測色を実現することができ、より適正な露出補正やホワイトバランス補正を行うことができる。

以下添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施の形態について詳説する。

図１は本発明に係る画像処理装置が適用されたカメラの実施の形態を示すブロック図である。

このカメラ１０は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。 ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能する。

バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。

カメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。

モード選択スイッチ２２は、撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ２０を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力され、カメラ１０は撮影モードに設定され、可動接片２２Ａを接点ｂに接続させると、カメラ１０は記録済みの画像を再生する再生モードに設定される。

撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。

メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。

カメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。

メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、カメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部３６を備えている。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth その他の通信方式を適用してもよい。

次に、カメラ１０の撮影機能について説明する。

モード選択スイッチ２２によって撮影モードが選択されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。

レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。尚、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。

ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。

画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理する。即ち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。

画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。

撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。

ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２２Ｂとで交互に書き換えられる。ＶＲＡＭ２２のＡ領域２２Ａ及びＢ領域２２Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。

撮影ボタン２４が半押しされ、Ｓ１がオンすると、カメラ１０はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。

ＡＥ／ＡＷＢ検出回路６４は、１画面を複数の領域に分割し、分割領域ごとにＲＧＢ信号を積算する回路を含み、その積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。この露出値はＣＰＵ１２に出力される。ＣＣＤ１２は、入力する露出値と所定のプログラム線図に従い、絞り値とシャッタースピードを決定し、これにしたがってＣＣＤ３８の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、ＡＥ／ＡＷＢ検出回路６４は、分割領域ごとにＲＧＢ信号の色別の平均積算値を算出し、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割領域ごとにＲ／Ｇ及びＢ／Ｇの比を求める。これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になる、ホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を演算する。このホワイトバランス補正値（ＷＢ補正値）は、画像信号処理回路５８中のホワイトバランス補正回路に出力され、ここでＲ，Ｇ，Ｂ信号に対するゲイン補正（ホワイトバランス補正）が行われる。前述した各比の値を１以外の値になるようにホワイトバランス調整回路のゲイン値を調整すると、ある色味が残った画像を生成することができる。

尚、本発明に係る上記ＡＥ／ＡＷＢ検出回路６４の詳細については後述する。

本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象領域内の信号を切り出すＡＦ領域抽出部、及びＡＦ領域内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

撮影ボタン２４が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタン２４が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。

メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。

モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８及びビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。

静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。

次に、本発明に係るＡＥ／ＡＷＢ検出回路６４の詳細について説明する。

図２は図１に示したＡＥ／ＡＷＢ検出回路６４の第１の実施の形態を示すブロック図である。

このＡＥ／ＡＷＢ検出回路６４は、主要被写体抽出部１００、重み付け領域決定部１０２、重み付け係数決定部１０４、分割測光演算部１０６、分割測色演算部１０８、重み付け分割測光演算部１１０、重み付け分割測色演算部１１２、露出値演算部１１４、及びホワイトバランス補正値演算部１１６とから構成されている。

主要被写体抽出部１００は、人物の顔、花、建物などの主要被写体の形状を抽出するもので、メモリ１８に一時的に保存された１画面分の画像データ（Ｒ，Ｇ，Ｂ信号）を入力し、この画像データを解析して主要被写体の形状を抽出する。

図３（Ａ）はＡＥ／ＡＷＢ検出回路６４に入力する人物を含む元画像の一例であり、図３（Ｂ）は元画像から主要被写体（顔）の形状を抽出した場合に関して示している。

例えば、人物の顔の形状を抽出する場合には、まず、元画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状（丸や楕円に近い形状）か否かによって顔領域を抽出し、この顔領域内の画像データを解析して、目、鼻、口などの顔パーツが存在するか否かによって顔の検出を行う。そして、検出した顔の肌色領域、頭髪領域、肌色領域又は頭髪領域の周辺領域などの抽出を行う。尚、顔の形状の抽出方法はこの実施の形態に限らず、種々の抽出方法が適用できる。

いま、画像自体をI(x,y)と定義し、主要被写体（顔）の内部と外部を、以下のフラグで定義する。

I(x,y)：顔内部 → フラグ＝１
I(x,y)：顔外部 → フラグ＝０
重み付け領域決定部１０２は、１画面分の画像を主要被写体の内部の領域と、主要被写体の外部の領域とに区分し、更に主要被写体の内部を肌色領域、頭髪領域、肌色領域又は頭髪領域の周辺領域に区分し（図３（Ｂ）参照）、一方、主要被写体の外部の領域を主要被写体の中心からの距離に応じて複数の領域（距離小、距離中、距離大）に区分し、このようにして区分した複数の領域を重み付け領域として決定する。尚、この実施の形態では、主要被写体を人物の顔としたため、主要被写体の内部を肌色領域、頭髪領域、及びその周辺領域に区分したが、これに限らず、主要被写体の中心からの距離に応じて主要被写体の内部を複数の領域に区分してもよい。

重み付け係数決定部１０４は、前記重み付け領域決定部１０２によって決定された各重み付け領域ごとに重み付け係数を与えるもので、予め各領域ごとに重み付け係数が設定されているものとする。

即ち、フラグ＝１のとき、前記重み付け領域決定部１０２で決定された顔内部の領域に対して、以下の重み付け係数を決定する。

(1) I(x,y)：Ｖ_th1 →Ｌ_in-weight＝Ａ１，Ｃ_in-weight＝Ａ１
(2) I(x,y)：Ｖ_th2 →Ｌ_in-weight＝Ａ２，Ｃ_in-weight＝Ａ２
(3) I(x,y)：Ｖ_th3 →Ｌ_in-weight＝Ａ３，Ｃ_in-weight＝Ａ３
但し、Ｖ_th1 ：顔の肌色領域、Ｖ_th2 ：頭髪領域、Ｖ_th3 ：周辺領域
Ａ１，Ａ２，Ａ３：重み付け係数、大小関係はＡ１＞Ａ２＞Ａ３
Ｌ_in-weight：分割測光重み付け係数
Ｃ_in-weight：分割測色重み付け係数
フラグ＝０のときは、通常の中央重点分割測光／分割測色方式別に、主要被写体の中心からの距離ｄ１、ｄ２、ｄ３に応じて重み付け係数は以下の重み付け係数を決定する。
Ａ．中央重点分割測光／分割測色方式の場合
(1) I(x,y)：ｄ１→Ｌ_out-weight ＝Ｂ１，Ｃ_in-weight＝Ｂ１
(2) I(x,y)：ｄ２→Ｌ_out-weight ＝Ｂ２，Ｃ_in-weight＝Ｂ２
(3) I(x,y)：ｄ３→Ｌ_out-weight ＝Ｂ３，Ｃ_in-weight＝Ｂ３
但し、ｄ１：距離小、ｄ２：距離中、ｄ３：距離大
Ｂ１，Ｂ２，Ｂ３：重み付け係数、大小関係はＢ１＞Ｂ２＞Ｂ３
Ｂ．平均分割測光／分割測色方式の場合
(1) I(x,y)：ｄ１→Ｌ_out-weight ＝Ｃ１，Ｃ_in-weight＝Ｃ１
(2) I(x,y)：ｄ２→Ｌ_out-weight ＝Ｃ１，Ｃ_in-weight＝Ｃ１
(3) I(x,y)：ｄ３→Ｌ_out-weight ＝Ｃ１，Ｃ_in-weight＝Ｃ１
尚、上記中央重点分割測光／分割測色方式、平均分割測光／分割測色方式に限らず、他の分割測光／分割測色方式を適用してもよい。

分割測光演算部１０６は、１画面を複数の領域（例えば、２５６＝１６×１６）に分割する各分割領域ごと測光値を算出する。ここで、分割領域の形状は、図３（Ｂ）に示すように六角形とし、従来の正方形の分割領域に比べて顔の形状に適した分割領域の形状にしている。この分割測光演算部１０６は、各分割領域ｉ（＝１〜２５６）ごとに測光値（Ｅvi値) を算出する。このＥvi値は、各分割領域内のＲ，Ｇ，Ｂ信号のうちのＧの平均積算値を求めることによって算出する。尚、Ｅvi値は、Ｒ，Ｇ，Ｂ信号から輝度信号を生成し、この輝度信号の平均積算値を求めることによって算出するようにしてもよい。

分割測色演算部１０８は、各分割領域ｉ（＝１〜２５６）ごとにＲ，Ｇ，Ｂ信号の色別の平均積算値を算出し、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割領域ごとに積算値の比（Ｒ／Ｇ、Ｂ／Ｇ）を示す測色値を求める。従って、１画面分の画像データから２５６個の測色値が算出される。

重み付け分割測光演算部１１０は、分割測光演算部１０６から各分割領域ｉごとに入力するＥvi値に対して、その分割領域ｉが属する重み付け領域に対して決定されている重み付け係数ｗi を乗算し、その乗算結果（ｗi ×Ｅvi）を露出値演算部１１４に出力する。尚、重み付け係数ｗi は、分割領域ｉの位置情報I(x,y)に基づき重み付け領域決定部１０２より読み出すようにしている。

また、重み付け分割測色演算部１１２は、分割測色演算部１０８から各分割領域ｉごとに入力する測色値に対して、その分割領域ｉが属する重み付け領域に対して決定されている重み付け係数ｗi を与え、その重み付け係数ｗi を有する測色値をホワイトバランス補正値演算部１１６に出力する。

露出値演算部１１４は、重み付け分割測光演算部１１０から入力する２５６個の重み付けされた輝度値（ｗi ×Ｅvi）に基づいて次式に示すように加重平均を算出する。

［数１］
Ｅｖ＝（Σｗi ×Ｅvi）／Σｗi
このようにして算出した加重平均値Ｅｖを露出値としてＣＰＵ１２に出力する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から入力する露出値に基づいて絞り値とシャッタースピードを決定し、これにしたがってＣＣＤ３８の電子シャッター及びアイリス４４を制御して適正な露光量を得る。

ホワイトバランス補正値演算部１１６は、重み付け分割測色演算部１１２から入力する重み付け係数ｗi を有する測色値の、Ｒ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス補正値を演算する。

図４は２５６個の分割領域の測色値のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。ホワイトバランス補正値演算部１１６は、例えば、２５６個の分割領域の測色値のＲ／Ｇ、Ｂ／Ｇの色空間上の重心位置を算出し、その重心位置から日陰、青空、蛍光灯、タングステン電球等の各光源種のうちのいずれの光源種の下で撮影されたかを判別し、その判別した光源種に適したホワイトバランス補正値を演算する。このホワイトバランス補正値は、画像信号処理回路５８中のホワイトバランス補正回路に出力され、ここでＲ，Ｇ，Ｂ信号に対するゲイン補正（ホワイトバランス補正）が行われる。

尚、各測色値には前述したように重み付け係数ｗi が付加されているため、各測色値の重心位置を算出する際に、大きな重み付け係数の測色値は、小さい重み付け係数の測色値よりも重心位置の算出に寄与する。

また、この実施の形態では、重み付け係数を有する各測色値の重心位置から光源種を判別するようにしたが、光源種を判別せずに、その重心位置をホワイトバランス補正値の演算に使用することもできる。例えば、各測色値の重心位置が、Ｒ／Ｇ、Ｂ／Ｇの色空間のグレーの位置（１, １）になるように、又は各測色値の重心位置とグレーの位置（１, １）とを所定の割合で内分する位置になるように、ホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を演算する。後者の場合には、適宜の色味を残したホワイトバランス補正を行うことができる。

［第１の実施の形態］
次に、本発明に係る画像処理方法の第１の実施の形態について、図５に示すフローチャートを参照しながら説明する。

ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介して取得される（ステップＳ１０）。

ここで、撮影ボタン２４が半押しされ、Ｓ１がオンすると、カメラ１０はＡＦ，ＡＥ及びＡＷＢ（オートホワイトバランス）処理を開始する（ステップＳ１２）。

ＡＥ／ＡＷＢ検出回路６４の主要被写体抽出部１００では、Ｓ１がオン時に取り込んだ画像データから主要被写体の形状を抽出し、主要被写体の内部と外部とを切り分ける（ステップＳ１４、Ｓ１６）。

主要被写体の内部（フラグ＝１）の場合、分割測光／分割測色した分割領域ｉの位置情報I(x,y)が、主要被写体の内部のいずれの重み付け領域に属するかを判断し（ステップＳ１８）、その分割領域ｉの測光値に対する分割測光重み付け係数（Ｌ_in-weight）、測色値に対する分割測色重み付け係数（Ｃ_in-weight）を決定する（ステップＳ２０）。

また、主要被写体の外部（フラグ＝０）の場合、分割測光／分割測色した分割領域ｉの位置情報I(x,y)が、主要被写体の外部のいずれの重み付け領域に属するかを判断し（ステップＳ２２）、その分割領域ｉの測光値に対する分割測光重み付け係数（Ｌ_out-weight ）、測色値に対する分割測色重み付け係数（Ｃ_out-weight ）を決定する（ステップＳ２４）。尚、第１の実施の形態では、同じ重み付け領域における分割測光重み付け係数と分割測色重み付け係数とは、同じ値を使用するようにしている。

上記のようにして決定した重み付け係数と、各分割領域の測光値及び測色値とに基づいて露出値及びホワイトバランス補正値を演算する（ステップＳ２６）。

［第２の実施の形態］
次に、本発明に係る画像処理方法の第２の実施の形態について説明する。

図６はＡＥ／ＡＷＢ検出回路の第２の実施の形態を示すブロック図である。同図に示すＡＥ／ＡＷＢ検出回路６４′は、図２に示したＡＥ／ＡＷＢ検出回路６４と比較して光源方向検知部１２０を有している点で相違する。

この光源方向検知部１２０は、主要被写体抽出部１００から主要被写体の形状の情報を入力するとともに、画像データを入力しており、これらの入力に基づいて主要被写体に対する光源の入射方向を検知する。即ち、主要被写体の形状の情報と画像データとに基づいて主要被写体の内部の画像データと外部の画像データのそれぞれの明るさを検出し、主要被写体の内部の明るさが、主要被写体の外部の明るさよりも所定値以上暗い場合には、逆光として判断する。また、逆光でないと判断した場合には、更に主要被写体の内部の左右の明るさを比較し、左右の明るさが所定値以上の差があると、斜光と判断する。逆光、斜光と判断されない場合には、順光と判断する。

光源方向検知部１２０は、このようにして検知した逆光、順光、又は斜光の情報を重み付け係数決定部１０４′に出力する。

重み付け係数決定部１０４′は、前述したように重み付け領域ごとに重み付け係数を決定するが、更に光源方向検知部１２０から入力する逆光、順光、又は斜光の情報に基づいて重み付け係数を変更する。

いま、光源方向パラメータをDir と定義し、逆光：Dir ＝ａ，順光：Dir ＝ｂ，斜光：Dir ＝ｃとする。

重み付け係数決定部１０４′は、上記の光源方向パラメータDir により、主要被写体の内部領域（フラグ＝１）に対して、以下の重み付け係数を決定する。

(1) I(x,y)：Ｖ_th1 →Ｌ_in-weight＝Ａ１＋α_i ，Ｃ_in-weight＝Ａ１＋α_i
(2) I(x,y)：Ｖ_th2 →Ｌ_in-weight＝Ａ２＋α_i ，Ｃ_in-weight＝Ａ２＋α_i
(3) I(x,y)：Ｖ_th3 →Ｌ_in-weight＝Ａ３＋α_i ，Ｃ_in-weight＝Ａ３＋α_i
但し、α_i （ｉ＝１〜３）：光源方向パラメータDir ［α₁ ：逆光、α₂ ：順光、α₃ ：斜光］によって選択される補正係数である。また、斜光の場合には、右側と左側とで係数を変える。

図７は本発明に係る画像処理方法の第２の実施の形態を示すフローチャートである。尚、図５に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図７に示すフローチャートでは、ステップＳ３０及びＳ３２の処理が追加されている。ステップＳ３０では、主要被写体への光の入射方向（逆光、順光、斜光）を判断する。ステップＳ３２では、ステップＳ３０での判断結果に基づいて補正係数α_i を決定する。

ステップＳ２０′では、分割領域ｉの位置情報I(x,y)が、主要被写体の内部のいずれの重み付け領域に属するに応じて、その分割領域ｉの測光値に対する分割測光重み付け係数（Ｌ_in-weight）、測色値に対する分割測色重み付け係数（Ｃ_in-weight）を決定するが、その重み付け係数に対してステップＳ３２で決定した補正係数を付加する。

例えば、主要被写体への光の入射方向が逆光と判断され、主要被写体が人物の顔の場合、人の顔内部では暗くなり、顔の肌の発色が悪くなることから、顔の内部の領域の重み付け係数を、更に重くする補正係数を加算し、これによって、より適正な露出補正ができるようにしている。

［第３の実施の形態］
次に、本発明に係る画像処理方法の第３の実施の形態について説明する。

図８はＡＥ／ＡＷＢ検出回路の第３の実施の形態を示すブロック図である。同図に示すＡＥ／ＡＷＢ検出回路６４″は、図２に示したＡＥ／ＡＷＢ検出回路６４と比較して重み付け領域決定部１０２″及び重み付け係数決定部１０４″が相違する。

重み付け係数決定部１０４″は、分割測色演算部１０８から入力する分割測色結果に応じて、重み付け領域決定部１０２″から出力される測光値に対する重み付け係数を可変させるようにしている。

即ち、主要被写体の内部（フラグ＝１）の場合、重み付け領域決定部１０２″で決定された主要被写体の内部の領域に対して、主要被写体の内部の分割測色結果に応じて、以下のように重み付け係数を決定する。

(1) I(x,y)：Ｖ_th1 →Ｌ_in-weight＝Ａ１１，Ｃ_in-weight＝Ａ１
(2) I(x,y)：Ｖ_th2 →Ｌ_in-weight＝Ａ２１，Ｃ_in-weight＝Ａ２
(3) I(x,y)：Ｖ_th3 →Ｌ_in-weight＝Ａ３１，Ｃ_in-weight＝Ａ３
同様に、主要被写体の外部（フラグ＝０）の場合、通常の中央重点分割測光／分割測色方式別に、主要被写体の中心からの距離ｄ１、ｄ２、ｄ３別の領域に対して、主要被写体の外部の分割測色結果に応じて、以下のように重み付け係数を決定する。

Ａ．中央重点分割測光／分割測色方式の場合
(1) I(x,y)：ｄ１→Ｌ_out-weight ＝Ｂ１１，Ｃ_in-weight＝Ｂ１
(2) I(x,y)：ｄ２→Ｌ_out-weight ＝Ｂ２１，Ｃ_in-weight＝Ｂ２
(3) I(x,y)：ｄ３→Ｌ_out-weight ＝Ｂ３１，Ｃ_in-weight＝Ｂ３
Ｂ．平均分割測光／分割測色方式の場合
(1) I(x,y)：ｄ１→Ｌ_out-weight ＝Ｃ１１，Ｃ_in-weight＝Ｃ１
(2) I(x,y)：ｄ２→Ｌ_out-weight ＝Ｃ１２，Ｃ_in-weight＝Ｃ１
(3) I(x,y)：ｄ３→Ｌ_out-weight ＝Ｃ１３，Ｃ_in-weight＝Ｃ１
図９は本発明に係る画像処理方法の第３の実施の形態を示すフローチャートである。尚、図５に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図９において、主要被写体の内部の分割領域ｉの測色値に対する分割測色重み付け係数（Ｃ_in-weight）、及び主要被写体の外部の分割領域ｉの測色値に対する分割測色重み付け係数（Ｃ_out-weight ）は、第１の実施の形態と同様にして決定される（ステップＳ４０、Ｓ５０）。

一方、主要被写体の内部の分割領域ｉの測光値に対する分割測光重み付け係数（Ｌ_in-weight）は、ステップＳ４２での内部分割測色演算結果に応じて変更させられ（ステップＳ４４）、同様に、主要被写体の外部の分割領域ｉの測光値に対する分割測光重み付け係数（Ｌ_out-weight ）は、ステップＳ５２での外部分割測色演算結果に応じて変更させられる（ステップＳ５４）。

これにより、従来のＴＴＬ(Through The Lens)測光方式で欠点となっていた被写体の色の違いや分光反射率の違いが認識できないという問題に対して、露出補正を改善できる。即ち、抽出した物体がどんな色であるかを認識した上で、その被写体にマッチした露出補正を行うことができる。

尚、この実施の形態では、主要被写体として人物の顔を例に説明したが、本発明はこれに限定されず、種々の主要被写体に対する露出補正やホワイトバランス補正に適用できる。図１０（Ａ）は花を主要被写体とする元画像を示し、図１０（Ｂ）は元画像から花の形状を抽出し、その花内部のそれぞれの重み付け領域を示している。同図（Ｂ）に示すように、花内部の重み付け領域は、花の中心からの距離によって区分され、Ａ１、Ａ２、Ａ３は、各重み付け領域における重み付け係数を示している。

図１は本発明に係る画像処理装置が適用されたカメラの実施の形態を示すブロック図である。 図２は図１に示したＡＥ／ＡＷＢ検出回路の第１の実施の形態を示すブロック図である。 図３（Ａ）は人物を含む元画像の一例であり、図３（Ｂ）は元画像から主要被写体（顔）の形状の抽出結果を示す図である。 図４は各分割領域の測色値のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。 図５は本発明に係る画像処理方法の第１の実施の形態を示すフローチャートである。 図６は図１に示したＡＥ／ＡＷＢ検出回路の第２の実施の形態を示すブロック図である。 図７は本発明に係る画像処理方法の第２の実施の形態を示すフローチャートである。 図８は図１に示したＡＥ／ＡＷＢ検出回路の第３の実施の形態を示すブロック図である。 図９は本発明に係る画像処理方法の第３の実施の形態を示すフローチャートである。 図１０（Ａ）は花を含む元画像の一例であり、図３（Ｂ）は元画像から主要被写体（花）の形状の抽出結果を示す図である。

符号の説明

１０…カメラ、１２…ＣＰＵ、１６…ＲＯＭ、１７…ＥＥＰＲＯＭ、１８…メモリ、２６…操作手段、３２…記録メディア、３８…カラーＣＣＤ固体撮像素子（ＣＣＤ）、４０…レンズユニット、４２…撮影レンズ、５８…画像信号処理回路、６４、６４′、６４″…ＡＥ／ＡＷＢ検出回路、１００…主要被写体抽出部、１０２、１０２″…重み付け領域決定部、１０４、１０４′、１０４″…重み付け係数決定部、１０６…分割測光演算部、１０８…分割測色演算部、１１０…重み付け分割測光演算部、１１２…重み付け分割測色演算部、１１４…露出値演算部、１１６…ホワイトバランス補正値演算部、１２０…光源方向検知部

Claims (10)

1. 入力する画像の画面全体から１つの連続した主要被写体の形状を抽出する主要被写体抽出手段と、
   前記抽出した主要被写体の形状に合致する主要被写体の領域を第１の重み付け領域とし、前記主要被写体の領域以外の領域を第２の重み付け領域として決定する重み付け領域決定手段と、
   画面全体を複数の分割領域に分割した各分割領域ごとにそれぞれ重み付け係数を決定する重み付け係数決定手段であって、少なくとも前記第１の重み付け領域内の各分割領域に対して、前記主要被写体内の位置に応じて異なる重み付け係数を決定する重み付け係数決定手段と、
   画面全体を複数の分割領域に分割して各分割領域ごとに分割測光及び／又は分割測色の測定値を算出する測定手段と、
   各分割領域ごとに算出された測定値と各測定値の分割領域ごとに決定されている重み付け係数とに基づいて露出補正及び／又はホワイトバランス補正を行う補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記主要被写体抽出手段は、一人の人物の顔を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画面全体を分割する複数の分割領域の形状は、それぞれ面積が等しい六角形であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記主要被写体抽出手段は一人の人物の顔を抽出し、
   前記重み付け領域決定手段は、前記主要被写体の領域である前記第１の重み付け領域を、前記抽出した人物の顔の肌色領域と、頭髪領域と、肌色領域又は頭髪領域の周辺領域とに区分し、
   前記重み付け係数決定手段は、前記第１の重み付け領域内の各分割領域に対して、前記肌色領域、頭髪領域、及び周辺領域のうちのいずれの分割領域かに応じて異なる重み付け係数を決定することを特徴とする請求項１又は３に記載の画像処理装置。
5. 前記重み付け領域決定手段は、前記主要被写体の領域である前記第１の重み付け領域を、前記主要被写体の中心からの距離に応じて主要被写体の内部を複数の重み付け領域に区分し、
   前記重み付け係数決定手段は、前記第１の重み付け領域内の各分割領域に対して、前記複数の重み付け領域のうちのいずれの分割領域かに応じて異なる重み付け係数を決定することを特徴とする請求項１又は３に記載の画像処理装置。
6. 前記重み付け領域決定手段は、前記主要被写体の領域以外の領域である前記第２の重み付け領域を、前記主要被写体の中心からの距離に応じて複数の重み付け領域に区分し、
   前記重み付け係数決定手段は、前記第２の重み付け領域内の各分割領域に対して、前記複数の重み付け領域のうちのいずれの分割領域かに応じて異なる重み付け係数を決定することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 主要被写体に対する光源の入射方向を検知する光源方向検知手段を更に備え、前記重み付け係数決定手段は、前記検知した主要被写体に対する光源の入射方向に応じて前記主要被写体の領域に対する重み付け係数を変更することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記光源方向検知手段は、逆光、順光、及び斜光の状態を検知し、
   前記重み付け係数決定手段は、前記検知した主要被写体に対する光源の入射方向が逆光、順光、及び斜光の状態のいずれかに応じて前記主要被写体の領域に対する重み付け係数を変更することを特徴とする請求項７に記載の画像処理装置。
9. 前記重み付け係数決定手段は、前記決定した重み付け領域ごとに決定する重み付け係数を、更に分割測光用と分割測色用とで異ならせることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 入力する画像の画面全体から１つの連続した主要被写体の形状を抽出する工程と、
    前記抽出した主要被写体の形状に合致する主要被写体の領域を第１の重み付け領域とし、前記主要被写体の領域以外の領域を第２の重み付け領域として決定する工程と、
    前記決定した重み付け領域ごとにそれぞれ重み付け係数を決定する工程であって、少なくとも前記第１の重み付け領域内の各分割領域に対して、前記主要被写体内の位置に応じて異なる重み付け係数を決定する工程と、
    画面全体を複数の分割領域に分割して各分割領域ごとに分割測光及び／又は分割測色の測定値を算出する工程と、
    各分割領域ごとに算出された測定値と各測定値の分割領域が属する前記重み付け領域ごとに決定されている重み付け係数とに基づいて露出補正及び／又はホワイトバランス補正を行う工程と、
    を含むことを特徴とする画像処理方法。

Images