JP5804839B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮影の結果得られた画像（撮影画像）のシーンを判別する機能を有する撮像装置に関する。

一般に、デジタルカメラなどの撮像装置では、パターンマッチングなどによって人物などの被写体の顔領域を検出する顔検出機能が備えられている。一方、顔検出機能によって検出された顔領域および背景領域の明るさに応じて、撮影シーンが逆光シーンであるか否かを判別する逆光シーン判別機能が知られている。

例えば、撮影画像から顔などのオブジェクトを抽出して、当該オブジェクト、オブジェクト以外の一部又は全部の背景領域、および画像の全体について、輝度又は色に基づいてそれぞれ特徴量を決定するようにしたものがある。ここでは、オブジェクトおよび背景領域又は画像全体の特徴量から、撮影画像における逆光および順光のレベルを決定して、その決定結果に応じて撮影画像の補正を行うようにしている（特許文献１参照）。

特開２０１０−１０２４２６号公報

ところが、顔領域を認識することが困難な状況、例えば、顔輝度が小さい逆光シーンなどの顔領域を検出することができない状況では、顔領域の明るさに応じて逆光シーンであるか否かを判別することができない。

従って、本発明の目的は、顔領域の検出が困難な状況においても逆光シーンであるか否かを容易に判別することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して画像データを取得する撮像装置であって、前記画像データが示す画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定手段と、前記特徴量決定手段により決定された特徴量に応じて前記複数の領域をグループ化するグルーピング手段と、前記グルーピング手段によりグループ化されたグループについて、少なくとも当該グループに属する領域の輝度、当該グループの形状、および当該グループに属する領域の数を含む複数の項目に基づいて、当該グループの評価値を決定する評価値決定手段と、前記評価値決定手段により決定された評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別手段と、を有することを特徴とする。
また、本発明による撮像装置は、被写体を撮像して画像データを取得する撮像装置であって、前記画像データが示す画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定手段と、前記特徴量決定手段により決定された特徴量に応じて前記複数の領域をグループ化するグルーピング手段と、前記グルーピング手段によりグループ化されたグループについて、被写体らしさを表す第１の評価値と背景らしさを表わす第２の評価値とを決定する評価値決定手段と、前記評価値決定手段により決定された前記第１の評価値及び前記第２の評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別手段と、を有することを特徴とする。

本発明による制御方法は、被写体を撮像して画像データを取得する撮像装置の制御方法であって、前記画像データが示す画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、前記グルーピングステップでグループ化されたグループについて、少なくとも当該グループに属する領域の輝度、当該グループの形状、および当該グループに属する領域の数を含む複数の項目に基づいて、当該グループの評価値を決定する評価値決定ステップと、前記評価値決定ステップで決定された評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を有することを特徴とする。
また、本発明による制御方法は、被写体を撮像して画像データを取得する撮像装置の制御方法であって、前記画像データが示す画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、前記グルーピングステップでグループ化されたグループについて、被写体らしさを表す第１の評価値と背景らしさを表わす第２の評価値とを決定する評価値決定ステップと、前記評価値決定ステップで決定された前記第１の評価値及び前記第２の評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を有することを特徴とする。

本発明による制御プログラムは、被写体を撮像して画像データを取得する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記画像データが示す画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、前記グルーピングステップでグループ化されたグループについて、少なくとも当該グループに属する領域の輝度、当該グループの形状、および当該グループに属する領域の数を含む複数の項目に基づいて、当該グループの評価値を決定する評価値決定ステップと、前記評価値決定ステップで決定された評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を実行させることを特徴とする。
また、本発明による制御プログラムは、被写体を撮像して画像データを取得する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記画像データが示す画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、前記グルーピングステップでグループ化されたグループについて、被写体らしさを表す第１の評価値と背景らしさを表わす第２の評価値とを決定する評価値決定ステップと、前記評価値決定ステップで決定された前記第１の評価値及び前記第２の評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を実行させることを特徴とする。

本発明によれば、人物など被写体の顔領域の検出が困難な状況においても逆光シーンであるか否かを判別することができる。

本発明の実施の形態による撮像装置が備えるシーン判別機能の一例を示す機能ブロック図である。 本発明の実施の形態におけるグルーピング処理を説明するためのフローチャートである。 本発明の実施の形態におけるシーン判別処理を説明するためのフローチャートである。 被写体評価値の決定の際に用いられる項目の一例を示す図である。 背景評価値の決定の際に用いられる項目の一例を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置が備える、シーン判別機能に係わる部分の一例を示す機能ブロック図である。なお、ここでは、撮像装置の一つであるデジタルカメラ（以下単にカメラと呼ぶ）を例に挙げて説明する。

図示のカメラは画像信号入力部１０１を備えており、この画像信号入力部１０１にデジタル画像信号（以下、画像データとも呼ぶ）が入力される。例えば、カメラにおいては、撮影レンズなどを撮影光学系（図示せず）を介して光学像が撮像素子（例えば、ＣＣＤやＣＭＯＳ：図示せず）に結像する。撮像素子は結像した光学像に応じた電気信号（アナログ信号）を出力する。このアナログ信号に対してＡ／Ｄ変換部（図示せず）においてサンプリング、ゲイン調整、およびＡ／Ｄ変換などの処理が行われてデジタル信号として出力される。

さらに、画像処理部（図示せず）はデジタル信号に対して所定の画像処理を行って処理済みのデジタル画像信号を出力する。そして、このデジタル画像信号は画像信号入力部１０１に与えられる。

画像信号入力部１０１は、例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力する。以下画像信号入力部１０１からの出力を単に画像信号と呼ぶ。なお、Ｙは輝度信号を表し、Ｕは輝度信号と青色成分との差を表す。また、Ｖは輝度信号と赤色成分との差を表す。

ブロック分割部１０２（領域分割手段）は、画像信号入力部１０１から出力された画像信号が示す画像を複数の画像領域（ブロック領域）に分割する。例えば、ブロック分割部１０２は縦横比が４：３の画像を正方形の３２×２４のブロック領域に、各ブロック領域が重なり合わないように分割する。

なお、画像はその縦横比が４：３以外であってもよく、また、ブロック分割数についても３２×２４以外でもよい。また、ブロック領域は正方形でなくともよい。

ブロック特徴量決定部１０３（特徴量決定手段）は、ブロック分割部１０２の出力を受けて、各ブロック領域についてその特徴量を決定する。例えば、ブロック特徴量決定部１０３はブロック領域を構成する複数の小領域（複数の画素で構成される領域）において、その最小又は最大の輝度値を当該ブロック領域の特徴量とする。

なお、最小又は最大の輝度値を特徴量とする代わりに、ブロック領域を構成する複数の小領域における輝度値の平均値を特徴量として用いるようにしてもよく、さらには、輝度値、彩度値、および色相値のうち少なくとも１つを特徴量として用いるようにしてもよい。

グルーピング部１０４（グルーピング手段）は、ブロック分割部１０２により分割された各ブロック領域について、ブロック特徴量決定部１０３によって決定された特徴量に基づいて互いに類似するブロック領域を一つのグループとする（つまり、グループ化する）。例えば、グルーピング部１０４は各ブロック領域について、当該ブロック領域の上下左右に位置するブロック領域とその特徴量の差分を算出する。そして、グルーピング部１０４はこの差分が予め設定された差分閾値よりも小さいと、これらブロック領域を類似ブロック領域であるとして同一のグループに編入する。

被写体・背景評価値決定部１０５（評価値決定手段）は、グルーピング部１０４によって設定された各グループについて、被写体らしさを表わす被写体評価値および背景らしさを表す背景評価値を決定する。被写体評価値および背景評価値を決定する際には、例えば、グループの輝度、形状、大きさ、および画像における位置（配置）などに応じて被写体評価値および背景評価値を決定する。

シーン判別部１０６（シーン判別手段）は、被写体・背景評価値決定部１０５によって決定された被写体評価値および背景評価値に応じて撮影シーンが逆光シーンであるか否かを判別する。

例えば、シーン判別部１０６は、全てのグループの被写体評価値および背景評価値のうち、最も高い被写体評価値および最も高い背景評価値を画像全体の被写体評価値および背景評価値とする。以下、これら被写体評価値および背景評価値を全体被写体評価値および全体背景評価値と呼ぶ。

そして、シーン判別部１０６は全体被写体評価値および全体背景評価値がそれぞれ予め設定された被写体評価閾値以上および背景評価閾値以上であると、撮影シーンが逆光シーンであると判別してシーン判別結果を出力する。

シーン判別結果出力部１０７は、シーン判別部１０６によって判別されたシーン判別結果を出力する。例えば、カメラに備えられたＡＥ（自動露出）処理部（図示せず）はシーン判別結果に応じて適切な画像の撮影が可能となるように、つまり、最適な露出になるように露出機構（図示せず）を制御する。ＡＥ処理部では、まずブロック分割部１０２の出力をもとに、被写体輝度を表す測光値を求める。測光値を求める際には、画面全体を測光領域としてかつ撮影シーンによって測光値を補正する評価測光方式、画面全体を測光領域としてかつ中心付近に重みを置く中央重点測光方式、画面内中心付近のみを測光領域とするスポット測光方式などがある。評価測光方式のような測光方式の場合には、逆光シーンなどのシーン判別結果に応じて測光結果を補正することが可能となる。本実施例では評価測光方式の場合について記載する。このようにして、カメラは撮影シーンが逆光シーンである否かを判定する。

なお、本実施形態では、上述の各部の機能はカメラのＣＰＵ（図示せず）によって実現されるものとするが、カメラが複数のＣＰＵを有してして上述の各部の機能を複数のＣＰＵで分担して実行する構成でも構わない。

続いて、図２を用いて、グルーピング部１０４によるグルーピング処理が終了するまでの各処理を詳細に説明する。

まず、画像信号入力部１０１から画像信号が出力されるとブロック分割部１０２は、撮影画像を複数のブロック領域に分割する（ステップＳ２０１）。ここでは、撮影画像を縦横比Ｍ×Ｎ（Ｍ行Ｎ列）のブロック領域に分割するとする。例えば、Ｍ＝３２、Ｎ＝２４とし、ブロック分割部１０２は各ブロック領域が互いに重ならないように分割を行うものとする。

続いて、ブロック特徴量決定部１０３は、各ブロック領域の特徴量を決定する（ステップＳ２０２）。例えば、ブロック特徴量決定部１０３は各ブロック領域をさらに複数の小領域に分割して、小領域毎の輝度値を取得する。そして、ブロック特徴量決定部１０３は、複数の小領域において最も小さい輝度値を当該ブロック領域における特徴量とする。

この際、ブロック特徴量決定部１０３は、各ブロック領域において小領域の輝度値のうちに所定の輝度閾値（Ｔｈ＿Ｈｉｇｈ Ｌｅｖｅｌ）以上の輝度値を有する小領域があれば、これら小領域において最も高い輝度値を特徴量とする。

ところで、ブロック領域において極端に輝度の低い小領域および極端に輝度の高い小輝度領域のみが存在すると、これら輝度値の平均値を特徴量とした場合には、低輝度値および高輝度値のどちらでもない輝度値が特徴量となってしまう可能性がある。

一方、前述のように、最低輝度値又は最高輝度値をブロック領域の特徴量として用いるようにすれば、ブロック領域における特徴量の精度を良好とすることができる。

続いて、グルーピング部１０４は、ｍ×ｎに位置するブロック領域について隣接するブロック領域の特徴量と比較する（ステップＳ２０３）。ここで、ｍ＝１〜Ｍまでのいずれかの整数であり、ｎ＝１〜Ｎまでのいずれかの整数である。

つまり、グルーピング部１０４は、まず、ｍ＝ｎ＝１として撮影画像の左上隅に位置するブロック領域について隣接するブロック領域の特徴量と比較する。続いて、グルーピング部１０４は、ｍ＝１、ｎ＝２〜Ｎとして、右側に対象のブロック領域を順次に移動させて、対象のブロック領域に隣接するブロック領域の特徴量と比較する。そして、１行目が終わると、グルーピング部１０４は、ｍ＝２、ｎ＝１〜Ｎとして、２行目について同様にして特徴量の比較を行う。

このようにして、グルーピング部１０４は、最終的に、ｍ＝Ｍ、ｎ＝１〜ＮとしてＭ行目までのブロック領域について特徴量の比較を行う。

なお、ここでは、グルーピング部１０４は対象のブロック領域の上側に位置するブロック領域および左側に位置するブロック領域を隣接するブロック領域としてその特徴量の比較を行うものとする。

上述のようにして、グルーピング部１０４は全てのブロック領域についてその上側および左側に位置するブロック領域とその特徴量を比較して差分を求める。この際、グルーピング部１０４は上側に位置するブロック領域（上ブロック領域）との差分を上側差分とし、左側に位置するブロック領域（左ブロック領域）との差分を左側差分とする。

続いて、グルーピング部１０４は、上側差分の絶対値が予め設定された差分閾値（Ｔｈ＿Ｓａｍｅ）以下であるか否かを判定する（ステップＳ２０４）。上側差分の絶対値が差分閾値以下であると（ステップＳ２０４において、ＹＥＳ）、グルーピング部１０４は対象のブロック領域と上ブロック領域とが類似するとして、同一のグループに設定する（ステップＳ２０５）。

次に、グルーピング部１０４は、左側差分の絶対値が予め設定された差分閾値（Ｔｈ＿Ｓａｍｅ）以下であるか否かを判定する（ステップＳ２０６）。なお、上側差分の絶対値が差分閾値を超えていると（ステップＳ２０４において、ＮＯ）、グルーピング部１０４はステップＳ２０６の処理に移行する。

左側差分の絶対値が差分閾値以下であると（ステップＳ２０６において、ＹＥＳ）、グルーピング部１０４は対象のブロック領域と左ブロック領域とが類似するとして同一のグループに設定する（ステップＳ２０７）。

そして、グルーピング部１０４は全てのブロック領域について、上述のグループ設定を行ったか否かを判定する（ステップＳ２０８）。全てのブロック領域についてグループ設定を行っていないと（ステップＳ２０８において、ＮＯ）、グルーピング部１０４はステップＳ２０４の処理に戻る。

一方、全てのブロック領域についてグループ設定を行っていると（ステップＳ２０８において、ＹＥＳ）、グルーピング部１０４はグルーピング処理を終了する。

なお、ステップＳ２０６において、左側差分の絶対値が差分閾値を超えていると（ステップＳ２０６において、ＮＯ）、グルーピング部１０４はステップＳ２０８の処理に移行する。

以上のように、グルーピング部１０４はグルーピング処理において、対象のブロック領域と上側に位置するブロック領域および左側に位置するブロック領域との特徴量の比較を行う。しかしながら、ｍ＝ｎ＝１の撮影画像の左上隅に位置するブロック領域を対象とした場合、上側および左側に隣接するブロック領域は存在しないため、特徴量の比較処理を省略しても構わない。同様に、上側には隣接するブロック領域が存在するが左側には存在しない場合や逆の場合には、隣接するブロックが存在しない側は特徴量の比較処理を省略しても構わない。

また、対象のブロック領域と上側に位置するブロック領域および左側に位置するブロック領域との特徴量の比較を行うのはあくまで一例であって、上側に位置するブロック領域の代わりに下側に位置するブロック領域の特徴量との比較を行ってもよい。左右についても同様である。上述のように、ｍ＝ｎ＝１の撮影画像の左上隅を開始位置として左側に対象のブロック領域を移行していく場合、対象のブロック領域と上側のブロック領域および左側のブロック領域との特徴量の比較を行うようにすると効率よくグルーピング処理を行うことができる。したがって、どのブロック領域を開始位置にしてどの方向に対象のブロック領域を移行させるかに応じて、特徴量の比較を行うブロック領域の方向を決定すれば効率よくグルーピング処理を行うことができる。

続いて、図３を用いて、シーン判別部１０６によるシーン判別処理が終了するまでの各処理を詳細に説明する。

グルーピング部１０４からグルーピング処理の結果が出力されると、被写体・背景評価値決定部１０５はグループ毎にブロック領域の特徴情報を取得する（ステップＳ３０１）。ここで、特徴情報として、例えば、グループを構成するブロック領域における平均輝度値、グループにおけるブロック領域の数、その重心位置、およびグループを規定する上、下、左、および右端の座標などが用いられる。

そして、被写体・背景評価値決定部１０５はグループ毎の特徴情報に基づいて被写体評価値を決定する（ステップＳ３０２）。例えば、被写体・背景評価値決定部１０５は、後述の７種類の項目に応じてそれぞれ重み（項目別評価値）を算出して、これら重みを互いに乗算して被写体評価値を決定する。

なお、各項目の重みを互いに乗算して被写体評価値を決定する構成ではなく、各項目の重みと被写体評価値とを対応させた評価値テーブルを記憶部（図示せず）に記憶しておき、各項目の重みから評価値テーブルを用いて被写体評価値を選択する構成でもよい。

図４は、被写体評価値の決定の際に用いられる項目の一例を示す図である。図４（ａ）はグループの平均輝度値に応じた重みを示す図であり、図４（ｂ）はグループのブロック領域の数に応じた重みを示す図である。また、図４（ｃ）はグループを構成するブロック領域の重心の水平方向の位置に応じた重みを示す図であり、図４（ｄ）はグループを構成するブロック領域の重心の垂直方向の位置に応じた重みを示す図である。さらに、図４（ｅ）はグループの画面端（画像端）に接するブロック領域の数に応じた重みを示す図であり、図４（ｆ）はグループの形状に応じた重みを示す図である。加えて、図４（ｇ）は測光値に応じた重みを示す図である。

図４（ａ）〜図４（ｇ）の各々において、縦軸は重みを表し、重みは０〜１０の値をとるものとする。図４（ａ）において、横軸は平均輝度値を表し、図４（ｂ）において、横軸はブロック領域の数（ブロック数）を表す。図４（ｃ）において、横軸は画面（画像）中心から重心までの水平方向の距離を表し、図４（ｄ）において、横軸は画面（画像）の上部（上端）から重心までの垂直方向の距離を表す。図４（ｅ）において、横軸は画像の上、左、および右端に接するブロック数とグループを構成するブロック数との比を表し、図４（ｆ）において、横軸は縦サイズと横サイズとの比（縦横サイズ比）を表す。そして、図４（ｇ）において、横軸は測光値を表す。

図４（ａ）に示すように、グループの平均輝度値が低い方が低輝度の被写体である可能性が高いとしてその重みを大きくする。なお、平均輝度値が所定の輝度値以上では重みを一定とする（ここでは、重み＝０）。

図４（ｂ）に示すように、ブロック数が所定範囲より少ない場合には、物体の影など被写体でない可能性が高いとしてその重みを小さくする。同様に、ブロック数が所定範囲より大きい場合においてもその重みを小さくする。

自動露出制御機能を有するカメラにおいては、逆光シーンで被写体が画面内の大部分を占めていると、当該領域が適正になるように露出制御が行われる。このため、低輝度の被写体の輝度が高くなる方向に露出値が設定されることがある。そして、輝度値が高くなると低輝度の被写体であるか否かを判別することが困難となるため、ブロック数が所定範囲より大きい場合にはその重みを小さくする。

このように、図４（ｂ）では、ブロック数の増加につれてその重みが０から増加し、第１のブロック数になると重みが最大となる（重み＝１０）。そして、第１のブロック数から第２のブロック数までの所定範囲では重みは最大であり（重み＝１０）、第２のブロック数を過ぎると重みが低減する。ブロック数が第３のブロック数となると重みが最低となり（重み＝１０）、以降重みは最低となる（重み＝０）。

図４（ｃ）に示すように、重心位置が画面（画像）の水平方向において中心に近いほうが周辺の背景ではなく被写体である可能性が高いとして重みを大きくする（重み＝１０）。そして、重心位置が中心から離れるにつれて重みが低減して、重心位置が中心から所定の距離だけ離れると、重みは最低とする（重み＝０）。

図４（ｄ）に示すように、重心位置が画面（画像）の下端に近くなると直立する人物などを撮影する画角である可能性が高いとみなして重みを最大とする（重み＝１０）。

つまり、図４（ｄ）においては、画面の上端から重心位置までの距離が所定の第１の距離以下では重みを最低とし（重み＝０）、所定の距離を過ぎると重みを逓増させる。そして、一旦重みを最大とした後（重み＝１０）、重みを距離に応じて低減させて、所定の第２の距離を過ぎると重みを最低とする（重み＝０）。

図４（ｅ）に示すように、画面（画像）の上端、画面の左端、および画面の右端に接するブロック数が多いと周辺の背景の可能性が高いとして重みを小さくする。

図示の例では、比率が低い場合には重みを最大として（重み＝１０）、続いて比率が増加するにつれて重みを低減させる。そして、比率が所定の比率となると重みを最低とする（重み＝０）。

図４（ｆ）において、グループの形状を決定する際には、まずグループの上端および下端の座標の差分から高さを求め、左端および右端の座標の差分から幅を求める。そして、高さと幅との比率からグループの縦横サイズ比率を決定する。

図４（ｆ）において、縦横サイズ比が小さいと、つまり、横サイズが大きく横長であると、直立している人物などとはその形状が大きく異なる。このため、低輝度の被写体である可能性が低いとして重みを小さくする。

図示の例では、縦横サイズ比が小さい場合には、重みを最低とし（重み＝０）、縦横サイズ比が増加すると、重みを逓増させる。そして、縦横サイズ比が所定の比となると、重みを最大とする（重み＝１０）。

なお、図４（ｆ）に示す例では、直立した人物の形状に近いと重みを大きくしたが、動物など人物以外における逆光シーンを対象とする場合には、図４（ｆ）とは異なる重み曲線を準備するようにしてもよい。この場合においても、縦横サイズ比が大きくなると重みを大きくする。

図４（ｇ）に示すように、撮影する際の測光値が低いと、夜景などのように画面全体に亘って低輝度領域が多く、逆光とは異なるシーンであるとして、重みを小さくする。

図示の例では、測光値が小さい場合には、重みを最低とし（重み＝０）、測光値が増加すると、重みを増加させる。そして、測光値が所定の測光値となると、重みを最大とする（重み＝１０）。

例えば、図４（ａ）で示したグループの平均輝度に応じた重みと組み合わせて考えると、平均輝度が低いグループが存在してかつ測光値が高ければ、日中シーンなどのように画面全体が明るい一方で低輝度の領域が存在することを表す。つまり、背景が明るいシーンに低輝度の被写体が存在する逆光シーンである可能性があるとみなすことが可能となる。

上述のようにして、グループ毎に図４（ａ）〜図４（ｇ）に示す重みを得て、これら重みを相互に乗算した結果が各グループにおける被写体評価値となる。

続いて、被写体・背景評価値決定部１０５はグループ毎の特徴情報に基づいて背景評価値を決定する（ステップＳ３０３）。例えば、被写体・背景評価値決定部１０５は後述の３種類の項目に応じてそれぞれ重みを決定して、これら重みを相互に乗算して背景評価値を決定する。

図５は、背景評価値の決定の際に用いられる項目の一例を示す図である。そして、図５（ａ）はグループの平均輝度値に応じた重みを示す図であり、図５（ｂ）はグループのブロック領域の数に応じた重みを示す図である。また、図５（ｃ）はグループを構成するブロック領域の重心の垂直方向の位置に応じた重みを示す図である。

図５（ａ）〜図５（ｃ）の各々において、縦軸は重みを表し、重みは０〜１０の値をとるものとする。図５（ａ）において、横軸は平均輝度値を表し、図５（ｂ）において、横軸はブロック領域の数（ブロック数）を表す。図５（ｃ）において、横軸は画面（画像）の上部（上端）から重心までの垂直方向の距離を表す。

図５（ａ）に示すように、平均輝度値が高くなると、高輝度の背景である可能性が高いとして重みを大きくする。図示のように、平均輝度値が低い場合には、重みは最低であり（重み＝０）、所定の第１の輝度よりも輝度が大きくなると、重みが徐々に増加する。そして、輝度が所定の第２の輝度以上となると重みは最大となる（重み＝１０）。

図５（ｂ）に示すように、ここではブロック数が多いと画面（画像）に広がっている空などの背景である可能性が高いとして重みを大きくする。図示の例では、ブロック数が増加するにつれて重みが大きくなり、所定のブロック数以上となると重みが最大となる（重み＝１０）。

図５（ｃ）に示すように、重心位置が画面（画像）の上端に近くなると、画像中の上部に位置する空などの背景である可能性が高いとして重みを大きくする。ここでは、重心位置が画面の上端から所定の第１の距離までは重みを最大とし（重み＝１０）、重心位置が所定の第１の距離よりも遠くなると重みを徐々に低減する。そして、重心位置が第２の距離以上となると重みを最低する（重み＝０）。

上述のようにして、グループ毎に図５（ａ）〜図５（ｃ）に示す重みを得て、これら重みを相互に乗算した結果が各グループにおける背景評価値となる。

続いて、シーン判別部１０６は各グループの被写体評価値および背景評価値を比較して、最も大きい被写体評価値および最も大きい背景評価値を選択して、それぞれ全体被写体評価値および全体背景評価値とする（ステップＳ３０４）。

そして、シーン判別部１０６は、全体被写体評価値および全体背景評価値がそれぞれ予め設定された被写体評価閾値以上および背景評価閾値以上である場合に、撮影シーンが逆光シーンであると判別して（ステップＳ３０５）、シーン判別結果を出力する。そして、シーン判別部１０６はシーン判別処理を終了する。

以上のように、全体被写体評価値および全体背景評価値がそれぞれ予め設定された被写体評価閾値以上および背景評価閾値以上である場合に、撮影シーンが逆光シーンであると判別するようにしているが、別の判別方法と組み合わせて逆光シーンを判別してもよい。例えば、全体被写体評価値が被写体評価閾値未満であっても、人物などの顔領域が検出されかつ顔領域の輝度値が予め設定した輝度閾値以下であると、シーン判別部１０６は撮影シーンが逆光シーンであると判別するようにしてもよい。

また、全体背景評価値が背景評価閾値未満であっても、画像中の上部の輝度値が画像全体の輝度値と比較して所定の輝度値以上に明るい場合には、シーン判別部１０６は撮影シーンが逆光シーンであると判別するようにしてもよい。

また、全体背景評価値が背景評価閾値未満であっても、輝度値が輝度閾値以上であるブロック領域の数が所定の数以上存在する場合には、シーン判別部１０６は撮影シーンが逆光シーンであると判別するようにしてもよい。

また、上述のように、全体被写体評価値および全体背景評価値に基づいて逆光シーンか否かの判別を行うとより精度よく判別を行うことができるが、全体被写体評価値のみに基づいて判別を行っても精度よく判別を行うことができる。

また、被写体評価値を決定する際には、図４に示したすべての項目の重みを用いなくてもよく、少なくともグループの輝度、形状、大きさに関する項目を含む複数の項目の重みを用いることで、精度よく逆光シーンの判別を行うことができる。グループの輝度、形状、および大きさに関する項目とは、図４ではグループを構成するブロック領域における平均輝度値、グループの縦横サイズ比、およびグループを構成するブロック数に相当する。

また、上述の図４および図５においては、項目毎の重みを０〜１０としたが、項目毎に重みの範囲を変えるようにしてもよい。

以上のように、本発明の実施の形態では、撮影画像を複数のブロック領域に分割して各ブロック領域を特徴量に基づいてグルーピングし、少なくとも各グループの輝度、形状、大きさに関する情報に基づいて撮影シーンが逆光シーンであるか否かを判別している。そのため、顔領域の検出が困難な状況においても、撮影シーンが逆光シーンであるか否かを判別することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、制御方法および制御プログラムの各々は、少なくともブロック分割ステップ、ブロック特徴量決定ステップ、グルーピングステップ、評価値決定ステップ、およびシーン判別ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像信号入力部
１０２ ブロック分割部
１０３ ブロック特徴量決定部
１０４ グルーピング部
１０５ 被写体・背景評価値決定部
１０６ シーン判別部
１０７ シーン判別結果出力部

Claims (19)

1. 被写体を撮像して画像データを取得する撮像装置であって、
   前記画像データが示す画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定手段と、
   前記特徴量決定手段により決定された特徴量に応じて前記複数の領域をグループ化するグルーピング手段と、
   前記グルーピング手段によりグループ化されたグループについて、少なくとも当該グループに属する領域の輝度、当該グループの形状、および当該グループに属する領域の数を含む複数の項目に基づいて、当該グループの評価値を決定する評価値決定手段と、
   前記評価値決定手段により決定された評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別手段と、を有することを特徴とする撮像装置。
2. 前記シーン判別手段は、前記グルーピング手段によりグループ化された複数のグループの評価値のうち、最も値の大きい評価値が所定の閾値以上の場合、前記画像データを得た撮影シーンが逆光シーンであると判別することを特徴とする請求項１に記載の撮像装置。
3. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際に、前記複数の項目のそれぞれに対応する項目別評価値を算出し、算出した複数の項目別評価値に基づいて当該グループの評価値を決定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際に、前記複数の項目別評価値を乗算して当該グループの評価値を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際に、当該グループの横のサイズに対する縦のサイズ比が大きいほうが前記項目別評価値を大きくすることを特徴とする請求項３又は４に記載の撮像装置。
6. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際に、当該グループに属する領域の数が所定範囲に近いほうが前記項目別評価値を大きくすることを特徴とする請求項３ないし５のいずれか１項に記載の撮像装置。
7. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際に、当該グループに属する領域の平均輝度値が低いほうが前記項目別評価値を大きくすることを特徴とする請求項３ないし６のいずれか１項に記載の撮像装置。
8. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際の前記複数の項目に、当該グループに属する領域のうち前記画像の上端、左端、および右端の少なくとも１つに接する領域の比率を含んでいて、当該比率が小さいほうが前記項目別評価値を大きくすることを特徴とする請求項３ないし７のいずれか１項に記載の撮像装置。
9. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際の前記複数の項目に、当該グループの重心の前記画像の垂直方向の位置を含んでいて、当該グループの重心位置の前記画像の上端からの距離が所定範囲に近いほうが前記項目別評価値を大きくすることを特徴とする請求項３ないし８のいずれか１項に記載の撮像装置。
10. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際の前記複数の項目に、当該グループの重心の前記画像の水平方向の位置を含んでいて、当該グループの重心位置が前記画像の水平方向の中心に近いほうが前記項目別評価値を大きくすることを特徴とする請求項３ないし９のいずれか１項に記載の撮像装置。
11. 前記評価値決定手段は、前記グルーピング手段によりグループ化されたグループの評価値を決定する際の前記複数の項目に、前記被写体を撮像する際における測光値を含んでいて、前記測光値が高いほうが前記項目別評価値を大きくすることを特徴とする請求項３ないし１０のいずれか１項に記載の撮像装置。
12. 被写体を撮像して画像データを取得する撮像装置であって、
    前記画像データが示す画像を複数の領域に分割する領域分割手段と、
    前記領域分割手段により分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定手段と、
    前記特徴量決定手段により決定された特徴量に応じて前記複数の領域をグループ化するグルーピング手段と、
    前記グルーピング手段によりグループ化されたグループについて、被写体らしさを表す第１の評価値と背景らしさを表わす第２の評価値とを決定する評価値決定手段と、
    前記評価値決定手段により決定された前記第１の評価値及び前記第２の評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別手段と、を有することを特徴とする撮像装置。
13. 前記評価値決定手段は、複数の項目で構成される第１の項目群に基づいて前記第１の評価を決定し、前記第１の項目群とは含まれる項目の少なくとも１つが異なる第２の項目群に基づいて前記第２の評価値を決定することを特徴とする請求項１２に記載の撮像装置。
14. 前記第１の項目群は、グループに属する領域の輝度、グループの形状、グループに属する領域の数、グループに属する領域のうち前記画像の上端と左端と右端の少なくとも１つに接する領域の比率、グループの重心の前記画像の垂直方向の位置、およびグループの重心の前記画像の水平方向の位置で構成されることを特徴とする請求項１３に記載の撮像装置。
15. 前記第２の項目群は、グループに属する領域の輝度、グループに属する領域の数、およびグループの重心の前記画像の垂直方向の位置で構成されることを特徴とする請求項１３又は１４に記載の撮像装置。
16. 被写体を撮像して画像データを取得する撮像装置の制御方法であって、
    前記画像データが示す画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、
    前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、
    前記グルーピングステップでグループ化されたグループについて、少なくとも当該グループに属する領域の輝度、当該グループの形状、および当該グループに属する領域の数を含む複数の項目に基づいて、当該グループの評価値を決定する評価値決定ステップと、
    前記評価値決定ステップで決定された評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を有することを特徴とする撮像装置の制御方法。
17. 被写体を撮像して画像データを取得する撮像装置の制御方法であって、
    前記画像データが示す画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、
    前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、
    前記グルーピングステップでグループ化されたグループについて、被写体らしさを表す第１の評価値と背景らしさを表わす第２の評価値とを決定する評価値決定ステップと、
    前記評価値決定ステップで決定された前記第１の評価値及び前記第２の評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を有することを特徴とする撮像装置の制御方法。
18. 被写体を撮像して画像データを取得する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記画像データが示す画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、
    前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、
    前記グルーピングステップでグループ化されたグループについて、少なくとも当該グループに属する領域の輝度、当該グループの形状、および当該グループに属する領域の数を含む複数の項目に基づいて、当該グループの評価値を決定する評価値決定ステップと、
    前記評価値決定ステップで決定された評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を実行させることを特徴とする制御プログラム。
19. 被写体を撮像して画像データを取得する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記画像データが示す画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップで分割された複数の領域の各々について前記画像データに基づいてその特徴量を決定する特徴量決定ステップと、
    前記特徴量決定ステップで決定された特徴量に応じて前記複数の領域をグループ化するグルーピングステップと、
    前記グルーピングステップでグループ化されたグループについて、被写体らしさを表す第１の評価値と背景らしさを表わす第２の評価値とを決定する評価値決定ステップと、
    前記評価値決定ステップで決定された前記第１の評価値及び前記第２の評価値に基づいて、前記画像データを得た撮影シーンが逆光シーンであるか否かを判別するシーン判別ステップと、を実行させることを特徴とする制御プログラム。

Images