JP7414551B2 - 制御装置および制御方法 - Google Patents

Description

本発明は、制御装置および制御方法に関する。

従来より、検出した顔領域の輝度値と、画像を領域分割した各領域の輝度値との差が所定の値より小さい領域を測光領域に設定する技術が知られている（例えば、特許文献１参照）。

国際公開第２０１３／０９４２１２号

本発明が解決しようとする課題は、被写体の撮像に適した測光領域を設定することである。

上記目的を達成するために、本発明の１つの態様による制御装置は、撮像装置が撮像した画像内で被写体領域を検出する検出手段と、前記画像を複数の分割領域に分割する分割手段と、前記被写体領域の輝度値と、前記分割領域の輝度値との差分である輝度差を算出する第１の算出手段と、前記撮像装置が前記被写体領域を測光領域として露出制御を行う前後における前記被写体領域の輝度値の差分である第１の変化量と、前記撮像装置が前記被写体領域を測光領域として露出制御を行う前後における前記分割領域の輝度値の差分である第２の変化量とをそれぞれ算出する第２の算出手段と、前記第１の変化量と、前記第２の変化量と、前記輝度差とに基づいて、前記撮像装置が露光制御を行う際に用いる測光領域を決定する決定手段と、を有する。

本発明の実施形態１に係る撮像制御システムの構成を示すブロック図。 実施形態１に係る監視カメラの内部構成を示すブロック図。 実施形態１に係るクライアント装置の内部構成を示すブロック図。 図３のクライアント装置が実行する機能・構成を例示的に説明する図。 測光モードと測光領域の関係について例示的に説明する図。 実施形態１に係る測光領域設定処理を例示的に説明するフローチャート。 実施形態１に係る画像の領域分割について例示的に説明する図。 実施形態１に係る自動露出制御前後の輝度値の関係を例示的に説明する図。 実施形態２に係る監視カメラの内部構成を示すブロック図。 図９の監視カメラの撮像素子の内部構成を示すブロック図。 光束が撮像素子に入射する様子を概念的に示す図。 実施形態２に係る測光領域設定処理を例示的に説明するフローチャート。 実施形態３に係る測光領域設定処理を例示的に説明するフローチャート。 ユーザが手動で操作可能なＵＩを例示的に説明する図。 表示装置において入力画像に重畳表示された領域候補を説明する図。

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
なお、後述する図に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

＜実施形態１＞
図１～図８を参照して実施形態１を説明する。
（基本構成）
図１は、本発明の実施形態１に係る撮像制御システム１００の構成を例示的に説明する図である。
撮像制御システム１００は、監視カメラ１０１と、ネットワーク１０２と、クライアント装置１０３と、入力装置１０４と、表示装置１０５とを有する。監視カメラ１０１は、動画像を取得するための撮像装置であり、被写体の撮像および画像処理が可能な装置である。監視カメラ１０１とクライアント装置１０３とは、ネットワーク１０２を介して相互に通信可能な状態で接続されている。クライアント装置１０３は、入力装置１０４と表示装置１０５に通信可能な状態で接続されている。クライアント装置１０３は、種々の情報を処理する装置であるので、情報処理装置と称してもよい。また、クライアント装置１０３は、監視カメラ１０１の撮像を制御する装置であるので、制御装置と称してもよい。

入力装置１０４は、マウスやキーボード等から構成され、クライアント装置１０３のユーザにより操作される。
表示装置１０５は、クライアント装置１０３から受信した画像を表示するモニタ等を備える装置である。なお、表示装置１０５はタッチパネルなどのＵＩとして機能することもできる。この場合、表示装置１０５は、クライアント装置１０３へ指示、情報、データ等を入力する入力装置としても機能できることになる。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

図１では、クライアント装置１０３と入力装置１０４と表示装置１０５とがそれぞれ独立した装置として描かれているが、本実施形態はこのような構成に限定されない。例えば、クライアント装置１０３と表示装置１０５とが、一体化されていてもよいし、入力装置１０４と表示装置１０５とが一体化されていてもよい。また、クライアント装置１０３と入力装置１０４と表示装置１０５とが、一体化されていてもよい。クライアント装置１０３と表示装置１０５とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態をとる。

（監視カメラの構造）
図２は、監視カメラ１０１の内部構成を例示的に説明するブロック図である。監視カメラ１０１は、撮像光学系２０１、撮像素子２０２、カメラＣＰＵ２０３、ＲＯＭ２０４、、ＲＡＭ２０５、撮像系制御部２０６、通信制御部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ部２１０およびネットワークＩ／Ｆ２１１を有する。監視カメラ１０１の各部（２０３～２１１）は、システムバス２１２により相互接続されている。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。Ｉ／Ｆはインターフェースの略である。

撮像光学系２０１はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系２０１は撮像素子２０２に接続されている。
撮像素子２０２は、撮像光学系２０１で集光される光束を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ＣＣＤはＣｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。撮像素子２０２はＡ／Ｄ変換部２０８に接続されている。

カメラＣＰＵ２０３は、監視カメラ１０１の動作を統括的に制御する制御部である。カメラＣＰＵ２０３は、ＲＯＭ２０４やＲＡＭ２０５に格納された命令を読み込み、その結果に従って処理を実行する。
撮像系制御部２０６は、カメラＣＰＵ２０３からの指示に基づいて、監視カメラ１０１の各部の制御を行う。例えば、撮像系制御部２０６は、撮像光学系２０１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。
通信制御部２０７は、クライアント装置１０３との通信によって、クライアント装置１０３から監視カメラ１０１の各部への制御命令（制御信号）をカメラＣＰＵ２０３に伝達するための制御を行う。

Ａ／Ｄ変換部２０８は、撮像素子２０２で検知した被写体の光量をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部２０８は、当該デジタル信号を画像処理部２０９に送信する。
画像処理部２０９は、撮像素子２０２から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部２０９はエンコーダ部２１０に接続されている。
エンコーダ部２１０は、画像処理部２０９で処理された画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部２１０はネットワークＩ／Ｆ２１１に接続されている。
ネットワークＩ／Ｆ２１１は、クライアント装置１０３等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースであって、通信制御部２０７により制御される。

ネットワーク１０２は、監視カメラ１０１と、クライアント装置１０３を接続するＩＰネットワークである。ネットワーク１０２は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１０２は、監視カメラ１０１とクライアント装置１０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク１０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

（クライアント装置の構成）
図３は、クライアント装置１０３の内部構成を例示的に説明するブロック図である。
クライアント装置１０３は、クライアントＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５およびネットワークＩ／Ｆ３０６を有する。クライアント装置１０３の各要素は、システムバス３０７を介して、相互に通信可能に接続されている。

クライアントＣＰＵ３０１は、クライアント装置１０３の動作を統括的に制御する中央演算装置である。なお、クライアントＣＰＵ３０１によって、ネットワーク１０２を介して監視カメラ１０１の統括的な制御を実行してもよい。
主記憶装置３０２は、クライアントＣＰＵ３０１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。例えば、主記憶装置３０２は、クライアント装置１０３が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）を予め格納している。
補助記憶装置３０３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｅｖｉｃｅの略である。

入力Ｉ／Ｆ３０４は、クライアント装置１０３が入力装置１０４等からの入力（信号）を受取る際に利用されるインターフェースである。
出力Ｉ／Ｆ３０５は、クライアント装置１０３から表示装置１０５等への情報（信号）を出力する際に利用されるインターフェースである。
ネットワークＩ／Ｆ３０６は、監視カメラ１０１等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースである。
クライアントＣＰＵ３０１が、補助記憶装置３０３に記憶されたプログラムに基づき処理を実行することによって、図４に示すクライアント装置１０３の機能及び処理が実現される。この詳細については後述する。

（クライアント装置の機能）
図４は、クライアント装置１０３が実行する機能を例示的に説明する図である。換言すると、図４に図示する各部（機能ブロック）は、クライアントＣＰＵ３０１により実行され得る機能であって、当該各部はクライアントＣＰＵ３０１と同義である。
図４に示すように、クライアント装置１０３のクライアントＣＰＵ３０１は、入力情報取得部４０１、通信制御部４０２、入力画像取得部４０３、カメラ情報取得部４０４および検出方法設定部４０５を含む。またクライアントＣＰＵ３０１は、被写体検出部４０６、測光領域設定部４０７および表示制御部４０８を含む。なお、クライアント装置１０３は、クライアントＣＰＵ３０１とは別のハードウェア（またはソフトウェア）により、図４に図示する各部４０１～４０８の機能を実行してもよい。

入力信号取得部４０１は、入力装置１０４を介したユーザからの入力を受け付ける。
通信制御部４０２は、監視カメラ１０１から送信された画像（監視カメラ１０１により撮影された画像）を、ネットワーク１０２を介して受信するための制御を実行する。また、通信制御部４０２は、クライアント装置１０３から監視カメラ１０１への制御命令を、ネットワーク１０２を介して送信するための制御を実行する。
入力画像取得部４０３は、通信制御部４０２を介して監視カメラ１０１から受信した画像を、被写体の検出処理の対象である画像（被写体検出処理を適用する画像）として取得する。検出処理の詳細については後述する。
カメラ情報取得部４０４は、通信制御部４０２を介して、監視カメラ１０１により被写体を撮像する際のカメラ情報（撮像情報）を取得する。カメラ情報（撮像情報）は、被写体を撮像して画像を取得する際の種々の情報である。カメラ情報は、例えば、絞り値などの露出パラメータである。

検出方法設定部４０５は、入力画像取得部４０３により取得された画像に対して、顔領域の検出（顔検出）や人体領域の検出（人体検出）を含む様々な検出方法の中から、所定の（適切な）検出方法を設定する。顔検出を行う場合、後述する被写体検出部４０６は、画像における顔領域を優先して検出する。人体検出を行う場合、被写体検出部４０６は、画像における人体領域を優先して検出する。

本実施形態では、検出方法設定部４０５は、顔検出の検出方法または人体検出の検出方法を設定（選択）するとする。なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定してもよい（選択できるようにしてもよい）。また、本実施形態では、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車など、クライアント装置１０３において予め設定された所定の被写体を検出可能な構成にしてもよい。

被写体検出部４０６は、検出方法設定部４０５で設定された検出方法に基づいて、所定の被写体領域の検出を行う。
測光領域設定部４０７は、監視カメラ１０１がカスタム測光モードの場合、自動露出制御（ＡＥ）に用いる領域を、監視カメラ１０１に対して設定する。ＡＥはＡｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅの略である。図５は、本実施形態に係る測光モードと測光領域の関係について例示的に説明する図である。

本実施形態の監視カメラ１０１は、カスタム測光モードと中央重点測光モードとを有するとする。
カスタム測光モードとは、画像（画面）内の任意の位置に、ユーザが測光領域を指定（設定）できる測光モードである。カスタム測光モードの場合、例えば、図５（ａ）に示すように、ユーザは測光領域６０１を画像の左上の位置に設定することができる。カスタム測光モードにおいては、ユーザが意図する撮像（監視）の対象が、ユーザによって設定された測光領域（特定領域）に含まれる可能性が高いと考えられる。なお、図５（ａ）は、人物６０２が屋外６０３から屋内６０４に入る際の画像である。屋内６０４には消火器６０５が置かれている。図５（ａ）の２つの白矢印は、透明ガラスからなる自動ドア６０６が開動作をしたことを示している。室内６０４の上部６０４ａは、例えば、黒色の壁である。監視カメラ１０１は室内６０４に設置されて、屋外６０３に向けてられている。人物６０２は、本実施形態において被写体と称する場合がある。画像中、人物６０２が写っている領域を被写体領域と称することができる。
中央重点測光モードとは、図５（ｂ）に示すように、画像の中央付近に測光領域６０１が設定される測光モードである。中央重点測光モードの場合、ユーザが意図する撮像（監視）の対象が画像の略中央部に存在する可能性が高いと考えられる。

監視カメラ１０１は、設定された領域の測光結果に基づいて、露出制御を実行する。具体的には、測光結果の輝度値に対して、Ａｖ値（絞り値）、Ｔｖ値（シャッタースピード）、Ｓｖ値（撮影感度、ＩＳＯ感度）等の露出パラメータの適切な組合せを演算する。図５（ａ）および図５（ｂ）においては、測光領域６０１が屋外領域に設定されているため、露出制御を行うと逆光状態となり、人物６０２や屋内６０４が暗く撮影される。
表示制御部４０９は、クライアントＣＰＵ３０１からの指示に従い、監視カメラ１０１から取得した画像を表示装置１０５へ出力する。

（被写体の検出処理・露出決定処理）
以下、図６に示すフローチャートを参照して、本実施形態に係る測光領域選択処理（測光領域設定処理）について説明する。なお、図１の撮像制御システム１００において、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。また、この状態で、監視カメラ１０１による所定の更新周期で被写体の撮像、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。監視カメラ１０１は、初期設定として、中央重点測光モードに設定されているものとする。そして、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体の撮像画像が入力されたことに応じて、図６のフローチャートの処理がクライアントＣＰＵ３０１により開始されるものとする。以下の説明において、Ｓはステップの略である。

まず、Ｓ５０１において、クライアント装置１０３は、通信制御部４０２を介して監視カメラ１０１と通信を行い、監視カメラ１０１を中央重点測光モード（初期設定モード）からカスタム測光モードに設定（変更）する。
次に、Ｓ５０２において、クライアント装置１０３は、画像データから被写体の検出を行う。本実施形態では、顔または人体の検出を行う。クライアント装置１０３の主記憶装置３０２には、顏の特徴部分や人体の特徴部分に対応するそれぞれのパターンが予め格納されており、被写体検出部４０６は、当該パターンに基づくパターンマッチングにより顔領域と人体領域を検出する。顔領域を検出する場合は、一般的には、顏を高精度に検出することができ、被写体の顔領域と顔領域以外の領域とを明確に識別することができる。しかしながら、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出することはできない。これに対して、人体検出を行う場合は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。

なお、被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン（識別器）を用いてもよい。あるいは、パターンマッチング以外の方法で被写体検出を行ってもよい。例えば、局所領域内の輝度勾配を用いて被写体検出を行ってもよい。すなわち、被写体の検出方法は特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。

Ｓ５０３において、被写体検出部４０６は、顔または人体の検出がなされたかどうかを判定する。検出されていればＳ５０４に進み、そうでなければ本処理を終了する。
Ｓ５０４において、測光領域設定部４０７は、被写体検出部４０６から得られる検出結果に基づいて、顔または人体の平均輝度値を算出する。具体的には、露出決定部４０７は、被写体検出部４０６から得られる検出結果に基づいて、顔または人体の検出数（検出された数）、検出位置、検出サイズに関する情報を下記の式（１）に適用する。算出された値は、ＡＥ前の平均輝度値として保持する。

式（１）

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、ｆは検出された顔または人体の検出数を表し、（ｖ、ｈ）は顔または人体が検出された中心座標を表し、ｋは水平方向の被写体の検出サイズを表し、ｌは垂直方向の被写体の検出サイズを表す。なお、検出された人体部分のうち、既に検出されている顔に対応する人体部分については、式（１）における演算から除外してよい。

次に、Ｓ５０５において、測光領域設定部４０７は、入力画像の領域分割を行う。本実施形態では、図７（ａ）に示すように、画像を５ブロック×５ブロックの領域に分割するものとする。２５個のブロック（領域）は全て同一の矩形状である。２５個のブロックは、分割領域と称してもよい。本実施形態では、２５個の領域のうち、３つの領域に符号７０１、７０２および７０３を付けた。図７（ａ）の領域７０１は図５の室内上部６０４ａの一部であり、黒色の壁などの、逆光状態や順光状態にかかわらず輝度の低い領域である。領域７０２は室内の左側の領域であり、室内に入り込む外光により、領域７０１より少し明るい。領域７０３は屋外の一部であり、領域７０２より明るい。なお、領域７０４は分割領域ではなく、後述する顔人体領域（人物の顔と人体を含む領域）である。領域７０４は、人物６０２の領域なので、被写体領域と称してもよい。領域７０４は、少なくとも人物の顔または人体を含む。

次に、Ｓ５０６において、測光領域設定部４０７は、Ｓ５０５で分割した各領域ｒの平均輝度値を式（２）を用いて算出し、算出結果をＡＥ前の平均輝度値として保持する。

式（２）

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、（ｐ、ｑ）は各領域の中心座標を表し、ｍは水平方向の各領域のサイズを表し、ｎは垂直方向の各領域のサイズを表す。
次に、Ｓ５０７において、測光領域設定部４０７は、Ｓ５０２で検出された顔または人体領域を測光領域として、監視カメラ１０１に設定する。Ｓ５０７で設定される領域が、図７の顔人体領域７０４となる。

Ｓ５０８において、測光領域設定部４０７は、監視カメラ１０１に対し、ＡＥの実行を指示する。
Ｓ５０９では、測光領域設定部４０７は、監視カメラ１０１のＡＥが完了するまで待機する。監視カメラ１０１のＡＥが完了したか否かは、例えば、クライアント装置１０３が監視カメラ１０１からＡＥ完了通知を受け取ったか否かにより判定する。あるいは、監視カメラ１０１のＡＥが完了したか否かは、監視カメラ１０１からクライアント装置１０３へ入力される入力画像の輝度変化が安定したかどうかによって判定してもよい。

Ｓ５１０において、測光領域設定部４０７は、Ｓ５０４と同様に、顔または人体の平均輝度値を算出する。算出した値は、ＡＥ後の平均輝度値として保持する。
Ｓ５１１において、測光領域設定部４０７は、Ｓ５０６と同様に、分割した各領域の平均輝度値を算出する。算出した値は、ＡＥ後の平均輝度値として保持する。

Ｓ５１２において、測光領域設定部４０７は、顔人体領域７０４および各分割領域のそれぞれについて、ＡＥ後の平均輝度値からＡＥ前の平均輝度値を引くことで、輝度変化量ΔＩｏｂｊｅｃｔおよびΔＩａｒｅａを算出する。ΔＩｏｂｊｅｃｔは顔人体領域７０４のＡＥ前後の平均輝度値の差であり、ΔＩａｒｅａは各分割領域のＡＥ前後の平均輝度値の差である。図８は、ＡＥ前の図７（ａ）の領域７０１～７０４と、ＡＥ後の図７（ｂ）の領域７０１～７０４の輝度値の例を示している。ＡＥ前の輝度値のみに注目すると、顔人体領域７０４と最も近い輝度値を有する領域は領域７０１である。しかし、領域７０１のような黒色の領域（物体）の場合、ＡＥ後の輝度値は、顔人体領域７０４ほど上昇しない。また、明るい領域が多いシーンなどで、顔人体領域以外の領域の輝度値が飽和して白飛びしてしまう場合、ＡＥ後の輝度値のみに注目すると、適切な領域選択が行えない。適切な領域選択を行うために、本実施形態では、Ｓ５１３～Ｓ５１５の処理を行う。つまり、本実施形態では、ＡＥ前後の輝度変化量まで考慮して測光領域を設定する。

Ｓ５１３において、測光領域設定部４０７は、式（３）を満たす領域、すなわちＳ５１２で算出したΔＩｏｂｊｅｃｔとΔＩａｒｅａの絶対値差分が閾値Ｔｈ以下の領域を領域候補として抽出する。本実施形態では、領域７０２と領域７０３が式（３）を満たしたとする。
なお、閾値（パラメータ）Ｔｈが大きく設定すると、測光領域として設定される領域候補は増えるが、その反面、精度の低下が懸念される。閾値Ｔｈは、監視カメラ１０１の設置環境等に応じてユーザが適宜設定してもよいし、初期値として低い値を設定しておき、領域候補が所定数抽出されるまで徐々に値を増大させるようにしてもよい。

式（３）
次に、Ｓ５１４において、測光領域設定部４０７は、Ｓ５１３で抽出された領域候補に対し、式（４）のように、Ｓ５１０において算出されるＡＥ後の顔人体平均輝度値Ｉｏｂｊｅｃｔと、Ｓ５１１において算出される各領域のＡＥ後の平均輝度値Ｉａｒｅａとの差分値（輝度差）ΔＩｒを算出する。

式（４）
次に、Ｓ５１５において、測光領域設定部４０７は、式（５）のように、Ｓ５１４で算出した差分値ΔＩｒが最小となる領域ｒを抽出し、カスタム測光モードにおける測光領域として監視カメラ１０１に設定し、本処理を終了する。本実施形態では、２つの領域候補である領域７０２と領域７０３のうち、領域７０２の差分値ΔＩｒが領域７０３の差分値ΔＩｒより小さいので、領域７０２がカスタム測光モードにおける測光領域として監視カメラ１０１に設定される。

式（５）
以上説明したように、本実施形態の撮像制御システム１００では、顔・人体の輝度に近い領域がカスタム測光の測光領域として自動的に設定（決定）される。このように測光領域を決定することで、ＡＥによって顔・人体の検出に適した輝度に常に露出制御することができる。例えば、ガラス扉を採用した店舗入口やスタジアムゲートなど、天候や時刻で逆光と順光が変わることで来店者や来場者被写体（人物）の顔の明るさが変動したり、顔が長時間映らない時間帯が存在するような環境でも、適切な測光領域の設定が可能となる。よって、撮像画像において人物の顔が黒くつぶれるようなことはない。
従来、強い逆光状態で人物の顔が黒つぶれしてしまうような場合、黒色の物体（例えば、領域７０１）が測光領域として設定されてしまい、適切な露出調整が行えない場合がある。本実施形態によれば、領域７０１が選択されることはない。

なお、本実施形態では、輝度変化量の差分値が閾値（所定値）Ｔｈ以下の領域のみを対象として測光領域を設定しているが、必ずしもこのようにする必要はない。例えば、輝度変化量の差分を、Ｓ５１４で算出される平均輝度値の差分値ΔＩｒに重みづけするようにしてもよい。
また、本実施形態では、顔または人体を検出するたびに（Ｓ５０３の判定結果がＹｅｓになるたびに）Ｓ５０４～Ｓ５１５の処理を行っているが、必ずしもこのようにする必要はない。例えば、動きの少ない人物を検出した場合にのみ図６の処理を実行してもよい。この場合、例えば、Ｓ５０１とＳ５０２の間に、被写体の移動速度を検出するステップを追加し、当該移動速度が所定値以下の場合にのみＳ５０２に進むようにする。動きの少ない安定した被写体に対して図６の処理を行うと、より精度よく処理を実行することができる。また、図６の処理は、監視カメラ１０１の設置時などに、図５のように逆光状態で人を立たせて一度だけ行ってもよい。

＜実施形態２＞
以下に、図１、図３～図５および図９～図１２を参照して、本発明の実施形態２を説明する。本実施形態では、被写体６０２の距離情報（監視カメラ１０１から被写体までの距離）を用いることで、カスタム測光の測光領域として、顔や人体が検出される領域に近い領域を自動的に選択する方法を説明する。なお、実施形態１と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。

図９は、実施形態２に係る監視カメラ１０１の内部構成を例示的に説明するブロック図である。図９に示す監視カメラ１０１と実施形態１の監視カメラ１０１（図２）との相違点は、図９に示す監視カメラ１０１が撮像素子９０２と距離情報算出部９１２を備えていることである。
撮像素子９０２は、撮像光学系２０１で集光される光束を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。本実施形態の撮像素子９０２は、後述する構成（図１０および図１１）を持つ像面位相差センサとしても機能する。

距離情報算出部９１２は、Ａ／Ｄ変換部２０８より取得した画像信号から、画像中の各画素における距離情報を算出する。ここで、距離情報の算出について図１０および図１１を用いて説明する。図１０は撮像素子９０２の１つの画素１００１の構成を概略的に示した図である。画素１００１は、マイクロレンズ１００２を有する。また画素１００１は、複数の光電変換領域としての複数のフォトダイオード（以下、「ＰＤ」と記載する）を有する。図１０では、１つの画素１００１が２つのＰＤ１００３、１００４を有する例を示している。なお、ＰＤの数は２つ以上であればよい。

図１１は、撮像光学系２０１の射出瞳１１０６から出射した光束Ｌが撮像素子９０２の１つの画素１００１に入射する様子を概念的に示した図である。図１１には、撮像素子９０２の画素アレイ１１０１の断面が概略的に示されている。画素アレイ１１０１には、マイクロレンズ１００２と、ＰＤ１００３と、ＰＤ１００４と、カラーフィルタ１００５が含まれている。
図１１では、マイクロレンズ１００２を有する画素１００１に対して、射出瞳１１０６から出射した光束Ｌの中心を、光軸１１０９で示している。射出瞳１１０６から出射した光束Ｌは光軸１１０９を中心として撮像素子９０２に入射する。

符号１１０７および１１０８は撮像光学系２０１の射出瞳１１０６の一部領域を示す。射出瞳１１０６の一部領域１１０７を通過する光の最外周の光線を符号１１１０および１１１１で示し、射出瞳１１０６の一部領域１１０８を通過する光の最外周の光線を符号１１１２および１１１３で示す。図１１から分かるように、射出瞳１１０６から出射する光束Ｌのうち、光軸１１０９を境にして、上側の光束はＰＤ１００４に入射し、下側の光束はＰＤ１００３に入射する。つまり、ＰＤ１００３、１００４はそれぞれ撮像光学系２０１の射出瞳１１０６の異なる領域の光を受光している。ここで、ＰＤ１００３で受光した光の信号をＡ像とし、ＰＤ１００４で受光した光の信号をＢ像とすると、Ａ像とＢ像の対の信号の視差に基づいてデフォーカス量を算出することができる。そして、デフォーカス量から距離情報を取得することができる。デフォーカス量は位相ずれ量（位相差）量である。このように、撮像素子９０２は、Ａ像とＢ像を検出する像面位相差センサとして機能することができる。

以下、図１２に図示するフローチャートを参照して、本実施形態に係る測光領域選択処理について説明する。なお、処理の開始タイミングについては実施形態１と同様なので説明は省略する。本実施形態においては、監視カメラ１０１の距離情報算出部９１２で算出された距離情報が、画像データとともに所定の更新周期でクライアント装置１０３へ送信されているものとする。

図１２のフローチャートを図６のフローチャート（実施形態１）と比較すると分かるように、図１２では、Ｓ５０３の次にＳ５０７～Ｓ５１０を実行し、Ｓ５１０の後にＳ５０５を実行し、Ｓ５０５の次にＳ５１１を実行する。また、実施形態２では、Ｓ５１１の次にＳ１２０１～Ｓ１２０７を実行する。Ｓ５０１～Ｓ５０３、Ｓ５０５、Ｓ５０７～Ｓ５１１の処理は実施形態１と同様なので、説明を省略する。実施形態２では、ＡＥ前の顔または人体の平均輝度を使用しないので、Ｓ５０４を実行しない。また、実施形態２では、ＡＥ前の分割領域の平均輝度を使用しないので、Ｓ５０６を実行しない。
Ｓ１２０１では、測光領域設定部４０７は、式（６）のように、監視カメラ１０１から得た距離情報から、顔または人体領域の平均距離Ｄｏｂｊｅｃｔを算出する。

式（６）

ここで、Ｄ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の距離情報（ｍ）を表す。また、ｆは検出された顔または人体の検出数を表し、（ｖ、ｈ）は顔または人体が検出された中心座標を表し、ｋは水平方向の被写体の検出サイズを表し、ｌは垂直方向の被写体の検出サイズを表す。なお、検出された人体部分のうち、既に検出されている顔に対応する人体部分については、式（６）における演算から除外してもよい。

次に、Ｓ１２０２において、測光領域設定部４０７は、距離情報の領域分割を行う。Ｓ１２０２の領域分割は、Ｓ５０５と同一数および同一サイズで行う。
Ｓ１２０３において、測光領域設定部４０７は、式（７）のように、Ｓ１２０２で分割した各領域（分割領域）の平均距離Ｄａｒｅａを算出する。

式（７）
ここで、Ｄ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の距離情報（ｍ）を表す。また、（ｐ、ｑ）は各領域の中心座標を表し、ｍは水平方向の各領域のサイズを表し、ｎは垂直方向の各領域のサイズを表す。

次に、Ｓ１２０４において、測光領域設定部４０７は、式（８）のように、Ｓ１２０１において算出される顔人体領域の平均距離Ｄｏｂｊｅｃｔと、Ｓ１２０３において算出される各領域の平均距離Ｄａｒｅａとの差分値ΔＤｒを算出する。

式（８）

Ｓ１２０５において、測光領域設定部４０７は、式（９）のように、Ｓ５１０において算出されるＡＥ後の顔人体平均輝度値Ｉｏｂｊｅｃｔと、Ｓ５１１において算出される各領域のＡＥ後の平均輝度値Ｉａｒｅａとの差分値ΔＩｒを算出する。

式（９）

最後に、Ｓ１２０６およびＳ１２０７において、式（１０）のように、平均輝度値の差分値ΔＩｒと平均距離の差分値ΔＤｒに基づいて、以下のように測光領域を選択する。
すなわち、Ｓ１２０６において、測光領域設定部４０７は、Ｓ１２０５で算出した平均輝度値の差分値ΔＩｒに対し、Ｓ１２０４で算出した平均距離の差分値ΔＤｒで重みづけを行う。本実施形態では、平均距離の差分値ΔＤｒの重みは、パラメータαを用いて調整する。例えば、環境光などの影響が顔人体領域と近い領域を優先して選択させる場合は、パラメータαを大きく設定する。つまり、ΔＩｒ＋ΔＤｒ×αを算出する。
Ｓ１２０７において、測光領域設定部４０７は、Ｓ１２０６で重みづけした後の値（ΔＩｒ＋ΔＤｒ×α）が最も小さい領域ｒを抽出し（式（１０））、測光領域として監視カメラ１０１に設定し、本処理を終了する。

式（１０）

以上説明したように、実施形態２によれば、顔や人体が検出される領域と近い距離の領域が優先して測光領域として選択される。領域同士の距離が近いほど、周辺の環境光（外光、室内灯など）による影響も近くなると考えられる。本実施形態のような処理を行うことにより、周辺の環境光の影響が顔や人体が検出される領域と近い領域でＡＥが行われるようになり、環境光の変化が発生した場合でも、精度低下を抑制することができる。

なお、本実施形態では、像面位相差センサ（撮像素子９０２）から取得した奥行方向（例えば、図７の紙面に垂直な方向）の距離情報に基づいてＳ１２０１～Ｓ１２０７の処理を実行しているが、本実施形態はこれに限定されない。奥行方向の距離情報が得られないセンサ（撮像素子）を使用する監視カメラ１０１であれば、画角と画像の画素位置に基づいて横方向の距離を算出し、本実施形態の処理を適用してもよい。さらに、奥行方向と横方向との両方の距離情報から斜め方向の距離を算出し、本実施形態の処理を適用することもできる。
また、本実施形態の処理と実施形態１の処理とを組み合わせることで、より精度を向上させることも可能である。この場合、実施形態１におけるＳ５１５において、本実施形態におけるＳ１２０６～Ｓ１２０７と同様に、平均距離差ΔＤｒで重みづけを行えばよい。

＜実施形態３＞
以下に、図１～図４および図１３～図１５を参照して、本発明の実施形態３を説明する。実施形態１では、図６の処理により、監視カメラ１０１が露光制御を行う際に用いる測光領域を、クライアント装置１０３が自動的に設定（決定）した。本実施形態では、監視カメラ１０１が露光制御を行う際に用いる測光領域を、ユーザが決定できる態様を説明する。なお、実施形態１と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。

図１３に図示するフローチャートを参照して、本実施形態に係る測光領域選択処理について説明する。図１３のフローチャートを図６のフローチャートと比較すると分かるように、実施形態３（図１３）では、Ｓ５０１の前にＳ１３０１を実行し、次にＳ５０１～Ｓ５１４を実行し、Ｓ５１４の後にＳ１３０３～Ｓ１３０４を実行する。実施形態１で実行したＳ５１５は、実施形態３では実行しない。Ｓ５０１～Ｓ５１４の処理は実施形態１と同様なので、説明を省略する。
ユーザが入力装置１０４を操作して監視カメラ１０１の測光モードを手動で設定するための指示をクライアント装置１０３に入力すると、Ｓ１３０１において、測光領域設定部４０７は、図１４に示すようなＧＵＩ１０５ａを表示装置１０５に表示する。ＧＵＩはＧｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。ＧＵＩ１０５ａにより、表示装置１０５は、ユーザに測光領域設定処理の開始を促す。開始ボタン１４０１が押下されると、Ｓ５０１に進む。そして、Ｓ５０１～Ｓ５１４の処理が行われる。Ｓ５１４の後、Ｓ１３０２に進む。

Ｓ１３０２において、測光領域設定部４０７は、Ｓ５１３で抽出された領域について、Ｓ５１４で算出した差分値に基づいて、昇順ソート処理（差分値が小さいものから順に並び替え）を行う。

Ｓ１３０３において、測光領域設定部４０７は、Ｓ１３０２で並び変えた領域のうち、上位から所定数の領域を表示装置１０５に領域候補として、入力画像（監視カメラ１０１の撮像画像）に重畳させて表示し、ユーザに選択を促す。図１５は、所定数を３としたとき（つまり、３つの領域候補がある場合）の表示装置１０５の画面（選択画面）を示す。表示装置１０５の画面には、ユーザに選択を促すメッセージが表示されている。領域１５０１は、上位１番目の領域候補であり、領域１５０２は上位２番目の領域候補であり、領域１５０３は上位３番目の領域候補である。本実施形態では、領域１５０１～１５０３の中に、候補順位を表す数字「１」、「２」、「３」を表示している。当該数字により、ユーザが直感的に領域を選択しやすいようにしている。つまり、領域候補（分割領域）が２つ以上ある場合、当該２つ以上の領域候補の表示形態を変えることにより、ユーザが領域を選択しやすいようにしている。
ユーザは入力装置１０４を用いて、領域１５０１～１５０３のいずれか１つを選択する。当該選択は、例えば、入力装置１０４のマウスをクリックすること、キーボードのカーソルキーを操作すること、タッチパネルへ触れること等によって行われる。例えば、ユーザは領域１５０１を選択する。

最後に、測光領域設定部４０７は、Ｓ１３０３で選択された領域を、測光領域として監視カメラ１０１に設定し、本処理を終了する。
以上、本実施形態によれば、ユーザと対話式で測光領域設定を行うことができる。本実施形態では、所定数の領域候補を入力画像に重畳させて表示し、その中から１つの領域をユーザに選択させている。このようにすることで、ユーザは領域候補の中から変動の少ない領域を直感的に選択することができる。このような領域が測光領域として設定されることで、より安定したＡＥが行われるようになり、顔や人体の検出性能低下を抑制することができる。

なお、上記した実施形態では、ユーザが領域１５０１を選択するとしたが、他の領域候補を選択する場合も有り得る。例えば、領域１５０１に消火器ではなく段ボール箱がある場合、段ボール箱は領域１５０１から撤去される可能性がある。段ボール箱が領域１５０１から撤去されると、領域１５０１の輝度が変化し得るので、ユーザは領域１５０１を測光領域として選択することが不適当であると考える場合がある。このような場合、ユーザは領域１５０２を選択してよい。
また、表示装置１０５に表示する領域候補の数は３としたが、１以上であればよい。
実施形態３は実施形態１との比較で説明されたが、実施形態３のような手動設定は、実施形態２にも適用できる。この場合、例えば、Ｓ１２０６で得られるΔＩｒ＋ΔＤｒ×αの値が所定値以下の分割領域を領域候補として表示装置１０５に表示する。そして、Ｓ１２０７を実行することなく、表示装置１０５に領域候補を表示し、ユーザに選択を促す。領域候補が複数ある場合は、領域候補の表示形態を変える。

上記した実施形態では、監視カメラ１０１が説明されたが、監視カメラ１０１以外の撮像装置を使用してもよい。また、監視カメラ１０１とクライアント装置１０３が別々の装置であるとして説明されているが、クライアント装置１０３と監視カメラ１０１を一体化してもよい。この場合、クライアント装置１０３と監視カメラ１０１を一体化してできる撮像装置が図６、図１２または図１３の測光領域の設定処理を行う。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：監視カメラ、１０３：クライアント装置、１０５：表示装置、３０１：ＣＰＵ、４０３：入力画像取得部、４０６：被写体検出部、４０７：測光領域設定部、６０２：人物（被写体）、７０１～７０３：ブロック（分割領域）、７０４：顔人体領域

Claims (13)

1. 撮像装置が撮像した画像内で被写体領域を検出する検出手段と、
   前記画像を複数の分割領域に分割する分割手段と、
   前記被写体領域の輝度値と、前記分割領域の輝度値との差分である輝度差を算出する第１の算出手段と、
   前記撮像装置が前記被写体領域を測光領域として露出制御を行う前後における前記被写体領域の輝度値の差分である第１の変化量と、前記撮像装置が前記被写体領域を測光領域として露出制御を行う前後における前記分割領域の輝度値の差分である第２の変化量とをそれぞれ算出する第２の算出手段と、
   前記第１の変化量と、前記第２の変化量と、前記輝度差とに基づいて、前記撮像装置が露光制御を行う際に用いる測光領域を決定する決定手段と、
   を有することを特徴とした制御装置。
2. 前記決定手段は、前記複数の分割領域のうち、前記第１の変化量と前記第２の変化量の差が所定値以下の分割領域の輝度値と、前記被写体領域の輝度値との差分とに基づいて、前記測光領域を決定する請求項１に記載の制御装置。
3. 前記第１の変化量と前記第２の変化量の差が所定値以下の分割領域が２つ以上ある場合、前記決定手段は、前記２つ以上の分割領域のうち、前記第１の変化量と前記第２の変化量の差が所定値以下の分割領域の輝度値と、前記被写体領域の輝度値との差分が最も小さい分割領域を、前記測光領域として決定する請求項１または２に記載の制御装置。
4. 前記第１の変化量と前記第２の変化量の差が所定値以下の分割領域を表示する表示手段をさらに有する請求項１または２に記載の制御装置。
5. 前記第１の変化量と前記第２の変化量の差が所定値以下の分割領域が２つ以上ある場合、前記表示手段は、前記第１の変化量と前記第２の変化量の差が所定値以下の分割領域の輝度値と、前記被写体領域の輝度値との差分とに基づいて、前記２つ以上の分割領域の表示形態を変える請求項４に記載の制御装置。
6. 撮像装置が撮像した画像内で被写体領域を検出する検出手段と、
   前記画像を複数の分割領域に分割する分割手段と、
   前記被写体領域の輝度値と、前記分割領域の輝度値との差分を輝度差として算出する第１の算出手段と、
   前記撮像装置から前記被写体領域までの距離と、前記撮像装置から前記分割領域までの距離との差分を距離差として算出する第２の算出手段と、
   前記輝度差と前記距離差に基づいて、前記撮像装置が露光制御を行う際に用いる測光領域を決定する決定手段と、
   を有することを特徴とした制御装置。
7. 前記第１の算出手段は、前記撮像装置が前記被写体領域を測光領域として露出制御を行った後における前記被写体領域の輝度値と前記分割領域の輝度値との差分を前記輝度差として算出する請求項６に記載の制御装置。
8. 前記検出手段は、前記被写体領域として、少なくとも人物の顔または人体を検出する請求項１～７のいずれか一項に記載の制御装置。
9. 前記露光制御は、前記画像中の任意の位置に測光領域を設定できる露光制御である請求項１～８のいずれか一項に記載の制御装置。
10. 画像を撮像する撮像手段と、
    前記撮像手段が撮像した画像に基づいて、前記撮像手段の測光領域を決定する請求項１～９のいずれか一項に記載の制御装置と、
    を備える装置。
11. 撮像装置が撮像した画像内で被写体領域を検出するステップと、
    前記画像を複数の分割領域に分割するステップと、
    前記被写体領域の輝度値と、前記分割領域の輝度値との差分である輝度差を算出するステップと、
    前記撮像装置が前記被写体領域を測光領域として露出制御を行う前後における前記被写体領域の輝度値の差分である第１の変化量と、前記撮像装置が前記被写体領域を測光領域として露出制御を行う前後における前記分割領域の輝度値の差分である第２の変化量とをそれぞれ算出するステップと、
    前記第１の変化量と、前記第２の変化量と、前記輝度差とに基づいて、前記撮像装置が露光制御を行う際に用いる測光領域を決定するステップと、
    を有することを特徴とした制御方法。
12. 撮像装置が撮像した画像内で被写体領域を検出する検出ステップと、
    前記画像を複数の分割領域に分割するステップと、
    前記被写体領域の輝度値と、前記分割領域の輝度値との差分を輝度差として算出するステップと、
    前記撮像装置から前記被写体領域までの距離と、前記撮像装置から前記分割領域までの距離との差分を距離差として算出するステップと、
    前記輝度差と前記距離差に基づいて、前記撮像装置が露出制御を行う際に用いる測光領域を決定するステップと、
    を有することを特徴とした制御方法。
13. コンピュータを、請求項１から９のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。