JP2008206111A - 撮影装置及び撮影方法 - Google Patents

Abstract

【課題】逆光や過順光等の照明条件であっても、被写体と背景の双方とも良好な画像データが得られる撮影装置を提供する。
【解決手段】フレームＦ(i)から被写体を検出し、被写体領域の輝度ヒストグラムを作成する。その輝度分布の２０％以上が中間輝度範囲にない場合には、被写体領域と背景領域の輝度分布を適正化する露光制御により（S13,S15〜S17）、それぞれフレームＦ(i+1)とフレームＦ(i+2)を得る（S14,S18）。前記３つのフレームの被写体領域と背景領域（輝度範囲別）の空間周波数分析を行い（S12,S19,S20）、その結果を比較し、フレームＦ(i+1),Ｆ(i+2)の画像データに対して適正露光領域ほど大きな重み付けを行った後（S21〜S23）、その処理後の各フレームＦ(i+1),Ｆ(i+2)を合成したフレームＦcomを出力させる（S24,S25）。
【選択図】図２ｂ

Description

本発明は撮影装置及び撮影方法に係り、逆光や過順光等の高コントラスト状態となる照明条件であっても、注目すべき被写体や背景を見易い画像にして出力させるための画像処理技術に関する。

従来から、監視システムでは人や車等の被写体に注目した撮影を行うことが多いが、被写体に対する撮影環境が常に良好な照明条件になるとは限らない。例えば、屋外での過順光や、建物内から外を撮影する際の逆光等に代表される高コントラスト状態のシーンでは、画像全体の露光を適正にするためにシャッタスピードや絞り・ゲインを調整しても、被写体や背景が白とび状態や黒つぶれ状態で撮影されてしまうことがある。

それらの現象を防止する対策として、撮影画角を矩形等の複数の領域に分割し、各分割領域についてそれぞれ検出した光量に対して重み付けを行って全体の露光を決定する自動露光制御（Automatic Exposure：ＡＥ）や、画面全体又は画面の中央付近の予め設定した注目領域に合わせた露光制御を行う逆光補正機能（Back Light Control：ＢＬＣ）等の調整機能が知られているが、全体の光量バランスによって被写体部分が暗く又は明るくなり過ぎる場合や、任意の位置に出現・移動する被写体に対して適正な測光ができないという問題があり、充分な効果が得られないことがある。また、逆に被写体に対してのみ露光を合わせると、背景が白とびや黒つぶれになって見えなくなることがある。

一方、ダイナミックレンジの広い撮像素子を用いるようにすれれば、高コントラストになる照明条件にも適応でき、ＳＮ比も良くなるが、当然に撮像素子が高価なものになる。従って、撮像素子の性能に依存しないで、前記照明条件のような場合であっても高品質な画像が得られるようにするための提案が様々な角度からなされている。

例えば、下記特許文献１においては、短露光と長露光の２つの異なる露光時間で撮影した２つの画像データを複数ブロックに分割し、各ブロックについて求めた輝度系周波数成分パラメータと輝度系輝度レベル成分パラメータと色系成分パラメータを用いてブロック単位での画像合成パラメータを求め、各画像データ相互間で対応している各ブロックの画像合成パラメータと所定閾値（適正露光か異常露光かを判断する閾値）とを比較し、より近い方の画像合成パラメータに対応するブロックを合成用に選択して１枚の画像データとする画像処理装置が開示されている。また、下記特許文献２においては、出力画像の出力周期よりも短周期でフレーム画像を撮像し、その撮像したフレーム画像を周波数解析してコントラストが低い領域を特定し、その特定された領域の画像データを複数フレーム分加算して出力画像を作成する画像処理装置が開示されている。
特開２００１−８２１６号公報 特開２００３−２５９２１１号公報

ところで、前記各特許文献の画像処理装置においても、次のような問題点が指摘される。先ず、特許文献１の画像処理装置では、長短２つの固定露光時間で撮像した画像データを用いているが、いずれの露光時間も適正露光からかけ離れている場合があり得る。また、画像合成パラメータと所定閾値とを比較してより適正なブロックを合成対象として選択しているが、当然に露光時間の異なるブロック同士が隣接することも多く、画像合成パラメータの個別要素である各成分パラメータもブロック内の各画素についての平均値として得られるものであることから、ブロックの境界で明暗の継ぎ目が目立つような場合が想定される。更には、被写体自体にも本来的に輝度が高い場合と低い場合とがあるため、前記のように画像合成パラメータと所定閾値と比較した結果が、真にブロックの適切な選択に帰結するとは限らないという問題点もある。

特許文献２の画像処理装置では、画像内における注目領域のコントラストの低下は過順光条件での白とび状態や逆光条件による照度不足での黒つぶれ状態で発生し易く、その場合には被写体の本来の色相や輪郭等の情報が欠落していることが多いため、そのようなフレームを複数加算合成しても画像情報を有効に再生できるとは限らない。また、画像内の暗い部分にはノイズが混入していることが多く、複数フレームの加算合成によって、コントラストが良好になることはあっても、ＳＮ比についての改善は望むべくもなく、更には、誤った部分が強調されたコントラストの画像が出力されるようなこともあり得るため、画質の改善に結び付くか否かには疑問がある。

そこで、本発明は、前記従来技術における各問題点を解消させて、逆光や過順光等のように画像全体が高コントラスト状態になる照明条件であっても、より高品質な画像を得ることが可能な撮影装置及び撮影方法を提供することを目的とする。

第１の発明は、自動露光制御機能を有した撮影装置において、撮像された画像の第１番目のフレームデータを記憶する第１のフレーム記憶手段と、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータから目的とする被写体を検出する被写体検出手段と、前記被写体検出手段が被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第１のヒストグラム作成手段と、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する判定手段と、前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける被写体領域以外の領域（以下、「背景領域」という）の輝度ヒストグラムを作成する第２のヒストグラム作成手段と、前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１の空間周波数分析手段と、前記判定手段の判定結果が否定的であった場合に、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第１の露光制御手段と、前記第１の露光制御手段が設定した露光状態で撮像された第２番目のフレームデータを記憶する第２のフレーム記憶手段と、前記第２のヒストグラム作成手段が作成した背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第２の露光制御手段と、前記第２の露光制御手段が設定した露光状態で撮像された第３番目のフレームデータを記憶する第３のフレーム記憶手段と、前記第２のフレーム記憶手段が記憶した第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第２の空間周波数分析手段と、前記第３のフレーム記憶手段が記憶した第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第３の空間周波数分析手段と、前記第１の空間周波数分析手段による分析結果に対する前記第２の空間周波数分析手段と前記第３の空間周波数分析手段による各分析結果をそれぞれ比較し、前記第２及び第３のフレーム記憶手段がそれぞれ記憶している第２番目及び第３番目のフレームデータに対して、それぞれより適正な露光状態にある領域ほどより大きな重み付け処理を施す重み付け手段と、前記重み付け手段により重み付け処理が施された後の前記第２のフレーム記憶手段の第２番目のフレームデータと前記第３のフレーム記憶手段の第３番目のフレームデータとを合成するフレーム合成手段とを具備し、前記被写体検出手段が被写体を検出し、且つ前記判定手段の判定結果が否定的であった場合には、前記フレーム合成手段が合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影装置に係る。

この第１の発明では、逆光や過順光等の高コントラスト状態となる照明条件での撮影となって、判定手段により「第１のヒストグラム作成手段が作成した第１番目のフレームデータから得られた被写体領域の輝度ヒストグラムにおける累積画素数の分布が中間輝度範囲内に所定割合以上含まれていない」と判定された場合（被写体領域が適正な露光状態になっていない場合）に、先ず、第１の露光制御手段によって被写体領域の輝度分布を適正化する露光状態を設定して第２番目のフレームデータを得る。また、背景領域についても、第２の露光制御手段によって、背景領域の輝度ヒストグラムを参照することで累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光状態を設定して第３番目のフレームデータを得る。従って、第２番目のフレームデータの被写体領域と第３番目のフレームデータの背景領域とを合成すればフレーム全体として白とびや黒つぶれのない良好なコントラストの画像が得られるように思えるが、第２番目と第３番目の各フレームデータはそれぞれ輝度ヒストグラムに基づいた露光制御により得られたものであり、被写体領域と背景領域をそのまま合成しても高品質な画像は得られない。そこで、この発明では、第１番目のフレームデータについて、第１のヒストグラム作成手段によって被写体領域の輝度ヒストグラムを作成するだけでなく、第１の空間周波数分析手段により被写体領域と背景領域（各輝度範囲別）について空間周波数分析を行っておくと共に、第２番目及び第３番目のフレームデータについても第２及び第３の空間周波数分析手段によってそれぞれ空間周波数分析を行う。そして、重み付け手段が、第１の空間周波数分析手段による分析結果と第２及び第３の空間周波数分析手段による分析結果とをそれぞれ領域毎に比較し、第２番目及び第３番目のフレームデータに対して各領域毎により適正な露光状態にあるほどより大きな重み付けを行い、フレーム合成手段がその重み付け処理後の第２番目及び第３番目のフレームデータを合成する。空間周波数分析の結果に基づいた露光の適正度合いに応じて重み付けを行っていることにより、画像中の白とびや黒つぶれになってしまうような領域を良好なコントラストで表示させることができる。

第２の発明は、自動露光制御機能を有した撮影装置において、撮像された画像の第１番目のフレームデータを記憶する第１のフレーム記憶手段と、前記フレーム記憶手段が記憶した第１番目のフレームデータから目的とする被写体を検出する被写体検出手段と、前記被写体検出手段が被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第１のヒストグラム作成手段と、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する判定手段と、前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第２のヒストグラム作成手段と、前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１の空間周波数分析手段と、前記判定手段の判定結果が否定的であった場合に、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第１の露光制御手段と、前記第１の露光制御手段が設定した露光状態で撮像された第２番目のフレームデータを記憶する第２のフレーム記憶手段と、前記第２のフレーム記憶手段が記憶した第２番目のフレームデータにおける被写体領域の輝度ヒストグラムを作成する第３のヒストグラム作成手段と、前記第２のヒストグラム作成手段が作成した背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第２の露光制御手段と、前記第２の露光制御手段が設定した露光状態で撮像された第３番目のフレームデータを記憶する第３のフレーム記憶手段と、前記第３のフレーム記憶手段が記憶した第３番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第４のヒストグラム作成手段と、前記第２のフレーム記憶手段が記憶した第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第２の空間周波数分析手段と、前記第３のフレーム記憶手段が記憶した第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第３の空間周波数分析手段と、前記第１のヒストグラム作成手段が作成した第１番目のフレームデータにおける被写体領域の輝度ヒストトグラムと前記第３のヒストグラム作成手段が作成した第２番目のフレームデータにおける被写体領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第１の比較・判定手段と、前記第１の比較・判定手段の判定結果が否定的であった場合に、前記第１の空間周波数分析手段による第１番目のフレームデータにおける被写体領域についての分析結果と前記第２の空間周波数分析手段による第２番目のフレームデータにおける被写体領域についての分析結果とを比較して、被写体領域でノイズが所定値以上に増加しているか否かを判定する第２の比較・判定手段と、前記第２の比較・判定手段による判定結果が肯定的であった場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータにおける各被写体領域に含まれているノイズ量を検出し、その各被写体領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第１の重み付け手段と、前記第２のヒストグラム作成手段が作成した第１番目のフレームデータにおける背景領域の輝度ヒストトグラムと前記第４のヒストグラム作成手段が作成した第３番目のフレームデータにおける背景領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第３の比較・判定手段と、前記第３の比較・判定手段の判定結果が否定的であった場合に、前記第１の空間周波数分析手段による第１番目のフレームデータにおける背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域（以下、「各対象領域」という）ついての分析結果と前記第３の空間周波数分析手段による第３番目のフレームデータにおける背景領域の各対象領域ついての分析結果とをそれぞれ比較し、各対象領域でノイズが所定値以上に増加しているものが有るか否かを判定する第４の比較・判定手段と、前記第４の比較・判定手段によりノイズが所定値以上に増加した対象領域が有ると判定された場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの該当対象領域に含まれているノイズ量を検出し、その該当対象領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第２の重み付け手段と、前記第１乃至第３の空間周波数分析手段による各分析結果の内で、前記第１の重み付け手段と前記第２の重み付け手段による重み付け処理の対象から外れた各領域についての分析結果を比較し、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの各領域に対して、より適正な露光状態にある領域ほどより大きな重み付け処理を施す第３の重み付け手段と、前記第３の重み付け手段により重み付け処理が施された後の前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータを合成するフレーム合成手段とを具備し、前記被写体検出手段が被写体を検出し、且つ前記判定手段の判定結果が否定的であった場合には、前記フレーム合成手段が合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影装置に係る。

撮像した画像の中に元々低輝度であるような物体が存在している場合、第１の発明ではそれを照明条件によって低輝度になっている場合と区別せずに処理するため、適正な露光状態の設定をしようとすると逆に過剰露光になってしまうことになる。即ち、物体の属性として低輝度になっている領域については露光を上げても輝度は高くならず、過剰露光によってノイズだけが増加する現象を呈するために、フレームデータを合成して得られる画像の前記低輝度領域がざらついた状態になって表示画像の画質が悪くなる。この第２の発明は、撮像した画像の中に元々低輝度であるような物体が存在している場合にも、それに対応してノイズの影響を抑制できる撮影装置を提供する。この発明では、被写体領域に関しては第１の比較・判定手段と第２の比較判定手段と第１の重み付け手段とが関与し、また、背景領域に関しては第３の比較・判定手段と第４の比較判定手段と第２の重み付け手段とが関与している。即ち、第１乃至第３のフレームデータにおける被写体領域と各対象領域であって、輝度分布を適正化させても輝度が高くならず、且つ空間周波数分析の結果においてノイズ量が所定値以上増加している領域については、物体の属性として低輝度になっている領域であるとみなし、その領域に含まれている画像データに対してノイズ量が大きいほどより小さな重み付け処理を施すようにしている。更に、この発明では、第１乃至第３のフレームデータにおける前記の重み付け処理の対象となった領域以外については、第３の重み付け手段が空間周波数分析の結果を比較し、より適正な露光状態にある領域ほどより大きな重み付け処理を施す。そして、フレーム合成手段により前記の各重み付け処理を行った後の第１乃至第３のフレームデータを合成するが、前記のように物体の属性として低輝度になっている領域に対する重み付けが小さくなっているため、ノイズの影響を抑制した高品質な画像が得られる。

前記の第１及び第２の発明は、次のような撮影方法の発明としても捉えることができる。
(1) 自動露光制御機能を有した撮影装置による撮影方法であって、撮像された画像の第１番目のフレームデータを第１のフレーム記憶手段に記憶させる第１のステップと、前記第１のフレーム記憶手段に記憶させた第１番目のフレームデータから目的とする被写体を検出する第２のステップと、前記第２のステップで被写体が検出された場合に、その被写体領域の輝度ヒストグラムを作成する第３のステップと、前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する第４のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第５のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第６のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第７のステップと、前記第６のステップで設定した露光状態で撮像された第２番目のフレームデータを第２のフレーム記憶手段に記憶させる第８のステップと、前記第５のステップで作成された背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第９のステップと、前記第９のステップで設定した露光状態で撮像された第３番目のフレームデータを第３のフレーム記憶手段に記憶させる第１０のステップと、前記第８のステップで前記第２のフレーム記憶手段に記憶させた第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１１のステップと、前記第１０のステップで前記第３のフレーム記憶手段に記憶させた第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１２のステップと、前記第６のステップでの分析結果に対して前記第１１のステップと前記第１２のステップでの各分析結果をそれぞれ比較し、前記第２及び第３のフレーム記憶手段がそれぞれ記憶している第２番目及び第３番目のフレームデータに対して、それぞれより適正な露光状態にある領域ほどより大きな重み付け処理を施す第１３のステップと、前記第１３のステップで重み付け処理が施された後の前記第２のフレーム記憶手段の第２番目のフレームデータと前記第３のフレーム記憶手段の第３番目のフレームデータとを合成する第１４のステップとを有し、前記第２のステップで被写体を検出し、且つ前記第４のステップでの判定結果が否定的であった場合には、前記第１４のステップで合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影方法。
(2) 自動露光制御機能を有した撮影装置による撮影方法であって、撮像された画像の第１番目のフレームデータを第１のフレーム記憶手段に記憶させる第１のステップと、前記第１のフレーム記憶手段に記憶させた第１番目のフレームデータから目的とする被写体を検出する第２のステップと、前記第２のステップで被写体が検出された場合に、その被写体領域の輝度ヒストグラムを作成する第３のステップと、前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する第４のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第５のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第６のステップと、前記第４のステップでの判定結果が否定的であった場合に、前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第７のステップと、前記第６のステップで設定した露光状態で撮像された第２番目のフレームデータを第２のフレーム記憶手段に記憶させる第８のステップと、前記第２のフレーム記憶手段が記憶している第２番目のフレームデータにおける被写体領域の輝度ヒストグラムを作成する第９のステップと、前記第５のステップで作成された背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第１０のステップと、前記第１０のステップで設定した露光状態で撮像された第３番目のフレームデータを第３のフレーム記憶手段に記憶させる第１１のステップと、前記第３のフレーム記憶手段が記憶している第３番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第１２のステップと、前記第２のフレーム記憶手段が記憶している第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１３のステップと、前記第３のフレーム記憶手段が記憶している第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１４のステップと、前記第３のステップで作成された第１番目のフレームデータにおける被写体領域の輝度ヒストトグラムと前記第９のステップで作成された第２番目のフレームデータにおける被写体領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第１５のステップと、前記第１５のステップでの判定結果が否定的であった場合に、前記第６のステップでの第１番目のフレームデータにおける被写体領域についての分析結果と前記第１３のステップでの第２番目のフレームデータにおける被写体領域についての分析結果とを比較して、被写体領域でノイズが所定値以上に増加しているか否かを判定する第１６のステップと、前記第１６のステップでの判定結果が肯定的であった場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータにおける各被写体領域に含まれているノイズ量を検出し、その各被写体領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第１７のステップと、前記第５のステップで作成された第１番目のフレームデータにおける背景領域の輝度ヒストトグラムと前記第１２のステップで作成された背景領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第１８のステップと、前記第１８のステップでの判定結果が否定的であった場合に、前記第６のステップでの第１番目のフレームデータにおける背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域（以下、「各対象領域」という）ついての分析結果と前記第１４のステップでの第３番目のフレームデータにおける背景領域の各対象領域ついての分析結果とをそれぞれ比較し、各対象領域でノイズが所定値以上に増加しているものが有るか否かを判定する第１９のステップと、前記第１９のステップでノイズが所定値以上に増加した対象領域が有ると判定された場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの該当対象領域に含まれているノイズ量を検出し、その該当対象領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第２０のステップと、前記第６のステップと前記第１３のステップと前記第１４のステップでの各周波数分析の分析結果の内で、前記第１７のステップと前記第２０のステップでの重み付け処理の対象から外れた各領域についての分析結果を比較し、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの各領域に対して、より適正な露光状態にある領域ほどより大きな重み付け処理を施す第２１のステップと、前記第２１のステップにおいて重み付け処理が施された後の前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータを合成する第２２のステップとを有し、前記第２のステップで被写体を検出し、且つ前記第４のステップでの判定結果が否定的であった場合には、前記第２２のステップで合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影方法。

本発明の撮影装置及び撮影方法は、以上の構成を有していることにより、次のような効果を奏する。逆光状態や可順光状態等の高コントラストになる照明条件であっても、画像フレームにおける被写体領域と背景領域のいずれにも黒つぶれや白とびが発生せずに全体として分解能の高い撮影画像を得ることを可能にする。また、物体自体がその属性として低輝度であるような場合には、露光状態の適正化を行うと逆に過剰露光となってその低輝度領域にノイズが発生してしまうが、出力される撮影画像にその影響が発現しないようにして高い画品質を実現する。従って、本発明は監視システムに好適な撮影装置と撮影方法を提供する。

以下、本発明の撮影装置及び撮影方法の実施形態を図面に基づいて説明する。
［実施形態１］
先ず、図１は監視カメラのブロック図であり、１１は対物レンズと絞り・焦点調節機構を含んだ結像光学系部、１２はＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成された撮像素子、１３は撮像信号の雑音除去［ＣＤＳ（Correllated Double Sampling）回路］やゲイン調整［ＡＧＣ（Auto Gain Control）回路］等のアナログ信号処理を行うＡＦＥ（Analogue Front End）、１４はＡＦＥ１３で処理されたアナログ信号をデジタル信号へ変換するＡ/Ｄ変換器、１５はメモリ、１６はメモリ１５にセーブさせたフレームデータを解析して焦点・露光制御データを作成すると共に各種データ処理を行うデジタル信号処理部（ＤＳＰ）、１７はＤＳＰ１６で処理された画像データのデジタル信号をアナログ信号に変換するＤ/Ａ変換器、１８はＤＳＰ１６が作成した焦点・露光制御データに基づいて結像光学系部１１の絞り・焦点調節機構を駆動するレンズ・絞り駆動部、１９はＤＳＰ１６が作成した焦点・露光制御データに基づいて撮像素子１２のシャッタスピードやＣＤＳ回路のサンプルホールドタイミングを設定するためのパルスを生成するタイミングジェネレータ、２０はシステム全体の動作を制御（ＡＦＥ１３のＡＧＣ回路は直接制御）するマイクロコンピュータ回路、２１はネットワークを介して画像データを集中監視室（図示せず）へ伝送すると共に集中監視室側から受信した制御信号をマイクロコンピュータ回路２０へ出力する通信制御部である。

以上の監視カメラの基本的構成は格別な特徴を有するものではないが、この実施形態では、撮影時の照明条件が逆光や過順光等の高コントラスト状態になっている可能性がある場合に、ＤＳＰ１６がフレーム画像を解析して露光制御と特有の画像処理を行うことにより出力フレームを生成させる点に特徴がある。次に、その動作手順を図２ａ及び図２ｂのフローチャートを参照しながら説明する。

先ず、監視エリアの撮影画像が結像光学系部１１により撮像素子１２に結像せしめられ、撮像素子１２で光電変換された撮像信号はＡＦＥ１３で信号処理を経た後、Ａ/Ｄ変換器１４でデジタル信号へ変換されてＤＳＰ１６へ入力される。ＤＳＰ１６では、入力画像データのフレームＦ(i)をメモリ１５にセーブさせ、被写体検出アルゴリズムを実行してフレームＦ(i)に被写体が含まれているか否かを確認する（S1,S2）。この実施形態では、人物を被写体に設定しており、その検出には次のようなアルゴリズムを採用できる。
(1) 人物の顔を検出して人物の位置と領域を求める方法：入力されたフレームから所定サイズ毎の画像データをサンプリングし、予め登録されている人物の顔の特徴データを参照して、人物の顔の画像データがあるか否かを判別することにより人物の位置と領域を求める。
(2) 予め登録してある背景画像と撮像画像の差分を計算し、差分画像を解析することにより人物の位置と領域を求める方法：予め背景画像フレームを取得して登録しておき、撮像画像フレームと背景画像フレームとの差分画像データの輝度情報や色情報を解析してフレーム内における人物の位置と領域を求める。
(3) 動き検出により人物の領域と位置を求める方法：前フレームと現フレームにおける対応する位置の画素について輝度や色の差を求め、その差が大きい領域を動きのない背景と区別することにより人物の位置と領域を求める。

前記被写体検出アルゴリズムの実行により被写体が検出されると、メモリ１５のフレームＦ(i)における被写体領域の輝度ヒストグラムを作成して、メモリ１５にセーブする（S3,S4）。そして、その輝度ヒストグラムにおける累積画素数の分布状態（以下、「輝度分布」という）を解析し、被写体に係る全画素の内の２０％以上が予め定めた２つの輝度レベル閾値間の範囲である中間輝度範囲内に含まれているか否かを判定する（S5）。この中間輝度範囲は適正露光状態とみなす輝度範囲であり、この実施形態では、例えば、輝度レベルを０〜２５５の２５６段階で表した場合に８０〜２００の範囲とされている。ここで、被写体に係る画素の２０％以上が前記中間輝度範囲内にあるような場合には、少なくとも被写体自体については良好なコントラストで高い画素分解能の画像が得られるが、逆に、被写体に係る画素の８０％以上が低輝度範囲（０〜７９）又は高輝度範囲（２０１〜２５５）にある場合には、撮像素子１２のダイナミックレンジ内に納まらずに、被写体の画像に白とびや黒つぶれが発生してしまう可能性がある。

前記ステップS5において、被写体に係る全画素の内の２０％以上が中間輝度範囲内に含まれていた場合には、ＤＳＰ１６は、フレームＦ(i)全体の光量に合わせた露光制御データを作成してレンズ・絞り駆動部１８とタイミングジェネレータ１９とマイクロコンピュータ回路２０へ出力し、結像光学系部１１の絞り量と撮像素子１２のシャッタスピードとＡＧＣのゲインをそれぞれ前記露光制御データに基づいて調整設定させる（S5→S6）。そして、ＤＳＰ１６はその制御状態で得られる次フレームＦ(i+1)をＤ/Ａ変換器１７へ出力させるが、そのフレームＦ(i+1)の画像信号は通信制御部２１からネットワークを介して集中監視室側へ伝送される（S7）。また、ＤＳＰ１６は、フレームＦ(i+1)を出力させると、メモリ１５のセーブデータをクリアさせた後、次フレームＦ(i+2)の処理へ移行する（S8,S9→S1）。

具体的な画像を例にとって説明すると、図３（Ａ）は屋外を背景として出入口付近に居る被写体（人物）と屋内の造花や観葉植物とを屋内側から順光状態で撮影したフレーム画像であるが、画像全体と背景領域（造花や観葉植物を含む）と被写体領域に係る輝度ヒストグラムはそれぞれ図４の（Ａ）と（Ｂ）と（Ｃ）のようになる。この場合、被写体領域の輝度ヒストグラム［図４（Ｃ）］では輝度分布が全て中間輝度範囲にあり、当然に前記ステップS6,S7の手順で処理されることになるが、フレームＦ(i)全体の光量に合わせた露光制御がなされても、平均的に良好なコントラストと視認性が確保できる。尚、ステップS6の露光制御は標準的なものであり、ステップS2において被写体が検出されなかった場合にもステップS6,S7が実行される（S3→S6,S7）。

一方、図３（Ｂ）のような逆光状態での撮像画像では、被写体に係る全画素の内で中間輝度範囲内に含まれているものが２０％より小さくなるが、その場合には、ＤＳＰ１６が直ちに背景領域（被写体以外の領域）の輝度ヒストグラムを作成すると共に、予めその背景領域を高輝度範囲と中間輝度範囲と低輝度範囲とに分けておく（S5→S10,S11）。また、ＤＳＰ１６は、ステップS3で検出した被写体領域全体と背景領域の各輝度範囲に属する領域についてそれぞれ空間周波数分析を実行して、その結果をメモリ１５にセーブしておく（S12）。そして、ＤＳＰ１６は、前記ステップS4で作成した被写体領域の輝度ヒストグラムに基づいて、その輝度分布を適正化するための露光制御データを作成し、前記と同様に、レンズ・絞り駆動部１８とタイミングジェネレータ１９によって結像光学系部１１の絞り量と撮像素子１２のシャッタスピードとＡＧＣのゲインを調整設定させ、その制御状態でＡ/Ｄ変換器14から得られる次フレームＦ(i+1)をメモリ１５にセーブさせる（S13,S14）。尚、ステップS12で実行したフレームＦ(i)についての空間周波数分析の結果に関しては、後述するが、フレームＦ(i+1),Ｆ(i+2)に係る各空間周波数分析の結果と対比させて、それらフレームＦ(i+1),Ｆ(i+2)の領域に対して重み付け処理を行う際にする際に用いられる。

次に、前記ステップS13で被写体領域を適正化する前の輝度分布（即ち、ステップS4で作成した被写体領域の輝度ヒストグラムの輝度分布）が低輝度範囲側と高輝度範囲側のいずれの側に偏在していたかを確認し、低輝度側に偏在していた場合には、ステップS9で分割した背景領域に係る高輝度範囲と中間輝度範囲の輝度分布を適正化する露光状態を設定し、逆に高輝度側に偏在していた場合には、背景領域に係る低輝度範囲と中間輝度範囲の輝度分布を適正化する露光状態を設定する（S15→S16orS17）。そして、それぞれの場合に応じてＤＳＰ１６が露光制御データを出力させ、レンズ・絞り駆動部１８とタイミングジェネレータ１９によって結像光学系部１１の絞り量と撮像素子１２のシャッタスピードが調整設定されＡＧＣのゲインがマイクロコンピュータ回路２０によって調整されるが、その制御状態でＡ/Ｄ変換器14から得られる次フレームＦ(i+2)をメモリ１５にセーブさせる（S18）。

ここで、被写体に係る輝度分布が前記判定結果（被写体に係る全画素の内で中間輝度範囲内に含まれているものが２０％より小さい）になった場合について具体的に考察する。この場合には、被写体がフレーム画像内の高輝度領域又は低輝度領域に存在している可能性があり、特に前記パーセンテージが小さくなればなるほどその可能性は高くなる。例えば、図３（Ａ）と同一の撮影シーンにおいて逆光状態になった場合を想定すると同図（Ｂ）のようなフレーム画像となり、そのフレームの画像全体と背景領域と被写体領域に係る輝度ヒストグラムはそれぞれ図５の（Ａ）と（Ｂ）と（Ｃ）のようになる。即ち、この例によれば、被写体は屋外の白とびを生じている高輝度領域の中で完全に黒つぶれした状態で撮影されており、造花は屋内の黒つぶれした低輝度領域の中に中間輝度領域の部分として撮像されているが、観葉植物は低輝度領域の中で黒つぶれしている。従って、フレーム画像全体と背景領域に係る各輝度ヒストグラムでは、それぞれ図５の（Ａ）と（Ｂ）ように輝度分布が低輝度範囲と高輝度範囲に偏った傾向になっており、被写体領域に係る各輝度ヒストグラムは図５（Ｃ）のように輝度分布の大半が低輝度範囲に集中している。

前記ステップS13,S14によると、図５（Ｃ）に示した被写体の輝度分布状態（被写体領域の適正化前の輝度分布が低輝度範囲側に偏在している場合に相当）を、露光制御によって図６（Ａ）に示すように中間輝度範囲側へ持ち上げて、図３（Ｃ）に示すような画像のフレームＦ(i+1)を得ており、そのフレームＦ(i+1)の画像全体に係る輝度ヒストグラムは図６（Ｂ）に示すような輝度分布となる。ここで、図３（Ｂ）と同図（Ｃ）とを比較すると明らかなように、図３（Ｂ）で黒つぶれになっていた低輝度領域が露光制御によって図３（Ｃ）では中間輝度に補正され、画像のコントラストと画素分解能が高くなって被写体と造花や観葉植物を視認できるようになっている。しかし、被写体の背景になっている高輝度領域（屋外）で白とびが発生している状態はそのままであり、図６（Ｂ）の輝度ヒストグラムの輝度分布でみれば、白とびは更に進行していることになる。尚、図示していないが、被写体領域の適正化前の輝度分布が高輝度範囲側に偏在している場合においては、逆の露光制御を行って中間輝度範囲側へ引き下げる。

また、前記ステップS15〜S18において、被写体領域の適正化前の輝度分布が低輝度範囲側に偏在していたために、背景領域の高輝度領域と中間輝度領域の輝度分布を適正化する露光制御を行った場合を例にとると、図３（Ｄ）に示すような画像のフレームＦ(i+2)が得られ、そのフレームＦ(i+2)の画像全体に係る輝度ヒストグラムは図６（Ｃ）に示すような輝度分布となる。具体的には、図３（Ｂ）の撮像画像に対応する図５（Ａ）の輝度ヒストグラムにおける高輝度範囲と中間輝度範囲にある輝度分布を引き下げており、図３（Ｂ）において被写体の背景になっている高輝度領域は中間輝度に変化しており、高輝度領域で生じていた白とびが図３（Ｄ）では消失している。但し、屋内側の中間輝度領域である造花部分と低輝度領域の黒つぶれはそのままであり、図６（Ｃ）の輝度ヒストグラムの輝度分布でみれば、むしろ黒つぶれは更に進行していることになる。

フレームＦ(i+2)のセーブが完了すると（S18）、メモリ１５にはフレームＦ(i+1)とＦ(i+2)が書き込まれているが、ＤＳＰ１６は各フレームＦ(i+1),Ｆ(i+2)の画像を対象として被写体領域全体と背景領域における各輝度範囲に属する領域についてそれぞれ空間周波数分析を実行する（S19,S20）。尚、ここでのフレームＦ(i+1)とＦ(i+2)を対象とする各領域の設定に際しては、フレームＦ(i)を対象としてステップS3とステップS11で得られた領域情報をそのまま利用して行うが、高々２フレーム分程度の時間差では照明条件や各領域の位置には殆ど変化がないものとみなせるため、実質的に支障は生じない。

ところで、上記のステップS12とこのステップS19,S20における空間周波数分析はいずれも空間周波数のスペクトル強度を求めるものである。先ず、上記のステップS12ではフレームＦ(i)の各領域を対象として空間周波数分析を実行しているが、その結果はほぼ次のようになる。黒つぶれしている被写体領域、背景領域の内の黒つぶれした低輝度領域、及び白とびした高輝度領域の各画像からは殆ど空間的な周期性を抽出できない。従って、例えば、被写体領域についてのフーリエ変換像は図７（Ａ）のように成分が中央に近い位置に集中した状態となり、その結果として得られる各空間周波数に対応するスペクトル強度は図８（Ａ）のように全体的に弱い傾向となる。それに対して、背景領域の内で中間輝度になっており、且つコントラストの高い領域では、絵柄が比較的強く現れるためにフーリエ変換像は図７（Ｂ）のように成分が拡散し、スペクトル強度は図８（Ｂ）のように強くなる。尚、背景領域の内でも高輝度領域側になると、前記のように白とびしているために、図７（Ｃ）のようにフーリエ変換像での成分の拡散が非常に少なくなり、スペクトル強度は図８（Ｃ）のように弱くなる。

一方、ステップS13での露光状態の設定により被写体領域の輝度分布は適正化されているため、フレームＦ(i+1)における被写体領域のフーリエ変換像は図７（Ｄ）に示すように拡散が大きくなり、ステップS19での空間周波数分析によるスペクトル強度は図８（Ｄ）のように図８（Ａ）と比較して遥かに強くなっているはずである。また、ステップS15〜S17での露光状態の設定により背景領域の輝度分布も高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように適正化されているため、フレームＦ(i+2)における背景領域に関してもそのフーリエ変換像の拡散は大きくなっており、ステップS20での空間周波数分析によるスペクトル強度は前記と同様に強くなっているはずである。そこで、ＤＳＰ１６は、それらの結果に基づいて各フレームＦ(i+1),Ｆ(i+2)の画素データに対する重み付け処理を施す（S21,S22,S23）。具体的には、フレームＦ(i)についての周波数分析との比較において、より適正な露光状態にある領域（即ち、スペクトル強度の差がより大きくなっている領域）の画素データほどより大きな重み付けを行う傾向で重み付け処理を実行する。尚、その重み付け処理に際しては、必ずしも全周波数範囲を対象とする必要はなく、経験的に有効と考えられる周波数範囲［図８のｆ(0)〜ｆ(1)で与えられる範囲］だけに制限してもよい。

前記の例でみれば、図３（Ｃ）のフレーム画像［フレームＦ(i+1)］については、被写体領域の画像データと背景領域の屋内側画像データに対して大きな重み付けがなされ、被写体の背景になっている高輝度領域は白とびにより画像としての情報量が少ないために小さい重み付けがなされる傾向になる。一方、図３（Ｄ）のフレーム画像［フレームＦ(i+2)］については、中間輝度領域である屋内側の造花部分と屋外側の被写体の背景部分に大きな重み付けがなされ、他の黒つぶれが生じている低輝度領域は画像としての情報量が殆ど得られないために小さい重み付けがなされる傾向になる。

このようにして各フレームＦ(i+1)，Ｆ(i+2)に対して重み付け処理を行うと、ＤＳＰ１６はそれらフレームＦ(i+1)，Ｆ(i+2)の画像データを合成したフレームＦcomを作成してＤ/Ａ変換器１７へ出力させ、前記ステップS7の場合と同様に、通信制御部２１からネットワークを介して集中監視室側へ伝送させると共に、メモリ１５のセーブデータをクリアする（S24〜S26）。このフレームの合成を、前記の例でみれば、実際の画像に関しては図３の（Ｃ）と（Ｄ）の撮像画像に前記重み付け処理を施したものを合成して同図の（Ｅ）に示す合成画像を得ていることになり、また、輝度ヒストグラムに関しては、図６の（Ｂ）と（Ｃ）の輝度分布が前記重み付けによって変化することになり、合成後の輝度ヒストグラムは同図（Ｄ）のようになる。その図６（Ｄ）における累積画素数の分布状態によると、低輝度範囲と高輝度範囲には殆ど輝度分布が無く、大半が中間輝度範囲に納まっていることから、図３（Ｅ）の合成フレーム画像［フレームＦcom］では、被写体と造花や観葉植物が黒つぶれや白とびになることなく、良好なコントラストと分解能で表示される状態になっている。

そして、以上に説明した手順を繰り返し実行すると（S1〜S9→S1、又はS1〜S5→S10〜S27→S1）、フレーム画像から被写体を検出しない状態及び被写体が適正露光にある状態が連続している場合には、画面全体の光量に合わせて露光制御がなされたフレームが２フレームにつき１フレームずつ出力され、前記の場合に該当せず、逆光や過順光によって黒つぶれや白とびが生じている可能性のある状態が連続している場合については、被写体領域と背景領域のいずれにも黒つぶれや白とびが生じていないフレームが３フレームに１フレームずつ出力されることになる。

尚、この実施形態では、フレームＦ(i)を被写体検出と輝度分布解析用に用い、被写体領域の輝度分布を適正化したフレームＦ(i+1)と背景領域の輝度分布を適正化したフレームＦ(i+2)を得て、それらのフレームを合成するようにしているが、フレームＦ(i)の適正露光領域をフレーム合成時の画像データとして使用してもよく、特にフレームＦ(i)を用いた背景領域の輝度分布解析により適正な露光状態であることが確認できた場合には、フレームＦ(i+1)だけを得てフレームＦ(i)と合成するような方法も採用できる。また、図２ａと図２ｂのフローチャートでは単一の被写体であることを前提にしているが、複数の被写体を検出した場合には、それぞれの被写体について輝度ヒストグラムを作成して輝度分布から露光状態を判定し、各被写体の輝度分布がほぼ同一であったときには、たとえ領域的には離隔していても単一の被写体として扱い、各被写体の輝度分布が異なっていたときには、それぞれについて露光を適正化したフレームを取得するようにして、それぞれのフレーム毎にステップS22,S23での重み付け処理を施すようにすればよい。更には、この実施形態では輝度情報に関する分析結果から画像データに対する重み付け処理を施しているが、色情報に関する分析結果も併用して重み付け処理を行うようにしてもよい。

［実施形態２］
撮影画像内の一部領域で輝度が十分に得られない場合としては、上記のように逆光等の照明条件によって黒つぶれ状態になった場合だけでなく、当然に、被写体等の輝度が元々低い場合（例えば、人物が黒い服装をしているような場合）にも生じる。実施形態１での監視カメラにおける露光制御と画像処理では、撮影時の照明条件が逆光や過順光等の高コントラスト状態になった場合に黒つぶれや白とびが生じていないフレームを生成させることを目的としているが、本来的に輝度が低い対象物を区別している訳ではないため、撮像したフレーム内にそのような対象物が存在すると、過剰露光になって逆に画質を低下させる原因となる。この実施形態の監視カメラでは、そのような場合に自動的に画像データに対する補正処理を行って画質の低下を防止する。

先ず、この実施形態での監視カメラの構成は図１に示したものと同様であり、撮影時の逆光や過順光等の照明条件において、ＤＳＰ１６がフレーム画像を解析して露光制御と特有の画像処理を行うことにより出力フレームを生成させることも実施形態１の場合と同様である。ただ、実施形態１において図２ｂに示した露光制御と画像処理の手順（被写体の輝度分布において中間輝度範囲の画素が２０％に満たない場合の手順）が図９ａ及び図９ｂに示す手順で実行される点で異なっている。

以下、図９ａ及び図９ｂに基づいてこの実施形態における特徴的処理内容を説明する。図９ａにおけるステップS10からステップS20までの手順は基本的には図２ｂで説明した処理を行う手順であり、各ステップの番号も一致させてあるが、ステップS14aとステップS18aの手順が挿入されている点で異なる。即ち、被写体領域の輝度分布を適正化させる露光状態でフレームＦ(i+1)をメモリ１６にセーブさせた後に（S13,S14）、フレームＦ(i+1)の被写体領域の輝度ヒストグラムを作成してセーブする手順（S14a）が設けられており、また、背景領域の輝度分布を適正化させる露光状態でフレームＦ(i+2)をメモリ１６にセーブさせた後に（S15〜S18）、フレームＦ(i+2)の背景領域の輝度ヒストグラムを作成してセーブする手順（S18a）が設けられている。そして、ここで作成した各輝度ヒストグラムは後述の手順（S30,S33）において利用される。

図９ａのステップS30からステップS40まではこの実施形態に特有の手順である。また、それ以前のステップS1からステップS20までの手順（但し、ステップS1からステップS9までは図２ａと同様）によって、メモリ１６には、フレームＦ(i)の［画像データ］と［被写体領域の輝度ヒストグラム］と［背景領域の輝度ヒストグラム］と［被写体領域全体と背景領域の各輝度範囲に属する領域についての空間周波数分析結果］、フレームＦ(i+1)の［画像データ（被写体領域の輝度分布が適正化）］と［被写体領域の輝度ヒストグラム］と［被写体領域全体と背景領域の各輝度範囲に属する領域についての空間周波数分析結果］、及びフレームＦ(i+2)の［画像データ（背景領域の輝度分布が適正化）］と［背景領域の輝度ヒストグラム］と［被写体領域全体と背景領域の各輝度範囲に属する領域についての空間周波数分析結果］がセーブされている。

この実施形態では、ステップS19,S20でフレームＦ(i+1),Ｆ(i+2)についての前記の空間周波数分析の結果がメモリ１６にセーブされると、予め作成してセーブしておいたフレームＦ(i),Ｆ(i+1)の各被写体領域の輝度ヒストグラムを比較する（S30）。そして、その比較において被写体領域の輝度分布が低輝度範囲から中間輝度範囲へ所定量以上移行したか否かを判定し、もし前記輝度分布の移行が確認できなかった場合には、図９ｂ（Ａ）に示す処理（１）を実行する（S31→S32）。この処理（１）においては、フレームＦ(i),Ｆ(i+1)の各被写体領域についての空間周波数分析の結果を比較して被写体領域でノイズ量が所定値以上に増加しているか否かを判定し（S51,S52）、そのような増加がある場合には、フレームＦ(i),Ｆ(i+1),Ｆ(i+2)の各被写体領域に含まれているノイズ量を検出し、各被写体領域の画像データに対して、ノイズの検出量が大きいほど、より小さな重み付けを行う傾向で重み付け処理を実行する（S52→S53,S54）。一方、前記の増加がなかった場合には、ここでの重み付け処理は行われない（S52→S33）。

このステップS30からステップS32の処理を空間周波数分析の結果との関係で説明すると次のようになる。先ず、人物が黒い服装をしている場合のように被写体自体が本来的に低輝度であった場合には、その被写体領域のフーリエ変換像は図７（Ｅ）に示されるように拡散が比較的小さくなっており、スペクトル強度も図８（Ｅ）のように全体的に弱くなる。これは、照明条件によるものではなく、被写体自体の属性によるためであり、ステップS13で輝度分布を適正化する露光状態を設定しても殆ど変化させることができない。一方、ステップS13での露光状態の設定はステップS4で作成した輝度ヒストグラムに基づいて行われるために過剰露光条件が設定されてしまうこととなり、図１０に示すように被写体領域のスペクトル強度の中にノイズ成分が多く混入するようになる。そこで、ノイズ成分が所定値以上ある場合には被写体自体が本来的に低輝度であるとみなし、前記重み付け処理を施すことにより、後の手順（S38）で得られるフレームＦ(i),Ｆ(i+1),Ｆ(i+2)の合成フレームの画像にノイズが影響することを防止している。

前記のノイズに着目した重み付け処理は、背景領域の各輝度範囲に属する領域についても同様に実行される。即ち、この場合には、予め作成してセーブしておいたフレームＦ(i),Ｆ(i+2)の各背景領域の輝度ヒストグラムにおける低輝度領域を比較し（S33）、その輝度分布が低輝度範囲から中間輝度範囲へ所定量以上移行したか否かを判定し（S34）、前記輝度分布の移行が確認できなかった場合には、図９ｂ（Ｂ）に示す処理（２）を実行する（S34→S35）。この処理（２）においては、フレームＦ(i),Ｆ(i+2)の各背景領域の各輝度範囲に属する領域（以下、「対象領域」という）についての空間周波数分析の結果を比較し、各対象領域の内でノイズ量が所定値以上に増加しているものがあるか否かを判定し（S61,S62）、そのような増加がある場合には、フレームＦ(i),Ｆ(i+1),Ｆ(i+2)において該当した対象領域に含まれているノイズ量を検出し、その該当した各対象領域の画像データに対して、ノイズの検出量が大きいほど、より小さな重み付けを行う傾向で重み付け処理を実行する（S62→S63,S64）。従って、処理（１）の場合と同様に、ノイズが後の手順（S38）で得られる合成フレームの画像に影響することを防止できる。尚、前記の増加がなかった場合に重み付け処理が行われないことは、前記の処理（１）の場合と同様である（S52→S36）。

次に、フレームＦ(i),Ｆ(i+1),Ｆ(i+2)の被写体領域全体と背景領域の各輝度範囲に属する領域の内、ステップS30からステップS35までの手順で処理されなかった領域についての空間周波数分析の結果を比較し（S36）、その各未処理領域について、より適正な露光状態にある領域ほど、より大きな重み付けを行う傾向で重み付け処理を実行する（S37）。即ち、ステップS30からステップS35までの手順で特殊処理を行った領域以外については、この段階で実施形態１の場合と同様の重み付け処理を行うようにしている。

以降、それぞれの重み付け処理を経た各フレームＦ(i),Ｆ(i+1),Ｆ(i+2)の画像データを合成し、その合成後のフレームＦcomをＤ/Ａ変換器１７へ出力させ、通信制御部２１からネットワークを介して集中監視室側へ伝送させると共に、メモリ１５のセーブデータをクリアする（S38〜S40）。そして、図２ａのステップS1〜S9、及び図９ａのステップS10〜S20とステップS30〜S40の手順は条件に応じて部分的又は全体的に繰り返し実行される（S41→S1〜S9,S10〜S20,S30〜S41）。

その結果、実施形態１の場合と同様のフレーム出力条件で、逆光や過順光の照明状態であっても黒つぶれや白とびが生じていないフレームを出力させることができると共に、この実施形態によれば、物体がその属性として本来的に低輝度であるような場合に、その物体の画像領域を黒つぶれと区別して処理することにより、露光制御に伴うノイズの影響を排除して、その物体自体の輝度をそのまま良好に表示させる画像フレームが得られることになる。尚、被写体が人物である場合において服は黒いが顔は白いというように、単一の被写体の中に低輝度領域と中間輝度領域と高輝度領域とが混在することがあるが、そのような場合には、被写体領域の中で各領域の有する輝度に応じて領域を分割しておき、それぞれについて重み付けを行ってフレームの合成を行うようにすればよい。

本発明は、露光制御機能を備えた監視カメラ等の撮影装置に適用できる。

本発明の実施形態に係る監視カメラのブロック図である。 実施形態１に係る監視カメラの露光制御・出力フレーム生成動作を示すフローチャートである。 実施形態１に係る監視カメラの露光制御・出力フレーム生成動作を示すフローチャートである。 監視カメラによる撮像画像と出力画像の例を示す図であり、（Ａ）は順光状態での撮像画像、（Ｂ）は逆光状態での撮像画像、（Ｃ）は被写体（人物）領域の輝度分布を適正化した露光状態での撮像画像、（Ｄ）は背景領域の輝度分布を適正化した露光状態での撮像画像、（Ｅ）は（Ｃ）と（Ｄ）の撮像画像に重み付け処理を施して合成した出力画像である。 監視カメラが順光状態で撮影した場合における輝度ヒストグラムであり、（Ａ）は撮像画像（フレーム）全体の輝度ヒストグラム、（Ｂ）は背景領域の輝度ヒストグラム、（Ｃ）は被写体の輝度ヒストグラムである。 監視カメラが逆光状態で撮影した場合における輝度ヒストグラムであり、（Ａ）は撮像画像（フレーム）全体の輝度ヒストグラム、（Ｂ）は背景領域の輝度ヒストグラム、（Ｃ）は被写体の輝度ヒストグラムである。 （Ａ）は被写体領域の露光を適正化した状態での被写体領域の輝度ヒストグラム、（Ｂ）は被写体領域の輝度分布を適正化した露光状態での撮像画像の輝度ヒストグラム、（Ｃ）は背景領域の輝度分布を適正化した露光状態での撮像画像の輝度ヒストグラム、（Ｄ）は合成画像の輝度ヒストグラムである。 監視カメラが撮影した画像データに対する空間周波数分析結果のフーリエ変換像であり、（Ａ）は逆光状態における被写体領域に係るフーリエ変換像、（Ｂ）は逆光状態における背景領域の内で中間輝度範囲に属し、且つコントラストの高い領域のフーリエ変換像、（Ｃ）は逆光状態における背景領域の内で高輝度範囲に属した領域のフーリエ変換像、（Ｄ）は適正露光状態における被写体領域のフーリエ変換像、（Ｅ）は適正露光状態における被写体領域のフーリエ変換像（被写体自体が本来的に低輝度の物体であった場合）である。 監視カメラが撮影した画像データに対する空間周波数分析結果のスペクトル強度であり、（Ａ）は逆光状態における被写体領域に係るスペクトル強度、（Ｂ）は逆光状態における背景領域の内で中間輝度範囲に属し、且つコントラストの高い領域のスペクトル強度、（Ｃ）は逆光状態における背景領域の内で高輝度範囲に属した領域のスペクトル強度、（Ｄ）は適正露光状態における被写体領域のスペクトル強度、（Ｅ）は適正露光状態における被写体領域のスペクトル強度（被写体自体が本来的に低輝度の物体であった場合）である。 実施形態２に係る監視カメラの露光制御・出力フレーム生成動作を示すフローチャートである。 図９ａのステップS32とステップS35の各処理での手順を示すフローチャートである。 被写体自体が本来的に低輝度であり、露光制御で過剰露光となって被写体領域のスペクトル強度にノイズが混入した状態を示すグラフである。

符号の説明

１１…結像光学系部、１２…撮像素子、１３…ＡＦＥ（Analogue Front End）、１４…Ａ/Ｄ変換器、１５…メモリ、１６…ＤＳＰ（デジタル信号処理部）、１７…Ｄ/Ａ変換器、１８…レンズ・絞り駆動部、１９…タイミングジェネレータ、２０…マイクロコンピュータ回路、２１…通信制御部。

Claims (4)

1. 自動露光制御機能を有した撮影装置において、
   撮像された画像の第１番目のフレームデータを記憶する第１のフレーム記憶手段と、
   前記第１のフレーム記憶手段が記憶した第１番目のフレームデータから目的とする被写体を検出する被写体検出手段と、
   前記被写体検出手段が被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第１のヒストグラム作成手段と、
   前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する判定手段と、
   前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける被写体領域以外の領域（以下、「背景領域」という）の輝度ヒストグラムを作成する第２のヒストグラム作成手段と、
   前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１の空間周波数分析手段と、
   前記判定手段の判定結果が否定的であった場合に、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第１の露光制御手段と、
   前記第１の露光制御手段が設定した露光状態で撮像された第２番目のフレームデータを記憶する第２のフレーム記憶手段と、
   前記第２のヒストグラム作成手段が作成した背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第２の露光制御手段と、
   前記第２の露光制御手段が設定した露光状態で撮像された第３番目のフレームデータを記憶する第３のフレーム記憶手段と、
   前記第２のフレーム記憶手段が記憶した第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第２の空間周波数分析手段と、
   前記第３のフレーム記憶手段が記憶した第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第３の空間周波数分析手段と、
   前記第１の空間周波数分析手段による分析結果に対する前記第２の空間周波数分析手段と前記第３の空間周波数分析手段による各分析結果をそれぞれ比較し、前記第２及び第３のフレーム記憶手段がそれぞれ記憶している第２番目及び第３番目のフレームデータに対して、それぞれより適正な露光状態にある領域ほどより大きな重み付け処理を施す重み付け手段と、
   前記重み付け手段により重み付け処理が施された後の前記第２のフレーム記憶手段の第２番目のフレームデータと前記第３のフレーム記憶手段の第３番目のフレームデータとを合成するフレーム合成手段と
   を具備し、前記被写体検出手段が被写体を検出し、且つ前記判定手段の判定結果が否定的であった場合には、前記フレーム合成手段が合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影装置。
2. 自動露光制御機能を有した撮影装置において、
   撮像された画像の第１番目のフレームデータを記憶する第１のフレーム記憶手段と、
   前記フレーム記憶手段が記憶した第１番目のフレームデータから目的とする被写体を検出する被写体検出手段と、
   前記被写体検出手段が被写体を検出した場合に、その被写体領域の輝度ヒストグラムを作成する第１のヒストグラム作成手段と、
   前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する判定手段と、
   前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第２のヒストグラム作成手段と、
   前記判定手段の判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶した第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１の空間周波数分析手段と、
   前記判定手段の判定結果が否定的であった場合に、前記第１のヒストグラム作成手段が作成した被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第１の露光制御手段と、
   前記第１の露光制御手段が設定した露光状態で撮像された第２番目のフレームデータを記憶する第２のフレーム記憶手段と、
   前記第２のフレーム記憶手段が記憶した第２番目のフレームデータにおける被写体領域の輝度ヒストグラムを作成する第３のヒストグラム作成手段と、
   前記第２のヒストグラム作成手段が作成した背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第２の露光制御手段と、
   前記第２の露光制御手段が設定した露光状態で撮像された第３番目のフレームデータを記憶する第３のフレーム記憶手段と、
   前記第３のフレーム記憶手段が記憶した第３番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第４のヒストグラム作成手段と、
   前記第２のフレーム記憶手段が記憶した第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第２の空間周波数分析手段と、
   前記第３のフレーム記憶手段が記憶した第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第３の空間周波数分析手段と、
   前記第１のヒストグラム作成手段が作成した第１番目のフレームデータにおける被写体領域の輝度ヒストトグラムと前記第３のヒストグラム作成手段が作成した第２番目のフレームデータにおける被写体領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第１の比較・判定手段と、
   前記第１の比較・判定手段の判定結果が否定的であった場合に、前記第１の空間周波数分析手段による第１番目のフレームデータにおける被写体領域についての分析結果と前記第２の空間周波数分析手段による第２番目のフレームデータにおける被写体領域についての分析結果とを比較して、被写体領域でノイズが所定値以上に増加しているか否かを判定する第２の比較・判定手段と、
   前記第２の比較・判定手段による判定結果が肯定的であった場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータにおける各被写体領域に含まれているノイズ量を検出し、その各被写体領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第１の重み付け手段と、
   前記第２のヒストグラム作成手段が作成した第１番目のフレームデータにおける背景領域の輝度ヒストトグラムと前記第４のヒストグラム作成手段が作成した第３番目のフレームデータにおける背景領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第３の比較・判定手段と、
   前記第３の比較・判定手段の判定結果が否定的であった場合に、前記第１の空間周波数分析手段による第１番目のフレームデータにおける背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域（以下、「各対象領域」という）ついての分析結果と前記第３の空間周波数分析手段による第３番目のフレームデータにおける背景領域の各対象領域ついての分析結果とをそれぞれ比較し、各対象領域でノイズが所定値以上に増加しているものが有るか否かを判定する第４の比較・判定手段と、
   前記第４の比較・判定手段によりノイズが所定値以上に増加した対象領域が有ると判定された場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの該当対象領域に含まれているノイズ量を検出し、その該当対象領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第２の重み付け手段と、
   前記第１乃至第３の空間周波数分析手段による各分析結果の内で、前記第１の重み付け手段と前記第２の重み付け手段による重み付け処理の対象から外れた各領域についての分析結果を比較し、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの各領域に対して、より適正な露光状態にある領域ほどより大きな重み付け処理を施す第３の重み付け手段と、
   前記第３の重み付け手段により重み付け処理が施された後の前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータを合成するフレーム合成手段と
   を具備し、前記被写体検出手段が被写体を検出し、且つ前記判定手段の判定結果が否定的であった場合には、前記フレーム合成手段が合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影装置。
3. 自動露光制御機能を有した撮影装置による撮影方法であって、
   撮像された画像の第１番目のフレームデータを第１のフレーム記憶手段に記憶させる第１のステップと、
   前記第１のフレーム記憶手段に記憶させた第１番目のフレームデータから目的とする被写体を検出する第２のステップと、
   前記第２のステップで被写体が検出された場合に、その被写体領域の輝度ヒストグラムを作成する第３のステップと、
   前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する第４のステップと、
   前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第５のステップと、
   前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第６のステップと、
   前記第４のステップでの判定結果が否定的であった場合に、前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第７のステップと、
   前記第６のステップで設定した露光状態で撮像された第２番目のフレームデータを第２のフレーム記憶手段に記憶させる第８のステップと、
   前記第５のステップで作成された背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第９のステップと、
   前記第９のステップで設定した露光状態で撮像された第３番目のフレームデータを第３のフレーム記憶手段に記憶させる第１０のステップと、
   前記第８のステップで前記第２のフレーム記憶手段に記憶させた第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１１のステップと、
   前記第１０のステップで前記第３のフレーム記憶手段に記憶させた第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１２のステップと、
   前記第６のステップでの分析結果に対して前記第１１のステップと前記第１２のステップでの各分析結果をそれぞれ比較し、前記第２及び第３のフレーム記憶手段がそれぞれ記憶している第２番目及び第３番目のフレームデータに対して、それぞれより適正な露光状態にある領域ほどより大きな重み付け処理を施す第１３のステップと、
   前記第１３のステップで重み付け処理が施された後の前記第２のフレーム記憶手段の第２番目のフレームデータと前記第３のフレーム記憶手段の第３番目のフレームデータとを合成する第１４のステップと
   を有し、前記第２のステップで被写体を検出し、且つ前記第４のステップでの判定結果が否定的であった場合には、前記第１４のステップで合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影方法。
4. 自動露光制御機能を有した撮影装置による撮影方法であって、
   撮像された画像の第１番目のフレームデータを第１のフレーム記憶手段に記憶させる第１のステップと、
   前記第１のフレーム記憶手段に記憶させた第１番目のフレームデータから目的とする被写体を検出する第２のステップと、
   前記第２のステップで被写体が検出された場合に、その被写体領域の輝度ヒストグラムを作成する第３のステップと、
   前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布が、予め適正露光状態とみなす輝度範囲として設定した中間輝度範囲内に所定割合以上含まれているか否かを判定する第４のステップと、
   前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第５のステップと、
   前記第４のステップでの判定結果が否定的であった場合に、前記第１のフレーム記憶手段が記憶している第１番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第６のステップと、
   前記第４のステップでの判定結果が否定的であった場合に、前記第３のステップで作成された被写体領域の輝度ヒストグラムにおける累積画素数の分布がほぼ前記中間輝度範囲内に納まるように露光制御を行う第７のステップと、
   前記第６のステップで設定した露光状態で撮像された第２番目のフレームデータを第２のフレーム記憶手段に記憶させる第８のステップと、
   前記第２のフレーム記憶手段が記憶している第２番目のフレームデータにおける被写体領域の輝度ヒストグラムを作成する第９のステップと、
   前記第５のステップで作成された背景領域の輝度ヒストグラムにおける累積画素数の分布が高輝度範囲又は低輝度範囲に偏在した状態から前記中間輝度範囲側へ拡がるように露光制御を行う第１０のステップと、
   前記第１０のステップで設定した露光状態で撮像された第３番目のフレームデータを第３のフレーム記憶手段に記憶させる第１１のステップと、
   前記第３のフレーム記憶手段が記憶している第３番目のフレームデータにおける背景領域の輝度ヒストグラムを作成する第１２のステップと、
   前記第２のフレーム記憶手段が記憶している第２番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１３のステップと、
   前記第３のフレーム記憶手段が記憶している第３番目のフレームデータにおける被写体領域についての空間周波数分析と、背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域についての空間周波数分析とをそれぞれ実行する第１４のステップと、
   前記第３のステップで作成された第１番目のフレームデータにおける被写体領域の輝度ヒストトグラムと前記第９のステップで作成された第２番目のフレームデータにおける被写体領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第１５のステップと、
   前記第１５のステップでの判定結果が否定的であった場合に、前記第６のステップでの第１番目のフレームデータにおける被写体領域についての分析結果と前記第１３のステップでの第２番目のフレームデータにおける被写体領域についての分析結果とを比較して、被写体領域でノイズが所定値以上に増加しているか否かを判定する第１６のステップと、
   前記第１６のステップでの判定結果が肯定的であった場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータにおける各被写体領域に含まれているノイズ量を検出し、その各被写体領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第１７のステップと、
   前記第５のステップで作成された第１番目のフレームデータにおける背景領域の輝度ヒストトグラムと前記第１２のステップで作成された背景領域の輝度ヒストグラムとを比較して、輝度ヒストグラムの累積画素数の分布が低輝度範囲から前記中間輝度範囲へ所定量以上移行しているか否かを判定する第１８のステップと、
   前記第１８のステップでの判定結果が否定的であった場合に、前記第６のステップでの第１番目のフレームデータにおける背景領域の前記中間輝度範囲と高輝度範囲と低輝度範囲に属する各領域（以下、「各対象領域」という）ついての分析結果と前記第１４のステップでの第３番目のフレームデータにおける背景領域の各対象領域ついての分析結果とをそれぞれ比較し、各対象領域でノイズが所定値以上に増加しているものが有るか否かを判定する第１９のステップと、
   前記第１９のステップでノイズが所定値以上に増加した対象領域が有ると判定された場合に、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの該当対象領域に含まれているノイズ量を検出し、その該当対象領域の画像データに対して前記ノイズ量が大きいほどより小さな重み付け処理を施す第２０のステップと、
   前記第６のステップと前記第１３のステップと前記第１４のステップでの各周波数分析の分析結果の内で、前記第１７のステップと前記第２０のステップでの重み付け処理の対象から外れた各領域についての分析結果を比較し、前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータの各領域に対して、より適正な露光状態にある領域ほどより大きな重み付け処理を施す第２１のステップと、
   前記第２１のステップにおいて重み付け処理が施された後の前記第１乃至第３のフレーム記憶手段がそれぞれ記憶している前記第１乃至第３のフレームデータを合成する第２２のステップと
   を有し、前記第２のステップで被写体を検出し、且つ前記第４のステップでの判定結果が否定的であった場合には、前記第２２のステップで合成したフレームを出力させ、それ以外の場合には、フレーム全体の光量に基づいて露光状態を設定する自動露光制御を行ってフレームを出力させることを特徴とする撮影方法。

Images