JP6369058B2 - 画像処理装置 - Google Patents

Description

本発明は、監視システムに用いて好適な画像処理装置に関する。

従来、監視領域をカメラで撮像して取得した画像を処理して監視領域内の異物検出を行う際、一般に、検出対象物体と背景画像を含む入力画像から、背景画像を引くことにより検出対象物体の像を得る背景差分法や、現在入力されている画像フレームと前回入力された画像フレームとの差分を計算し、差分値の大きい領域（変化領域）を移動物体として検知するフレーム間差分法など、画像の変化に基づいて物体を検出する手法が用いられている。

即ち、例えば特許文献１には、所定の時間間隔で監視エリアを撮像した画像を取得し、取得した画像上の変化領域を検知したときに警報音を出力する画像監視装置が記載されている。

しかし、この画像監視装置は、監視エリアを含む撮像範囲の実空間の奥行を認識しないため、監視エリアの手前を横切った物体を侵入物体と誤検知してしまう可能性がある。

そこで、画像上の変化領域の下端の画面上の座標から、その変化領域の下端の実空間での位置を求めることで、上述した誤検知を防止する映像監視装置が提案されている（特許文献２）。

しかし、この映像監視装置では、画面上の座標から実空間内の位置を求める処理が複雑になるという問題がある。

特開平５−７３６３号公報 特許第４７０７０１９号公報

本発明は、上記従来の問題を解決するためになされたものであって、その目的は、監視エリアを含む撮像範囲を撮像した画像の変化に基づいて、監視エリアへの物体の侵入を検知するときに、撮像範囲の実空間の奥行を認識した物体検知を簡単な処理で実現することである。

本発明に係る画像処理装置は、監視エリアを含む撮像範囲を撮像した撮像装置からの画像を取得する画像取得手段と、前記撮像装置からの画像のボケ量と前記撮像装置から被写体までの距離との相関情報に基づいて、前記撮像装置からの距離が所定の範囲の前記撮像範囲を前記監視エリアとして設定する監視エリア設定手段と、前記画像取得手段により取得された画像のボケ量を推定するボケ量推定手段と、該ボケ量推定手段により推定されたボケ量が前記監視エリアの範囲の距離に対応する画素を、前記画像取得手段により取得された画像から抽出する画像抽出手段と、該画像抽出手段により抽出された画素により構成される領域を物体として認識する領域認識手段と、を有し、前記ボケ量推定手段は、画像のエッジを抽出するエッジ抽出手段と、該エッジ抽出手段により抽出されたエッジの両側の直近に位置する一対の画素の画素値の差と、該一対の画素の両側に位置する少なくとも一対の画素の画素値の差とに基づいて、前記エッジのボケ量を算出するボケ量算出手段と、を有する画像処理装置である。

本発明によれば、監視エリアを含む撮像範囲を撮像した画像の変化に基づいて、監視エリアへの物体の侵入を検知するときに、撮像範囲の実空間の奥行を認識した物体検知を簡単な処理で実現することができる。

本発明の実施形態に係る画像処理装置を含む監視システムを示す図である。 図１におけるボケ量推定手段の機能構成を示すブロック図である。 図２における輝度差算出手段及びボケ量算出手段の動作を説明するための図である。 エッジ部及びその両側の画素の輝度とボケ量との関係を示す図である。 図１におけるボケ量推定手段の動作を示すフローチャートである。 図１における距離測定手段の機能構成を示すブロック図である。 ボケ量/距離テーブルの作成手順について説明するための図である。 図１における距離測定手段の動作を示すフローチャートである。 図６における輝度画像抽出手段及び輝度画像合成手段の動作を説明するための図である。 図１における距離測定手段の測定対象の例を示す図である。 図１における物体検知手段の機能構成を示すブロック図である。 図１における物体検知手段の動作を示すフローチャートである。 図１における物体検知手段の動作を説明するための図である。 図１における影除去手段の機能構成を示すブロック図である。 図１における影除去手段の動作を示すフローチャートである。 図１における影除去手段の動作を説明するための図である。 図１における速度測定手段の測定原理を説明するための図である。 移動ボケが発生した画像における輝度とボケ量との対応関係を示す特性曲線のグラフである。 図１における速度測定手段の機能構成を示すブロック図である。 図１における速度測定手段の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。
〈画像処理装置を含む監視システム〉
図１は本発明の実施形態に係る画像処理装置を含む監視システムを示す図である。この監視システムは、ＰＣ（パーソナルコンピュータ）１と、それぞれがＰＣ１に接続されたカメラ２、キーボード３、マウス４、及びモニタ５を備えている。

ここで、ＰＣ１が、本発明の実施形態に係る画像処理装置であり、カメラ２からの画像データを処理することで、各種画像処理（詳細については後述）を行う。

カメラ２は、監視エリアを撮像するように配置された撮像装置である。本実施形態では、カラーカメラを採用したが、モノクロカメラを用いることもできる。

キーボード３及びマウス４は、ユーザがＰＣ１に種々の指示を与えるための入力装置であり、モニタ５はカメラ２が監視エリアを撮像して生成した画像などを表示する出力装置である。

ＰＣ１は、ＣＰＵ（Central Processing Unit）１１と、それぞれがＣＰＵ１１に接続された入力部１２、カメラ制御部１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ストレージ１６、及び出力部１７を備えている。

入力部１２は、カメラ２、キーボード３、及びマウス４と通信を行うためのインタフェースであり、出力部１７はモニタ５と通信を行うためのインタフェースである。また、カメラ制御部１３は、カメラの焦点距離、絞り、シャッター速度などを制御するためのインタフェースである。

ＣＰＵ１１はＰＣ１全体の動作を制御するプロセッサである。ＲＯＭ１４は、ＣＰＵ１１が実行するプログラムや固定データ（後述する各種テーブルなど）を記憶するメモリ（書き換え可能なものを含む）であり、ＲＡＭ１５は、ＣＰＵ１１のワークエリアとなるメモリである。ストレージ１６は、ハードディスクなどの大容量記憶装置からなり、カメラ２で生成され、ＣＰＵ１１で画像処理を受けた画像データ、ＣＰＵ１１が生成したデータ、監視動作に関するアプリケーションプログラムなどが格納される。

ＣＰＵ１１は、ＲＯＭ１４やストレージ１６に格納されたプログラムを実行することにより実現される機能ブロックとして、ボケ量推定手段２１、距離測定手段２２、物体検知手段２３、影除去手段２４、及び速度測定手段２５を備えている。

ボケ量推定手段２１は、カメラ２が監視エリアを撮像して生成した画像のボケ量を推定する。距離測定手段２２は、カメラ２が監視エリアを撮像して生成した画像のボケ量を推定し、ボケ量とカメラ２の焦点位置と被写体までの距離との対応関係を示すデータに基づいて、カメラ２から被写体までの距離を測定（推定）する。

物体検知手段２３は、カメラ２が監視エリアを撮像して生成した画像の背景差分画像のボケ量を推定し、そのボケ量が予め設定した監視エリアの被写体を撮像した場合のボケ量であるか否かに基づいて、監視エリアへ侵入した物体を検知する。

影除去手段２４は、カメラ２が監視エリアを撮像して生成した画像のボケ量を推定し、そのボケ量と影との対応関係を示すデータに基づいて、画像中の影の部分を識別し、画像中の影の部分を除去する。

速度測定手段２５は、カメラ２が監視エリアを撮像して生成した物体の画像の移動ボケ量（ブレ量）を推定し、その移動ボケ量と移動速度との対応関係を示すデータに基づいて、物体の移動速度を測定（推定）する。

〈ボケ量推定手段の機能ブロック図〉
図２は、図１におけるボケ量推定手段２１の機能構成を示すブロック図である。図示のように、ボケ量推定手段２１は、画像取得手段２１１、モノクロ変換手段２１２、ノイズ除去手段２１３、エッジベクトル算出手段２１４、エッジ判定手段２１５、輝度差算出手段２１６、及びボケ量算出手段２１７を備えている。エッジベクトル算出手段２１４とエッジ判定手段２１５がエッジ抽出手段を構成する。

画像取得手段２１１は、カメラ２が監視エリアを撮像して生成した画像を入力部１２を介して受け取ることで、カメラ２からの画像を取得する手段である。このとき、カメラ２の光学系は、カメラ制御部１３による焦点距離及び絞りの制御により、被写界深度の浅い状態、換言すればピントの合う範囲の狭い状態に設定されている。

モノクロ変換手段２１２は、画像取得手段２１１が取得した画像であるカラー画像をモノクロ画像に変換する。この変換は、カラー画像の各色成分の合成による輝度（Ｙ）成分の生成、又は任意の色成分（例．Ｇ）の抽出として行う。

ノイズ除去手段２１３は、メディアンフィルタやガウシアンフィルタからなり、モノクロ変換手段２１２からのモノクロ画像のピクセルノイズを除去する。カメラ２としてモノクロカメラを用いた場合は、モノクロ変換手段２１２は不要である。

エッジベクトル算出手段２１４は、３×３のSobel（ソーベル）フィルタやCanny（キャニー）フィルタからなり、ノイズ除去されたモノクロ画像の各画素のエッジベクトル（エッジ強度及びエッジ方向）を算出する。

即ち、画像の横方向（ｘ方向）の３×３のSobelフィルタＳｘの出力をｆx、画像の縦方向（ｙ方向）の３×３のSobelフィルタＳｙの出力をｆyとすると、下記の式〔１〕、式〔２〕により、エッジ強度及びエッジ方向を算出する。
エッジ強度＝√（ｆx^２＋ｆy^２） …式〔１〕
エッジ方向＝tan^−１（ｆy/ｆx） …式〔２〕

エッジ判定手段２１５は、エッジベクトル算出手段２１４により算出された各画素（注目画像）のエッジベクトルの強度（エッジ強度）のうち、その両側の画素のエッジベクトルの強度と比べて大きい、即ち差又は比が所定の閾値を超える注目画像をエッジ部画素と判定することでエッジを抽出する。

輝度差算出手段２１６は、エッジ部画素のエッジベクトル方向の両側に位置する所定数の画素の画素値としての輝度の差を算出する。即ち、例えばエッジ部画素の両隣のさらに両隣に位置する１対の画素の輝度差を算出する。

ボケ量算出手段２１７は、エッジベクトル算出手段２１４により抽出されたエッジ部画素のエッジ強度と、輝度差算出手段２１６により算出された輝度差とから、エッジのボケ量を算出する。

〈エッジ部の輝度差及びボケ量算出〉
図３は、図２における輝度差算出手段２１６及びボケ量算出手段２１７の動作を説明するための図である。この図において、横軸は画素、縦軸は輝度を表す。

図３において、画素Ｐeはエッジ部画素である。画素Ｐe+1、画素Ｐe-1は、画素Ｐeのエッジベクトル方向の両隣（両側の直近）の一対の画素であり、その輝度差：Ａは、エッジベクトル算出手段２１４により、画素Ｐeのエッジ強度として算出される。画素Ｐe+2、画素Ｐe-2は、画素Ｐe+1、画素Ｐe-1の両隣の一対の画素であり、その輝度差：Ｂは、輝度差算出手段２１６により算出される。

ボケ量算出手段２１７は下記の式〔３〕により、輝度差：Ｂと輝度差：２Ａとを比較することで、エッジのボケ量を算出する。
ボケ量＝Ｂ÷２Ａ …式〔３〕

また、図３において、画素Ｐe+2と画素Ｐe+1との輝度差をＢ１、画素Ｐe-2と画素Ｐe-1との輝度差をＢ２とすると、式〔３〕に代えて、下記の式〔４〕によりボケ量を算出することもできる。
ボケ量＝（Ａ＋Ｂ１＋Ｂ２）÷２Ａ …式〔４〕

〈エッジ部付近の画素の輝度とボケ量との関係〉
図４は、エッジ部及びその両側の画素の輝度とボケ量との関係を示す図である。この図を用いて、エッジ部付近の画素の輝度とボケ量との関係について説明する。

この図の横軸は画素の位置であり、９番目の画素がエッジ部画素である。また、図の縦軸は画素の輝度である。また、σはガウス分布（正規分布）における分散値の平方根であり、その数値はガウシアンフィルタのパラメータとして用いられる値である。即ち、この図に示すエッジ部及びその両側の画素の輝度とボケ量との関係は、σをパラメータとした輝度対画素位置特性である。

この特性は、１８個の画素の輝度値の総数を２５６としたガウス分布の累積分布関数をσをパラメータとして算出したものである。現実の撮像画像のボケ量はガウス分布となることが知られているので、この特性はボケ量を数値化したものと言える。また、σの値はボケ量に関連し、σが大きい程ボケ量が大きい。

即ち、例えばσ＝０の場合、図３における画素Ｐeに対応する９番目の画素の輝度が１２８、画素Ｐe+1、画素Ｐe-1に対応する１０番目、８番目の画素の輝度がそれぞれ２５６、０であるから、Ａ＝２５６である。また、画素Ｐe+2、画素Ｐe-2に対応する１１番目、７番目の画素の輝度はそれぞれ２５６、０であるから、Ｂ＝２５６（Ｂ1＝０、Ｂ2＝０）である。従って、式〔３〕により、σ＝０の場合のボケ量を算出すると、「Ｂ÷２Ａ＝２５６÷５１２＝０．５」となる。この値がボケ量の最小値である。

そして、σの値が大きくなるにつれて、特性曲線の傾斜が緩くなるため、Ａの値が減少し、Ｂ1、Ｂ2の値が増加し、Ｂと２Ａが等しい傾斜に収束する。この場合、ボケ量は最大値の１となる。

〈ボケ量推定手段の動作〉
図５は、図１におけるボケ量推定手段２１の動作を示すフローチャートである。
まず画像取得手段２１１が被写界深度の浅い状態に設定されているカメラ２からの画像を取得する（ステップＳ１）。この画像はカラー画像である。

次にモノクロ変換手段２１２がカラー画像をモノクロ画像に変換し（ステップＳ２）、ノイズ除去手段２１３がモノクロ画像中のノイズを除去する（ステップＳ３）。

次に、エッジベクトル算出手段２１４がノイズ除去されたモノクロ画像の各画素のエッジベクトルを算出し（ステップＳ４）、エッジ判定手段２１５がエッジベクトルの強度を基にエッジを抽出する（ステップＳ５）。ステップＳ４を実行する過程で図３におけるＡの値が算出される。

次いで、輝度差算出手段２１６が、エッジ判定手段２１５により抽出されたエッジを構成するエッジ部画素のエッジベクトル方向の両側の所定数の画素、例えばエッジ部画素の両隣のさらに両隣の１対の画素の輝度差を算出する（ステップＳ６）。このステップにより、図３におけるＢの値が算出される。最後に、ボケ量算出手段２１７が式〔３〕を用いてボケ量を算出する（ステップＳ７）。

このように、本発明の実施形態のボケ量推定手段によれば、周波数解析を伴わない単純な処理で画像のボケ量を推定することができる。なお、以上説明した実施形態では、式〔３〕によりボケ量を算出しているが、式〔３〕の分母の２Ａに代えて、５×５のSobelフィルタの出力とすることもできる。この場合、画素Ｐe+2、画素Ｐe-2の両隣の一対の画素の画素値もボケ量に反映される。

〈距離測定手段の機能ブロック図〉
図６は、図１における距離測定手段２２の機能構成を示すブロック図である。
図示のように、距離測定手段２２は、画像取得手段２２１、モノクロ変換手段２２２、ノイズ除去手段２２３、エッジベクトル算出手段２２４、エッジ判定手段２２５、輝度差算出手段２２６、及びボケ量算出手段２２７を備えている。これらの手段の構成は、ボケ量推定手段２１における同名の手段と同じである。

また、距離測定手段２２は、ボケ量/輝度画像生成手段２２８、輝度閾値設定手段２２９、輝度画像抽出手段２２ａ、及び輝度画像合成手段２２ｂを備えている。

距離画像生成手段としてのボケ量/輝度画像生成手段２２８は、カメラ２で撮像した画像のボケ量と、カメラ２の焦点と被写体との間の距離との対応関係を示すデータ（相関情報）を有するテーブル（以下、ボケ量/距離テーブル）を用いて、ボケ量算出手段２２７で算出されたエッジのボケ量から、距離画像としてのボケ量/輝度画像を生成する。

ボケ量/輝度画像は、カメラ２の焦点から画像のエッジに対応する被写体の位置までの距離を表す輝度を有する画像である。本実施形態では、焦点から近い程、輝度を高くする。ここで、ボケ量/距離テーブルは予め作成され、相関情報の記憶部としてのストレージ１６に保存されている。ボケ量/距離テーブルの内容及び作成手順については後述する。

輝度閾値設定手段２２９は、ユーザがキーボード３及びマウス４を用いて、測定したい距離を入力したとき、その距離に対応するボケ量/輝度画像の輝度の閾値をＲＡＭ１５に設定する手段である。本実施形態では、距離として、焦点から１ｍ以内、２ｍ以内、３ｍ以内などが設定される。この輝度閾値は、例えば焦点から１ｍ以内の場合、ボケ量/輝度画像生成手段２２８により生成された輝度画像において、焦点から１ｍに位置する被写体のボケ量を表す輝度となる。

輝度画像抽出手段２２ａは、ボケ量/輝度画像生成手段２２８で生成された画像の画素のうち、その輝度が輝度閾値設定手段２２９で設定された輝度閾値を超える画素を抽出する。これにより、輝度閾値を超える画素の輝度値はそのままとなり、輝度閾値以下の画素の輝度値は“０”となる。ここでは、焦点から１ｍ以内、２ｍ以内、３ｍ以内に位置する被写体の画像のエッジが個別に抽出される。なお、輝度閾値を超える輝度の画素の輝度値を“１”などの一定値にしてもよい。

輝度画像合成手段２２ｂは、輝度画像抽出手段２２ａで抽出された３つの輝度画像を合成する。この合成により、例えば、焦点から１ｍ以内、２ｍ以内、３ｍ以内の被写体のエッジを表す画像が生成される。ここで、焦点から３ｍ以内は２ｍ以内及び１ｍ以内を含み、２ｍ以内は１ｍ以内を含むので、重複する範囲の輝度値は加算しない。ただし、輝度閾値を超える輝度の画素の輝度値を“１”などに固定した場合は、加算することで、焦点から１ｍ以内が“３”、１ｍを超え、２ｍ以内が“２”、２ｍを超え、３ｍ以内が“１”、３ｍを超える範囲が“０”とする。

〈ボケ量/距離テーブルの作成手順〉
図７は、ボケ量/距離テーブルの作成手順について説明するための図である。ここで、図７Ａは、直径は５０ｍｍのレンズのピントをレンズから１０ｍの距離に合わせた状態でのレンズからの距離と錯乱円の大きさ（直径）との関係を示すグラフである。このデータはカメラメーカが公開しているものである。また、図７Ｂは、ガウシアンフィルタでぼかした画像のボケ量を式〔３〕で算出したボケ量推定値を示すグラフである。

図７Ａに示すように、レンズからの距離と錯乱円の大きさとの間には対応関係がある。錯乱円の大きさとボケ量にも対応関係があることは知られているから、ボケ量と錯乱円との対応関係を示すデータを作成すれば、ボケ量とレンズからの距離との対応関係を示すデータ、即ちボケ量/距離テーブルを作成することができる。

そこで、図７Ａに示す特性を有するカメラで取得したボケのない画像をガウシアンフィルタで処理してボケ画像を生成し、そのボケ量を式〔３〕で算出することで、図７Ｂに示すデータを作成する。

この図において、横軸のガウシアンフィルタによるボケ量の数値はガウシアンフィルタのサイズを表しており、サイズｎ（ｎ＝１〜１１）は、（２ｎ＋１）×（２ｎ＋１）を意味する。また、縦軸のボケ量推定値は、式〔３〕による算出値の２倍を１から減算した値である。なお、網掛けを付した部分は影除去手段２４が影と判定する範囲である。

ここで、（２ｎ＋１）×（２ｎ＋１）のガウシアンフィルタによるボケ量は、ボケのない画像の１画素を（２ｎ＋１）画素にぼかしたことを意味する。そこで、（２ｎ＋１）画素と図７Ａにおける錯乱円の大きさとの対応関係を示すデータを取得することで、図７Ａの縦軸の値を画素数に変換したデータを作成することができ、さらに図７Ｂに示すデータを用いることで、図７Ａの縦軸の値を図７Ｂの縦軸に示すボケ量推定値としたデータ、即ちボケ量/距離テーブルを作成することができる。このボケ量/距離テーブルは、焦点距離又は絞りの値（Ｆ値）の少なくとも一方をパラメータとして複数設けておくことが好適である。なお、（２ｎ＋１）画素と図７Ａにおける錯乱円の大きさとの対応関係を示すデータは、撮像素子の画素数など、カメラの諸元から取得することができる。

〈距離測定手段の動作〉
図８は、図１における距離測定手段２２の動作を示すフローチャートである。この図において、ステップＳ１１のボケ量推定処理は、図５に示すフローチャートの全体（ステップＳ１〜Ｓ７）と同じであるから説明を省略する。

次のステップＳ１２では、ボケ量/輝度画像生成手段２２８がボケ量を表す輝度画像、即ちその輝度がボケ量に対応する画像を生成する。ここでは、ボケ量が小さい、換言すれば焦点からの距離が近い被写体の画像程、輝度の高い画像を生成する。

次に輝度閾値設定手段２２９が、ユーザによる距離測定範囲の設定情報、即ち、ユーザがキーボード３及びマウス４を用いて入力した測定したい距離を示す情報を取得し（ステップＳ１３）、ボケ量/距離テーブルを参照して、ユーザが測定したい距離に対応する輝度閾値を設定する（ステップＳ１４）。

次に輝度画像抽出手段２２ａが、ボケ量/輝度画像生成手段２２８で生成された画像の画素のうち、その輝度値が輝度閾値設定手段２２９によりステップＳ１４で設定された輝度閾値以上の画素を抽出する（ステップＳ１５）。

次に、輝度画像合成手段２２ｂが各設定距離の輝度画像を合成する（ステップＳ１６）。即ち、ステップＳ１５で抽出された各設定距離の輝度に対応する画素を合成する。

〈輝度画像抽出手段及び輝度画像合成手段の動作〉
図９は、図６における輝度画像抽出手段２２ａ及び輝度画像合成手段２２ｂの動作を説明するための図である。

ここで、図９Ａは、エッジ判定手段２２５で抽出された画像を示す。また、図９Ｂ、図９Ｃ、図９Ｄは、それぞれ輝度画像抽出手段２２ａで抽出された焦点から１ｍ以内、２ｍ以内、３ｍ以内の画像を示す。また、図９Ｅは、輝度画像合成手段２２ｂで生成された合成画像を示す。なお、実際の画像はグレースケール画像であるが、便宜上、ここでは２値の線画として記載した。また、この合成画像の輝度を線の太さに対応させた。

図９Ａに示すように、人物３１、建物３２、及び樹木３３の画像がある。また図９Ｂ、図９Ｃ、図９Ｄに示すように、人物３１は焦点から１ｍ以内、人物３１及び建物３２の屋根以外の部分は焦点から２ｍ以内、人物３１、建物３２、並びに樹木３３の葉の下半分及び幹は焦点から３ｍ以内に位置する。

そして、図９Ｅに示すように、人物３１が最も高輝度、建物３２の屋根以外の部分が中輝度、建物３２の屋根並びに樹木３３の葉の下半分及び幹が低輝度となり、葉の上半分の輝度値は０となる。

〈距離測定手段の測定対象〉
図１０は、図１における距離測定手段２２の測定対象の例を示す図である。
カメラ２は、図示されていない保持手段により、監視エリアを上方から撮像するように取り付けてある。カメラ２のレンズの焦点４３は、監視エリアの地面４１に侵入することが想定される人物４２の頭部４２ａと胴体４２ｂとの間、即ち首の高さに設定されている。また、被写界深度は、頭頂部から胴体中央部の長さに設定されている。

このように設定し、図６に示す輝度画像抽出手段２２ａにより、被写界深度内の輝度画像を抽出することで、地面４１に出来る影や、監視エリアに侵入した小動物を人物と誤検知する事態を防止することができる。

本発明の実施形態に係る距離測定手段２２によれば、カメラ２で被写体を撮像して生成した被写体の画像のボケ量とカメラ２から被写体までの距離との対応関係を示すデータに基づいて、カメラ２から被写体までの距離を推定するときに、画像のボケ量の推定を、周波数解析を伴わない単純な処理で実現することができる。

〈物体検知手段の機能ブロック〉
図１１は、図１における物体検知手段２３の機能構成を示すブロック図である。
図示のように、物体検知手段２３は、検知範囲設定手段２３１、背景距離画像生成手段２３２、入力距離画像生成手段２３３、差分画像生成手段２３４、及び領域認識手段２３５を備えている。

検知範囲設定手段２３１は、ユーザによるカメラ２の焦点距離及び絞りの設定に基づいて、監視エリアとしての物体検知範囲を設定する手段である。この物体検知範囲は、図１０における被写界深度の部分に相当する。

背景距離画像生成手段２３２は、検知範囲設定手段２３１で設定した物体検知範囲に検知対象物体が存在しないときに、カメラ２が監視エリアを撮像した生成した画像に対して距離画像生成処理、即ち画像のボケ量から推定される距離に対応する輝度を有する画像を生成することで、背景距離画像を生成する手段である。

背景距離画像の輝度値は、物体検知範囲内の被写体については焦点からの距離に応じたプラスの値、物体検知範囲外の被写体については“０”となる。また、背景距離画像生成処理は図８のステップＳ１１〜Ｓ１５に示す処理と同様な処理である。

入力距離画像生成手段２３３は、背景距離画像を生成した後、カメラ２が監視エリアを撮像して生成した画像に距離画像生成処理を施すことで、入力距離画像を生成する手段である。

入力距離画像の輝度値は、背景距離画像の輝度値と同様、物体検知範囲内の被写体については焦点からの距離に応じたプラスの値、物体検知範囲外の被写体については“０”となる。また、入力距離画像生成処理は図８のステップＳ１１〜Ｓ１５に示す処理と同様な処理である。

差分画像生成手段２３４は、入力距離画像生成手段２３３で生成された入力距離画像と、背景距離画像生成手段２３２で生成された背景距離画像の差分をとることで差分画像を生成する手段である。

差分画像の輝度値は、物体検知範囲内の入力距離画像と背景距離画像とに差分が有る部分については焦点からの距離に応じたプラスの値、差分が無い部分については“０”となる。従って、差分画像の輝度がプラスの値の部分は、物体検知範囲に侵入した物体のエッジを表す。

領域認識手段２３５は、差分画像生成手段２３４により生成された差分画像における輝度がプラスの値の部分に外接矩形を付加することで、領域認識を行う手段である。

領域認識手段２３５により囲まれた差分画像の輝度は、カメラ２の焦点からの距離に対応する。また、領域認識手段２３５により生成された外接矩形のサイズ（縦寸、横寸）は、物体検知範囲に侵入した物体のサイズに対応する。従って、侵入した物体を特定することが可能となる。

〈物体検知手段の動作〉
図１２は、図１における物体検知手段２３の動作を示すフローチャートである。
まず検知範囲設定手段２３１は、ユーザがカメラ２からの画像をモニタ５で見ながら、キーボード３及びマウス４を用いて、カメラ２の焦点距離及び絞りを調整する操作に基づいて物体検知範囲を設定する（ステップＳ２１）。

このとき、監視エリアには人体を模した物体が配置されており、背景画像生成処理と同様の処理により、モニタ５にはカメラ２の焦点からの距離に応じた輝度を有する画像が表示されている。ユーザは、その物体を前後に移動させ、物体の画像の輝度が０から所定の値となるように、焦点距離及び絞りを調整することで、検知範囲の前端（カメラ２から最も近い距離）及び後端（カメラ２から最も遠い距離）を設定することができる。

検知範囲設定手段２３１は、この焦点距離と絞りの組み合わせを検知範囲（前端、後端）と対応付けた検知範囲設定情報をＲＯＭ１４に格納しておくことで、以後、物体検知手段２３を動作させるときは、その検知範囲設定情報を読み出すことで、自動的な設定が可能となる。また、複数の異なる検知範囲に対応付けて、複数の焦点距離と絞りの組み合わせを格納しておくことで、検知範囲の可変設定が可能となる。この検知範囲設定情報は、前述した距離測定手段２２が使用するボケ量/距離テーブルから所要の情報を抽出することで作成される。

次に、背景距離画像生成手段２３２が背景距離画像を生成する（ステップＳ２２）。次いで、入力距離画像生成手段２３３が入力距離画像を生成する（ステップＳ２３）。

次に、差分画像生成手段２３４が、入力距離画像及び背景距離画像から差分画像を生成する（ステップＳ２４）。そして、領域認識手段２３５が、輝度値がプラスの画素に枠を生成することで、物体の領域を認識する（ステップＳ２５）。

〈物体検知手段の動作〉
図１３は、図１における物体検知手段２３の動作を説明するための図である。ここで、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ、図１３Ｅは、それぞれ背景画像、入力画像、背景距離画像、入力距離画像、差分画像を示している。また、図１３Ｆは差分画像における物体に外接矩形を付した状態を示している。なお、実際の画像はグレースケール画像であるが、ここでは便宜上、２値画像として記載した。

図１３Ａにおいて、斜線を付した領域５１は監視エリアの床を示している。即ち、監視エリアの下端は領域５１であり、上端は図の画面上端である。

図１３Ｂに示すように、入力画像には、物体（ここでは人体）５２と、蝶５３がある。ここで、物体５２は監視エリアに位置し、蝶５３は監視エリアの手前、即ちカメラ２と監視エリアとの間に位置するものとする。

図１３Ｃに示すように、背景距離画像では、図１３Ａに示す背景画像のうち、監視エリア内の部分のみが抽出される。監視エリア外の部分（破線で表示）が除去されるとも言える。

図１３Ｄに示すように、入力距離画像では、図１３Ｂに示す入力画像のうち、監視エリア内の部分のみが抽出される。従って、物体の画像６１は抽出されるが、蝶の画像は抽出されない。

図１３Ｅに示すように、差分画像は、図１３Ｄに示す入力距離画像と、図１３Ｃに示す背景距離画像の差分であるから、物体の画像７１のみとなる。そして、図１３Ｆに示すように、物体の画像７１に外接矩形７２を付加することで、物体の領域を認識する。

このように、物体検知手段２３によれば、監視エリアを含む撮像範囲を撮像した画像の変化に基づいて、監視エリアへの物体の侵入を検知するときに、撮像範囲の実空間の奥行を認識した物体検知を簡単な処理で実現することができる。

〈影除去手段の機能ブロック〉
図１４は、図１における影除去手段２４の機能構成を示すブロック図である。
図示のように、影除去手段２４は、画像取得手段２４１、モノクロ変換手段２４２、ノイズ除去手段２４３、エッジベクトル算出手段２４４、エッジ判定手段２４５、輝度差算出手段２４６、ボケ量算出手段２４７、ボケ量/輝度画像生成手段２４８、輝度閾値設定手段２４９、輝度画像抽出手段２４ａを備えている。

これらの手段は、距離測定手段２２における同名の手段と同様に構成されている。ただし、影除去手段２４は、光の回折により物体の影の画像がぼけること、及びそのボケ量が物体から遠くなる程、大きくなるという性質を利用して画像中の影を分離・除去するので、画像取得手段２４１は、カメラ２の被写界深度が深い（ピンボケが発生しにくい）状態で画像を取得することが望ましい。また、被写体の移動によるブレ（移動ボケ）の発生を防止するため、シャッタースピードを高速（露光時間：短）にすることが望ましい。また、画像取得手段２４１は、カメラ２からの画像の背景差分画像を出力するように構成することが望ましい。

〈影除去手段の動作〉
図１５は、図１における影除去手段２４の動作を示すフローチャートである。この図において、ステップＳ３１のボケ量推定処理は、図５に示すフローチャートの全体（ステップＳ１〜Ｓ７）と同じである。ただし、ここでは、カメラ２の被写界深度を深く設定した状態で画像を取得する。

次のステップＳ３２では、ボケ量/輝度画像生成手段２４８がボケ量を表す輝度画像、即ちその輝度がボケ量に対応する画像を生成する。ここでは、ボケ量が大きい程、輝度が低くなる画像を生成する。従って、監視領域に物体が存在するとき、物体の画像よりも影の画像の方が輝度が低くなり、影の画像同士では、物体の下端（人体の場合、足元）から遠くなる程、輝度が低くなる。

次に、輝度画像抽出手段２４ａが、輝度閾値設定手段２４９により設定された所定の閾値より低い画素を、ボケ量/輝度画像生成手段２４８で生成された画像から除去する（ステップＳ３３）。このとき、輝度閾値として、影の画像のボケ量の最大値を設定することで、理論上は影の画像を除去することができる。本実施形態では、図７Ｂにおけるガウシアンフィルタにより生成した画像のボケ量：４以上（ボケ量推定値：０．３６以下）を影として判定する。

監視エリアの明るさ、太陽光の照射方向によって、影の画像のボケ量が変化するので、それらの条件に応じて、閾値を動的に変更することが望ましい。そこで、下記（１）、（２）のように動的に閾値を変更する。
（１）エッジ判定手段２４５により抽出されたエッジに囲まれた領域のサイズ（長さや面積）を算出し、それらの値に応じて、閾値を変化させる。このとき、エッジに囲まれた領域は、物体とその影を合わせたものになるので、その長さや面積が大きい程、影が長い、換言すれば日射角度が低い。影が長いと、影のボケ量が大きくなる（輝度が低くなる）ので、閾値を低くする。
（２）エッジ判定手段２４５により抽出されたエッジの輝度の平均値を算出し、その値に応じて、閾値を変化させる。平均輝度が高いということは影が明瞭であり、ボケ量の平均値が小さくなる（ボケ量を表す輝度画像の輝度が高くなる）ので、閾値を高くする。

〈影除去手段の動作〉
図１６は、図１における影除去手段２４の動作を説明するための図である。ここで、図１６Ａはノイズ除去手段２４３の出力画像、図１６Ｂはボケ量/輝度画像生成手段２４８の出力画像、図１６Ｃは輝度画像抽出手段２４ａの出力画像である。

図１６Ａに示すように、ノイズ除去手段２４３の出力画像には、人体の画像８１と人体の影の画像８２がある。なお、便宜上、人体の画像８１には縦線、人体の影の画像８２には網目を付した。

図１６Ｂに示すように、ボケ量/輝度画像生成手段２４８の出力画像では、ボケ量の小さい人体の画像８３は輝度が高く、ボケ量の大きい人体の影の画像８４は輝度が低い。ここでは、画像８３、８４のエッジの太さが輝度の高さを表している。

図１６Ｃに示すように、輝度画像抽出手段２４ａの出力画像では、輝度の高い人体の画像８３が抽出（輝度の低い人体の影の画像８４が除去）されている。

このように、影除去手段２４によれば、影の画像のエッジがぼけることを利用して影を分離・除去するので、光の照射条件が変化しても、高い精度で影を除去することができる。

〈速度測定の原理〉
図１７は、図１における速度測定手段２５の測定原理を説明するための図である。ここで、図１７Ａは、カメラ２の露光時間内で測定対象の車両が移動する距離について説明するための図であり、図１７Ｂはカメラ２で撮像した車両の画像のブレ（移動ボケ）について説明するための図である。ここで、カメラ２は車両をその側面に直交する方向、即ち車両をその移動方向と直交する方向から撮像するように設置されている。

図１７Ａに示すように、車両９１の速度をＶとすると、カメラ２の露光時間ｔs（シャッター速度）における車両９１の移動距離ｄは「Ｖ×ｔs」となる。また、図１７Ｂに示すように、このときカメラ２で撮像した車両の画像９２のボケ量Ｂは、移動距離ｄに対応する水平画素数に対応するから、車両の速度Ｖ、露光時間ｔs、及びカメラ２から車両９１までの距離の関数となる。なお、図１７Ｂでは、画像９２における縦線についてのみボケを斜線で図示した。

車両の画像９２における縦線（垂直エッジ）の輝度には移動方向に高いグラデーションが発生する。理論上はこのグラデーションはリニアな変化となるが、実画像においては、ピンボケと同様に累積分布曲線に近似した曲線となる。

図１８は、移動ボケが生じた画像における輝度とボケ量との対応関係を示す特性曲線のグラフ、即ち上記の曲線の一例を示す図である。この図の横軸は画素位置、縦軸は輝度値である。ここで、ボケ量は、図１７Ｂにおけるボケ量（Ｂ）に対応する。

前述したように、画像のボケ量は、車両の速度Ｖ、露光時間ｔs、及びカメラ２から車両９１までの距離の関数となる。また、車両の速度Ｖは、下記の式〔５〕により算出することができる。
Ｖ＝「ボケ量（Ｂ）に対応する画素数」×「画像における画素単位の距離」÷「露光時間ｔs」 …式〔５〕

この式において、「ボケ量（Ｂ）に対応する画素数」は、図１８に示す特性曲線から求めることができる。また、「画像における画素単位の距離」は、カメラ２で撮像した所定のサイズの物体の画像の画素数を計測することで求めることができる。この距離は、カメラ２から測定対象が通行する位置までの距離が長い、即ち測定対象が通行する位置がカメラ２から遠い程、長くなる。

従って、画像のボケ量から速度を求めるためのテーブル（以下、ボケ量/速度テーブル）を、カメラ２から測定対象までの距離及び露光時間をパラメータとして予め作成しておけば、ボケ量推定手段２１と同様にしてボケ量Ｂを推定し、ボケ量/速度テーブルを参照することで、速度Ｖを求めることができる。

〈速度測定手段の機能ブロック〉
図１９は、図１における速度測定手段２５の機能構成を示すブロック図である。
図示のように、速度測定手段２５は、画像取得手段２５１、モノクロ変換手段２５２、ノイズ除去手段２５３、エッジベクトル算出手段２５４、エッジ判定手段２５５、輝度差算出手段２５６、ボケ量算出手段２５７、ボケ量/輝度画像生成手段２５８を備えている。

これらの手段は、距離測定手段２２における同名の手段と同様に構成されている。ただし、速度測定手段２５は、物体の画像のブレ（移動ボケ）が物体の速度に対応することを利用して、物体の速度を求めるので、画像取得手段２５１は、カメラ２の被写界深度が深い（ピンボケが発生しにくい）状態で画像を取得することが望ましい。カメラ２の被写界深度を深くすることで、例えば２車線の走行車両の速度測定が可能になる。

縦線検知手段２５９は、ボケ量/輝度画像生成手段２５８により生成されたボケ量に対応する輝度を有する画像中の縦線（縦エッジ）を検知する手段である。本実施形態では、車両９１の先端、後端、窓等が縦線として検知される。速度算出手段２５ａは、予め作成しておいたボケ量/速度テーブルを参照して、縦線を構成する各画素の移動ボケ（ブレ）に対応する速度を算出する。

〈速度測定手段の動作〉
図２０は、図１における速度測定手段２５の動作を示すフローチャートである。この図において、ステップＳ４１のボケ量推定処理は、図５に示すフローチャートの全体（ステップＳ１〜Ｓ７）と同じである。ただし、ここでは、カメラ２の被写界深度を深く設定した状態で、道路を走行する車両の側面を垂直に撮像して画像を取得する。

次のステップＳ４２では、ボケ量/輝度画像生成手段２５８がボケ量を表す輝度画像、即ちその輝度がボケ量に対応する画像を生成する。ここでは、ボケ量が小さい、換言すれば速度の遅い車両の画像程、輝度が高くなる。

次に、縦線検知手段２５９がボケ量を表す輝度画像の縦線を検知する（ステップＳ４３）。これにより、図１７Ｂに示す車両の画像９２の場合、ボディの先端及び後端、ドアの先端及び後端などが検知される。

次に、速度算出手段２５ａが、縦線検知手段２５９で検知された縦線の画素の輝度に対応する速度をボケ量/速度テーブルから取得することで算出する（ステップＳ４４）。

ここで、理論的（理想的）には、１本の縦線を構成する各画素の輝度は同じである。また、複数の縦線間でも各画素の輝度は同じである。従って、理論的には、１本の縦線の１画素の輝度から速度を求めることが出来る。しかし、実際には、輝度が異なることが考えられるので、縦線毎に輝度の平均値を算出したり、全ての縦線の平均値を算出したりすることが好適である。また、画像の横線（水平エッジ）を検知することで、車両９１などの移動物体を検出することができ、上下の横線の間隔を算出することで、移動物体の高さを推定することができる。

２１…ボケ量推定手段、２３…物体検知手段、２３１…検知範囲設定手段、２３２…背景距離画像生成手段、２３３…入力距離画像生成手段、２３４…差分画像生成手段、２３５…領域認識手段。

Claims (4)

1. 監視エリアを含む撮像範囲を撮像した撮像装置からの画像を取得する画像取得手段と、
   前記撮像装置からの画像のボケ量と前記撮像装置から被写体までの距離との相関情報に基づいて、前記撮像装置からの距離が所定の範囲の前記撮像範囲を前記監視エリアとして設定する監視エリア設定手段と、
   前記画像取得手段により取得された画像のボケ量を推定するボケ量推定手段と、
   該ボケ量推定手段により推定されたボケ量が前記監視エリアの範囲の距離に対応する画素を、前記画像取得手段により取得された画像から抽出する画像抽出手段と、
   該画像抽出手段により抽出された画素により構成される領域を物体として認識する領域認識手段と、
   を有し、
   前記ボケ量推定手段は、画像のエッジを抽出するエッジ抽出手段と、該エッジ抽出手段により抽出されたエッジの両側の直近に位置する一対の画素の画素値の差と、該一対の画素の両側に位置する少なくとも一対の画素の画素値の差とに基づいて、前記エッジのボケ量を算出するボケ量算出手段と、を有する画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記領域認識手段により認識された領域のサイズに基づいて、該領域に対応する実空間内の物体を特定する手段を有する画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、
   前記相関情報を記憶する記憶部を有し、前記監視エリア設定手段は、前記記憶部を参照することで、前記監視エリアを設定する、画像処理装置。
4. 請求項３に記載された画像処理装置において、
   前記記憶部は、前記撮像装置の焦点距離又は絞りの値の少なくとも一方をパラメータとして複数の相関情報を記憶しており、前記監視エリア設定手段は、該複数の相関情報に対応する複数の検知範囲の設定が可能である、画像処理装置。

Images