JP5127735B2 - 画像監視装置 - Google Patents

Description

本発明は画像処理により人の通話姿勢を検知する通話姿勢検知装置に関し、特に画像から顔及び手の存在を検出することにより通話姿勢を検知する通話姿勢検知装置に関する。

近年、振り込め詐欺による被害が多発している。振り込め詐欺とは、電話や封書にて虚偽の内容を老人等に突きつけ、金銭の振り込みを要求する詐欺事件の総称である。一般には「オレオレ詐欺」「架空請求詐欺」「還付金詐欺」などと称される。
振り込め詐欺の手口のひとつに、加害者が携帯電話を通じて被害者を誘導することでＡＴＭでの振り込みを指示する手口がある。

特許文献１には車輌に着座しているドライバを撮像した画像において、顔領域と顔の横の手領域が検出されたときに当該ドライバの通話姿勢を検知することが記載されている。手領域の検出は、手を線分で表したグラフとのマッチング処理により行うとされている。

特開２０００−１９８３７０

しかしながら、肌の色や通話機の持ち方の個人差、姿勢変動（直立姿勢、操作時の前傾姿勢など）に伴う見え方の変化などにより検出対象の手の態様は様々であり、万人共通に用意された手のグラフとの一致を判定する従来技術においては一致判定の基準を甘めに設定せざるを得なかった。

そのため、従来技術では人物の肩付近の着衣の模様や髪の一部が偶然に手のグラフと一致してしまい、通話機を持つ手が顔の周辺に存在しないにもかかわらず通話姿勢を誤検知することがあった。

本発明は上記問題を鑑みてなされたものであり、通話機を持つ手の誤検出を減じて高精度に通話姿勢を検知できる画像監視装置を提供することを目的とする。

本願発明者は、上記問題点を解決する画像監視装置を実現するために研究を行い、その結果、人体は概ね左右対称であるため通常は顔の左右周辺の画像は類似するが、通話姿勢をとっているときは通話機を把持する手により顔の左右周辺の画像は類似しないことが判明した。本発明はこの知見を利用したものである。

本発明にかかる画像監視装置は、人物の通話姿勢を検知すると異常出力する画像監視装置であって、監視空間を撮像する撮像部と、監視空間に人物が存在するときに当該人物の顔とその周辺が撮像された監視画像から予め設定された顔特徴を有する顔領域を検出する顔検出手段と、顔検出手段により検出された顔領域の左右周辺の当該顔領域に対して左右対称な位置に探索領域を設定する探索領域設定手段と、監視画像内で左右の探索領域間の類似性を判定する類似性判定手段と、類似性が判定されない場合に人物の通話姿勢を検知する通話姿勢検知手段と、を備えたことを特徴とする画像監視装置を提供する。
かかる構成によれば、同一の監視画像内に設定された左右の探索領域間の類似性を判定することにより通話姿勢の検知を行うので、同一人物、同一姿勢時の対称な画像部分間での相対的な比較に基づき通話姿勢が検知できる。そのため、通話機を把持する手の多様性や手周辺の画像の影響による通話姿勢の誤検知が減り、高精度な通話姿勢検知が可能となる。

また、本発明の好適な態様においては、類似性判定手段は、予め設定された手特徴について類似性を判定する。
かかる構成によれば、顔の左右の一方に手以外のものが存在するケースがあっても手に特化した特徴について類似性を判定するので当該手以外のものにより通話姿勢を誤検知せず、通話姿勢を高精度に検知することができる。

また、本発明の好適な態様においては、画像監視装置は、監視空間に人物が存在しないときに撮像された背景画像を記憶する記憶部と、監視画像と背景画像とを比較して当該監視画像における前景領域を抽出する前景領域抽出手段と、をさらに備え、類似性判定手段は、探索領域内の前景領域において類似性を判定する。
かかる構成によれば、背景部分の影響が排除されるため、類似性の誤判定が減じられて通話姿勢の検知精度が向上する。

また、本発明の好適な態様においては、探索領域設定手段は、顔領域の大きさに比例したサイズの探索領域を設定する。
かかる構成によれば、撮像される顔の大きさの個人差によらず画一的に探索領域を設定できるので、探索領域に予期せぬ外乱が含まれにくくなり通話姿勢の検知精度が向上する。

また、本発明の好適な態様においては、画像監視装置は、探索領域のそれぞれにおいて予め設定された手特徴を検出する手検出手段、をさらに備え、通話姿勢検知手段は、手検出手段により所定量以上の手特徴が検出され、且つ類似性が判定されない場合に通話姿勢を検知する。
かかる構成によれば、手以外の要因により類似性が判定されないケースがあっても当該要因により通話姿勢を誤検知せず、通話姿勢を高精度に検知することができる。

本発明によれば、通話機を持つ手の存在を誤検出しにくく、高精度な通話姿勢の検知が可能となる。

本実施の形態に係る画像監視装置の全体構成図である。 画像監視装置の各部の配置例を示す図である。 探索領域を設定する様子の一例を表す図である。 画像監視処理のフローチャートである。 異常監視処理のフローチャートである。 手検出処理のフローチャートである。 手検出処理の様子の一例を表す図である。 類似性判定処理のフローチャートである。 類似性判定処理の様子の一例を表す図である。

本発明の好適な実施形態の一例として、ＣＤ（Cash Dispenser）やＡＴＭ（Automatic Teller Machine）等の自動取引機における利用者の通話姿勢を検知する画像監視装置について説明する。

＜実施形態１＞
［画像監視装置１の構成］
画像監視装置１の機能ブロック図を図１に、画像監視装置１の各部の配置図を図２に示す。

画像監視装置１は、撮像部２、人検知部３、記憶部４、及び警告部６が信号処理部５に接続されてなる。画像監視装置１の監視対象は、自動取引機７を利用する利用者８である。

撮像部２は、所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像したカラー画像を順次、信号処理部５へ出力する。以下、上記所定時間間隔で刻まれる時間の単位を時刻と称する。撮像部２は、光軸を自動取引機７と略同じ向きに向け、自動取引機７上であって自動取引機７の左右方向の中央付近に設置される。この配置により撮像部２は、利用者８と正対し、少なくとも利用者８の顔及び顔周辺を略正面から撮像する。利用者８が居るときに撮像された画像（以下、監視画像）は通話姿勢を検知するために用いられ、利用者８が居ないときに撮像された画像は背景画像として用いられる。

人検知部３は、ＰＳＤ（光位置センサ：Position Sensitive Detector）等の人感センサである。人検知部３は、自動取引機７上に自動取引機７と略同じ向きへ向けて設置され、自動取引機７の前に立つ利用者８を検知すると信号処理部５へ人検知信号を出力する。人検知部３の感度は、自動取引機７正面の所定距離範囲内（例えば１ｍ以内）に人が存在する場合にのみ人検知信号を出力するよう予め調整される。
別の実施形態において人検知部３は、マットセンサ、対向型の赤外線センサ等とすることができる。

記憶部４は、ＲＯＭ、ＲＡＭ等のメモリ装置である。記憶部４は、各種プログラムや各種データを記憶し、信号処理部５との間でこれらの情報を入出力する。各種データには、背景画像が含まれる。

信号処理部５は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置である。信号処理部５は、前景領域抽出手段５１、顔検出手段５２、探索領域設定手段５３、手検出手段５４、類似性判定手段５５、通話姿勢検知手段５６等の動作を記述したプログラムを記憶部４から読み出して実行することにより各手段として機能する。信号処理部５は、人検知部３が人検知信号を出力しているときに撮像部２が撮像した監視画像を分析し、監視画像から当該利用者の通話姿勢を検知すると警報部６へ異常信号を出力する。

前景領域抽出手段５１は、監視画像と背景画像とを比較して当該監視画像における前景領域を抽出し、抽出された前景領域の情報を顔検出手段５２、手検出手段５４、及び類似性判定手段５５へ出力する。上記比較は、公知の差分処理により実現できる。すなわち監視画像と背景画像との対応する画素間で画素値の差を演算して差が予め定められたしきい値Ｔ_ｄｉｆｆを超える画素群を前景領域として抽出する。
別の実施形態において前景領域抽出手段５１は、監視画像と背景画像との対応する画素間で画素値の相関値を演算して相関値が予め定められたしきい値Ｔ_ｃｏｒｒ未満の画素群を前景領域として抽出する。
こうして抽出された前景領域は、利用者が撮像されている領域に相当する。

また、前景領域抽出手段５１は、人検知部３が検知信号を出力していないときに撮像部２から入力された画像を記憶部４に記憶させることで背景画像を生成する。

顔検出手段５２は、監視画像を分析して利用者の顔領域を検出し、検出した顔領域の位置と大きさを探索領域設定手段５３へ出力する。

具体的には顔検出手段５２は、Ｈａａｒ−Ｌｉｋｅ特徴を用いたＡｄａｂｏｏｓｔ識別器を用いて顔領域を検出する。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade
of Simple Features」（Proc. the IEEE International Conference on Computer Vision
and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。

すなわち、Ａｄａｂｏｏｓｔ識別器には、人の顔が映っている複数のサンプル画像と人の顔が映っていない複数のサンプル画像を用いて事前に学習をさせておく。顔検出手段５２は監視画像内に基準位置を順次設定し、監視画像から基準位置において所定の大きさの部分画像を切り出してＡｄａｂｏｏｓｔ識別器に入力し、Ａｄａｂｏｏｓｔ識別器が出力する顔有無の識別結果を得る。顔検出手段５２はＡｄａｂｏｏｓｔ識別器が顔があるとの識別結果を出力した基準位置及びそのときの部分画像の大きさを顔領域の情報として出力する。

顔検出手段５２は識別器を用いる他に種々の方法を適用することができる。例えば別の実施形態において顔検出手段５２は、監視画像からエッジを抽出して楕円形状のエッジを有する領域を顔領域として検出する。さらに別の実施形態において顔検出手段５２は、監視画像から肌色の色成分を有する所定以上の大きさの領域を顔領域として検出する。さらに別の実施形態において顔検出手段５２は、目・鼻・口などの部位を抽出してこれらの部位の位置を基準とした相対的な位置及び大きさの顔領域を検出する。

尚、顔の検出処理は監視画像全体に対して行うのではなく、前景領域内に限定して行うこともできる。こうすることで背景の一部を顔として検出する誤りを低減でき、また、計算量を削減できる。

通話中の人物は耳の横から顎のあたりに携帯電話を押し当てる姿勢をとるために、携帯電話を把持する手は耳の下から肩の周辺までの範囲に撮像される。
探索領域設定手段５３は、上記範囲に相当する画像領域を、通話姿勢をとっている利用者の携帯電話を把持する手を探索するための探索領域として設定する。具体的には、探索領域設定手段５３は、顔検出手段５２により検出された顔領域を参照し、当該顔領域の左右周辺であって当該顔領域に対して左右対称な位置に探索領域を設定して、設定した探索領域の情報を手検出手段５２及び類似性判定手段５５へ出力する。

ここで、探索領域は、手を検出し損ねないために手の存在範囲を確実にカバーする程度に大きい必要がある。但し、探索領域が無駄に大きすぎると利用者以外の画像が外乱として含まれやすくなり、後述する類似性判定の精度低下や手検出の精度低下を招く。しかしながら、顔領域の大きさや位置は利用者８の身長、利用者８の立ち位置等の個人差によって様々である。

一方、顔の大きさと手の大きさには関連性があることが知られている。また、上述のように通話姿勢時の手と顔の間には相対的な位置関係がある。そこで、探索領域設定手段５３は、顔検出手段５２により検出された顔領域の位置及び大きさに応じた位置及び大きさの探索領域を設定する。これにより、個人差によらず常に適切な位置及び大きさの探索領域を画一的に設定できるので、探索領域に予期せぬ外乱が含まれにくくなる。そのため後述する類似性判定の精度や手検出の精度が高くなり、通話姿勢の誤検知を低減できる。

図３を参照して、探索領域設定の具体的な一例を示す。

図３において、領域９０は顔領域、Ｈは顔領域９０の高さ、Ｗは顔領域９０の幅、点９１は顔領域９０の中心、矩形領域９２−１は左側の探索領域、矩形領域９２−２は右側の探索領域をそれぞれ示している。

まず探索領域設定手段５３は、顔領域９０の中心９１の位置を演算する。次に探索領域設定手段５３は、中心９１から０．１×Ｈだけ上方で０．０１×Ｗだけ左側に探索領域９２−１の右上位置を設定し、設定された右上位置から１．０×Ｈだけ下方で１．１×Ｗだけ左側に探索領域９２−１の左下位置を設定する。続いて探索領域設定手段５３は、中心９１から０．１×Ｈだけ上方で０．０１×Ｗだけ右側に探索領域９２−２の左上位置を設定し、設定された左上位置から１．０×Ｈだけ下方で１．１×Ｗだけ右側に探索領域９２−２の左下位置を設定する。こうして探索領域９２−１及び９２−２は顔領域９０に対して左右対称に設定される。

尚、高さＨ及び幅Ｗに対する各比率は実験結果に基づき事前に設定されるものであり、撮像部２の配置や仕様に依存して微調整される。また、上記設定順序は一例であり、適宜に変更可能である。

手検出手段５４は、探索領域設定手段５３によって設定された各探索領域内の監視画像から手の画像特徴（以下、手特徴）を抽出して、所定量以上の手特徴が抽出された探索領域に手の存在を検出し、検出結果を通話姿勢検知手段５６へ出力する。また手検出手段５４は、各探索領域において抽出された手特徴を類似性判定手段５５へ出力する。

手特徴量について説明する。

探索領域内に手が存在すれば、探索領域内の監視画像には比較的多数の肌色画素が含まれ、さらに指の輪郭線によって比較的多数のエッジ画素が含まれる。そこで手検出手段５４は、探索領域のそれぞれにおける監視画像から肌色画素及びエッジ画素を抽出し、肌色画素の数（以下、肌色画素数）及び肌色画素と同位置に抽出されたエッジ画素の数（以下、肌色エッジ数）を手特徴として算出する。

肌色画素の抽出は、公知の手法により監視画像をＨＳＶ表色系に変換してＨ成分が３０°付近（例えば２０°〜４０°）の画素を抽出することで実現できる。

エッジ画素の抽出は、監視画像に公知のＳｏｂｅｌフィルタ等を施してエッジ強度が予め定めたしきい値以上の画素を抽出することで実現できる。

尚、手の検出処理は探索領域全体に対して行うのではなく、探索領域内の前景領域に限定して行うこともできる。こうすることで背景の一部を検出する誤りを低減でき、また、計算量が削減できる。

通話姿勢をとっているとき、人は専ら片手を挙げているため手については左右対称とならない。一方、人の体は概ね左右対称であるため、肩や髪などの手以外の部位は概ね左右対称に分布する。そのため、探索領域設定手段５３により設定された２つの探索領域間の画像の類似性は、利用者８が通話姿勢をとっていれば低くなり、利用者８が通話姿勢をとっていなければ高くなる。

類似性判定手段５５は、上記の類似性を判定する手段である。類似性判定手段５５は、左右の探索領域の類似性を判定して判定結果を通話姿勢検知手段５６へ出力する。
つまり類似性の判定は同一の監視画像内に設定された左右の探索領域間で行われる。すなわち判定は同一人物、同一姿勢時の対称な画像部分間での相対的な比較となるため、外乱要因である髪の色・形状や服の色・模様といった手周辺画像が適切に差し引かれ、手周辺画像の影響を受けにくい判定が可能となる。また、万人共通に用意された手の参照パターンとの一致を判定する従来方式と比較すると、肌の色や通話機の持ち方といった個人差、姿勢変動（直立姿勢、操作時の前傾姿勢など）に伴う手の見え方の変化といった手画像のバリエーションが通話姿勢検知に与える影響が稀釈された判定を行うことができる。

類似性判定手段５５は、類似性の判定尺度として左右の探索領域間の画像相関値や色ヒストグラムの差、上述した手特徴量の差を判定する。

画像相関値は、一方の探索領域の監視画像を左右反転させて、左右反転させた画像と他方の探索領域の監視画像との間で対応する各画素間の相関値を演算して相関値を積算し、積算値を画素数で除して正規化することにより求められる。類似性判定手段５５は、画像相関値を算出して、画像相関値が予め定められたしきい値ＴＤ_ｃｏｒｒ未満であれば類似性なし、そうでなければ類似性ありと判定する。
尚、画像相関値は、予め定めた範囲内で左右のズレを許容して算出してもよい。この場合、ズレ許容範囲内で一方の画像を平行移動又は／及び回転させて画像相関値の算出を繰り返し、最小の画像相関値を最終結果として算出する。また、画像相関値は、類似性判定が過度にセンシティブとならぬよう色成分を除き輝度成分のみで算出してもよい。

色ヒストグラムの差は、探索領域のそれぞれにおける監視画像の色ヒストグラムを演算し、演算された色ヒストグラム間で対応する各色の度数の差の絶対値を演算してこれらを積算することにより求められる。別の実施形態において色ヒストグラムの差は色ヒストグラム間のマハラビノス距離として算出される。類似性判定手段５５は、色ヒストグラムの差を算出して、色ヒストグラムの差が予め定められたしきい値ＴＤ_ｈｉｓｔ未満であれば類似性あり、そうでなければ類似性なしと判定する。

手特徴量の差は、手検出手段５４により探索領域のそれぞれについて算出された肌色画素数の差として求められる。類似性判定手段５５は、肌色画素数の差を算出して、肌色画素数の差が予め定められたしきい値ＴＤ_ｓｋｉｎ未満であれば類似性あり、そうでなければ類似性なしと判定する。

また、手特徴量の差は、手検出手段５４により探索領域のそれぞれについて算出された肌色エッジ数の差としても求められる。類似性判定手段５５は、肌色エッジ数の差を算出して、肌色エッジ数の差が予め定められたしきい値ＴＤ_ｅｄｇｅ未満であれば類似性あり、そうでなければ類似性なしと判定する。

類似性判定の確度を高めるためには、上記各尺度に基づく判定基準を複数満たすことを条件にするのがよい。本実施形態においては、類似性判定手段５５は、上記４つの判定基準を全て満たす場合に探索領域間の類似性を判定する。

ここで、探索領域には背景部分が含まれる場合があり、背景部分の影響で類似度が不当に低くなると類似性の誤判定が生じる。そこで、探索領域内の前景領域において類似性を判定する。こうすることで背景画像の影響による類似性の誤判定が減じられて、通話姿勢の検知精度が一層向上する。

通話姿勢検知手段５６は、類似性判定手段５５の判定結果及び手検出手段５４の検出結果を参照し、類似性判定手段５５が左右の探索領域間の類似性を判定せず、且つ手検出手段５４が左右いずれかの探索領域から所定量以上の前記手特徴を検出している場合に通話姿勢を検知して警報部６へ異常信号を出力し、そうでない場合に通話姿勢を検知しない。
このように手画像の多様性の影響や手周辺画像の影響を受けにくい類似性判定手段５５の判定結果に基づき通話姿勢を検知するので、通話姿勢の誤検知が減り、高精度な通話姿勢検知が可能となる。さらに手検出手段５４の検出結果を加味して通話姿勢を検知するので、手以外の要因により類似性が判定されないケースがあっても当該要因により通話姿勢を誤検知せず、通話姿勢を高精度に検知することができる。

警報部６は、振り込め詐欺を警報する音声データを再生するスピーカー、及び通信回線を介して振り込め詐欺を警報する異常信号を警備会社の監視センタ又は銀行の顧客センタに設置されたセンタ装置へ送信する通信手段などを含んでなり、振り込め詐欺被害の発生を外部へ警報する。すなわち、警報部６は、音声データの再生により利用者や行員、店員に警報を与え、異常信号の送信により監視員に警報を与える。

［画像監視装置１の動作］
以下、図４を参照して、画像監視装置１の動作を説明する。

監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段が所定の初期化が行われ、動作が始まる（Ｓ１）。初期化の後は、撮像部２から信号処理部５へ新たな画像が入力されるたびにＳ２〜Ｓ８の処理が繰り返される。

新たな画像が入力されると（Ｓ２）、まず、信号処理部５は人検知部３から人検知信号が入力されているか否かを確認する（Ｓ３）。人検知信号が入力されていなければ（Ｓ４にてＮＯ）、照明変動等の背景変化に対応するために信号処理部５の前景領域抽出手段５１はステップＳ１５にて新たに入力された画像を背景画像として記憶部４に記憶させる（Ｓ５）。その後、信号処理部５は処理をステップＳ２へ戻す。

一方、人検知信号が入力されていれば（Ｓ４にてＹＥＳ）、信号処理部５はステップＳ２にて新たに入力された画像（監視画像）を分析して異常監視、すなわち利用者８の通話姿勢の検知、を行う（Ｓ６）。

図５を参照して、異常監視処理の詳細を説明する。

まず、信号処理部５の前景領域抽出手段５１は監視画像と記憶部４に記憶されている背景画像を差分処理して前景領域を抽出する（Ｓ６０）。抽出結果は、前景に属する画素の画素値を１、それ以外の画素の画素値を０とした２値画像（以下、前景画像）で保持する。

次に、信号処理部５の顔検出手段５２は事前に学習させた識別器を用いて監視画像から顔領域を検出する（Ｓ６１）。顔領域が検出されなかった場合（Ｓ６２にてＮＯ）、信号処理部５の通話姿勢検知手段５６は通話姿勢を検知せず（Ｓ６９）、異常監視処理は終了する。

一方、顔領域が検出された場合（Ｓ６２にてＹＥＳ）、処理はステップＳ６３へ進み、信号処理部５の探索領域設定手段５３は検出された顔領域の位置と大きさを基に顔領域の左右に手の探索領域を設定する。

続いて、手検出手段５４は各探索領域に手が存在するか否かを判定する（Ｓ６４）。

図６、図７を参照して、手検出処理の詳細を説明する。図６は手検出処理のフローチャート、図７は手検出処理のイメージを示している。

手検出手段５４は、監視画像のＨ成分を分析して肌色画素を抽出し、肌色画素の画素値を１、それ以外の画素の画素値を０とした２値画像を生成し、生成された２値画像と図５のステップＳ６０にて生成された前景画像との論理積画像を演算する（Ｓ６４０）。演算された論理積画像は肌色画像として保持される。肌色画像において画素値が１の画素は前景部分の肌色画素を表す。
図７の画像９３は肌色画像であり、肌色画素を黒、そうでない画素を白で表している。肌色画像９３ａは利用者が通話姿勢をとっているときのものであり、顔と手の部分に肌色画素が抽出されている。肌色画像９３ｂは利用者が通話姿勢をとっていないときのものであり、手が含まれていない。

また、手検出手段５４は、監視画像にＳｏｂｅｌフィルタを施してエッジ画素を抽出する（Ｓ６４１）。抽出結果は、エッジ画素の画素値を１、それ以外の画素の画素値を０とした２値画像（以下、エッジ画像）で保持する。
図７の画像９４はエッジ画像であり、エッジ画素を黒、そうでない画素を白で表している。エッジ画像９４ａは利用者が通話姿勢をとっているときのものであり、顔の右側に手の輪郭が抽出されている。エッジ画像９４ｂは利用者が通話姿勢をとっていないときのものであり、手が含まれていない。

そして、手検出手段５４は、肌色画像とエッジ画像の論理積画像を演算し、演算した論理積画像を肌色エッジ画像として保持する（Ｓ６４２）。肌色エッジ画像において画素値が１の画素は前景部分の肌色画素でもエッジ画素でもある画素を表す。
図７の画像９５は肌色エッジ画像であり、肌色画素でもエッジ画素でもある画素を黒、そうでない画素を白で表している。肌色エッジ画像９５ａは利用者が通話姿勢をとっているときのものであり、顔と手の部分に多くの画素が抽出されている。エッジ画像９５ｂは利用者が通話姿勢をとっていないときのものであり、手が含まれていない。

続いて、手検出手段５４は、左側の探索領域内において肌色画像の画素値が１の画素を計数して肌色画素数とし（Ｓ６４３）、左側の探索領域内において肌色エッジ画像の画素値が１の画素を計数して肌色エッジ数とする（Ｓ６４４）。

そして、手検出手段５４は、ステップＳ６４３にて計数された肌色画素数がしきい値Ｔ_ｓｋｉｎ以上であり（Ｓ６４５にてＹＥＳ）、且つステップＳ６４４にて計数された肌色エッジ数がしきい値Ｔ_ｅｄｇｅ以上であれば（Ｓ６４６にてＹＥＳ）、左側の探索領域内に手の存在を検出する（Ｓ６４７）。一方、肌色画素数がＴ_ｓｋｉｎ未満（Ｓ６４５にてＮＯ）、又は肌色エッジ数がＴ_ｅｄｇｅ未満（Ｓ６４６にてＹＥＳ）であれば、手検出手段５４は、左側の探索領域内に手の存在を検出しない。

右側の探索領域についても左側の探索領域と同様の処理が行われる。すなわち、手検出手段５４は、右側の探索領域内において肌色画像の画素値が１の画素を肌色画素数として計数し（Ｓ６４８）、左側の探索領域内において肌色エッジ画像の画素値が１の画素を肌色エッジ数として計数し（Ｓ６４９）、ステップＳ６４８にて計数された肌色画素数がＴ_ｓｋｉｎ以上であり（Ｓ６５０にてＹＥＳ）、且つステップＳ６４９にて計数された肌色エッジ数がＴ_ｅｄｇｅ以上であれば（Ｓ６５１にてＹＥＳ）、右側の探索領域内に手の存在を検出する（Ｓ６５２）。
図７の矩形９２は探索領域である。左側の探索領域９２−１ａ及び右側の探索領域９２−２ａは利用者が通話姿勢をとっているときのものである。左側の探索領域９２−１ｂ及び右側の探索領域９２−２ｂは利用者が通話姿勢をとっていないときのものである。利用者が通話姿勢をとっているときの右側の探索領域９２−２ａには他と比べて肌色画素及び肌色画素でもエッジ画素でもある画素が多く含まれている。この例では、右側の探索領域９２−２ａのみが条件を満たし、当該領域に手の存在が検出される（Ｓ６５０にてＹＥＳ→Ｓ６５１にてＹＥＳ→Ｓ６５２）。

以上で図６、図７の手検出処理は終了し、処理は再び図５へ戻る。

信号処理部５の通話姿勢検知手段５６は、ステップＳ６４の検出結果を参照し、いずれの探索領域からも手の存在が検出されなかった場合（Ｓ６５にてＮＯ）は、通話姿勢を検知せず（Ｓ６９）、異常監視処理は終了する。一方、いずれかの探索領域から手の存在が検出された場合（Ｓ６５にてＹＥＳ）、処理はステップＳ６６へ進む。

ステップＳ６６において、信号処理部５の類似性判定手段５５は、左右の探索領域間で類似性を判定する。

図８、図９を参照して、類似性判定処理の詳細を説明する。図８は類似性判定処理のフローチャート、図９は類似性判定処理のイメージを示している。

まず、類似性判定手段５５は、監視画像を前景画像でマスクする（Ｓ６６０）。すなわち、前景画像において画素値が１の画素と対応する画素に監視画像の画素値がコピーされ、それ以外の画素の画素値に０が設定された前景監視画像を生成する。

次に、類似性判定手段５５は、右側の探索領域に対応する前景監視画像の部分を左右反転させて反転画像を生成し（Ｓ６６１）、左側の探索領域に対応する前景監視画像の部分と反転画像との間の画像相関値を算出し（Ｓ６６２）、画像相関値をしきい値ＴＤ_ｃｏｒｒと比較する（Ｓ６６３）。背景部分の画素については相関値が積算されないことに注意されたい。

画像相関値がＴＤ_ｃｏｒｒ以上の場合（Ｓ６６３にてＮＯ）、類似性判定手段５５は類似性ありとして（Ｓ６７３）、類似性判定処理を終了する。他方、画像相関値がＴＤ_ｃｏｒｒ未満の場合（Ｓ６６３にてＹＥＳ）、処理はステップＳ６６４へ進む。
図９の画像９６は探索領域９２内の画像である。画像９６−１ａ、画像９６−２ａはそれぞれ利用者が通話姿勢をとっているときの左側の画像、右側の反転画像であり、両者は手の部分で大きく異なる。これらの間では低い画像相関値が算出され、類似性なしが判定される（Ｓ６６３にてＹＥＳ）。画像９６−１ｂ、画像９６−２ｂはそれぞれ利用者が通話姿勢をとっていないときの左側の画像、右側の反転画像であり、両者はよく似ている。これらの間では高い画像相関値が算出される（Ｓ６６３にてＮＯ→Ｓ６７３）。

続いて、類似性判定手段５５は、左右の探索領域それぞれに対応する前景監視画像の部分について色ヒストグラムを算出し（Ｓ６６４，Ｓ６６５）、これらの色ヒストグラム間の差を算出し（Ｓ６６６）、算出された差をしきい値ＴＤ_ｈｉｓｔと比較する（Ｓ６６７）。但し、このとき画素値が０の画素については無視して色ヒストグラムを算出することで前景部分のみの色ヒストグラムを算出する。

色ヒストグラム間の差がＴＤ_ｈｉｓｔ未満の場合（Ｓ６６７にてＮＯ）、類似性判定手段５５は類似性ありとして（Ｓ６７３）、類似性判定処理を終了する。他方、色ヒストグラム間の差がＴＤ_ｈｉｓｔ以上の場合（Ｓ６６７にてＹＥＳ）、処理はステップＳ６６８へ進む。
図９のグラフ９７は色ヒストグラムであり、グラフ９８は色ヒストグラムの差（積算前）である。色ヒストグラム９７−１ａ、色ヒストグラム９７−２ａはそれぞれ利用者が通話姿勢をとっているときの左側の色ヒストグラム、右側の色ヒストグラムであり、両者は手の影響で大きく異なる。これらの差９８ａは大きく、類似性なしが判定される（Ｓ６６７にてＹＥＳ）。色ヒストグラム９７−１ｂ、色ヒストグラム９７−２ｂはそれぞれ利用者が通話姿勢をとっていないときの左側の色ヒストグラム、右側の色ヒストグラムであり、両者はよく似ている。これらの差９８ｂは小さい（Ｓ６６７にてＮＯ→Ｓ６７３）。

続いて、類似性判定手段５５は、図６のステップＳ６４２にて計数された左側の探索領域における肌色画素数と、同図のステップＳ６４８にて計数された右側の探索領域における肌色画素数との差（の絶対値）を算出し（Ｓ６６８）、算出された差をしきい値ＴＤ_ｓｋｉｎと比較する（Ｓ６６９）。肌色画素数の差がＴＤ_ｓｋｉｎ未満の場合（Ｓ６６９にてＮＯ）、類似性判定手段５５は類似性ありとして（Ｓ６７３）、類似性判定処理を終了する。

他方、肌色画素数の差がＴＤ_ｓｋｉｎ以上の場合（Ｓ６６９にてＹＥＳ）、処理はステップＳ６７０へ進む。類似性判定手段５５は、図６のステップＳ６４４にて計数された左側の探索領域における肌色エッジ数と、同図のステップＳ６５０にて計数された右側の探索領域における肌色エッジ数との差（の絶対値）を算出し（Ｓ６７０）、算出された差をしきい値ＴＤ_ｅｄｇｅと比較する（Ｓ６７１）。

肌色エッジ数の差がＴＤ_ｅｄｇｅ以上の場合（Ｓ６７１にてＹＥＳ）、類似性判定手段５５は類似性なしと判定し（Ｓ６７２）、肌色エッジ数の差がＴＤ_ｅｄｇｅ未満の場合（Ｓ６７１にてＮＯ）は類似性ありと判定する（Ｓ６７３）。

以上で図８、図９の類似性判定処理は終了し、処理は再び図５へ戻る。

信号処理部５の通話姿勢検知手段５６は、ステップＳ６６の判定結果を参照し、探索領域間の類似性が判定されない場合（Ｓ６７にてＹＥＳ）は通話姿勢を検知し（Ｓ６８）、探索領域間の類似性が判定された場合（Ｓ６７にてＮＯ）は通話姿勢を検知しない（Ｓ６９）。

以上で図６の異常監視処理は終了し、処理は再び図４へ戻る。

ステップＳ６において通話姿勢が検知された場合（Ｓ７にてＹＥＳ）、信号処理部５の通話姿勢検知手段５６は、記憶部４から振り込め詐欺を警報する音声データを読み出して警報部６へ出力する（Ｓ８）。音声データの内容は例えば「振り込め詐欺のおそれがあります。携帯電話をお切り下さい。」などとする。警報部６は入力された音声データを再生して利用者や行員、店員に警報する。そして、これを受けた利用者が振込行為を取りやめたり、これを受けた行員や店員が利用者に声をかけたりして振り込め詐欺被害が防止される。

また、通話姿勢検知手段５６は、通話姿勢が検知された監視画像を含めた異常信号をも警報部６へ出力する。警報部６は通信線を介してセンタ装置へ異常信号を送信する。異常信号を受信したセンタ装置は警報音の鳴動や監視画像の表示等を行う。そして、監視画像により状況確認した監視員は必要に応じて対処を行い振り込め詐欺被害を防ぐ。

＜実施形態２＞
次に、実施形態１における類似性判定手段５５での類似性の判定を、手特徴量を用いることなく行う実施形態２について説明する。

実施形態１において類似性判定手段５５は、画像相関値や色ヒストグラムを用いた探索領域の全体的な比較と、肌色画素数や肌色エッジ数を用いた手特徴量に特化した探索領域の比較とを組み合わせて判定した。実施形態２において類似性判定手段５５は、探索領域の全体的な比較のみを行なう。すなわち、図８を参照して説明した類似性判定処理のフローチャートにおいてステップＳ６６８〜Ｓ６７１が省略される。その他は実施形態１と同一の形態をとる。

実施形態２においても、類似性の判定結果に基づく通話姿勢の判定によって通話機を把持する手の多様性や手周辺の画像の影響による通話姿勢の誤検知が減り、従来技術よりも高精度な通話姿勢検知が可能となる。また、実施形態１と比べ、しきい値ＴＤ_ｅｄｇｅ、ＴＤ_ｓｋｉｎを設定する手間や処理時間を減じることができる。

＜実施形態３＞
次に、実施形態１における手検出手段５４を省略し、類似性判定手段５５において手特徴量を用いた実施形態３について説明する。

実施形態１において画像監視装置１は、手検出手段５４を備え、通話姿勢検知手段５６は類似性判定手段５５による判定結果と手検出手段５４による検出結果を参照して通話姿勢を検知した。実施形態３において画像監視装置１は、手検出手段５４を有さず、通話姿勢検知手段５６は類似性判定手段５５による判定結果のみから通話姿勢を検知する。この場合、上述した手特徴量である肌色画素数や肌色エッジ数は類似性判定手段５５において算出される。

すなわち、図３を参照して説明した異常監視処理のフローチャートにおいてはステップＳ６４，Ｓ６５が省略され、図８を参照して説明した類似性判定処理のフローチャートのステップＳ６６８において類似性判定手段５５がステップＳ６４０，Ｓ６４３，Ｓ６４８と同様の処理をさらに行って肌色画素数差を算出し、同フローチャートのステップＳ６７０において類似性判定手段５５がステップＳ６４１，Ｓ６４２，Ｓ６４４，Ｓ６４９と同様の処理をさらに行って肌色エッジ数差を算出する。その他は実施形態１と同一の形態をとる。

実施形態３においても、類似性の判定結果に基づく通話姿勢の判定によって通話機を把持する手の多様性や手周辺の画像の影響による通話姿勢の誤検知が減り、従来技術よりも高精度な通話姿勢検知が可能となる。また、実施形態１と比べ、しきい値Ｔ_ｅｄｇｅ、Ｔ_ｓｋｉｎを設定する手間や処理時間を減じることができる。

１・・・画像監視装置
２・・・撮像部
３・・・人検知部
４・・・記憶部
５・・・信号処理部
６・・・警報部
５１・・・前景領域抽出手段
５２・・・顔検出手段
５３・・・探索領域設定手段
５４・・・手検出手段
５５・・・類似性判定手段
５６・・・通話姿勢検知手段

Claims (5)

1. 人物の通話姿勢を検知すると異常出力する画像監視装置であって、
   監視空間を撮像する撮像部と、
   前記監視空間に人物が存在するときに当該人物の顔とその周辺が撮像された監視画像から予め設定された顔特徴を有する顔領域を検出する顔検出手段と、
   前記顔検出手段により検出された顔領域の左右周辺の当該顔領域に対して左右対称な位置に探索領域を設定する探索領域設定手段と、
   前記監視画像内で左右の前記探索領域間の類似性を判定する類似性判定手段と、
   前記類似性が判定されない場合に前記人物の通話姿勢を検知する通話姿勢検知手段と、
   を備えたことを特徴とする画像監視装置。
2. 前記類似性判定手段は、予め設定された手特徴について前記類似性を判定する請求項１に記載の画像監視装置。
3. 前記監視空間に人物が存在しないときに撮像された背景画像を記憶する記憶部と、
   前記監視画像と前記背景画像とを比較して当該監視画像における前景領域を抽出する前景領域抽出手段と、をさらに備え、
   前記類似性判定手段は、前記探索領域内の前記前景領域において前記類似性を判定する請求項１又は２に記載の画像監視装置。
4. 前記探索領域設定手段は、前記顔領域の大きさに比例したサイズの前記探索領域を設定する請求項１乃至３に記載の画像監視装置。
5. 前記探索領域のそれぞれにおいて予め設定された手特徴を検出する手検出手段、をさらに備え、
   前記通話姿勢検知手段は、前記手検出手段により所定量以上の前記手特徴が検出され、且つ前記類似性が判定されない場合に通話姿勢を検知する請求項１に記載の画像監視装置。