JP2016081271A - 物体検出装置 - Google Patents

Abstract

【課題】物体検出装置において、類似物体が存在する撮影場所では誤検出が生じ、また対象物体が学習データの条件と異なる状態で写ると検出漏れが生じる。【解決手段】注目領域設定手段１３１は入力画像内に注目領域を設定する。比較領域設定手段１３４は注目領域に応じた形状の比較領域を入力画像内に設定する。物体適合度算出手段１３２は入力画像内に設定された所定領域の画像に対象物体が存在する尤もらしさを表す物体適合度を、当該画像から抽出した形状情報を用いて算出する。色類似度算出手段１３５は色情報を用いて、注目領域の画像と当該注目領域の設定位置とは異なる設定位置の比較領域の画像とで比較して類似度を算出する。物体適合度算出手段１３２は類似度を用いて前記所定領域の物体適合度を調整する。判定手段１３８は調整後の物体適合度が検出閾値以上である前記所定領域の画像に対象物体が写っていると判定する。【選択図】図１

Description

本発明は、画像から所定の対象物体の領域を検出する物体検出装置に関する。

近年、対象物体が存在する画像と対象物体が存在しない画像とを用いて事前学習させた識別器を用い、入力画像中の対象物体を検出する技術が広く研究されている。その１つとして、下記特許文献１には、目的の検出物体（例えば人）に類似した形状を有する他の物体（例えばマネキン人形やハンガーに掛けられた上着）が入力画像に写り込むと誤検出しやすいという問題を解決する技術が開示されている。当該技術ではその問題の解決のために、撮影場所に存在している物体の情報を検出判定処理に反映させるべく、入力画像及び背景画像の同じ位置の所定領域から識別器が求めた評価値を比較して、誤検出しやすい位置においては検出判定を厳しくしている。

特開２０１０−１２２７４６号公報

撮影場所に背景として存在する誤検出しやすい類似物体の情報を活用し検出判定を厳しくすると、類似物体の手前に対象物体が存在する場合に検出漏れを生じやすくなる。

検出精度を上げるべく識別器の事前学習に用いる学習データを増やすことも考えられるが、その学習データの収集の手間と学習の処理負荷が膨大になりすぎるという問題がある。また、追加学習による識別器の変化により、正しく検出されていた物体が検出できなくなるという副作用の恐れもある。

本発明は上記問題を鑑みてなされたものであり、類似物体が存在する撮影場所でも誤検出を抑制することができ、また対象物体が学習データの条件と異なる状態で写る場合でも検出漏れを抑制できる物体検出装置を提供することを目的とする。

本発明に係る物体検出装置は、入力画像において所定の対象物体が写っているか否かを判定する物体検出装置であって、前記入力画像内に注目領域を設定する注目領域設定手段と、前記注目領域に応じた形状の比較領域を前記入力画像内に設定する比較領域設定手段と、前記入力画像内に設定された所定領域の画像に前記対象物体が存在する尤もらしさを表す物体適合度を、当該画像から抽出した第１の画像特徴量を用いて算出する物体適合度算出手段と、前記第１の画像特徴量とは異なる第２の画像特徴量を少なくとも用いて、前記注目領域の画像と当該注目領域の設定位置とは異なる設定位置の前記比較領域の画像とで比較して類似度を算出する類似度算出手段と、前記類似度を用いて前記所定領域の前記物体適合度を調整する物体適合度調整手段と、前記調整後の物体適合度が検出閾値以上である前記所定領域の画像に前記対象物体が写っていると判定する判定手段と、を有する。

上記本発明に係る物体検出装置において、前記所定領域は少なくとも前記注目領域である構成とすることができる。

上記本発明に係る物体検出装置において、前記所定領域は前記比較領域である構成とすることもできる。

上記本発明に係る物体検出装置において、前記物体適合度調整手段は、前記類似度が基準類似度以上である前記比較領域が多いほど前記注目領域の前記物体適合度を予め定めた広義の単調減少関数に従って小さくするよう調整する構成とすることができる。

上記本発明に係る物体検出装置において、前記物体適合度調整手段は、対応する前記注目領域の物体適合度が前記検出閾値以上に設定された第１の適合度基準値以上であり、且つ前記類似度が前記基準類似度以上である比較領域の物体適合度が大きくなるように調整する構成とすることができる。

上記本発明に係る物体検出装置において、前記物体適合度調整手段は、対応する前記注目領域の物体適合度が前記検出閾値より低く設定された第２の適合度基準値以下であり、且つ前記類似度が前記基準類似度以上である比較領域の物体適合度が小さくなるように調整する構成とすることができる。

上記本発明に係る物体検出装置において、前記注目領域設定手段は、前記注目領域を前記入力画像全体を順次走査して設定し、前記比較領域設定手段は、前記比較領域を前記入力画像全体を順次走査して設定する構成とすることができる。

本発明によれば、類似物体が存在する撮影場所でも誤検出を抑制することができ、また対象物体が学習データの条件と異なる状態で写る場合でも検出漏れを抑制できる。

本発明の第１の実施形態に係る物体検出装置の概略の構成及び機能を示すブロック構成図である。 物体候補領域情報の模式図である。 類似度マップ情報の模式図である。 候補領域抽出手段の検出結果の例を説明するための模式図である。 候補領域抽出手段の検出結果の他の例を説明するための模式図である。 本発明の第１の実施形態に係る物体検出装置の動作の概略のフロー図である。 物体領域検出処理の概略の処理内容を示すフロー図である。 本発明の第２の実施形態に係る物体検出装置の概略の構成及び機能を示すブロック構成図である。 本発明の第２の実施形態に係る物体検出装置の動作の概略のフロー図である。 物体適合度算出・調整処理の概略の処理内容を示すフロー図である。

本発明は、識別器にてエッジによる形状情報などの画像特徴量を用いた対象物体の検出を行うと共に、対象物体の検出領域以外の領域の情報を色情報など、識別器が使用したものとは異なる画像特徴量を少なくとも用いて検出領域の周辺の情報を抽出し、識別器の出力と周辺情報とを併用して検出精度の向上を図る。すなわち、事前学習において識別器に取り込める情報（局所的な特定の特徴量）には限りがあるところ、本発明では、さらに入力画像全体から情報を得て対象物体の検出に利用する。以下、本発明の実施の形態（以下、実施形態という）について図面に基づいて説明する。以下説明する各実施形態では検出しようとする対象物体は人である。

［第１の実施形態］
図１は本実施形態に係る物体検出装置１０の概略の構成及び機能を示すブロック構成図である。

物体検出装置１０は例えば、撮像装置２０から入力画像を取得し、当該画像に写っている人を検出する処理を行い、その処理結果を表示装置３０へ出力したり、監視センタ（図示せず）へ送信したりする。

物体検出装置１０は画像取得部１１、記憶部１２、画像処理部１３、出力部１４及び通信部１５を含んで構成される。

画像取得部１１は、撮像装置２０と接続され、撮像装置２０から撮影画像を取得するインタフェース及びその制御回路である。なお、画像取得部１１は、撮像装置２０に代えて、ハードディスク等の媒体から画像を取得してもよい。画像取得部１１は取得した画像を画像処理部１３へ出力する。以降、画像取得部１１により取得され画像処理部１３へ出力される画像を入力画像と称する。

記憶部１２は、半導体メモリやハードディスク等の記憶装置であり、画像処理部１３で使用されるプログラム及び各種データ、並びに画像処理部１３にて生成された各種データを記憶する。記憶部１２はこれらプログラム、データを画像処理部１３との間で入出力する。例えば、記憶部１２には注目領域設定情報１２１、適合度マップ情報１２２、物体候補領域情報１２３及び類似度マップ情報１２４が記憶される。

画像処理部１３はＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等のプロセッサ及びその周辺回路で構成される。画像処理部１３は後述する各手段として動作し、入力画像を処理して人を検知する。そして、人を検知した場合は出力部１４へ入力画像に含まれる人物の数及び人物領域の情報を出力する。画像処理部１３は例えば、注目領域設定手段１３１、物体適合度算出手段１３２、候補領域抽出手段１３３、比較領域設定手段１３４、色類似度算出手段１３５、再評価値算出手段１３６、適合度調整手段１３７及び判定手段１３８として機能する。

出力部１４は表示装置３０及び通信部１５と接続するインタフェース及びその制御回路を有する。出力部１４は、画像処理部１３から、入力画像に含まれる人物の数と人物領域の情報とを受け取ると、表示装置３０が受信可能な形式の信号と、通信部１５が処理可能な形式の信号にそれぞれ変換して出力する。

通信部１５は、一般公衆回線、携帯電話回線などの通信回線を介して監視センタと接続するためのインタフェース回路及びそのドライバソフトウェア等で構成される。通信部１５は、出力部１４から受け取った、入力画像に含まれる人物の数と人物領域の情報とを監視センタへ送信する。

撮像装置２０はいわゆるカメラであり、一定の間隔（例えば１／５秒）ごとに撮影を行う。撮影された画像は物体検出装置１０に入力される。撮像装置２０として撮影範囲の大きさやレンズの焦点距離などを考慮して適切な解像度が得られるカメラが用いられ、例えば横６４０画素×縦４８０画素の画像を撮影可能なものが用いられる。本実施形態ではカラータイプのカメラを用いるものとする。なお、撮影範囲が暗い場合に備え、撮像装置２０に付随して照明装置を備えていても良い。

表示装置３０は、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスで構成され、物体検出装置１０と接続され、当該装置から受け取った各種情報等を表示する。

記憶部１２に記憶する各情報について説明する。

注目領域設定情報１２１は注目領域設定手段１３１が入力画像内にて注目領域を設定するための情報である。注目領域は、入力画像内に現れる人を検出するための領域であり、本実施形態では予め定めた人の大きさに設定される。注目領域は入力画像内にて少しずつずらした複数の位置に配置されて、これにより画像全体における人の探索が行われる。注目領域設定情報１２１は注目領域の大きさ及び配置間隔を示す情報を含む。

ちなみに、注目領域の大きさは撮像装置２０の解像度や設置条件、人物の標準的な身長（例えば１７０ｃｍ）から想定される、入力画像中での人物の大きさを考慮して設定することができる。本実施形態では注目領域の大きさは横４０画素×縦１２０画素であり、注目領域の配置間隔は水平方向及び垂直方向それぞれについて８画素である。

なお、注目領域の設定は画像処理部１３における処理負荷や物体検出装置１０に必要とされる検出精度などを考慮して複数種類用意し、注目領域設定手段１３１にて大きさや配置間隔が異なる注目領域を設定し、画像処理部１３は種類が異なる注目領域それぞれについて人の検知処理を行ってもよい。

適合度マップ情報１２２は、注目領域設定手段１３１が設定した注目領域の各位置（注目領域位置）と当該位置の注目領域に対応して物体適合度算出手段１３２が算出した物体適合度とを対応付けた情報である。

物体候補領域情報１２３は、候補領域抽出手段１３３により検出された、人を含む可能性がある候補領域の情報である。

図２は物体候補領域情報１２３の模式図である。当該情報は同図に示すように、物体候補領域ＩＤ１２３１、物体候補領域位置１２３２及び物体候補適合度１２３３を対応付けたテーブル形式で記憶されている。物体候補領域ＩＤ１２３１は候補領域に一意に付与された識別番号（ＩＤ番号）である。

物体候補領域位置１２３２は入力画像における候補領域の重心の座標である。例えば、入力画像の左上隅を原点、水平方向をｘ軸、垂直方向をｙ軸と定めた座標系において物体候補領域位置１２３２は各軸方向の座標の組（ｘ，ｙ）で表される。

物体候補適合度１２３３は物体候補領域位置１２３２における物体適合度であり、適合度マップ情報１２２から物体候補領域位置１２３２に対応する物体適合度が読み出され物体候補領域情報１２３に記憶される。

類似度マップ情報１２４は、各候補領域に対応して入力画像に設定された比較領域のうち、色類似度算出手段１３５により算出される当該候補領域と当該比較領域とでの画像特徴量の類似度が予め定めた基準類似度以上となるものである類似領域に関する情報である。

基準類似度は、候補領域と比較領域とが極めて類似していると判断されるときの類似度として、実験により経験的に定められる。

図３は類似度マップ情報１２４の模式図である。当該情報は同図に示すように、物体候補領域ＩＤ１２４１、比較領域位置１２４２、色類似度１２４３、比較物体適合度１２４４及び面積１２４５を対応付けたテーブル形式で記憶されている。物体候補領域ＩＤ１２４１は物体候補領域情報１２３に記憶されるＩＤ番号と共通である。これは類似度マップが候補領域ごとに作成されるためである。

比較領域位置１２４２は、各候補領域との類似度が基準類似度以上となった比較領域の位置であり、当該比較領域の重心画素の入力画像における座標である。

色類似度１２４３は比較領域位置１２４２に対応して色類似度算出手段１３５が算出した色類似度である。これについては後に詳述する。

比較物体適合度１２４４は比較領域位置１２４２における物体適合度である。本実施形態では、比較領域設定手段１３４は注目領域設定手段１３１と同じ配置間隔を採用しているので、物体適合度算出手段１３２が注目領域について既に求めて記憶済みの物体適合度のうち比較領域の位置に対応するものを適合度マップ情報１２２から読み出して類似度マップ情報１２４に記憶される。

面積１２４５は各候補領域に対する類似領域の面積である。具体的には、物体候補領域ＩＤ１２４１ごとに、比較領域位置１２４２に記憶された比較領域の重心画素の総数が面積１２４５として定められる。

本実施形態では、比較領域の大きさ及び形状は固定としているので、比較領域の重心画素の総数を類似領域の面積として捉えることができる。

次に画像処理部１３の各手段１３１〜１３８について説明する。

注目領域設定手段１３１は、注目領域設定情報１２１に従い、所定の形状・大きさの注目領域を所定画素数ずつずらしながら、入力画像の全体を順次走査するように設定する。

物体適合度算出手段１３２は、入力画像内に設定される所定領域にて抽出される第１の画像特徴量を用いて、当該領域に人が存在する尤もらしさ（尤度、人らしさ）を表す物体適合度を算出する。物体適合度算出手段１３２は例えば、注目領域や比較領域における物体適合度を求めるために用いられ、その場合、所定領域として注目領域や比較領域が設定される。第１の画像特徴量は予め定めたブロックサイズに区切った入力画像の各所にて抽出されるものであり、例えば、ヒストグラム・オブ・オリエンティッド・グラディエント（Histograms of Oriented Gradients：ＨＯＧ）特徴量を用いることができる。第１の画像特徴量は局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、Haar-like特徴量などの他の従来知られた特徴量でもよく、またこれらの複数を組み合わせて用いることもできる。

物体適合度算出手段１３２は入力画像に設定された領域についての物体適合度を、当該領域にて抽出された第１の画像特徴量と予め学習した適合度算出関数により算出する。適合度算出関数は本実施形態では、検出対象である「人」と「人」以外とを識別する識別器であり、「人」が映っている多数の画像と「人」が映っていない多数の画像とを用いて予め学習され、記憶部１２に格納されている。例えば、物体適合度算出手段１３２は、各注目領域内の特徴量を適合度算出関数に入力して当該注目領域に対する物体適合度を算出する、または、人物の腕部等が注目領域からはみ出す姿勢変動を考慮して注目領域内及び注目領域周辺の所定範囲の特徴量を適合度算出関数に入力して当該注目領域に対する物体適合度を算出する。

比較領域についての物体適合度も同様に算出することができるが、本実施形態では前述のように比較領域位置における物体適合度は、注目領域についての算出結果を利用して類似度マップ情報１２４に記憶されるので別途算出する必要はない。

物体適合度算出手段１３２は、注目領域設定手段１３１が注目領域を設定するたびに物体適合度を求め、注目領域位置と物体適合度とを対応付けたテーブル形式にて、適合度マップ情報１２２に格納する。

候補領域抽出手段１３３は、適合度マップ情報１２２を読み出し、人が写っている可能性が高い領域を候補領域として抽出する。すなわち、適合度マップ情報１２２に記憶されている物体適合度のうち、所定の検出閾値を超える注目領域位置を求める。なお、検出閾値は、予め収集しておいた複数の人画像と人以外の画像に対して検出処理を行い、誤報率及び失報率がそれぞれ予め定めた許容値以下となる物体適合度に設定される。例えば、本実施形態では０とする。

物体適合度が検出閾値を超える注目領域は、実際に人らしい物体が写っている位置付近に数多く重なる傾向にある。そこで、候補領域抽出手段１３３はそれらの中から的確に人らしい物体を捉えている注目領域を選択する統合処理を行う。本実施形態ではnon-maximum suppressionと呼ばれる方法を用いて統合処理を行う。当該方法は、一般に局所領域内での最大値以外をすべて削除する処理である。候補領域抽出手段１３３は適合度マップ情報１２２に記憶されている注目領域位置と物体適合度とを参照して統合処理を行う。具体的には、所定の検出閾値を超えた注目領域同士の重なりを求め、重なり部分の面積が所定割合以上（例えば５０％）である注目領域をグループ化し、同一グループに含まれる注目領域に対応した物体適合度のうちの最大値が算出された注目領域を候補領域と定める。

図４は候補領域抽出手段１３３が検出した結果を説明するための模式図である。図４（ａ）は、建物脇の広場において撮影した入力画像４００に人４１０が１人だけ写っている様子を示している。人４１０に対応して候補領域抽出手段１３３は候補領域４１１を抽出しており、人が正しく検出された場合を示している。候補領域４１１の重心４１２の座標値は物体候補領域情報１２３の物体候補領域位置１２３２に記憶され、当該位置における物体適合度が適合度マップ情報１２２から読み出され、物体候補領域情報１２３の物体候補適合度１２３３として記憶される。

図４（ｂ）は図４（ａ）と同じく建物脇の広場において撮影した入力画像であるが、図４（ｂ）は人は写っていない様子を示している。候補領域抽出手段１３３は候補領域４６０，４７０を抽出しているが、これらは誤って抽出されたもの、すなわち誤報である。誤報であっても、図４（ａ）の場合と同様に、重心４６１，４７１の座標値とその位置における物体候補適合度は物体候補領域情報１２３に記憶される。

図２に示す物体候補領域情報１２３の例において、物体候補領域ＩＤ１２３１が“１０”である候補領域は図４（ａ）の正しく検出された候補領域４１１に対応しており、物体候補適合度１２３３は、検出閾値（本実施形態では０）よりも十分大きい“３．２０”である。一方、物体候補領域ＩＤ１２３１が“１１”である候補領域は図４（ｂ）の誤って検出された候補領域４６０に対応しており、物体候補適合度１２３３は、検出閾値をわずかに超える“０．１０”である。

このように、正しく人が検出された場合には物体候補適合度は大きく検出閾値を超えるが、誤って人以外が検出された場合には物体候補適合度はわずかに検出閾値を超える程度となる傾向がある。

比較領域設定手段１３４は、後述する色類似度算出手段１３５が色類似度を算出するための領域である比較領域を所定の画素数ずつずらしながら、入力画像の全体を順次走査するように設定する手段である。比較領域は注目領域に応じた形状とすることができる。本実施形態では比較領域の大きさ及び形状は注目領域設定情報１２１に記憶されている注目領域の大きさ及び形状と同一とする。また、比較領域をずらす画素数、つまり比較領域の配置間隔も注目領域設定手段１３１にて用いられる画素数と同じとし、走査方法も注目領域設定手段１３１と同じとする。結果として比較領域位置はそれぞれ注目領域位置と同じ位置に設定される。なお、ずらす画素数は、注目領域の走査よりも細かくすることもでき、例えば４画素や２画素でも良い。また、比較領域は注目領域に応じた大きさ、例えば±１０％程度、拡大・縮小してもよい。

色類似度算出手段１３５は、入力画像内の各所にて抽出される第２の画像特徴量を比較領域の画像と候補領域の画像とで比較して類似度を算出する類似度算出手段であり、類似度を測る特徴量（第２の画像特徴量）として色情報を用いる。すなわち、色類似度算出手段１３５は、候補領域抽出手段１３３が抽出した候補領域の内部の画像（物体候補画像）と、比較領域の内部の画像（比較領域画像）との類似の程度を、色情報を比較して色類似度として求める。

本実施形態では色情報としてＬａｂ色空間における色情報を用いる。なお、他の色空間における色情報を用いても良い。色類似度算出手段１３５は、物体候補画像と比較領域画像とをそれぞれ同じく５×１５の小ブロックに分割して、Ｌａｂ色空間内における各チャネル（３チャネル）ごとに小ブロックごとの色平均を求める。それら色平均を並べ、５×１５×３＝２２５次元の特徴ベクトルを生成する。そして、２つの特徴ベクトルの類似の程度を正規化相関にて求め、色類似度とする。ユークリッド距離や、ユークリッド距離の二乗を計算するＳＳＤ（Sum of Squared Differences）などから求めた、ベクトル同士の他の類似度計算方法で色類似度を求めても良い。

色類似度算出手段１３５は求めた色類似度を類似度マップ情報１２４に格納する。すなわち、図３に示すように、物体候補領域ＩＤ１２４１に対応させ、比較領域位置１２４２、色類似度１２４３、及び適合度マップ情報１２２から読み出した比較物体適合度１２４４を類似度マップ情報１２４にテーブル形式にて記憶する。その際、比較領域設定手段１３４は、入力画像の全画面を比較領域で走査するが、求めた色類似度が基準類似度以上の値である場合に類似度マップ情報１２４に記憶するものとする。さらに色類似度が基準類似度以上である場合の比較領域の重心画素の数を計数し、面積１２４５として記憶する。

ここで、色類似度を求める理由を図４と図５を用いて説明する。

図４（ａ）は、前述の通り、正しく人が検出された様子を示したものである。候補領域４１１は人を捉えている。ここで、比較領域として矩形領域４２０〜４２３を設定し、その内部の比較領域画像と候補領域４１１の物体候補画像との色類似度を求めても、人と建物の壁（矩形領域４２０）、人と樹木（矩形領域４２１）、人と地面（矩形領域４２２）、人とフェンス（矩形領域４２３）のように、写っている物体が全く異なる種類のものであるがゆえに色類似度は高くならない。

一方で、図４（ｂ）は、前述のように、誤った結果が得られた様子を示しており、候補領域４６０は樹木を捉えている。ここで、比較領域として矩形領域４６２〜４６４を設定し、その内部の比較領域画像と候補領域４６０との色類似度を求めると、写っている物体は同じく樹木であるため色類似度は高い。誤って外灯を検出した候補領域４７０についても同様で、比較領域として矩形領域４７２，４７３を設定して類似度を求めると、写っている物体は同じく外灯であるため色類似度は高い。

このように、候補領域が正しく人を捉えている場合と、誤って人以外を捉えている場合とでは、比較領域を入力画像全体に走査して各所で色類似度を求めると、それが高い比較領域位置の数に大きな差が生じる。

本発明の発明者は、この差を見出したものであり、本発明はこの知見を利用し、一旦検出した候補領域が正しく人を捉えているか、誤って人以外を捉えているかを検証し、誤って人以外を検出した場合、それを検出結果として出力しないよう削減する、誤報削減処理を行う。誤報削減処理では、候補領域の物体適合度を下げ、それにより検出閾値を超えにくくする。

図５は候補領域抽出手段１３３の検出結果の他の例を説明するための模式図である。図５は図４と同じく建物脇の広場において撮影した入力画像であり、図５では人が３人写っているが人５１０のみについて候補領域５１１が検出され、他の２人については検出されない検出漏れ（失報）が生じた様子を示している。これは、識別器は事前学習に含まれない条件で写る人については、必ずしも高い人らしさを示すとは限らないことが影響し、人５１０以外は、姿勢が異なる、体の向きが異なる、体型が異なるなどの理由により、わずかに人らしさが検出条件を満たさず、検出し切れなかったことを示している。

このような場合において本実施形態では、人５１０の候補領域５１１の物体候補画像の色情報と、比較領域として設定された矩形領域５２０，５２１内部の比較領域画像の色情報とを比較し、色類似度が高い場合には、その比較領域の位置にも人が写っていたとして当該人が検出されるようにする、失報救済処理を行う。失報救済処理では、比較領域の位置における物体適合度を大きくし、それにより検出閾値を超えやすくする。

再評価値算出手段１３６は、上述した誤報削減処理を行うか失報救済処理を行うかを決めるための再評価値を求める。そのために再評価値算出手段１３６は類似度マップ情報１２４を参照して、物体候補領域ＩＤごとに比較物体適合度１２４４の総和を求め、面積１２４５にて除算し、比較物体適合度１２４４の平均値を求める。さらに再評価値算出手段１３６は物体候補領域情報１２３を参照して、当該物体候補領域ＩＤの物体候補適合度１２３３と当該平均値との和を求めて再評価値とする。

この再評価値は、候補領域における人らしさと、当該候補領域に色が類似する比較領域画像から求められた人らしさの平均とを合わせたものであり、候補領域が人らしいかどうかを表すと同時に当該候補領域と似た色を持つ比較領域も人を捉えている可能性が高いかどうかを表す指標となっている。

適合度調整手段１３７は、再評価値を参照して、候補領域が誤報である場合にそれを削減するため、または検出し切れなかった人が存在する場合に再度検出するために、物体適合度を調整する手段である。

再評価値が再評価閾値未満の場合は、候補領域抽出手段１３３が抽出した候補領域が人以外を捉えていた場合に削除する誤報削減を目的に、物体適合度を小さくする処理を行う。

一方、再評価値が再評価閾値以上の場合は、候補領域抽出手段１３３で検出し切れなかった人の検出を行う失報救済を目的に、物体適合度を大きくする処理を行う。

誤報削減処理について説明する。当該処理において、適合度調整手段１３７は、処理対象となっている候補領域の物体適合度からペナルティとして“１”を減算する。

図２に示す物体候補領域情報１２３では、物体候補領域ＩＤが“１１”である物体候補適合度１２３３は“０．１０”であるので、“１”を減算することで、“−０．９０”となり検出閾値“０”を下回る。これは、人ではない物体を誤って検出していた場合には、物体候補適合度１２３３が検出閾値を超えるにしても、十分高い値として超えることは少なく辛うじて超えることが多く、ペナルティを減算することで、誤報の削減が図れるものである。

失報救済処理について説明する。当該処理において、適合度調整手段１３７は類似度マップ情報１２４を参照し、当該情報に記憶されている各比較領域位置１２４２における比較物体適合度１２４４を高くする。

例えば、図３の類似度マップ情報１２４では、比較物体適合度１２４４のそれぞれにボーナスとして“１”を加算する。その際、適合度調整手段１３７は、比較物体適合度が検出閾値未満である類似領域のうち、当該比較物体適合度と検出閾値との差が予め定めた許容値以下である場合にボーナスを付与するように構成することができる。例えば、比較物体適合度“−０．０２”，“−０．０４”に“１”を加算する調整を行うと、当該調整後の比較物体適合度はそれぞれ“０．９８”，“０．９６”となり検出閾値“０”を超える。これは比較領域位置“（１２４，３９０）”，“（３５８，４１６）”には、図５の模式図において比較領域５２０，５２１のように実は人が写っていたが、検出閾値“０”をわずかに超えずに検出されなかった人が写っていたことを示している。比較物体適合度１２４４が検出閾値に近い値の場合には、実際には人が写っていると考えられるため、値を大きくすることで検出が可能となる。

また図３では、説明を簡単にするため失報救済処理により比較物体適合度１２４４が検出閾値を超えるのは２箇所のみとしているが、実際には図５の比較領域５２０，５２１の付近において、比較物体適合度１２４４が検出閾値を超える比較領域位置が多く得られ得る。よって適合度調整手段１３７は、候補領域抽出手段１３３と同様に、比較領域の統合処理を行うものとする。

判定手段１３８は、物体候補領域情報１２３の物体候補適合度１２３３、及び類似度マップ情報１２４の比較物体適合度１２４４を参照し、検出閾値を超える位置に人が存在すると判定し、その旨と必要な情報を出力部１４へ出力する。

次に物体検出装置１０の動作を説明する。図６は物体検出装置１０の動作の概略のフロー図である。

画像取得部１１は撮像装置２０により撮影された画像を入力画像として取得し、画像処理部１３へ出力する（ステップＳ１００）。

画像処理部１３では注目領域設定手段１３１が入力画像に対して、記憶部１２に記憶された注目領域設定情報１２１を参照して注目領域を設定する（ステップＳ１１０）。なお、注目領域の設定は、後述するステップＳ１４０にて入力画像全体についての走査が完了するまで順次実行される。

物体適合度算出手段１３２は、ＨＯＧ特徴などの形状情報を、物体適合度を求めるための第１の画像特徴量として用い、入力画像の注目領域に対応する部分の画像の第１の画像特徴量に基づいて、当該注目領域に人が存在する可能性を示す物体適合度を求める（ステップＳ１２０）。算出された物体適合度は注目領域の走査位置（注目領域位置）と対応付けて、適合度マップ情報１２２として記憶部１２に記憶する（ステップＳ１３０）。

入力画像の各所にて注目領域を設定してステップＳ１１０〜Ｓ１３０の処理を繰り返す走査が完了すると（ステップＳ１４０にて「Ｙｅｓ」の場合）、候補領域抽出手段１３３は適合度マップ情報１２２を参照し、物体適合度が既定の検出閾値を超える注目領域位置を重心とする注目領域を、その内部に人の像が存在する候補領域として抽出する。そして、当該注目領域位置とその位置における物体適合度とを対応付けてテーブル形式で物体候補領域情報１２３として記憶部１２に記憶する（ステップＳ１５０）。この処理で、物体適合度が検出閾値を越える箇所が１つもない場合には、現在の入力画像には人が写っていなかったとして、以降の処理は行わずステップＳ１００に処理を戻す（ステップＳ１６０にて「Ｎｏ」の場合）。

候補領域が１つ以上検出された場合（ステップＳ１６０にて「Ｙｅｓ」の場合）には、物体領域検出処理が行われる（ステップＳ１７０）。当該処理では、候補領域が誤って人以外を検出したものである場合に対する誤報削減処理と、当該候補領域以外にも検出し切れなかった人が入力画像に写っている場合に対する失報救済処理とが併せて行われる。この物体領域検出処理Ｓ１７０についてはさらに後述する。

誤報削減、失報救済の処理後にて物体適合度が検出閾値を超える候補領域又は比較領域がある場合には（ステップＳ１８０にて「Ｙｅｓ」の場合）、判定手段１３８は、その候補領域又は比較領域を物体領域として、その位置や大きさなど必要な情報と共に出力部１４へ出力する。

出力部１４は入力画像に含まれる人の数と物体領域の情報とを表示装置３０に表示させたり、通信部１５を介して監視センタへ送信したりする出力処理を行う（ステップＳ１９０）。物体検出装置１０は或る入力画像について出力処理Ｓ１９０を終えると、ステップＳ１００に戻り、次の入力画像を処理する。また、入力画像に物体領域が検出されなかった場合は（ステップＳ１８０にて「Ｎｏ」の場合）、物体検出装置１０は出力処理Ｓ１９０を行わずにステップＳ１００に戻り、次の入力画像を処理する。

図７は物体領域検出処理Ｓ１７０の概略の処理内容を示すフロー図である。物体領域検出処理は候補領域抽出手段１３３により検出された候補領域ごとに行われる。

比較領域設定手段１３４は注目領域に対応した比較領域を入力画像の全体に順次設定する走査を行い、設定した各比較領域にて比較領域画像を取得し、色類似度算出手段１３５へ出力する（ステップＳ５００）。なお、比較領域の設定は、後述するステップＳ５４０にて入力画像全体を順次走査し終わるまで実行される。これはＳ１１０における注目領域の設定と同様である。

色類似度算出手段１３５は、第２の画像特徴量として色情報を用い、候補領域に対応した物体候補画像と比較領域画像との類似度として色類似度を算出する（ステップＳ５１０）。色類似度が基準類似度未満である場合には、処理をステップＳ５００に戻し、次の比較領域の設定を行う（ステップＳ５２０にて「Ｎｏ」の場合）。

一方、色類似度が基準類似度以上である場合には、色類似度算出手段１３５は、その比較領域の位置とその位置における物体適合度及び色類似度とを対応付けて、類似度マップ情報１２４として記憶部１２に記憶する（ステップＳ５３０）。

比較領域の走査が終了すると（ステップＳ５４０にて「Ｙｅｓ」の場合）、色類似度算出手段１３５は、処理対象となっている候補領域に対応づけて記憶された比較領域位置１２４２の数を面積１２４５として類似度マップ情報１２４に記憶する。

再評価値算出手段１３６は再評価値を算出し（ステップＳ５５０）、適合度調整手段１３７は、その再評価値が既定の再評価閾値以上である場合には（ステップＳ５６０にて「Ｙｅｓ」の場合）、処理対象となっている候補領域に写っている人以外にも人が入力画像に写っている場合への対処として失報救済処理を行う（ステップＳ５７０）。一方、再評価値が再評価閾値を超えない場合には（ステップＳ５６０にて「Ｎｏ」の場合）、処理対象となっている候補領域が人以外を捉えている可能性への対処として誤報削減処理を行う（ステップＳ５８０）。

判定手段１３８は、調整後の物体適合度を、再度、検出閾値と比較して（ステップＳ５９０）、超える比較領域位置が存在するか、処理対象の候補領域の物体適合度が超える場合、それらには人が写っていると判定する（ステップＳ６００）。

さて、物体検出装置１０は人の検出処理に上述のように第１の画像特徴量と第２の画像特徴量を用いる。具体的には上記実施形態において、物体適合度算出手段１３２では、第１の画像特徴量としてＨＯＧ特徴量など形状情報を用いて物体適合度（人らしさ）を求めている。これは一般に人を検出するためには、いわゆる人らしい形状に基づくのが好適であるとの考えである。一方で、色類似度算出手段１３５では、候補領域の画像と比較領域画像との類似度を求めるために第２の画像特徴量として色情報を用いている。

このように物体適合度算出手段１３２と色類似度算出手段１３５とで用いる特徴量を異ならせている理由を述べる。既に述べたように従来、識別器を用いた人検出の性能向上を図るためには、様々な学習データを用意するが、学習データの収集には限界があり、増やせたとしても副作用も懸念される。つまり形状情報を用いた識別器の性能向上を図るに当たり、同じ形状情報を用いた高精度化の追求という方針を採用するのは必ずしも得策ではない。そこで本発明では、少なくとも形状情報とは異なる種類の情報（上記実施形態では色情報）を併用することで、学習データの収集のコストや副作用の防止を図っている。

また、物体適合度算出手段１３２では形状情報を用い、色類似度算出手段１３５では色情報を用いているが、上述のように両者で用いる特徴情報は異なることでも同様の効果を期待できる。例えば、物体適合度を求めるために色情報や輝度情報（Haar-like特徴量など）を用い、類似度を求めるために形状情報を用いても良い。

再評価値算出手段１３６は、色類似度算出手段１３５が比較領域設定手段１３４により設定された比較領域のすべてについて色類似度及びそれに対応した位置情報等を類似度マップ情報１２４に記憶させることを条件に、物体候補領域ＩＤごとに、類似度マップ情報１２４に記憶された各比較領域位置での色類似度と、当該比較領域位置に一致する注目領域位置に対応して算出され適合度マップ情報１２２に記憶されている物体適合度とを乗算し、当該乗算値の入力画像全体における平均値を、上記実施形態における比較物体適合度１２４４の平均値の代わりに用いて、再評価値を定めることもできる。すなわち当該構成では、当該平均値と当該物体候補領域ＩＤについて物体候補領域情報１２３に記憶されている物体候補適合度１２３３との和を再評価値とする。

［変形例］
（１）上記実施形態では類似度の算出に用いる第２の画像特徴量を色情報とし色類似度算出手段１３５により類似度を求めた。これに対し、色情報に代えて第２の画像特徴量として輝度情報のみを用いて類似度を求める構成とすることもできる。この場合には、撮像装置２０はモノクロタイプのものを使うことができ、照明装置が必要な場合には可視光照明のほか、近赤外線等を照射する赤外照明を使うこともできる。

（２）識別器の注目領域を複数種類とする構成
上記実施形態では、入力画像中の人の大きさを大よそ仮定できるものとして、注目領域及び比較領域の大きさを１種類として説明した。しかし撮像装置２０の設置条件によっては入力画像における人の大きさが変化する。例えば撮像装置２０を天井やポールの上部に取り付け見下ろすように向けると、撮像装置２０に近い位置に立つ人は大きく、遠い位置に立つ人は小さく写る。

そこで、注目領域及び比較領域の大きさを複数種類用意して、それぞれについて入力画像を走査して物体適合度及び色類似度を算出しても良い。

この場合、適合度マップ情報１２２はそれら窓の大きさごとに生成され、候補領域抽出手段１３３での統合処理にて求められた候補領域の大きさの適合度マップ情報１２２が、色類似度算出手段１３５、再評価値算出手段１３６及び適合度調整手段１３７にて用いられる。

また候補領域抽出手段１３３及び適合度調整手段１３７にて行われる領域の統合処理においては、物体適合度の最も大きい領域を基準領域に選び、基準領域に対して一定以上重なる他の領域をグループ化する。ここで、自身の面積に占める重なりの面積の割合が予め定めた値以下（例えば５０％）となる他の領域は別のグループとする。このように生成した各グループにて最も物体適合度の大きい領域を領域候補とする。

なお、注目領域の大きさを複数用意するのではなく、注目領域の大きさを固定し、入力画像を縮小することとしてもよい。例えば、入力画像の縦と横の画素数を１０％ずつ小さくした縮小画像を生成し、縮小率が異なる画像それぞれについて候補領域の検出処理を行っても良い。

（３）誤報削減と失報救済とを切り替えない構成
上記実施形態では、再評価値算出手段１３６が算出した再評価値を参照して、誤報削減と失報救済とを切り替えるよう条件分岐をしていたが、それに限られない。すなわち再評価値の値を参照して、それが再評価閾値以上であれば失報救済の処理を行うのみとしても良い。あるいは再評価値が再評価閾値を下回ったら誤報削減の処理を行うのみとしてもよい。

また、再評価値を求めることなく、類似度マップ情報１２４を参照し、候補領域と類似している比較領域位置の数（画素数）で、注目領域の大きさ（画素数）を除算した結果を指標値にして、それが予め定めた基準値以上である場合に、物体候補画像と類似する比較領域位置が入力画像中に数多く存在するとして誤報削減処理を行っても良い。

または類似度マップ情報１２４を参照し、単に比較物体適合度１２４４の値が予め定めた基準値以上である比較領域位置について失報救済処理をしても良い。

撮影場所の状況に応じて失報救済処理と誤報削減処理とのいずれかを選択的に採用することもできる。例えば人の形に良く似た物体（通行規制用のポール類、植栽、空調のダクトの口、ハンガーにかかったジャケットなど）が写り込みそれが除去できない撮影場所では誤報削減のみを行うことで処理量の削減が図れる。

同様に、登下校時の学校の入り口付近などにおいて、制服姿の生徒が多数写り込み、誤報よりも検出しきれない生徒の存在が懸念される場合には失報救済のみを行うことで処理量の削減が図れる。

（４）物体適合度のボーナスとペナルティに関する変形例
また、上記実施形態では、適合度調整手段１３７は、誤報削減では物体適合度にペナルティとして“−１”、失報救済では物体適合度にボーナスとして“＋１”という固定値を付与していたが、これに限られない。

（誤報削減に関する第１の変形例）
適合度調整手段１３７は、類似領域である比較領域の入力画像に占める面積（又は比較領域の数）が大きいほど、予め定めた広義の単調減少関数に従い候補領域の物体適合度を小さくするペナルティを設定する調整を行ってもよい。

具体的には、上記実施形態では色類似度算出手段１３５は基準類似度以上の色類似度が得られた場合のみ色類似度を類似度マップ情報１２４に記憶していたところ、本変形例では、それに代わり、一旦比較領域設定手段１３４が設定した比較領域のすべてについて色類似度及びそれに対応した位置情報等を類似度マップ情報１２４に記憶させる。そして、全比較領域のうち基準類似度以上の色類似度である比較領域の数の割合に応じたペナルティを付与する。

例えば、当該割合が０の場合にはペナルティを“０”とし、当該割合が１の場合にはペナルティを“−１”とし、それらの間では当該割合の増加に対してペナルティが広義単調減少するようにペナルティを定めることができ、候補領域の色情報が入力画像全体と類似しているほど人と判定されにくくすることができる。例えば、割合が０から１に変化する際に、ペナルティは直線的に変化させたり、階段状に変化させたりすることができる。

この変形例は、図４（ａ）及び（ｂ）を用いて説明したように、人を正しく捉えた場合には候補領域と色が類似する比較領域位置は少なく、誤って人以外を検出した場合は候補領域と色が類似する比較領域位置は多いことに着目したものである。図３に示す類似度マップ情報を参照すると、正しく人を検出した物体候補領域ＩＤが“１０”の場合は面積１２４５は“６９３”となり、誤って人以外を検出した物体候補領域ＩＤが“１１”の場合は面積１２４５は“２１０４０”となり、両者には大きな差がある。よって、上記のような割合を求めてペナルティに反映させることも好適である。

（誤報削減に関する第２の変形例）
適合度調整手段１３７は、類似領域である比較領域における比較物体適合度が小さいほど、予め定めた広義の単調減少関数に従い候補領域の物体適合度を小さくするペナルティを設定する調整を行ってもよい。

具体的には、類似度マップ情報１２４を参照して、候補領域に対応付けられた比較物体適合度１２４４についての平均値が小さいほど当該候補領域の物体適合度に対するペナルティを大きくすることができる。例えば当該平均値が０〜−１の場合は、それに応じてペナルティを“０”〜“−１”と比例関係にて設定し、当該平均値が−１を下回る場合は、候補領域は人ではないと断定すべく、“−１０”という値としてもよい。これにより、物体候補画像と類似している比較領域画像が人を含む可能性を、候補領域が人を検出しているか否かの判断に反映させることができる。なお、平均値の減少に応じたペナルティの減少は上述の比例関係に限られず、例えば階段状に変化するような態様も可能である。

（失報救済に関する変形例）
適合度調整手段１３７は、類似度マップ情報１２４に記憶される類似領域である比較領域のうち、比較物体適合度１２４４が検出閾値（上記実施形態では０）未満であるものについて、当該比較物体適合度と検出閾値との差の絶対値が小さいほど、予め定めた広義の単調増加関数に従い当該類似領域の比較物体適合度を大きくするボーナスを設定する調整を行ってもよい。すなわち、比較物体適合度１２４４が検出閾値に近いほど大きなボーナスを設定する。

これは、比較物体適合度１２４４が検出閾値に近いのは、その比較領域位置に実際には写っているにもかかわらず姿勢変動などの理由で検出し切れなかった人から求められたものと考えられ、値が大きいほど人がいるらしいと見なせるからである。

例えば、比較物体適合度と検出閾値との差の絶対値の逆数をボーナスとして設定することもできる。ただし上限を例えば“１０”とする。

ちなみに、比較物体適合度が検出閾値以上である場合は、候補領域として検出済みの状態であるので上記調整は不要である。

判定手段１３８は、色類似度算出手段１３５が比較領域設定手段１３４により設定された比較領域のすべてについて色類似度及びそれに対応した位置情報等を類似度マップ情報１２４に記憶させ、また物体適合度算出手段１３２が比較領域について算出した物体適合度を適合度マップ情報１２２に記憶させることを条件に、適合度調整手段１３７による調整後の比較領域の物体適合度を検出閾値と比較して比較領域に物体の有無を判定することとしても良い。

この場合、候補領域の物体適合度が、候補領域に人が含まれていると確実に判定できる値である、検出閾値以上に設定された第１の適合度基準値（例えば“５”）以上の場合には、類似度の大きさに応じたボーナスを比較領域の物体適合度に付与し、付与後の物体適合度が検出閾値を超える比較領域の位置に対象物体が存在すると判定する。逆に、候補領域の物体適合度が、候補領域に人が含まれていないと確実に判定できる値である、検出閾値より低く設定された第２の適合度基準値（例えば“―５”）以下の場合には、類似度の大きさに応じたペナルティを比較領域の物体適合度に付与して、付与後の物体適合度が検出閾値を超える比較領域の位置に対象物体が存在すると判定する。ボーナスの値は“０”〜“＋１”、ペナルティの値は“０”〜“−１”とできる。

これにより、候補領域における物体適合度が確実に人の存在の有無を判定できる値の場合には、それに類似する比較領域も確実に人の存在の有無を判定できる。

（５）適合度調整手段１３７による物体適合度の調整は行わない簡易な構成とすることもできる。例えば、候補領域は検出されたものの、類似度マップ情報１２４を参照すると、当該候補領域は誤って人以外を検出したものであると判定できる場合がある。具体的には、撮影条件を考慮すると、物体候補画像と類似している比較領域画像の位置が、人が写りえない位置（例えば建物の壁や空中に相当するなど）である場合には、人を検出したと判定するのは不適切である。よって、物体検出装置１０はこのような場合を、入力画像に人が写っていないと高速に判定することができる。

（６）上記実施形態では、適合度調整手段１３７にて再評価を１つの再評価閾値と比較して誤報削減処理と失報救済処理とのいずれかを選択する構成としていたが、誤報削減処理と失報救済処理とに別々の再評価閾値を設定しても良い。すなわち再評価値が誤報削減処理用の再評価閾値以下の場合に誤報削減処理を行い、再評価値が失報救済処理用の再評価閾値以上の場合に失報救済処理を行い、それ以外の場合には２つの処理のいずれも行わないように構成することも可能である。

（７）上記実施形態では、候補領域抽出手段１３３は適合度マップ情報１２２に記憶されている物体適合度が所定の検出閾値を超える注目領域を物体候補領域、すなわち人が写っている可能性の高い領域として抽出するが、逆に、物体適合度が所定の検出閾値以下の注目領域を人が写っていない可能性の高い領域として抽出するようにしてもよい。この場合、物体適合度が検出閾値以下であるとして抽出された領域と比較領域との間で色類似度算出手段１３５により色類似度を算出し、適合度調整手段１３７は色類似度が基準類似度以上である、つまり色情報が似ている比較領域について物体適合度を下げる処理を行う。これは、人以外である可能性がかなり高い領域と色情報が似ている領域は同様に人以外である可能性が高いという考えに基づくものであり、その比較領域の物体適合度を下げる処理を行うことで誤報削減が図れる。

（８）類似度分布の作成方法について
上記実施形態では、物体適合度算出手段１３２において形状情報（ＨＯＧ特徴量など）を用い、一般的な識別器に関する物体適合度を注目領域全体から１つ求めていた。これは人の全身像から人らしさを表す物体適合度を求めることになる。これに対し、Deformable Part Models（Pedro F. Felzenszwalb, Ross B. Girshick, David McAllester and Deva Ramanan, “Object Detection with Discriminatively Trained Part Based Models”, PAMI, 2010.）のように人の部位のを考慮した手法を用いた場合は、部位の情報を細かく反映した物体適合度を求めることもできる。

この場合、色類似度算出手段１３５にて生成される特徴量ベクトルに部位に関する特徴量を追加し次元をそれに応じて高くすれば良い。

さらには類似度マップ情報１２４を部位ごとに生成して上記実施形態と同様の誤報削減処理、失報救済処理を行っても良い。

（９）上記実施形態では、注目領域または比較領域にて物体適合度を求めて調整し、当該物体適合度に基づいて注目領域または比較領域に人が写っているか否かを判定した。しかし、それらの処理を注目領域または比較領域に限定せず、入力画像内にてそれら領域とは別途に定められた所定領域において行うこととしてもよい。

この場合、注目領域と比較領域との色の類似度（第２の画像特徴量）を用いて所定領域の物体適合度を調整して、所定領域において人が写っているか否かが判定される。例えば、似た服装をした人の行列を横から写した入力画像について、注目領域が行列の先頭付近、比較領域が行列の中ほど付近、所定領域が行列の最後尾付近に設定された場合、所定領域における物体適合度を大きくする調整をすることで、行列の先頭から中ほど付近の服装を踏まえ、他人の陰に体の一部が隠れやすい行列の後ろの方にいる人物の失報を防ぐことができる。

なお、所定領域が注目領域に一致する場合は、これまで述べてきた誤報削減を目的とした処理となり、所定領域が比較領域に一致する場合は、これまで述べてきた失報救済を目的とした処理となる。

［第２の実施形態］
上記第１の実施形態では、入力画像の各所に設定した注目領域について物体適合度を算出し、当該物体適合度が検出閾値を超える注目領域を物体検出処理の対象とした。つまり、第１の実施形態では物体適合度に基づいて注目領域を設定している。しかし、注目領域は他の方法で設定することもできる。以下、説明する第２の実施形態では、注目領域は物体適合度に基づかずに設定される。具体的には、本実施形態では、例えば、入力画像と背景画像との差分処理により抽出される差分領域に基づいて注目領域を決定する。

第２の実施形態は、このように差分処理などで決定された或る１つの注目領域に対して、比較領域との色類似度に基づいた物体適合度調整処理を行う。つまり、本実施形態では決定された注目領域のみについて物体適合度が算出され、比較領域については物体適合度を求める必要がない。したがって、比較領域の物体適合度の調整も行わない。本実施形態はこの点でも上記第１の実施形態と相違する。本実施形態は、注目領域に対して物体適合度調整を行うことで誤報抑制や失報救済を実現する。

図８は本実施形態に係る物体検出装置６０の概略の構成及び機能を示すブロック構成図である。

物体検出装置６０は例えば、第１の実施形態で説明した撮像装置２０などから入力画像を取得し、当該画像に写っている人を検出する処理を行い、その処理結果を第１の実施形態と同様、表示装置へ出力したり監視センタへ送信したりする。

物体検出装置６０は画像取得部６１、記憶部６２、画像処理部６３、出力部６４及び通信部６５を含んで構成される。このうち、画像取得部６１、出力部６４及び通信部６５は基本的に第１の実施形態の画像取得部１１、出力部１４及び通信部１５と同じである。

記憶部６２及び画像処理部６３は第１の実施形態の記憶部１２及び画像処理部１３と同様のハードウェアで構成することができるが、記憶内容や実行する処理内容に違いがある。具体的には、記憶部６２には注目領域情報６２１、類似度情報６２２が記憶される。また、画像処理部６３は例えば、差分抽出手段６３１、注目領域設定手段６３２、比較領域設定手段６３３、物体適合度算出手段６３４、色類似度算出手段６３５、物体適合度調整手段６３６及び判定手段６３７として機能する。

記憶部６２に記憶する各情報について説明する。

注目領域情報６２１は、注目領域設定手段６３２により設定される注目領域の矩形情報と物体適合度算出手段６３４により算出される注目領域の物体適合度とが対応付けられた情報である。

類似度情報６２２は、各注目領域に対して設定される比較領域ごとに、注目領域と比較領域との色類似度と、比較領域の矩形情報とが対応付けられた情報である。第１の実施形態の類似度マップ情報１２４とは異なり、類似度情報６２２には比較領域の物体適合度は含まれない。

画像処理部６３の各手段６３１〜６３７について説明する。

差分抽出手段６３１は、背景差分などの既存の方法を用いて、入力画像から或る一定以上の差分値を持つ画素を抽出し、抽出した画素のうち周辺との連結性が認められるもの同士に同じラベル（識別番号：ＩＤ）を割り当てるラベリング処理を行う。そして、各ラベルに属する画素集合の外接矩形を求める。以下、当該外接矩形の領域を当該ラベルに対応するラベル領域と称する。

注目領域設定手段６３２は差分抽出手段６３１にて求めたラベル領域の中心に、予め定めた形状の注目領域を設定する。差分抽出手段６３１にてラベル領域が複数見つかった場合は、各ラベル領域について注目領域を設定する。

比較領域設定手段６３３は、１つの注目領域に対し当該注目領域以外の場所に注目領域と同形状の比較領域を設定する。本実施形態では、入力画像中に等間隔（例えば、第１の実施形態と同様に定義されるｘ軸、ｙ軸それぞれに対して８画素刻み）に比較領域を設定する。あるいは等間隔にせず、乱数を発生させて１〜１０画素を決定して、その画素数刻みに比較領域を設定してもよい。さらには入力画像中に比較領域として好適な部分があるとの事前知識がある場合には、当該部分付近では小さな画素数間隔（例えば２画素刻み）にて設定し、それ以外では大きな画素数間隔（例えば１０画素刻み）にて設定してもよい。あるいは事前知識にしたがって固定の位置に設定してもよい。

また比較領域設定手段６３３は、１つの注目領域に対し比較領域を１つのみ設定してもよい。

物体適合度算出手段６３４は、第１の実施形態の物体適合度算出手段１３２と同様の算出方法で、注目領域設定手段６３２にて設定された注目領域に対象物である人が存在する尤もらしさを表す物体適合度を算出する。

色類似度算出手段６３５は、第１の実施形態の色類似度算出手段１３５と同様の算出方法で、注目領域の画像と比較領域の画像との間の色類似度を算出する。注目領域に対する比較領域の色類似度は、当該比較領域の領域情報と対応づけて類似度情報６２２として記憶部６２に格納される。

物体適合度調整手段６３６は物体適合度算出手段６３４で算出された注目領域の物体適合度を調整する。本実施形態では、物体適合度調整手段６３６は類似度情報６２２として記憶部６２に格納されている比較領域の類似度の情報を用いて物体適合度の調整を行う。

例えば、無人状態の事務所を監視していて入ってきた人を検知したい場合など、対象物が存在したとしても少数しか存在しない場所では、入力画像における対象物と他の領域とは類似していない可能性が高い。そして逆にそのような場合には、対象物以外の背景領域同士に関しては互いに似ている領域がたくさん存在する傾向がある。つまり、注目領域と似ている比較領域が多く存在する場合は注目領域は対象物らしくなく、注目領域と似ている比較領域が少ない場合は注目領域は対象物らしい。

そこで、物体適合度調整手段６３６は、比較領域のうち類似度が予め定めた閾値以上となる高類似度領域をカウントし、比較領域の全数に対する高類似度領域の割合Ｒを算出する。この割合Ｒが高い場合、注目領域には対象物以外が写っている可能性が高いと考えられるので、注目領域の物体適合度を低くする処理を行う。具体的には割合Ｒが或る予め定めた閾値以上である場合は、物体適合度から“１”を減じる。

逆に、高類似度領域が少ない、つまり割合Ｒが前記閾値未満の場合、注目領域には対象物が写っている可能性が高いと考えられるので、注目領域の物体適合度を高くする処理を行う。具体的には割合Ｒが前記閾値未満の場合は、物体適合度に“０．１”を加算する。

判定手段６３７は、注目領域の調整後の物体適合度が検出閾値以上か否かを判定する。検出閾値以上の場合は注目領域に対象物が存在すると判定し、その旨と注目領域の矩形情報を出力部６４へ出力する。

次に物体検出装置６０の動作を説明する。図９は物体検出装置６０の動作の概略のフロー図である。

画像取得部６１は撮像装置により撮影された画像などを入力画像として取得し、画像処理部６３へ出力する（ステップＳ２００）。

画像処理部６３では、差分抽出手段６３１が入力画像に対して背景差分処理を行い（ステップＳ２１０）、抽出した差分領域に対してラベリング処理を行う。その結果得られた各ラベルに対して外接矩形を算出してラベル領域を求める（ステップＳ２２０）。

そして、ラベル領域ごとに、注目領域の物体適合度の算出及び調整を行う処理（ステップＳ２３０）と、注目領域に対象物が存在するか否かを判定する処理（ステップＳ２４０）とを行う。

図１０は物体適合度算出処理・調整処理Ｓ２３０の概略の処理内容を示すフロー図である。当該処理は注目領域について物体適合度を算出し、当該物体適合度を当該注目領域と比較領域との色類似度に応じて調整する処理である。

差分抽出手段６３１により求められたラベル領域が順次選択され物体適合度算出処理・調整処理Ｓ２３０の対象とされる。注目領域設定手段６３２は選択されたラベル領域に注目領域を設定し（ステップＳ６００）、物体適合度算出手段６３４は、設定された注目領域に対して物体適合度を算出する（ステップＳ６１０）。算出した物体適合度は注目領域の矩形情報と対応付けて注目領域情報６２１として記憶部６２に記憶する。

比較領域設定手段６３３は、入力画像中の注目領域以外の位置に比較領域を設定する（ステップＳ６２０）。色類似度算出手段６３５は設定された注目領域と比較領域とでの色類似度を算出し、類似度情報６２２として記憶部６２へ記憶する（ステップＳ６３０）。

比較領域設定手段６３３は、入力画像中の注目領域以外の位置に、位置を変えて比較領域を順次設定し、ステップＳ６３０の処理は各比較領域について行われる（ステップＳ６４０にて「Ｎｏ」の場合）。

比較領域設定手段６３３が全ての比較領域を設定し終え、色類似度の算出処理が完了すると（ステップＳ６４０にて「Ｙｅｓ」の場合）、物体適合度調整手段６３６は記憶部６２から類似度情報６２２を読み込み、高類似度領域の割合Ｒを算出する（ステップS６５０）。

当該割合Ｒが予め定めた第１の閾値より大きい場合（ステップＳ６６０にて「Ｙｅｓ」の場合）、物体適合度調整手段６３６により注目領域の物体適合度を下げる処理が行われ（ステップＳ６７０）、物体適合度算出処理・調整処理Ｓ２３０は終了する。

一方、高類似度領域の割合Ｒが第１の閾値以下の場合（ステップＳ６６０にて「Ｎｏ」の場合）、さらに割合Ｒを第２の閾値と比較する（ステップＳ６８０）。第２の閾値は第１の閾値より小さく設定される。割合Ｒが第２の閾値未満の場合（ステップＳ６８０にて「Ｙｅｓ」の場合）、物体適合度調整手段６３６により注目領域の物体適合度を上げる処理が行われ（ステップＳ６９０）、物体適合度算出処理・調整処理Ｓ２３０は終了する。

なお、割合Ｒが第２の閾値以上の場合は、物体適合度は変更されずに物体適合度算出処理・調整処理は終了する（ステップＳ６８０にて「Ｎｏ」の場合）。

或るラベルについて物体適合度の調整処理（ステップＳ２３０）が行われると、判定手段６３７は、当該ラベルに設定された注目領域の物体適合度が検出閾値以上か否かによって対象物の存在の有無の判定を行う（ステップＳ２４０）。対象物が検知された場合（ステップＳ２５０にて「Ｙｅｓ」の場合）、その旨と注目領域の矩形情報を含む判定結果が出力部６４へ出力される。出力部６４は判定結果を表示装置に表示させたり、通信部６５を介して監視センタへ送信したりする出力処理を行う（ステップＳ２６０）。

物体検出装置６０は或る入力画像について出力処理Ｓ２６０を終えると、ステップＳ２００に戻り、次の入力画像を処理する。また、入力画像に対象物が検出されなかった場合は（ステップＳ２５０にて「Ｎｏ」の場合）、物体検出装置６０は出力処理Ｓ２６０を行わずにステップＳ２００に戻り、次の入力画像を処理する。

［注目領域設定手段６３２の変形例］
（１）各ラベル領域内に、予め定めた形状の領域を固定の間隔で複数設定し、その領域を注目領域として順次設定し処理を行ってもよい。さらに、形状はそのままで大きさを変更した注目領域をラベル領域内に設定してもよい。

（２）識別器を用いて入力画像全体を走査して物体適合度を算出し、物体適合度がある閾値以上である対象物らしい領域を注目領域として設定し処理を行ってもよい。なお、閾値以上の領域が複数見つかった場合は、それらを順次、注目領域として設定する。

（３）識別器を用いて入力画像全体を走査して物体適合度を算出し、物体適合度が第１の閾値以上で、第１の閾値より大きい第２の閾値未満の領域を注目領域として設定してもよい。これは、物体適合度がかなり高い場合は確実に対象物と考えられるため、物体適合度を調整する注目領域に設定しないようにするためである。該当する領域が複数見つかった場合は、それらを順次、注目領域として設定する。

（４）注目すべき領域が既知の場合（例えば通路の出入り口）、その位置を手動で注目領域として設定し処理を行ってもよい。

［物体適合度算出手段６３４の変形例］
上記実施形態では第１の実施形態の物体適合度算出手段１３２と同様の算出方法で物体適合度を求めたが、当該方法に代えて、注目領域を手動で設定し背景差分を行い各ピクセルの平均差分値を物体適合度としてもよい。

［物体適合度調整手段６３６の変形例］
上記実施形態では物体適合度調整手段６３６が高類似度領域の割合Ｒに応じて注目領域の物体適合度を低くする処理（誤報削減）と高くする処理（失報抑制）とを行うが、物体適合度調整手段６３６はどちらか片方のみの処理を行う構成とすることもできる。すなわち、高類似度領域の割合Ｒが高い場合のみ物体適合度を低くする処理を行う、もしくは割合Ｒが低い場合のみ物体適合度を高くする処理を行う。

［第３の実施形態］
上記第１の実施形態では、入力画像に設定した注目領域について物体適合度を算出し、当該物体適合度が検出閾値を超える注目領域を物体検出処理の対象として抽出した。また第２の実施形態では、差分処理などにより抽出した領域を注目領域に設定した。これに対し、注目領域について物体適合度は算出せず、比較領域についてのみ物体適合度を算出してもよい。

この場合、注目領域の位置を、手動で設定したり差分処理により設定したりすることを好適なものとして、当該注目領域との色類似度が基準類似度以上の比較領域について、物体適合度算出手段が物体適合度を算出したのち、適合度調整手段が当該物体適合度を調整して、判定手段が当該比較領域に対象物体が存在するか否かを判定する。注目領域については、物体適合度を算出する必要はなく、したがって物体適合度の調整も行わない。

これにより、比較領域についての誤報削減または失報救済が実現できる。

以上、各実施形態及び変形例を用いて説明した本発明によれば、類似物体が存在する撮影場所でも誤検出を抑制することができ、また対象物体が学習データの条件と異なる状態で写る場合でも検出漏れを抑制できる。例えば、人として誤検出しやすい物体である「通行規制用のポール類」、「空調のエアダクト（排気口、吸気口）」などが複数（繰返し）写り込む撮影場所での誤検出を防止できる。また、登下校時間帯における学校付近にて、制服姿の生徒が体の向きを異ならせて写り込む場合の、検出漏れ（失報）を防止できる。

上述した人を対象物体とする物体検出装置１０，６０は、監視空間における侵入検知や不審行動判定を行う画像監視装置に適用することができるほか、人数計数装置にも適用が可能である。

１０，６０ 物体検出装置、１１，６１ 画像取得部、１２，６２ 記憶部、１３，６３ 画像処理部、１４，６４ 出力部、１５，６５ 通信部、２０ 撮像装置、３０ 表示装置、１２１ 注目領域設定情報、１２２ 適合度マップ情報、１２３ 物体候補領域情報、１２４ 類似度マップ情報、１３１ 注目領域設定手段、１３２ 物体適合度算出手段、１３３ 候補領域抽出手段、１３４ 比較領域設定手段、１３５ 色類似度算出手段、１３６ 再評価値算出手段、１３７ 適合度調整手段、１３８ 判定手段。

Claims (7)

1. 入力画像において所定の対象物体が写っているか否かを判定する物体検出装置であって、
   前記入力画像内に注目領域を設定する注目領域設定手段と、
   前記注目領域に応じた形状の比較領域を前記入力画像内に設定する比較領域設定手段と、
   前記入力画像内に設定された所定領域の画像に前記対象物体が存在する尤もらしさを表す物体適合度を、当該画像から抽出した第１の画像特徴量を用いて算出する物体適合度算出手段と、
   前記第１の画像特徴量とは異なる第２の画像特徴量を少なくとも用いて、前記注目領域の画像と当該注目領域の設定位置とは異なる設定位置の前記比較領域の画像とで比較して類似度を算出する類似度算出手段と、
   前記類似度を用いて前記所定領域の前記物体適合度を調整する物体適合度調整手段と、
   前記調整後の物体適合度が検出閾値以上である前記所定領域の画像に前記対象物体が写っていると判定する判定手段と、
   を有することを特徴とした物体検出装置。
2. 前記所定領域は少なくとも前記注目領域である請求項１に記載の物体検出装置。
3. 前記所定領域は前記比較領域である請求項１又は請求項２に記載の物体検出装置。
4. 前記物体適合度調整手段は、前記類似度が基準類似度以上である前記比較領域が多いほど前記注目領域の前記物体適合度を予め定めた広義の単調減少関数に従って小さくするよう調整する請求項１乃至請求項３の何れか１項に記載の物体検出装置。
5. 前記物体適合度調整手段は、対応する前記注目領域の物体適合度が前記検出閾値以上に設定された第１の適合度基準値以上であり、且つ前記類似度が前記基準類似度以上である比較領域の物体適合度が大きくなるように調整する請求項１乃至請求項４の何れか１項に記載の物体検出装置。
6. 前記物体適合度調整手段は、対応する前記注目領域の物体適合度が前記検出閾値より低く設定された第２の適合度基準値以下であり、且つ前記類似度が前記基準類似度以上である比較領域の物体適合度が小さくなるように調整する請求項１乃至請求項５の何れか１項に記載の物体検出装置。
7. 前記注目領域設定手段は、前記注目領域を前記入力画像全体を順次走査して設定し、
   前記比較領域設定手段は、前記比較領域を前記入力画像全体を順次走査して設定する
   請求項１乃至請求項６の何れか１項に記載の物体検出装置。

Images