JP5777389B2 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents
画像処理装置、画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JP5777389B2 JP5777389B2 JP2011094108A JP2011094108A JP5777389B2 JP 5777389 B2 JP5777389 B2 JP 5777389B2 JP 2011094108 A JP2011094108 A JP 2011094108A JP 2011094108 A JP2011094108 A JP 2011094108A JP 5777389 B2 JP5777389 B2 JP 5777389B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing apparatus
- area
- object recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
従来、店舗やビルの天井、街頭、工場等において、防犯等のセキュリティー向上を目的として、監視用途にカメラ設置が進んでいる。更にコンビニエンスストア、ショッピングモールやスーパーマーケット等の店舗等や公共の場において、監視カメラを用いて通行する人数をカウントしたり、人流を解析したり、マーケティング目的として監視カメラを用いるシステムも提案されている。
このような画像中における、顔等の被写体を検出する技術は、以下に示す非特許文献１で提案されている。非特許文献１では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、非特許文献１の技術を用いた装置の動作について簡単に説明する。まず、装置は、顔の検出を対象とする画像とをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されており、例えば、装置は、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
なお、非特許文献１は画像から顔を検出する技術について説明しているが、画像からその他の物体を検出する場合についても同様に実現することができる。
このような画像中における、顔等の被写体を検出する技術は、以下に示す非特許文献１で提案されている。非特許文献１では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、非特許文献１の技術を用いた装置の動作について簡単に説明する。まず、装置は、顔の検出を対象とする画像とをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されており、例えば、装置は、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
なお、非特許文献１は画像から顔を検出する技術について説明しているが、画像からその他の物体を検出する場合についても同様に実現することができる。
また、カメラで撮像された映像から物体を認識する技術として特許文献１が開示されている。特許文献１の技術は、まず背景差分を行い背景画像と変化のある領域を絞り込み、動領域を検出した後、その領域を詳細に評価して個別の物体を識別する技術である。
一方、撮像範囲の大規模化に伴い複数台のカメラを設置し、同時に監視、撮影するシステムが実用化されている。しかし複数のカメラの画像を同時に上記のような顔検出、物体認識処理等を行うには相当量の処理性能が必要となる。したがって、如何に処理負荷を軽減するかという問題が存在する。この問題を解決する技術として、例えば特許文献２の技術が提案されている。特許文献２の技術は、検出したい特定人物をマーキングしておき、その人物がある画像から検出されたタイミングでその後の検出処理を打ち切るといった技術である。また、特許文献３では、全ての画像中の特定物体を検出、計上し、その計数に基づいて最適な画像のみを選別してサーバーに送信しその後の処理をするという技術が提案されている。
一方、撮像範囲の大規模化に伴い複数台のカメラを設置し、同時に監視、撮影するシステムが実用化されている。しかし複数のカメラの画像を同時に上記のような顔検出、物体認識処理等を行うには相当量の処理性能が必要となる。したがって、如何に処理負荷を軽減するかという問題が存在する。この問題を解決する技術として、例えば特許文献２の技術が提案されている。特許文献２の技術は、検出したい特定人物をマーキングしておき、その人物がある画像から検出されたタイミングでその後の検出処理を打ち切るといった技術である。また、特許文献３では、全ての画像中の特定物体を検出、計上し、その計数に基づいて最適な画像のみを選別してサーバーに送信しその後の処理をするという技術が提案されている。
Ｒｏｗｌｅｙ ｅｔ ａｌ，"Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ−ｂａｓｅｄ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ"，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２０，ＮＯ．１，ＪＡＮＵＡＲＹ １９９８
しかし、上述した技術は、特定人物の監視用途に限定していたり、認識処理を行う画像を限定したりしている。例えば、全ての画像で、全ての動体に対して認識処理する必要がある場合に上述した技術を適用すると、認識処理に負荷がかかり、認識処理におけるフレーム落ち等が発生する問題があった。
本発明はこのような問題点に鑑みなされたもので、認識処理を軽減することを目的とする。
そこで、本発明は、第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置であって、前記第一の撮像手段で撮像された画像を取得する取得手段と、前記取得手段で取得された画像から物体領域を検知する検知手段と、取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、前記判断手段において前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、を有する。
本発明によれば、認識処理を軽減することができる。
以下、本発明の実施形態について図面に基づいて説明する。
＜実施形態１＞
図１は、画像処理装置のハードウェア構成の一例を示す図である。
図１に示されるように、画像処理装置１００は、ハードウェア構成として、制御装置１０と、記憶装置１１と、ネットワークインタフェース装置１２と、を含む。制御装置１０は、ＣＰＵ等であって、記憶装置１１に記憶されているプログラムに基づき処理を実行することによって、後述する画像処理装置１００のソフトウェア構成及びフローチャートの処理を実現する。記憶装置１１は、ＲＯＭ、ＲＡＭ、ＨＤ等であって、プログラムを記憶したり、画像を記憶したりする。ネットワークインタフェース装置１２は、画像処理装置１００をネットワークに接続する。
画像処理装置２００も画像処理装置１００のハードウェア構成と同様である。
なお、本実施形態では、後述する図２の画像処理装置の機能はソフトウェアとして実装されているものとして説明を行うが、後述する図２の画像処理装置の各機能を専用のハードウェアとして画像処理装置に実装してもよい。また、本実施形態では、後述するように、撮像装置と画像処理装置とを別体のものとして説明を行うが、同一の装置内であってもよい。
図１は、画像処理装置のハードウェア構成の一例を示す図である。
図１に示されるように、画像処理装置１００は、ハードウェア構成として、制御装置１０と、記憶装置１１と、ネットワークインタフェース装置１２と、を含む。制御装置１０は、ＣＰＵ等であって、記憶装置１１に記憶されているプログラムに基づき処理を実行することによって、後述する画像処理装置１００のソフトウェア構成及びフローチャートの処理を実現する。記憶装置１１は、ＲＯＭ、ＲＡＭ、ＨＤ等であって、プログラムを記憶したり、画像を記憶したりする。ネットワークインタフェース装置１２は、画像処理装置１００をネットワークに接続する。
画像処理装置２００も画像処理装置１００のハードウェア構成と同様である。
なお、本実施形態では、後述する図２の画像処理装置の機能はソフトウェアとして実装されているものとして説明を行うが、後述する図２の画像処理装置の各機能を専用のハードウェアとして画像処理装置に実装してもよい。また、本実施形態では、後述するように、撮像装置と画像処理装置とを別体のものとして説明を行うが、同一の装置内であってもよい。
図２は、実施形態１の画像処理システムのシステム構成等の一例を示す図である。
図２に示されるように、画像処理システムは、視野、又は撮像範囲を一部共有する撮像装置１１０、２１０と、撮像装置で撮像された画像中から人物を検出する画像処理装置１００、２００と、を含む。ここで、撮像装置１１０は、第一の撮像手段の一例である。また、撮像装置２１０は、第二の撮像手段の一例である。また、画像処理装置１００は、第一の画像処理装置の一例である。また、画像処理装置２００は、第二の画像処理装置の一例である。
撮像装置１１０は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部１０１に入力される。
画像処理装置１００は、本実施形態で提案する画像処理装置である。
画像取得部１０１は、撮像装置１１０により撮像された画像を取得する。
物体領域検知部１０２は、画像取得部１０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部１０２は、画像取得部１０１により取得された画像中から動体領域を抽出する。
負荷推定部１０３は、物体領域検知部１０２で抽出された画像領域から、物体認識部１０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部１０４は、負荷推定部１０３で推定された処理負荷量と通信部１０６より受信した処理負荷量とを比較して、物体認識部１０５で認識処理をする領域を限定する。
物体認識部１０５は、物体領域検知部１０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部１０５は、物体領域検知部１０２で抽出された特定の画像領域から人体領域を抽出する。
通信部１０６は、画像処理装置２００の通信部２０６と処理負荷量を送受信する。
図２に示されるように、画像処理システムは、視野、又は撮像範囲を一部共有する撮像装置１１０、２１０と、撮像装置で撮像された画像中から人物を検出する画像処理装置１００、２００と、を含む。ここで、撮像装置１１０は、第一の撮像手段の一例である。また、撮像装置２１０は、第二の撮像手段の一例である。また、画像処理装置１００は、第一の画像処理装置の一例である。また、画像処理装置２００は、第二の画像処理装置の一例である。
撮像装置１１０は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部１０１に入力される。
画像処理装置１００は、本実施形態で提案する画像処理装置である。
画像取得部１０１は、撮像装置１１０により撮像された画像を取得する。
物体領域検知部１０２は、画像取得部１０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部１０２は、画像取得部１０１により取得された画像中から動体領域を抽出する。
負荷推定部１０３は、物体領域検知部１０２で抽出された画像領域から、物体認識部１０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部１０４は、負荷推定部１０３で推定された処理負荷量と通信部１０６より受信した処理負荷量とを比較して、物体認識部１０５で認識処理をする領域を限定する。
物体認識部１０５は、物体領域検知部１０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部１０５は、物体領域検知部１０２で抽出された特定の画像領域から人体領域を抽出する。
通信部１０６は、画像処理装置２００の通信部２０６と処理負荷量を送受信する。
同様にして、撮像装置２１０は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部２０１に入力される。
画像処理装置２００は、本実施形態で提案する画像処理装置である。
画像取得部２０１は、撮像装置２１０により撮像された画像を取得する。
物体領域検知部２０２は、画像取得部２０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部２０２は、画像取得部２０１により取得された画像中から動体領域を抽出する。
負荷推定部２０３は、物体領域検知部２０２で抽出された画像領域から、物体認識部２０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部２０４は、負荷推定部２０３で推定された処理負荷量と通信部２０６より受信した処理負荷量とを比較して、物体認識部２０５で認識処理をする領域を限定する。
物体認識部２０５は、物体領域検知部２０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部２０５は、物体領域検知部２０２で抽出された特定の画像領域から人体領域を抽出する。
通信部２０６は、画像処理装置１００の通信部１０６と処理負荷量を送受信する。
画像処理装置２００は、本実施形態で提案する画像処理装置である。
画像取得部２０１は、撮像装置２１０により撮像された画像を取得する。
物体領域検知部２０２は、画像取得部２０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部２０２は、画像取得部２０１により取得された画像中から動体領域を抽出する。
負荷推定部２０３は、物体領域検知部２０２で抽出された画像領域から、物体認識部２０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部２０４は、負荷推定部２０３で推定された処理負荷量と通信部２０６より受信した処理負荷量とを比較して、物体認識部２０５で認識処理をする領域を限定する。
物体認識部２０５は、物体領域検知部２０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部２０５は、物体領域検知部２０２で抽出された特定の画像領域から人体領域を抽出する。
通信部２０６は、画像処理装置１００の通信部１０６と処理負荷量を送受信する。
図３は、実施形態１の概要を示すフローチャートである。以下順を追って説明する。なお以下のフローチャートの動作は、画像処理装置１００の場合を説明するが、画像処理装置２００も同様の動作をする。
ステップＳ１００：
まず、物体領域検知部１０２は、画像取得部１０１により取得された画像から、動体領域を抽出する。ここで、動体領域とは、物体領域検知部１０２が、同画角の、物体が写りこんでいない背景のみの画像と差分をとることで、抽出できる領域である。更に物体領域検知部１０２は、視野共有領域において、動体領域が存在しているか判定を行う。
ステップＳ２００：
負荷推定部１０３は、動体領域より、物体認識部１０５での処理負荷を推定する。認識領域限定部１０４は、推定された処理負荷情報を用い、画像処理装置１００、２００間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップＳ３００で行う物体認識処理の領域を限定する。
ステップＳ３００：
物体認識部１０５は、ステップＳ２００で決定された物体認識すべき領域に、所望の物体が写っているか物体認識を行う。
以上、画像処理装置１００は、ステップＳ１００からステップＳ３００までの処理を画像取得部１０１で入力された入力画像ごとに繰り返す。画像処理装置２００も同様に、ステップＳ１００からステップＳ３００までの処理を画像取得部２０１で取得した入力画像ごとに繰り返す。
ステップＳ１００：
まず、物体領域検知部１０２は、画像取得部１０１により取得された画像から、動体領域を抽出する。ここで、動体領域とは、物体領域検知部１０２が、同画角の、物体が写りこんでいない背景のみの画像と差分をとることで、抽出できる領域である。更に物体領域検知部１０２は、視野共有領域において、動体領域が存在しているか判定を行う。
ステップＳ２００：
負荷推定部１０３は、動体領域より、物体認識部１０５での処理負荷を推定する。認識領域限定部１０４は、推定された処理負荷情報を用い、画像処理装置１００、２００間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップＳ３００で行う物体認識処理の領域を限定する。
ステップＳ３００：
物体認識部１０５は、ステップＳ２００で決定された物体認識すべき領域に、所望の物体が写っているか物体認識を行う。
以上、画像処理装置１００は、ステップＳ１００からステップＳ３００までの処理を画像取得部１０１で入力された入力画像ごとに繰り返す。画像処理装置２００も同様に、ステップＳ１００からステップＳ３００までの処理を画像取得部２０１で取得した入力画像ごとに繰り返す。
以下、図４を用いてステップＳ１００の詳細フローを説明する。図４は、ステップＳ１００の詳細な処理の一例を示すフローチャートである。
ステップＳ１０１：
まず、画像取得部１０１は、ビデオカメラ等の撮像装置１１０により撮像した画像を取得する。ここで取得した画像は、例えば８ビットの画素により構成される、２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面で構成される。また、画像取得部１０１は、ＲＧＢデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップＳ１０２：
物体領域検知部１０２は、画像取得部１０１が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばＳ１０４へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、Ｓ１０３へ分岐する。
ステップＳ１０３：
物体領域検知部１０２は、画像取得部１０１が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップＳ１０４：
物体領域検知部１０２は、画像取得部１０１から出力された画像に対し、記憶装置１１に記憶されている基準モデルと比較し、画像から物体が写っている領域を検知し、出力する。ここで、基準モデルとは物体の写っていない背景のみの画像を表すモデルである。以降、ここでの処理詳細を、図を用いて説明する。
ステップＳ１０１：
まず、画像取得部１０１は、ビデオカメラ等の撮像装置１１０により撮像した画像を取得する。ここで取得した画像は、例えば８ビットの画素により構成される、２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面で構成される。また、画像取得部１０１は、ＲＧＢデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップＳ１０２：
物体領域検知部１０２は、画像取得部１０１が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばＳ１０４へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、Ｓ１０３へ分岐する。
ステップＳ１０３：
物体領域検知部１０２は、画像取得部１０１が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップＳ１０４：
物体領域検知部１０２は、画像取得部１０１から出力された画像に対し、記憶装置１１に記憶されている基準モデルと比較し、画像から物体が写っている領域を検知し、出力する。ここで、基準モデルとは物体の写っていない背景のみの画像を表すモデルである。以降、ここでの処理詳細を、図を用いて説明する。
図５は、撮像装置１１０で人物を撮像したときに画像取得部１０１が取得した画像の一例を示す図である。なお、図中の右側の領域（Ｒ）が視野共有領域であるとする。Ａ及びＢは、認識対象の人物である。
図６は、記憶装置１１に記憶されている基準モデルとなる背景画像の一例を示す図である。図６の例では、物体が写っていない状態で画像取得部１０１により取得された画像である。
基準モデルは図６の背景画像を図７で示す様に、所定のブロック単位で分割しブロック毎に画像特徴量を記憶したものである。図７は、基準モデルの一例を示す図である。一例を示すと、物体領域検知部１０２は、画像を８×８のブロックに分割し、ブロック内の６４画素の画像を用いてＤＣＴ（離散コサイン変換）処理を行う。処理結果であるＤＣＴ係数の一部を特徴量とし記憶する。物体領域検知部１０２は、図５に示す画像においても同様に、８×８画素のブロックに分割し、ブロック毎にＤＣＴ処理を行い、特徴量を求める。物体領域検知部１０２ブロック毎に求めた特徴量と基準モデル中の対応するブロックの特徴量との距離Ｄを以下の（式１）により求める。
Ｄ＝ａt・｜Ｘ−Ｘｂ｜ （式１）
但し、Ｘ及びＸｂは、それぞれ、各ブロックの画像特徴量によって構成される特徴ベクトルである。ａは、物体領域の判定を行うための所定の判別ベクトルである。・は、ベクトル内積演算である。｜｜は、絶対値演算である。
物体領域検知部１０２は、上記（式１）により求めた距離Ｄが所定の閾値以上である場合、そのブロックを１に、所定の閾値よりも小さいブロックを０として２値画像を求める。１のブロックを黒、０のブロックを白として、図５及び図６の画像から得られる結果を図８に示す。図８は、物体領域検知部１０２が抽出した動体領域を示す画像の一例を示す図である。２値画像中の、黒の部分は物体が存在するブロック、白の部分は物体が存在しない背景のみのブロックを示す。
なお、記憶装置１１に記憶された基準モデルの更新は、物体領域検知部１０２の結果から物体が存在しない背景のみと判定されたブロックにおいて行う。例えば、画像取得部１０１で取得した画像街頭ブロックの特徴量と、記憶装置１１に記憶された基準モデルの特徴量との加重平均により行う。
図６は、記憶装置１１に記憶されている基準モデルとなる背景画像の一例を示す図である。図６の例では、物体が写っていない状態で画像取得部１０１により取得された画像である。
基準モデルは図６の背景画像を図７で示す様に、所定のブロック単位で分割しブロック毎に画像特徴量を記憶したものである。図７は、基準モデルの一例を示す図である。一例を示すと、物体領域検知部１０２は、画像を８×８のブロックに分割し、ブロック内の６４画素の画像を用いてＤＣＴ（離散コサイン変換）処理を行う。処理結果であるＤＣＴ係数の一部を特徴量とし記憶する。物体領域検知部１０２は、図５に示す画像においても同様に、８×８画素のブロックに分割し、ブロック毎にＤＣＴ処理を行い、特徴量を求める。物体領域検知部１０２ブロック毎に求めた特徴量と基準モデル中の対応するブロックの特徴量との距離Ｄを以下の（式１）により求める。
Ｄ＝ａt・｜Ｘ−Ｘｂ｜ （式１）
但し、Ｘ及びＸｂは、それぞれ、各ブロックの画像特徴量によって構成される特徴ベクトルである。ａは、物体領域の判定を行うための所定の判別ベクトルである。・は、ベクトル内積演算である。｜｜は、絶対値演算である。
物体領域検知部１０２は、上記（式１）により求めた距離Ｄが所定の閾値以上である場合、そのブロックを１に、所定の閾値よりも小さいブロックを０として２値画像を求める。１のブロックを黒、０のブロックを白として、図５及び図６の画像から得られる結果を図８に示す。図８は、物体領域検知部１０２が抽出した動体領域を示す画像の一例を示す図である。２値画像中の、黒の部分は物体が存在するブロック、白の部分は物体が存在しない背景のみのブロックを示す。
なお、記憶装置１１に記憶された基準モデルの更新は、物体領域検知部１０２の結果から物体が存在しない背景のみと判定されたブロックにおいて行う。例えば、画像取得部１０１で取得した画像街頭ブロックの特徴量と、記憶装置１１に記憶された基準モデルの特徴量との加重平均により行う。
ステップＳ１０５：
物体領域検知部１０２は、ステップＳ１０４で求めた２値画像において、値が１である物体が存在するブロックが、ステップＳ１０３で設定された視野共有領域に存在しているかどうかを判定する。視野共有領域に動体領域が存在している場合、ステップＳ２００へ分岐する。存在していない場合はステップＳ２００を踏まずにステップＳ３００へと分岐する。
画像処理装置２００も同様のフローを行う。図９は、図５と同時刻に撮像装置２１０で撮影したときに画像取得部２０１が取得した画像の一例を示す図である。なお、図中の左側の領域（Ｓ）が視野共有領域である。Ｂは、認識対象の人物である。また、図１０は、図９においてステップＳ１０４を行った際に得られる結果の一例を示す図である。
物体領域検知部１０２は、ステップＳ１０４で求めた２値画像において、値が１である物体が存在するブロックが、ステップＳ１０３で設定された視野共有領域に存在しているかどうかを判定する。視野共有領域に動体領域が存在している場合、ステップＳ２００へ分岐する。存在していない場合はステップＳ２００を踏まずにステップＳ３００へと分岐する。
画像処理装置２００も同様のフローを行う。図９は、図５と同時刻に撮像装置２１０で撮影したときに画像取得部２０１が取得した画像の一例を示す図である。なお、図中の左側の領域（Ｓ）が視野共有領域である。Ｂは、認識対象の人物である。また、図１０は、図９においてステップＳ１０４を行った際に得られる結果の一例を示す図である。
次に、図１１を用いてステップＳ２００の詳細なフローを説明する。図１１は、ステップＳ２００の詳細な処理の一例を示すフローチャートである。
ステップＳ２０１：
物体領域検知部１０２より出力された２値画像を負荷推定部１０３が取得する。
負荷推定部１０３は、取得した２値画像を用いて、動体領域の面積を判定する。例えば、負荷推定部１０３は、２値画像中の全ブロック数のうち、動体領域である値が１のブロックの総数を求めることで面積を算出する。
ステップＳ２０２：
認識領域限定部１０４は、負荷推定部１０３によりステップＳ２００で求められた画像中の動体領域の面積を、通信部１０６を介し、視野を共有する画像処理装置２００へ送信する。同様にして、画像処理装置２００の認識領域限定部２０４は通信部２０６を介し、動体領域の面積情報を画像処理装置１００へ送信する。ここで、通信部２０６から通信部１０６へ送信される動体領域の面積情報は、画像取得部２０１が取得した画像を基に、負荷推定部２０３が算出した動体領域の面積情報である。
ステップＳ２０１：
物体領域検知部１０２より出力された２値画像を負荷推定部１０３が取得する。
負荷推定部１０３は、取得した２値画像を用いて、動体領域の面積を判定する。例えば、負荷推定部１０３は、２値画像中の全ブロック数のうち、動体領域である値が１のブロックの総数を求めることで面積を算出する。
ステップＳ２０２：
認識領域限定部１０４は、負荷推定部１０３によりステップＳ２００で求められた画像中の動体領域の面積を、通信部１０６を介し、視野を共有する画像処理装置２００へ送信する。同様にして、画像処理装置２００の認識領域限定部２０４は通信部２０６を介し、動体領域の面積情報を画像処理装置１００へ送信する。ここで、通信部２０６から通信部１０６へ送信される動体領域の面積情報は、画像取得部２０１が取得した画像を基に、負荷推定部２０３が算出した動体領域の面積情報である。
ステップＳ２０３：
認識領域限定部１０４は、画像処理装置２００の動体領域の面積情報を通信部１０６から取得する。そして、認識領域限定部１０４は、負荷推定部１０３により算出された動体領域の面積情報と前記取得した動体領域の面積情報とを比較する。ここで、面積を２値画像中の動体領域のブロックの総数で求めている場合、認識領域限定部１０４は、ブロック数の比較をすればよい。
負荷推定部１０３により算出された動体領域の面積の方が大きいと判定された場合、ステップＳ２０４へ分岐する。画像処理装置２００から取得した動体領域の面積の方が大きいと判定された場合、ステップＳ２０５へ分岐する。
ステップＳ２０４：
認識領域限定部１０４は、ステップＳ２０３で自身の画像中の動体領域の面積の方が、画像処理装置２００の画像中の動体領域の面積よりも大きいと判断し、共有領域以外のみ物体認識処理を行うよう、領域を限定する。
認識領域限定部１０４は、画像処理装置２００の動体領域の面積情報を通信部１０６から取得する。そして、認識領域限定部１０４は、負荷推定部１０３により算出された動体領域の面積情報と前記取得した動体領域の面積情報とを比較する。ここで、面積を２値画像中の動体領域のブロックの総数で求めている場合、認識領域限定部１０４は、ブロック数の比較をすればよい。
負荷推定部１０３により算出された動体領域の面積の方が大きいと判定された場合、ステップＳ２０４へ分岐する。画像処理装置２００から取得した動体領域の面積の方が大きいと判定された場合、ステップＳ２０５へ分岐する。
ステップＳ２０４：
認識領域限定部１０４は、ステップＳ２０３で自身の画像中の動体領域の面積の方が、画像処理装置２００の画像中の動体領域の面積よりも大きいと判断し、共有領域以外のみ物体認識処理を行うよう、領域を限定する。
ステップＳ２０５：
認識領域限定部１０４は、ステップＳ２０３で自身の画像中の動体領域の面積の方が、画像処理装置２００の画像中の動体領域の面積よりも小さいと判断し、画像全領域（全範囲）で物体認識処理を行うよう、領域指定する。
図８、図１０の例の場合、画像処理装置１００の画像中の動体領域の面積の方が、画像処理装置２００の画像中の動体領域の面積よりも大きい。したがって、画像処理装置１００は、共有領域以外のみ物体認識処理を行うよう物体認識範囲を視野共有領域を除いた領域に設定する。逆に、画像処理装置２００は、共有領域も含めて、全領域、物体認識処理を行うよう判断する。
認識領域限定部１０４は、ステップＳ２０３で自身の画像中の動体領域の面積の方が、画像処理装置２００の画像中の動体領域の面積よりも小さいと判断し、画像全領域（全範囲）で物体認識処理を行うよう、領域指定する。
図８、図１０の例の場合、画像処理装置１００の画像中の動体領域の面積の方が、画像処理装置２００の画像中の動体領域の面積よりも大きい。したがって、画像処理装置１００は、共有領域以外のみ物体認識処理を行うよう物体認識範囲を視野共有領域を除いた領域に設定する。逆に、画像処理装置２００は、共有領域も含めて、全領域、物体認識処理を行うよう判断する。
次にステップＳ３００の処理の一例を説明する。
ステップＳ３００：
物体認識部１０５は、記憶装置１１に記憶されている物体辞書を用いて、画像取得部１０１から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップＳ２００で、物体認識部１０５で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か、切り替えられている。
本実施形態では、認識する物体として人物を想定し、物体認識は非特許文献１で提案されている方法を適用することができる。物体領域検知部１０２で動体領域と判定された領域、かつ、認識領域限定部１０４で限定した領域に対し、非特許文献１で提案されている方法を適用する。
上記の動作を画像処理装置２００でも同様に同時に行うことで、画像処理装置１００と画像処理装置と２００で、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することができる。したがって、画像処理装置間で物体認識処理の負荷を分散させることができる。
ステップＳ３００：
物体認識部１０５は、記憶装置１１に記憶されている物体辞書を用いて、画像取得部１０１から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップＳ２００で、物体認識部１０５で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か、切り替えられている。
本実施形態では、認識する物体として人物を想定し、物体認識は非特許文献１で提案されている方法を適用することができる。物体領域検知部１０２で動体領域と判定された領域、かつ、認識領域限定部１０４で限定した領域に対し、非特許文献１で提案されている方法を適用する。
上記の動作を画像処理装置２００でも同様に同時に行うことで、画像処理装置１００と画像処理装置と２００で、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することができる。したがって、画像処理装置間で物体認識処理の負荷を分散させることができる。
＜実施形態２＞
図１２は、実施形態２の画像処理システムのシステム構成等の一例を示す図である。本実施形態では、画像中から特定人物の顔認証を行う画像処理システムを例に説明を行う。
撮像装置３１０は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像装置３１０が撮像した画像は、画像取得部３０１に入力される。
画像取得部３０１は、撮像装置３１０により撮像された画像を取得する。
物体領域検知部３０２は、画像取得部３０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部３０２は、画像取得部３０１により取得された画像中から人物の顔領域を抽出する。
負荷推定部３０３は、物体領域検知部３０２で抽出された画像領域から、物体認識部３０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部３０４は、負荷推定部３０３で推定された処理負荷量を、通信部３０６を介し画像処理装置４００へ処理負荷量を送信する。逆に、認識領域限定部３０４は、画像処理装置４００から処理負荷量が送信されてきた場合は、負荷推定部３０３で推定された処理負荷量と比較する。そして、認識領域限定部３０４は、画像処理装置３００と画像処理装置４００とでどちらの処理負荷が軽いか判断し、画像処理装置４００に対し処理の可否応答を返信する。認識領域限定部３０４は、通信部３０６から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部３０５で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部３０５は、物体領域検知部３０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部３０５は、物体領域検知部３０２で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部３０６は、処理負荷量、可否応答を送受信する。
図１２は、実施形態２の画像処理システムのシステム構成等の一例を示す図である。本実施形態では、画像中から特定人物の顔認証を行う画像処理システムを例に説明を行う。
撮像装置３１０は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像装置３１０が撮像した画像は、画像取得部３０１に入力される。
画像取得部３０１は、撮像装置３１０により撮像された画像を取得する。
物体領域検知部３０２は、画像取得部３０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部３０２は、画像取得部３０１により取得された画像中から人物の顔領域を抽出する。
負荷推定部３０３は、物体領域検知部３０２で抽出された画像領域から、物体認識部３０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部３０４は、負荷推定部３０３で推定された処理負荷量を、通信部３０６を介し画像処理装置４００へ処理負荷量を送信する。逆に、認識領域限定部３０４は、画像処理装置４００から処理負荷量が送信されてきた場合は、負荷推定部３０３で推定された処理負荷量と比較する。そして、認識領域限定部３０４は、画像処理装置３００と画像処理装置４００とでどちらの処理負荷が軽いか判断し、画像処理装置４００に対し処理の可否応答を返信する。認識領域限定部３０４は、通信部３０６から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部３０５で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部３０５は、物体領域検知部３０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部３０５は、物体領域検知部３０２で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部３０６は、処理負荷量、可否応答を送受信する。
同様にして、撮像装置４１０は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部４０１に入力される。
画像取得部４０１は、撮像装置４１０により撮像された画像を取得する。
物体領域検知部４０２は、画像取得部４０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部４０２は、画像取得部４０１により取得された画像中から人物の顔領域を抽出する。
負荷推定部４０３は、物体領域検知部４０２で抽出された画像領域から、物体認識部４０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部４０４は、負荷推定部４０３で推定された処理負荷量を、通信部４０６を介し画像処理装置３００へ処理負荷量を送信する。逆に、認識領域限定部４０４は、画像処理装置３００から処理負荷量が送信されてきた場合は、負荷推定部４０３で推定された処理負荷量と比較する。認識領域限定部４０４は、画像処理装置４００と画像処理装置３００とでどちらの処理負荷が軽いか判断し、画像処理装置３００に対し処理の可否応答を返信する。認識領域限定部４０４は、通信部４０６から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部４０５で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部４０５は、物体領域検知部４０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部４０５は、物体領域検知部４０２で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部４０６は、処理負荷と可否応答を送受信する。
画像取得部４０１は、撮像装置４１０により撮像された画像を取得する。
物体領域検知部４０２は、画像取得部４０１により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部４０２は、画像取得部４０１により取得された画像中から人物の顔領域を抽出する。
負荷推定部４０３は、物体領域検知部４０２で抽出された画像領域から、物体認識部４０５で認識処理を行う際の処理負荷を推定する。
認識領域限定部４０４は、負荷推定部４０３で推定された処理負荷量を、通信部４０６を介し画像処理装置３００へ処理負荷量を送信する。逆に、認識領域限定部４０４は、画像処理装置３００から処理負荷量が送信されてきた場合は、負荷推定部４０３で推定された処理負荷量と比較する。認識領域限定部４０４は、画像処理装置４００と画像処理装置３００とでどちらの処理負荷が軽いか判断し、画像処理装置３００に対し処理の可否応答を返信する。認識領域限定部４０４は、通信部４０６から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部４０５で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部４０５は、物体領域検知部４０２で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部４０５は、物体領域検知部４０２で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部４０６は、処理負荷と可否応答を送受信する。
図１３は、実施形態２の概要を示すフローチャートである。以下順を追って説明する。
ステップＳ４００：
まず、物体領域検知部３０２は、画像取得部３０１により取得された画像から、人物の顔領域を抽出する。更に物体領域検知部３０２は、共有領域において、顔領域が存在しているか判定を行う。
ステップＳ５００：
負荷推定部３０３は、人物の顔領域の総数を計上し、物体認識部３０５での処理負荷を推定する。負荷推定部３０３は、推定した処理負荷情報を用い、画像処理装置３００、４００間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップＳ６００で行う物体認識処理の領域を限定する。
ステップＳ６００：
物体認識部３０５は、ステップＳ５００で決定した物体認識すべき領域に、特定の人物が写っているか顔認証を行う。
以上、画像処理装置３００は、ステップＳ４００からステップＳ６００までの処理を画像取得部３０１で入力された入力画像ごとに繰り返す。画像処理装置４００も同様に、ステップＳ４００からステップＳ６００までの処理を画像取得部４０１で取得した入力画像ごとに繰り返す。
ステップＳ４００：
まず、物体領域検知部３０２は、画像取得部３０１により取得された画像から、人物の顔領域を抽出する。更に物体領域検知部３０２は、共有領域において、顔領域が存在しているか判定を行う。
ステップＳ５００：
負荷推定部３０３は、人物の顔領域の総数を計上し、物体認識部３０５での処理負荷を推定する。負荷推定部３０３は、推定した処理負荷情報を用い、画像処理装置３００、４００間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップＳ６００で行う物体認識処理の領域を限定する。
ステップＳ６００：
物体認識部３０５は、ステップＳ５００で決定した物体認識すべき領域に、特定の人物が写っているか顔認証を行う。
以上、画像処理装置３００は、ステップＳ４００からステップＳ６００までの処理を画像取得部３０１で入力された入力画像ごとに繰り返す。画像処理装置４００も同様に、ステップＳ４００からステップＳ６００までの処理を画像取得部４０１で取得した入力画像ごとに繰り返す。
以下、図１４を用いてステップＳ４００の詳細フローを説明する。図１４は、ステップＳ４００の詳細な処理の一例を示すフローチャートである。
ステップＳ４０１：
まず、画像取得部３０１は、ビデオカメラ等の撮像装置３１０により撮像した画像を取得する。ここで取得した画像は、例えば８ビットの画素により構成される、２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面で構成される。また、画像取得部３０１は、ＲＧＢデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップＳ４０２：
物体領域検知部３０２は、画像取得部３０１が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばＳ４０４へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、Ｓ４０３へ分岐する。
ステップＳ４０１：
まず、画像取得部３０１は、ビデオカメラ等の撮像装置３１０により撮像した画像を取得する。ここで取得した画像は、例えば８ビットの画素により構成される、２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面で構成される。また、画像取得部３０１は、ＲＧＢデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップＳ４０２：
物体領域検知部３０２は、画像取得部３０１が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばＳ４０４へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、Ｓ４０３へ分岐する。
ステップＳ４０３：
画像取得部３０１が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップＳ４０４：
物体領域検知部３０２は、画像取得部３０１から出力された画像に対し、実施形態１のステップＳ１０４とステップＳ３００と同様の処理を施すことで、画像から人物の顔領域を検出する。
ステップＳ４０５：
物体領域検知部３０２は、ステップＳ４０４で求めた顔領域ブロックが、ステップＳ４０３で設定された共有領域に存在しているかどうかを判定する。共有領域に物体領域が存在している場合ステップＳ５００へ分岐する。存在していない場合はステップＳ５００、を踏まずにステップＳ６００へと分岐する。
画像取得部３０１が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップＳ４０４：
物体領域検知部３０２は、画像取得部３０１から出力された画像に対し、実施形態１のステップＳ１０４とステップＳ３００と同様の処理を施すことで、画像から人物の顔領域を検出する。
ステップＳ４０５：
物体領域検知部３０２は、ステップＳ４０４で求めた顔領域ブロックが、ステップＳ４０３で設定された共有領域に存在しているかどうかを判定する。共有領域に物体領域が存在している場合ステップＳ５００へ分岐する。存在していない場合はステップＳ５００、を踏まずにステップＳ６００へと分岐する。
次に、図１５、図１６を用いてステップＳ５００の詳細なフローを説明する。図１５は、画像処理装置３００の処理の一例を示すフローチャートである。図１６は、画像処理装置４００の処理の一例を示すフローチャートである。まず、図１５について説明する。
ステップＳ５０１：
負荷推定部３０３は、物体領域検知部３０２より出力された顔領域が抽出された画像を取得する。
負荷推定部３０３は、取得した画像を用いて、輪郭切出しを行い画像中の人物の顔の総数を判定する。
ステップＳ５０２：
認識領域限定部３０４は、負荷推定部３０３によりステップＳ４００で求められた画像中の顔の総数を、通信部３０６を介し、撮像装置３１０と視野を共有する撮像装置４１０の画像を処理する画像処理装置４００へ送信する。
ステップＳ５０３：
通信部３０６は、画像処理装置４００から重なり領域の処理可否応答を受信し、認識領域限定部３０４へ送る。
ステップＳ５０４：
認識領域限定部３０４は、画像処理装置４００の共有領域を物体認識可能か処理可否応答を通信部３０６から取得する。応答が可であればＳ５０５へ分岐する。応答が否であればＳ５０６へ分岐する。
ステップＳ５０５：
認識領域限定部３０４は、ステップＳ５０４で画像処理装置４００が共有領域中の顔認証処理を行うと判断し、共有領域以外のみ物体認識処理を行うよう、物体認識範囲を視野共有領域を除いた領域に設定する。
ステップＳ５０６：
認識領域限定部３０４は、ステップＳ５０３で画像処理装置４００が共有領域中の顔認証処理を行わないと判断し、画像全領域（全範囲）で物体認識処理を行うよう、領域指定する。
ステップＳ５０１：
負荷推定部３０３は、物体領域検知部３０２より出力された顔領域が抽出された画像を取得する。
負荷推定部３０３は、取得した画像を用いて、輪郭切出しを行い画像中の人物の顔の総数を判定する。
ステップＳ５０２：
認識領域限定部３０４は、負荷推定部３０３によりステップＳ４００で求められた画像中の顔の総数を、通信部３０６を介し、撮像装置３１０と視野を共有する撮像装置４１０の画像を処理する画像処理装置４００へ送信する。
ステップＳ５０３：
通信部３０６は、画像処理装置４００から重なり領域の処理可否応答を受信し、認識領域限定部３０４へ送る。
ステップＳ５０４：
認識領域限定部３０４は、画像処理装置４００の共有領域を物体認識可能か処理可否応答を通信部３０６から取得する。応答が可であればＳ５０５へ分岐する。応答が否であればＳ５０６へ分岐する。
ステップＳ５０５：
認識領域限定部３０４は、ステップＳ５０４で画像処理装置４００が共有領域中の顔認証処理を行うと判断し、共有領域以外のみ物体認識処理を行うよう、物体認識範囲を視野共有領域を除いた領域に設定する。
ステップＳ５０６：
認識領域限定部３０４は、ステップＳ５０３で画像処理装置４００が共有領域中の顔認証処理を行わないと判断し、画像全領域（全範囲）で物体認識処理を行うよう、領域指定する。
以上、画像処理装置４００の詳細フローを説明した。次に、図１６について説明する。図１５と同一番号のフローは同様の処理を行う。
ステップＳ５０７：
画像処理装置４００の認識領域限定部４０４は、通信部４０６から画像処理装置３００の顔領域の総数情報を受信する。
ステップＳ５０８：
認識領域限定部４０４は、受信した画像処理装置３００の顔領域の総数情報と、負荷推定部４０３が計上した顔領域の総数情報と、を比較し、どちらの総数が多いか判定する。画像処理装置４００の画像中の顔領域の総数の方が多い場合はステップＳ５０９へ分岐する。画像処理装置３００の画像中の顔領域の総数の方が多い場合はステップＳ５１０へ分岐する。同数の場合はどちらへ分岐してもよい。本実施形態では、ステップＳ５１０へ分岐するものとする。
ステップＳ５０９：
認識領域限定部４０４は、通信部４０６を介して画像処理装置３００に対し、共有領域の顔認証処理は行わないことを送信する。
ステップＳ５１０：
認識領域限定部４０４は、通信部４０６を介して画像処理装置３００に対し、共有領域の顔認証処理を行うことを送信する。
ステップＳ５０７：
画像処理装置４００の認識領域限定部４０４は、通信部４０６から画像処理装置３００の顔領域の総数情報を受信する。
ステップＳ５０８：
認識領域限定部４０４は、受信した画像処理装置３００の顔領域の総数情報と、負荷推定部４０３が計上した顔領域の総数情報と、を比較し、どちらの総数が多いか判定する。画像処理装置４００の画像中の顔領域の総数の方が多い場合はステップＳ５０９へ分岐する。画像処理装置３００の画像中の顔領域の総数の方が多い場合はステップＳ５１０へ分岐する。同数の場合はどちらへ分岐してもよい。本実施形態では、ステップＳ５１０へ分岐するものとする。
ステップＳ５０９：
認識領域限定部４０４は、通信部４０６を介して画像処理装置３００に対し、共有領域の顔認証処理は行わないことを送信する。
ステップＳ５１０：
認識領域限定部４０４は、通信部４０６を介して画像処理装置３００に対し、共有領域の顔認証処理を行うことを送信する。
次にステップＳ６００の詳細な処理の一例を説明する。
ステップＳ６００：
物体認識部３０５は、記憶装置１１に記憶されている物体辞書を用いて、画像取得部３０１から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップＳ５００で、物体認識部３０５で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か切り替えられている。なお、ステップＳ４００からステップＳ５００までを踏まずにステップＳ６００へ分岐する系の場合、物体認識部３０５で認識する領域が共有領域も含んだ全領域に設定される。
本実施形態では、認識する物体として特定人物の顔を想定し、人物認証は後述の参考文献１等で提案されている方法が適用できる。
まず、顔領域は、ステップＳ４０４で抽出されている。物体認識部３０５は、抽出された顔領域に対して、目鼻等の特徴点を抽出する。物体認識部３０５は、抽出した特徴点を基準にし、正規化した大きさに顔領域を切出し、濃淡情報等を特徴量として抽出する。予め、認識対象人物の顔の画像から抽出される個人特徴量が、記憶装置１１に記憶されている。物体認識部３０５は、記憶装置１１に記憶されている個人特徴量と、画像から抽出した特徴量との類似度を算出することにより、個人の顔識別が可能となる。
上記の動作により画像処理装置３００と画像処理装置４００とで、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することが可能になる。
参考文献１ 山口．福井，"顔向きや表情の変化にロバストな顔認識システム"Ｓｍａｒｔｆａｃｅ""，電子情報通信学会論文誌，Ｄ−II，Ｖｏｌ．Ｊ８４−Ｄ−II，Ｎｏ．６，ｐｐ．１０４５‐１０５２，２００１−６
ステップＳ６００：
物体認識部３０５は、記憶装置１１に記憶されている物体辞書を用いて、画像取得部３０１から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップＳ５００で、物体認識部３０５で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か切り替えられている。なお、ステップＳ４００からステップＳ５００までを踏まずにステップＳ６００へ分岐する系の場合、物体認識部３０５で認識する領域が共有領域も含んだ全領域に設定される。
本実施形態では、認識する物体として特定人物の顔を想定し、人物認証は後述の参考文献１等で提案されている方法が適用できる。
まず、顔領域は、ステップＳ４０４で抽出されている。物体認識部３０５は、抽出された顔領域に対して、目鼻等の特徴点を抽出する。物体認識部３０５は、抽出した特徴点を基準にし、正規化した大きさに顔領域を切出し、濃淡情報等を特徴量として抽出する。予め、認識対象人物の顔の画像から抽出される個人特徴量が、記憶装置１１に記憶されている。物体認識部３０５は、記憶装置１１に記憶されている個人特徴量と、画像から抽出した特徴量との類似度を算出することにより、個人の顔識別が可能となる。
上記の動作により画像処理装置３００と画像処理装置４００とで、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することが可能になる。
参考文献１ 山口．福井，"顔向きや表情の変化にロバストな顔認識システム"Ｓｍａｒｔｆａｃｅ""，電子情報通信学会論文誌，Ｄ−II，Ｖｏｌ．Ｊ８４−Ｄ−II，Ｎｏ．６，ｐｐ．１０４５‐１０５２，２００１−６
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
以上、上述した各実施形態によれば、複数台の撮像装置を用いて広域を撮像する装置において、認識処理負荷が高い撮像装置の処理負荷を軽減することが可能になる。即ち、認識処理の負荷が高く、処理が間に合わずにフレーム落ちしてしまっていた頻度を軽減することができる。つまり、認識処理を軽減することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０ 制御装置、１００ 画像処理装置、１１０ 撮像装置
Claims (8)
- 第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置であって、
前記第一の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段において前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有する画像処理装置。 - 取得した前記画像中の動体領域の面積を算出する算出手段を更に有し、
前記判断手段は、前記算出手段で算出された前記面積を前記第二の画像処理装置に送信し、前記第二の画像処理装置が算出した前記第二の撮像手段で撮像された画像中の動体領域の面積を前記第二の画像処理装置より受信し、前記算出した面積の方が前記受信した面積より大きい場合は、前記共有領域の物体認識処理を前記第二の画像処理装置で行うと判断し、前記算出した面積の方が前記受信した面積より大きくない場合は、前記共有領域の物体認識処理を前記画像処理装置で行うと判断する請求項１記載の画像処理装置。 - 前記画像中の顔領域の総数を計上する計上手段を更に有し、
前記判断手段は、前記計上手段で計上された前記顔領域の総数を前記第二の画像処理装置に送信し、前記第二の画像処理装置において前記共有領域の物体認識が可能か否かの可否応答を前記第二の画像処理装置より受信し、受信した可否応答が前記共有領域の物体認識が可能であることを示していた場合は、前記共有領域の物体認識処理を前記第二の画像処理装置で行うと判断し、受信した可否応答が前記共有領域の物体認識が可能でないことを示していた場合は、前記共有領域の物体認識処理を前記画像処理装置で行うと判断する請求項１記載の画像処理装置。 - 前記認識手段は、前記設定手段で設定された物体認識範囲に人体が写っているか物体認識を行う請求項１乃至３何れか１項記載の画像処理装置。
- 前記認識手段は、前記設定手段で設定された物体認識範囲に特定の人物の顔が写っているか物体認識を行う請求項１乃至３何れか１項記載の画像処理装置。
- 第一の撮像手段で撮像された画像の画像処理を行う第一の画像処理装置と、撮像範囲を前記第一の撮像手段と一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と、を含む画像処理システムであって、
前記第一の画像処理装置は、
前記第一の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第一の画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段で前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有し、
前記第二の画像処理装置は、
前記第二の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第二の撮像手段と前記第一の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第二の画像処理装置と前記第一の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有する画像処理システム。 - 第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置が実行する画像処理方法であって、
前記第一の撮像手段で撮像された画像を取得する取得ステップと、
前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断ステップと、
前記判断ステップにおいて前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
を含む画像処理方法。 - 第一の撮像手段で撮像された画像の画像処理を行う第一の画像処理装置と、撮像範囲を前記第一の撮像手段と一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と、を含む画像処理システムにおける画像処理方法であって、
前記第一の画像処理装置が、前記第一の撮像手段で撮像された画像を取得する取得ステップと、
前記第一の画像処理装置が、前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
前記第一の画像処理装置が、取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第一の画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断ステップと、
前記第一の画像処理装置が、前記判断ステップで前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記第一の画像処理装置が、前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
前記第二の画像処理装置が、前記第二の撮像手段で撮像された画像を取得する取得ステップと、
前記第二の画像処理装置が、前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
前記第二の画像処理装置が、取得した前記画像中の前記第二の撮像手段と前記第一の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第二の画像処理装置と前記第一の画像処理装置との何れで行うかを判断する判断ステップと、
前記第二の画像処理装置が、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記第二の画像処理装置が、前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
を含む画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011094108A JP5777389B2 (ja) | 2011-04-20 | 2011-04-20 | 画像処理装置、画像処理システム及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011094108A JP5777389B2 (ja) | 2011-04-20 | 2011-04-20 | 画像処理装置、画像処理システム及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012226583A JP2012226583A (ja) | 2012-11-15 |
| JP5777389B2 true JP5777389B2 (ja) | 2015-09-09 |
Family
ID=47276672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011094108A Active JP5777389B2 (ja) | 2011-04-20 | 2011-04-20 | 画像処理装置、画像処理システム及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5777389B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6181925B2 (ja) * | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
| JP2023077926A (ja) * | 2021-11-25 | 2023-06-06 | キヤノン株式会社 | 情報処理装置、処理システム、制御方法、及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0636031A (ja) * | 1992-07-15 | 1994-02-10 | N T T Data Tsushin Kk | コンピュータ利用の移動物体追跡システム |
| JP3577895B2 (ja) * | 1997-06-19 | 2004-10-20 | 松下電器産業株式会社 | 広域監視装置及び広域監視システム |
| JP4250172B2 (ja) * | 2000-02-28 | 2009-04-08 | 株式会社日立国際電気 | 物体検出方法及び物体検出装置 |
| JP2005027085A (ja) * | 2003-07-03 | 2005-01-27 | Minolta Co Ltd | 撮像システム |
| JP2005347942A (ja) * | 2004-06-01 | 2005-12-15 | Konica Minolta Holdings Inc | 監視システム、監視システムの制御プログラム、および監視装置 |
| JP5390322B2 (ja) * | 2009-09-28 | 2014-01-15 | 株式会社東芝 | 画像処理装置、及び画像処理方法 |
-
2011
- 2011-04-20 JP JP2011094108A patent/JP5777389B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012226583A (ja) | 2012-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11341669B2 (en) | People flow analysis apparatus, people flow analysis system, people flow analysis method, and non-transitory computer readable medium | |
| TWI686774B (zh) | 人臉活體檢測方法和裝置 | |
| TWI430186B (zh) | 影像處理裝置及影像處理方法 | |
| US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
| JP6494253B2 (ja) | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム | |
| KR101687530B1 (ko) | 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체 | |
| JP4642128B2 (ja) | 画像処理方法、画像処理装置及びシステム | |
| TWI721786B (zh) | 人臉校驗方法、裝置、伺服器及可讀儲存媒介 | |
| US8538079B2 (en) | Apparatus capable of detecting location of object contained in image data and detection method thereof | |
| US8923552B2 (en) | Object detection apparatus and object detection method | |
| JP7255173B2 (ja) | 人検出装置および人検出方法 | |
| WO2008035411A1 (fr) | Dispositif de détection d'informations de corps mobile, procédé de détection d'informations de corps mobile et programme de détection d'informations de corps mobile | |
| US9256789B2 (en) | Estimating motion of an event captured using a digital video camera | |
| JP5777389B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| JP6266946B2 (ja) | 監視カメラ及び画像監視装置 | |
| JP2010140315A (ja) | 物体検出装置 | |
| JP6187261B2 (ja) | 人物特徴量抽出システム、サーバおよび人物特徴量抽出方法 | |
| JP5769468B2 (ja) | 物体検出システム及び物体検出方法 | |
| JP5545977B2 (ja) | 画像監視装置 | |
| JP6235302B2 (ja) | 監視カメラ及び画像監視装置 | |
| CN114387648A (zh) | 异常图像检测方法、装置、计算机设备及存储介质 | |
| JP4530175B2 (ja) | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム | |
| WO2023276050A1 (ja) | 画像処理システム及び撮像装置 | |
| JP2019192155A (ja) | 画像処理装置、撮影装置、画像処理方法およびプログラム | |
| KR101426039B1 (ko) | 얼굴/물체 인식을 위한 특징점 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150707 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5777389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |