JP3767898B2 - 人物行動理解システム - Google Patents

Description

本発明は、人物をテレビカメラ等のような撮像装置で監視しながら、その人物の行動を理解するためのシステムに係り、特に撮像データから人物の部位領域データと特定領域データを抽出する処理部、そしてそのデータを用いて人物の行動特徴を検出する処理部、さらにその行動特徴からその人物の行動を理解する処理部といった階層化された処理構造を備える人物行動理解システムに関する。

近年、わが国の人口に占める高齢者の割合が漸増しており、今後この傾向は益々顕著になることが確実視されている。また、晩婚化、非婚化も相まって、少子高齢化社会を迎えつつある。このような社会の変化に伴い独居高齢者あるいは障害者などが安心して健康的な自立生活を営むための安全な住環境の整備が急務の課題となっている。
一方、ＩＴ（情報技術）の進歩はめざましく、インターネット網の構築によって様々な情報が瞬時のうちに容易に手に入るようになってきている。
このような環境下、独居高齢者を含む高齢世帯や障害者など特に要介護者に関する異常兆候をいち早く介護者や家族に知らせる異常通報システムに対する需要が高まりつつある。このようなニーズは、家庭のみならず病院や介護施設、老人ホームなどの医療機関、福祉機関などでも大きく、安価で高精度、さらに取扱いが容易なシステムが求められている。
このようなシステムとしては、例えば、特許文献１では「行動監視装置及びその方法」として監視対象となる人物が利用する空間に設けられた撮像手段と、この画像手段による撮像された撮像信号を取り込み、この画像信号中から監視対象となる人物部分を抽象化する抽象化処理手段と、この抽象化処理手段により監視対象となる人物部分が抽象化された画像信号を圧縮して保存する画像手段と、圧縮された画像信号を外部に向けて伝統する通信手段とを備えた技術が開示されている。
また、この特許文献１に開示された発明では、抽象化する部分にモザイク処理を施したり、画像の時間差分処理を施したりする技術も開示されている。
この特許文献１に開示された技術によれば、画像信号により人物の行動を遠隔監視し、人物画像をモザイク処理や時間的差分処理により抽象化することによってプライバシーを保護しつつ監視し、その行動を支援することができる。

また、特許文献２では「侵入物体追尾画像処理システム」として、侵入物体の検出に使用する画像信号を出力する広域視野の撮像レンズを備えたテレビジョンカメラと、電動雲台に搭載され侵入物体を追跡し拡大された画像監視に使用する画像信号を出力するズーミング可能な撮像レンズを備えたテレビジョンカメラと、広域視野の撮像レンズを備えたテレビジョンから入力された画像信号を処理し演算して電動雲台を所要量回動させるための回動制御信号とズーミング可能な撮像レンズを所要量ズーミングさせるためのズーミング制御信号とを出力する画像処理装置とを有し、所要の監視箇所に侵入した侵入物体を自動追尾し自動ズーミングして撮像するシステムが開示されている。
このシステムにおいては、侵入物体の自動検出を行うとともに、検出し演算したデータにより上下方向、左右方向へ回動する雲台を制御して侵入物体の自動追尾、ズーミング可能な撮像レンズを制御して侵入物体の拡大を行い、ビデオモニタの画面上で監視者に侵入物体の確認が容易となるという効果を発揮する。

さらに、特許文献３では「ドライバの顔画像処理装置」として、自動車のドライバの顔を撮像するカメラと、このカメラより得られた顔画像を処理する画像処理装置にて構成され、装置の起動時においてこのカメラにより得られた該ドライバの正面顔を基にしてドライバの様々な顔の向きに対応した顔モデル群を生成し、この生成を完了した以降は、該ドライバの顔画像を循環的に入力し、顔モデル群内の最もよく一致する顔モデルを選択することによりドライバの顔の向きを検出するようにしたものである。
このような装置では、自動車のドライバの顔の向きを検出可能であり、ドライバの脇見等の行動監視が可能となる。

特開２０００−２１６号公報 特開平１１−６９３４２号公報 特開２００３−３０８５３３号公報

しかしながら、上述の特許文献１及び２に開示された発明においては、人物や侵入物体の行動等を監視することができるが、その行動等の内容を判断するのは、もっぱら人間であり、必ず監視者がその内容を把握しなければならないという課題があった。すなわち、例えば無人で監視することはできず、最終的には人間の判断を必要とするという課題を有していた。
また、特許文献３に開示された発明においては、自動車のドライバの顔の向きを検出して、顔モデル群を生成しておき、カメラから得られた顔画像がこの顔モデル群のいずれに最も一致するかを判定し、１の顔モデルを選択することから、その選択には人間の判断を要しないものである点で、特許文献１や２に開示された発明とは異なる。
しかしながら、撮像された顔画像と顔モデル群との比較によって顔が正面を向いているか否かという単純な判断のみが可能であり、顔が正面を向いている際の行動内容や横を向いている際の行動内容など、判定された顔の向きを用いてさらにその顔あるいはドライバ自身の行動内容に関する判断ができないという課題があった。

本発明はかかる従来の事情に対処してなされたものであり、簡素な構成で安価に構築できると共に、人体の部位領域や特定領域のデータを抽出しながら、その人物の行動特徴を把握し、さらに、その行動特徴をベースにしてその人物の行動を理解することができる人物行動理解システムを提供することを目的とする。

本発明の請求項１に記載の人物行動理解システムは、上述の課題を解決するために、被写対象の人物を含む人物領域と別個に予め規定される特定領域を含む撮像領域の検出を行う撮像部と、この撮像部によって撮像される人物領域に含まれる部位領域データを抽出する部位検出部と特定領域に含まれる特定領域データを抽出する特定領域検出部とを備える人体部位検出部と、人体部位検出部によって抽出された部位領域データと特定領域データの変化量によって行動の特徴を検出する行動特徴検出部と、行動特徴検出部によって検出された行動の特徴を組み合わせることによって人物の行動を判断する行動理解部と、を有する人物行動理解システムであって、部位検出部は、撮像部によって撮像された人物領域に含まれる部位領域候補の部位領域候補データを抽出する手段と、この抽出された部位領域候補データと予め設定される前記部位領域のテンプレートデータとを照合して部位領域データを抽出する手段とを備え、特定領域検出部は、撮像部によって撮像された特定領域に含まれる特定領域データを抽出する手段を備え、行動特徴検出部は、部位検出部によって検出された部位領域データの変化量を演算する手段と、特定領域検出部によって検出された特定領域データの変化量を演算する手段と、部位領域データの変化量及び特定領域データの変化量によって定められる行動特徴を示す行動特徴データテーブルから該人物の前兆行動特徴と確定行動特徴を抽出する手段とを備え、行動理解部は、行動特徴検出部によって抽出された人物の前兆行動特徴と確定行動特徴の組合せを、予め設定される人物の行動に対応付ける行動理解データテーブルから、該人物の行動を抽出する手段を備えるものである。

請求項２に記載の人物行動理解システムは、請求項１に記載の人物行動理解システムにおいて、特定領域は予め分割された複数の領域であって、行動特徴検出部は、部位検出部によって抽出された該部位領域データが、分割された特定領域のいずれの領域に存在するかという部位存在領域データについて検出する手段を備え、行動特徴テーブルはこの部位存在領域データと行動特徴を対応付けるものである。

請求項３に記載の人物行動理解システムは、請求項１又は請求項２に記載の人物行動理解システムにおいて、部位検出部は、人物の頭部領域の部位領域データを抽出する頭部検出部と、手領域の部位領域データを抽出する手検出部と、胴体領域の部位領域データを抽出する胴体検出部と、足領域の部位領域データを抽出する足検出部の内少なくとも１つの検出部を備えるものである。

請求項４に記載の人物行動理解システムは、請求項１乃至請求項３のいずれか１項に記載の人物行動理解システムにおいて、部位領域データの変化量は、部位領域のデータの変化量、この変化量の変化速度、変化量の変化加速度のいずれか１つであるものである。

請求項５に記載の人物行動理解システムは、請求項１乃至請求項４のいずれか１項に記載の人物行動理解システムにおいて、行動理解部は、行動理解データテーブルから該人物の行動が抽出できない場合には、行動特徴検出部又は人体部位検出部において再検出を実行するように信号を送信するものである。

請求項６に記載の人物行動理解システムは、請求項１乃至請求項５のいずれか１項に記載の人物行動理解システムにおいて、部位検出部は、抽出された部位領域データが単独である場合に、特定領域検出部、行動特徴検出部及び行動理解部を作動させるタスク制御手段を備えるものである。なお、本願明細書において、部位領域データが「単独」であるとは、部位の器官数が１つである場合には、その器官に関する部位領域データが１つである場合を意味し、また、部位の器官数が２つで一対である場合には、その器官に関する部位領域データが１つ又は一対である場合を意味する。
手や足など一対存在する器官の場合であれば、一対のそれぞれが検出される場合もあるが、一方が例えば布団などに隠れてしまいもう一方のみが検出されることもあるので、一対なくとも１つであっても単独の概念に含めることとした。

請求項７に記載の人物行動理解システムは、請求項１乃至請求項５のいずれか１項に記載の人物行動理解システムにおいて、部位検出部によって抽出された部位領域データが単独である場合に、特定領域検出部、行動特徴検出部及び行動理解部を作動させるタスク制御手段を備えるものである。

本発明の人物行動理解システムにおいては、請求項１に記載の人物行動理解システムでは、撮像部で得られた画像から人体部位検出部では人物の部位領域のデータを抽出し、行動特徴検出部では抽出された部位領域のデータの変化量を用いて人物の行動特徴を抽出し、さらにこの行動特徴あるいはその組合せを用いて行動理解部で行動を抽出するという階層構造を備えており、各部毎に機能を分担させて各々で情報を選択抽出しているため、高精度で人物の行動を把握することができる。また、部位検出部に加えて特定領域検出部を備えることで、部位領域のデータのみならず特定領域のデータを抽出し、それらのデータを基に行動特徴を検出することができるので、より正確に高精度の行動理解を行うことができる。

特に、請求項２に記載の人物行動理解システムでは、請求項１に記載の発明の効果に加えて、部位存在領域データを検出することができるので、抽出された部位領域データが分割されたどの特定領域に存在するかが容易に把握でき、人物の部位とその存在位置の組合せが可能となることから行動特徴の検出がより容易となる。従って、人物の行動理解がより容易にしかも高精度で可能となる。

また、特に請求項３に記載の人物行動理解システムにおいては、請求項１又は請求項２に記載の発明の効果に加えて、人物の特徴として捉えやすい頭部、手、胴体、足を検出することでより高精度に人物行動を把握することができる。

請求項４に記載の人物行動理解システムでは、請求項１乃至請求項３に記載の発明と同様の効果に加えて、特に部位領域データの変化量として位置データの変化量のみならず、変化速度や変化加速度を用いて、より詳細な行動特徴を得ることで、詳細な行動理解を行うことができる。

特に、請求項５に記載の人物行動理解システムでは、請求項１乃至請求項４の発明の効果に加えて、フィードバック機能を備えることで、誤検出や誤演算を正しく修正してより正確な行動理解を促進することが可能である。

請求項６及び請求項７に記載の発明においては、行動理解のための処理を実行するに際して、まず、部位検出部において正しい部位が検出された場合にのみ特定領域検出部や後段の行動特徴検出部及び行動理解部を作動させることで、省エネルギーで効率的に人物行動理解システムを稼動させることが可能であり、また、稼動の精度を高めることも可能である。

以下に本発明の実施の形態に係る人物行動理解システムについて図１乃至図２９を参照しながら説明する。
図１は本発明の実施の形態に係る人物行動理解システムの構成図である。図１において、人物行動理解システム１は撮像部２、システム本体３及び出力部４から構成され、さらに第１データベース１７、第２データベース１８、第３データベース１９を備えている。
まず、撮像部２では背景の中に存在する人物を背景ごと撮影して、撮像データ２０を取得する。この撮像データ２０は、撮像部２に接続されている第１データベース１７に格納される。この撮像部２は例えば病院などの医療施設や介護施設あるいは独居高齢者や障害者をかかえる家庭などに設置されるもので、被写対象の人物は患者や高齢者あるいは障害者など何らかの介護を必要とする人物を想定している。従って、例えば病室のベッド傍の天井などに撮像部２が設置され、患者を高い位置からベッド廻りも含めて撮像するような状態である。
撮像部２による撮像領域には、被写対象の人物が占める人物領域と予め設定される撮像領域の一部又は全部の特定領域があり、人物領域は、さらにそれぞれの部位領域から構成されている。特定領域は、人物がいない状態で予め設定されるので、その特定領域の中に人物が入る場合がありその場合には人物領域と特定領域が重複する場合もある。また、この特定領域は、例えばベッド上の患者が起き上がったときの頭部位置周辺エリアをエリア１、枕周辺をエリア２、布団の領域をエリア３、ベッド廻りでエリア１，２，３のいずれにも属さない領域をエリア４などと分割しておくとよい。
なお、撮像部２は１台の固定カメラを想定するものであり、この撮像部２から得られる動画像に後述する複数の処理部を適用させて簡素かつ安価でありながら高い測定精度を担保する人物行動理解システムを提供するものである。

システム本体３は、人体部位検出部５と行動特徴検出部６と行動理解部７から構成される階層化された処理構造を備えている。第１の処理部である人体部位検出部５は、人物の部位領域を抽出するための部位検出部８と前述の特定領域を抽出するための特定領域検出部９から構成されている。これらの処理部が分散、協調して被写対象人物の行動理解を行う。
さらに、部位検出部８は、部位領域候補データ抽出手段１０、部位領域データ照合手段１１及びタスク制御手段１３から構成されており、特定領域検出部９は、特定領域データ抽出手段１２を備えている。
行動特徴検出部６は、人体部位検出部５に接続されており部位領域データ変化量演算手段１４ａ、特定領域データ変化量演算手段１４ｂ、部位存在領域検出手段１４ｃ及び行動特徴抽出手段１５から構成される。さらに、行動理解部７は、人物行動抽出手段１６を備えている。

人体部位検出部５の部位検出部８は、撮像部２から直接に撮像データ２０を読み出すかあるいは第１データベース１７に格納された撮像データ２０を読み出して、部位領域候補データ抽出手段１０によって、撮像データ２０の中から部位領域候補データを抽出し、さらに部位領域データ照合手段１１で、第２データベース１８に格納されているテンプレートデータ２４から部位領域に関するデータと照合しながら、部位領域候補データの中から真の部位領域データ２１を抽出する。抽出された部位領域データ２１は第１データベース１７に格納される。
なお、撮像データ２０は一定のタイムスパンで撮像部２から伝送されるデータであり、それぞれの時間毎に時間をキーとして第１データベース１７に格納されており、時間毎に読み出すことも可能である。また、抽出された部位領域データ２１と特定領域データ２２も時間毎に格納可能であり、その時間をキーとして格納されるのでその時間をキーとして読み出しも可能である。上記の一定のタイムスパンは、適宜本システムの利用者によって設定可能である。

また、部位領域候補データ抽出手段１０における抽出は、予め撮像しておいた背景画像データ２３との差分（以下、この背景画像データとの差分を背景差分と呼ぶことがある。）を取ったり、あるいは一定のタイムスパン毎に撮像されて第１データベース１７に格納された撮像データ２０間で差分（以下、この撮像データ２０間での差分をフレーム間差分と呼ぶことがある。）を取ることによって行われる。背景差分は初期の状態からの変化を得ることができ、フレーム間差分は時々刻々と変化する動きを得ることができる。
一方、特定領域検出部９は部位検出部８と同様に特定領域データ抽出手段１２によって撮像データ２０の中から特定領域データ２２を抽出する。抽出された特定領域データ２２は第１データベース１７に格納される。この特定領域データ２２は予め特定されている領域（以下、エリアと呼ぶことがある。）に属する画素データを抽出するものである。
以上のとおり、人体部位検出部５では、撮像データ２０に含まれる人物領域の部位領域データ２１と特定領域データ２２を抽出して第１データベース１７に格納する。もちろん、第１データベース１７に格納しなくとも行動特徴検出部６に送信してもよい。

また、行動特徴検出部６では、部位領域データ変化量演算手段１４ａ及び特定領域データ変化量演算手段１４ｂによって、人体部位検出部５において抽出された部位領域データ２１と特定領域データ２２を用いて、部位領域データの変化量や特定領域データの変化量を演算する。この変化量の具体例については後述するが、例えば部位の位置（特に重心位置）の変化量を示す部位領域データ変化量２７や部位領域データ変化速度２８や部位領域データ変化加速度２９などがある。
これらの変化量の演算には、部位の位置変化量であれば部位領域データ２１の基準となるような部位領域データ２１と比較してその差を演算すればよく、また、フレーム間差分をとることによって、単位時間中の移動量を演算することによって部位変化速度２８が得られるし、その部位変化速度２８の単位時間中の変化を演算することで部位変化加速度２９が得られる。また、特定領域データの変化量を示す特定領域データ変化量３１であれば、特定領域データ２２に含まれる領域の画素データとその画素データが撮像された時刻とは異なる時刻の画素データを比較することによって得られるものである。これによって何らかの変化がその特定領域において生じていることが把握される。また、この特定領域データ変化量３１の単位時間中の変化を演算することで特定領域データ変化速度３２が得られ、さらにその速度の単位時間中の変化を演算することで特定領域データ変化加速度３３が得られる。
得られた部位領域データ変化量２７、部位領域データ変化速度２８、部位領域データ変化加速度２９、特定領域データ変化量３１、特定領域データ変化速度３２、特定領域データ変化加速度３３は演算結果を格納するための第３データベース１９に格納される。

なお、特定領域におけるデータの増減は、被写対象の人物自体の動きがいずれの場所で起こっているのかという情報や、特定領域に存在する枕や布団の位置の変化に関する情報などを検出可能であることから、人物の行動を理解する上でより正確に判断することができ、重要な判断材料となる。
このようにして得られた部位領域データ変化量と特定領域データ変化量を用いて、行動特徴抽出手段１５では第２データベース１８に格納されている行動特徴データテーブル２５を読み出して参照しながら、先の部位領域データ変化量と周辺領域データ変化量によって定められる行動特徴を抽出する。
なお、特定領域検出部９、特定領域データ変化量演算手段１４ｂ及び部位存在領域検出手段１４ｃは必須ではないが、これらによって特定領域データ変化量が演算されれば、行動特徴データテーブル２５に予め設定しておく行動特徴データのバリエーションを増やして詳細に行動特徴を規定しておくことが可能である。

行動特徴検出部６において抽出された行動特徴を用いて、行動理解部７の人物行動抽出手段１６では、第２データベース１８に格納された行動理解データテーブル２６を読み出して参照しながら、この行動特徴によって定められる行動を抽出する。なお、行動特徴検出部６によって抽出される行動特徴については図２０を参照しながら後述するが、かならず２つの行動特徴の組合せによって対応付けられた行動を抽出するものである。第１の行動特徴のもとで、第２の行動特徴ならば、その「行動」と理解するもので、この第１の行動特徴を本願明細書内では、前兆行動特徴と呼び、第２の行動特徴を確定行動特徴と呼ぶ。
ここで、部位検出部８に含まれているタスク制御手段１３について説明する。本実施の形態に係る人物行動理解システム１は、前述のように、例えば病院の病室に入院する患者のベッド廻りを撮像して患者の行動などを監視しながらその安全を確保するためのシステムとして機能する。このようなケースで、患者の家族が見舞いに来ている状態あるいは医師や看護婦がそばについている場合であれば、たとえ容態が急変したりしても処置の対応が可能であるため特にこの様なシステムが作動していなくともよい。すなわち、患者が一人で病室にいる場合に監視が必要となるのである。したがって、撮像部２によって得られる撮像データ２０において、患者一人のものと考えられる部位が検出された場合にのみ、特定領域検出部９や人体部位検出部５の後段として機能する行動特徴検出部６や行動理解部７を作動させればよいのである。

タスク制御手段１３は、そのような機能を備えるもので、部位領域候補データ抽出手段１０と部位領域データ照合手段１１によって抽出される真の部位領域データ２１が、１つである場合あるいは一対である場合、すなわち被写対象の人物の部位が単独で検出された場合にのみ、特定領域検出部９や行動特徴検出部６や行動理解部７に信号を送信して作動させるものである。
これによって複数の部位領域データを検出した際には、その後の作動を停止して、再度、部位領域候補データ抽出手段１０と部位領域データ照合手段１１を作動させて撮像データ２０から部位領域データを抽出して単独のデータであるか否かを判断することで、効率的に行動理解を行うと同時に、行動特徴や行動の誤認による誤った判断を避けて精度の高い行動理解を促進するものである。
本実施の形態においては、このタスク制御手段１３は部位検出部８に含まれているが、必ずしも部位検出部８に含まれる必要はなく、タスク制御手段１３が階層構造を形成する人体部位検出部５、行動特徴検出部６及び行動理解部７以外の構成要素として単独に存在するようにしてもよいことは言うまでもない。

さらに、行動特徴検出部６に設けられている部位存在領域検出手段１４ｃについて説明を加える。
前述のとおり予め設定される特定領域を分割し、分割された領域にそれぞれＩＤ符号を付してエリア１などとしておき、部位検出部８によって抽出される部位領域データ２１が、この分割されＩＤ符号を備えたいずれの領域に含まれるかを部位存在領域データ３０として検出する手段である。
検出された部位存在領域データ３０は、第３データベース１９に格納される。この部位存在領域データ３０は、行動特徴検出部６の行動特徴抽出手段１５において、部位領域データ変化量あるいは特定領域データ変化量と組み合せられ、その組合せに対して定められる行動特徴が行動特徴データテーブル２５から抽出されることになる。この具体例については後述する。

次に、部位検出部８が部位領域データ２１を抽出するまでの作用について図２乃至図９を参照しながら説明する。図２は、部位検出部８の一種であり、部位として頭部を想定する頭部検出部８ａの構成図である。
図２において、入力画像４０とは、撮像データ２０をシステム本体３への入力情報として捉えた場合の名称であり、実質的には撮像データ２０と同一である。頭部検出部８ａに入力された入力画像４０は、部位領域候補データ抽出手段１０の一種で頭部候補データ抽出部１０ａによって読み出され、この頭部候補データ抽出部１０ａを構成する、肌色領域抽出部４４ａ、正規化明度背景差分抽出部４４ｂ、ＲＧＢ背景差分抽出部４４ｃ及び髪色領域抽出部４４ｄに送信される。

まず、２つの共通領域抽出部４６ａ，４６ｂに関連するＲＧＢ背景差分抽出部４４ｃから説明する。
ＲＧＢ背景差分抽出部４４ｃでは、図３に示されるようにＲＧＢ成分を備えた入力画像４０に対して第２データベース１８に格納されている背景画像データ２３との差分を抽出するものである。背景画像データ２３は被写対象の人物が存在しない状態で撮像部２から取得されたデータであるため、入力画像４０との差分を取ることによれば、被写対象の人物を中心として、さらに布団や枕など当初の状態とは異なる状態にある物が差分として抽出される。このようにして得られたのが２値画像４５ｃである。

なお、図３中に入力画像４０として示されるデータは、１次元配列となっており、そのデータ数は縦横の画素（ピクセル）がそれぞれ２４０個と３２０個であり、さらにＲＧＢの３成分を考慮するため、その３倍となっている。図４は、入力画像４０の画素配置を示す概念図である。座標は図４中の左上が原点となり、そこからＸ軸は右方向に３２０ピクセル、Ｙ軸は下方向に２４０ピクセル存在しており、それぞれ、Ｘ軸ではｉ番目、Ｙ軸ではｊ番目のピクセルを（ｘｉ，ｙｉ）と表現される。

また、差分演算について図５を参照しながら説明を追加する。図５はＲＧＢ背景差分抽出部４４ｃで実行される処理内容を示すフロー図である。図５において、ステップＳ１１では入力画像４０中の画素（ｘ，ｙ）の明度Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と背景画像データ２３中の画素（ｘ、ｙ）の明度Ｒ^Ｂ（ｘ，ｙ），Ｇ^Ｂ（ｘ，ｙ），Ｂ^Ｂ（ｘ，ｙ）を抽出し、ステップＳ１２でその不一致度Ｄ_Ｂを求める。ステップＳ１３で、その不一致度Ｄ_Ｂと不一致度に対するしきい値Ｓ_Ｄを比較して、不一致度Ｄ_Ｂがしきい値Ｓ_Ｄよりも大きい場合には、画素（ｘ，ｙ）の値を１とし、そうでない場合には、０とする２値化処理を行うのである。これによって、図２に示されるような２値画像４５ｃが抽出されるのである。なお、しきい値Ｓ_Ｄは適宜予め設定される数値である。

次に、図２に示される肌色領域抽出部４４ａについて、図６を参照しながら説明する。肌色領域抽出部４４ａは、ＲＧＢ背景差分抽出部４４ｃなどと同様に入力画像４０を撮像部２から直接読み出すかあるいは第１データベース１７から読み出して、肌モデルデータ２４ａと比較して２値画像４５ａを抽出する。ここで、肌モデルデータ２４ａについて説明を加える。肌色を示すＩ値は、各画素のＲＧＢ成分を用いて式（１）で示される数値として既に知られる手法であり、一般的に用いられるものである。

予め、肌モデルデータ２４ａとして被写対象の人物の肌色のＩ値の分布を正規分布と仮定しＩ値の平均μと標準偏差σを用いて表現しておき、入力画像４０中の各画素に対して式（２）で示される判別式を用いることで、肌色と判断される画素には１を、そうでない場合には０を入力することで２値化処理を行い２値画像４５ａを抽出するのである。すなわち、テンプレートデータ２４にはこのように式で表現される場合も含まれるのである。

次に、正規化明度背景差分抽出部４４ｂでは、ＲＧＢ背景差分抽出部４４ｃと同様に、背景差分を抽出するが、この正規化明度背景差分抽出部４４ｂでは正規化明度の差分を抽出するところに特徴がある。この正規化明度とは、図５のステップＳ１１に示したそれぞれの画素のＲＧＢ毎の明度が明度の合計に占める割合を表すものであり、具体的には、下記の式（３）で表現される。

このように正規化明度の差分を取ることによれば、ＲＧＢ背景の差分を取るこことに比べて照明条件が変化しても正規化明度値には影響がないという特徴があることが知られており、白色など淡色の影響を小さくすることができるため、例えば布団などを抽出することなく人物の部位をより明確に抽出することができる。
本実施の形態では、特に、病室にいる患者を被写対象人物として想定しており、この背景の差分では人物の他にも当初位置から移動した物も抽出されるため、人物の部位を抽出するためには、動いた布団や枕といった白色あるいは有色であっても淡色の物を可能な限り排除することが重要となる。従って、ＲＧＢ背景差分抽出部４４ｃのみならず正規化明度背景差分抽出部４４ｂを加えているのである。
この正規化明度背景差分抽出部４４ｂにおいてもＲＧＢ背景差分抽出部４４ｃと同様に図５に示されるようなフロー図に従って２値化処理を行い、２値画像４５ｂを抽出する。

さらに、髪色領域抽出部４４ｄでも第２データベース１８から髪モデルデータ２４ｂを読み出して髪色領域抽出部４４ｄから抽出されたデータと比較しながら２値化処理を施して２値画像４５ｄを得る。
このようにして肌色領域抽出部４４ａ〜髪色領域抽出部４４ｄで得られた２値画像４５ａ〜２値画像４５ｄは、共通領域抽出部４６ａ、共通領域抽出部４６ｂを用いて共通部分に関する２値画像４７ａ、２値画像４７ｂを抽出する。このように共通領域に関して２値化処理を実施してさらに２値画像を得ることによって、より精度の高い頭部領域候補が抽出される。

図７を参照しながら２値画像４５ｃと２値画像４５ｄを用いて共通領域抽出部４６ｂで共通領域を抽出して２値画像４７ｂを取得する方法について説明する。図７は、共通領域抽出部４６ｂがＲＧＢ背景差分と髪色の２値画像から共通画像を抽出することを説明するための概念図である。
図７において、２値画像Ａは、ＲＧＢ背景差分抽出部４４ｃで抽出された２値画像４５ｃであり、２値画像Ｂは、髪色領域抽出部４４ｄで抽出された２値画像４５ｄである。これらの２値画像Ａ，Ｂは共通領域抽出部４６ｂによって読み出され、その２つの画像の共通の画像について１と共通部分以外では０を入力して２値画像４７ｂを求めている。この共通領域抽出部４６ｂにおける演算は、２値画像Ａ上で画素（ｘ，ｙ）の画素値をＡ（ｘ，ｙ）とし、２値画像Ｂ上で画素（ｘ，ｙ）の画素値をＢ（ｘ，ｙ）とすると、出力される２値画像Ｃは、式（４）で示されるような式に基づいて値を求める。なお、すなわち、Ａ（ｘ，ｙ）とＢ（ｘ，ｙ）がそれぞれ１であればＣ（ｘ，ｙ）も１となるが、いずれかが０であれば、Ｃ（ｘ，ｙ）も０となる。

式（４）中の符号∩は論理積を示す。２値画像４７ｂにおいて、黒く塗られている部分が共通部分であり、この部分がＲＧＢ背景差分によって抽出された変化のある画素と髪色として抽出された画素が混在している領域となる。従って、この領域は、頭部の中でも特に髪の領域の候補ということができる。この共通領域抽出部４６ｂと同様に、２値画像４５ａ〜２値画像４５ｃを用いて共通領域を抽出して２値画像４７ａが求められる。この２値画像４７ａは、２値画像４７ｂが髪の領域の候補であったのに対して顔の領域の候補ということができる。
頭部検出部８ａでは２つの２値画像を抽出し、テンプレートマッチング部１１ａでは、さらにこの２値画像を予め第２データベース１８に格納された頭部テンプレートデータ２４ｃと比較して最終的な頭部領域２値画像４８ａを抽出する。すなわち、２値画像４７ａ、２値画像４７ｂの時点では、まだ頭部候補であり、その数はそれぞれ複数存在する可能性があるが、頭部テンプレートデータ２４ｃと比較することで、最終的に被写対象の人物の頭部のデータを１つに絞り得るのである。なお、頭部テンプレートデータ２４ｃは、詳細にいえば、顔テンプレートデータと髪テンプレートデータの２種類があり、それぞれについて２値画像４７ａと２値画像４７ｂを照合して頭部領域２値画像４８ａを抽出するのである。

このテンプレートマッチング部１１ａにおいて、頭部領域２値画像４８ａを抽出する方法について図８及び図９を参照しながら説明する。図８は、頭部候補データを頭部テンプレートデータに照合する状態を示す概念図であり、図９（ａ）は頭部候補領域に係る２値画像４７ａを長方形のボーダーとして捉える様子を模式的に示す概念図、図９（ｂ）は頭部テンプレートデータ２４ｃのうち、演算に用いる部分を示すための概念図である。
図８及び図９（ａ）において、共通領域抽出部４６ａにおいて抽出された頭部候補領域に係る２値画像４７ａは、それを含む長方形として捉えられ、その中心（ｘ、ｙ）が求められる。この中心に対して、予め第２データベース１８に格納されている頭部テンプレートデータ２４ｃの中心を（ｘ，ｙ−ｈ／４）として求める。この頭部テンプレートデータ２４ｃの中心座標は、人間の顔のつくりをベースに概略として求めるものであり、適宜修正してもよい。
次に、図９（ｂ）に示されるように頭部テンプレートデータ２４ｃの長軸ａと短軸ｂを式（５）によって求める。

このように定めることによって、前髪の位置は先に考えた長方形の上辺に一致することになる。従って、長方形の上辺より上側が髪領域であり、それより下が顔領域となる。そこで、頭部テンプレートデータ２４ｃの顔領域内にある２値画像４７ａの画素数と、頭部テンプレートデータ２４ｃの髪領域内にある２値画像４５ｃの画素数の和Ｔを求め、式（６）で表現される適合率ｒを求める。
第２データベース１８に格納されている頭部テンプレートデータ２４ｃは、この長軸と短軸によって、適合率の演算に使用される部分を限定していることになる。

候補領域の中でこの適合率ｒが最大になったもの、あるいはしきい値を設けておき、そのしきい値を超えたものを頭部領域２値画像４８ａとして抽出する。
最大のものとすると、常に１つの頭部が認識されるものの、前述のとおり例えば病室に患者以外の肉親や医療関係者が存在した際に、患者以外の一人の人間が認識される可能性があるためにタスク制御手段を活用しようとしても必ず１つの部位が検出されてしまうとタスク制御手段が機能しないこととなってしまう。そこで、タスク制御手段などを作動させる場合にはしきい値を設けておき、撮像領域に人物が複数存在する際に、複数の部位すなわち、単独ではない部位が検出されるようにしておくことが望ましい。
なお、長軸ａと短軸ｂのｈを用いた式は一例であり適宜修正してもよいことは言うまでもない。
また、本実施の形態における上述の頭部領域２値画像４８ａの抽出は頭部テンプレートデータ２４ｃの中でも特に顔テンプレートデータに基づくものであるが、髪テンプレートデータを用いて頭部領域２値画像４８ａを決定するようにしてもよい。すなわち、２値画像４７ｂを用いる場合には、頭部テンプレートデータ２４ｃの髪領域内にある２値画像４７ｂの画素数と、頭部テンプレートデータ２４ｃの顔領域内にある２値画像４５ｃの画素数の和Ｔ'を求め、式（６）と同様に表現される適合率ｒ'を求めるようにすればよい。なお、その際には式（５）は適宜修正して使用してもよい。
さらに、互いの適合率を各頭部領域候補において施して、最も適合率の高い領域を頭部領域としてもよい。

次に、図１０を参照しながら図１に示される部位検出部８の一種である胴体検出部８ｂについて説明する。図１０は、部位として胴体を想定する胴体検出部８ｂの構成図である。
図１０において、胴体検出部８ｂに入力された入力画像４０は、部位領域候補データ抽出手段１０の一種である胴体候補データ抽出部１０ｂによって読み出され、この胴体候補データ抽出部１０ｂを構成するＲＧＢ差分抽出部５０に送信される。このＲＧＢ差分抽出部５０は、図２に示した頭部検出部８ａのＲＧＢ背景差分抽出部４４ｃと同様のものであり、第２データベース１８に格納された背景画像データ２３を読み出して比較して背景差分を取るものである。

ここで得られた背景差分領域５１はクラスタリング部５２に送出される。このクラスタリング部５２では、背景差分領域５１内の画素に対するクラスタリングを行う。クラスタリングとは、グルーピングあるいはグループ化することを意味し、同じような位置で同じような明度を備える画素をまとめることで胴体領域の検出をより容易に精度よく行うものである。
通常、被写対象の人物は何らかの衣服を着ており、その衣服は例えばパジャマなどであるが模様が施されている場合が多い。そこで、その模様の特徴を予めテンプレートデータ２４内に胴体のテンプレートデータとして格納しておき、その胴体のテンプレートデータと照合するためにクラスタリングを行うものである。

具体的にクラスタリングの手順を説明する。
（１）まず、背景差分領域５１内のＪ_Ｎ個の画素をランダムに選択し、それらを初期クラスタ中心とする。初期クラスタにおいては、Ｊ_Ｎ個の画素のそれぞれの座標、色成分を各クラスタの平均ベクトルの成分とする。
（２）次に、画素ｐとクラスタｋ（ｋ＝１，２，．．．，Ｊ_Ｎ）の平均ベクトルＺ_ｋとのユークリッド距離ｄ（ｋ、ｐ）を求め、画素ｐをｄ（ｋ，ｐ）が最小となるクラスタに統合する。
（３）背景差分領域５１内の全画素に対して（２）の処理を行う。
（４）（３）により再構成されたクラスタｋの平均ベクトルＺ_ｋを再計算する。
（５）各クラスタの平均ベクトル間の距離を計算し、最小の距離にあるクラスタ同士を統合する。
（６）クラスタ数がＪ_Ｐになるまで（４）、（５）の処理を繰り返す。
（６）のクラスタ数Ｊ_Ｐは、適宜設定してよい。さらに、クラスタリング部５２では、このようにクラスタリングされて求められた各クラスタにおいて、その明度の平均値に対して正規化明度を演算する。この正規化明度値と予め設定された胴体のテンプレートデータをパジャマモデルマッチング部１１ｂで照合して胴体領域２値画像４８ｂを抽出する。この胴体のテンプレートデータは、例えばパジャマの色の分布のモデルであり、肌色のＩ値の分布と同様にパジャマの色の分布モデルを正規分布と仮定してその平均μと標準偏差σを用いて表現しておき、式（３）と同様のしきい値からこのしきい値を満たす画素数が最も多いクラスタを胴体のクラスタとして検出する。但し、パジャマの色の分布モデルに含まれる画素数が予め別途設定したしきい値以下である場合には、画像内に胴体がないと判断する。

次に、図１１を参照しながら図１に示される部位検出部８の一種である手検出部８ｃについて説明する。図１１は、部位として手を想定する手検出部８ｃの構成図である。
図１１において、手検出部８ｃに入力された入力画像４０は、部位領域候補データ抽出手段１０の一種で手候補データ抽出部１０ｃによって読み出され、この手候補データ抽出部１０ｃを構成する肌色領域抽出部５４ａ、フレーム間差分抽出部５４ｂ及びエッジ２値画像抽出部５４ｃに送信される。
このうち、肌色領域抽出部５４ａは、図２に示した肌色領域抽出部４４ａと同様の作用と効果を有するものである。肌色領域２値画像５５ａを抽出するために、第２データベース１８のテンプレートデータ２４中に手の肌モデルデータを格納しておき、式（１）と同様な式を用いることで、２値画像４５ａと同様の肌色領域２値画像５５ａを抽出することができる。

一方、フレーム間差分抽出部５４ｂについて図１２を参照しながら説明する。図１２は、フレーム間差分抽出部５４ｂの作用を説明するための概念図である。図１２において、入力画像４０を読み出して、さらにＴ_ｂフレーム前の入力画像４０ａを第１データベース１７に格納されている部位領域データ２１の中より読み出す。この２つの入力画像に関するフレーム間差分を取ることによって、フレーム間差分２値画像５５ｂを演算する。
このフレーム間差分２値画像５５ｂの演算方法について図１３を参照しながら説明する。図１３は、フレーム間差分抽出部５４ｂで実行される処理内容を示すフロー図である。図１３において、ステップＳ２１では入力画像４０中の画素（ｘ，ｙ）の明度Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）とＴ_ｂフレーム前の入力画像４０ａ中の画素（ｘ、ｙ）の明度Ｒ^Ｆ（ｘ，ｙ），Ｇ^Ｆ（ｘ，ｙ），Ｂ^Ｆ（ｘ，ｙ）を抽出し、ステップＳ２２でその不一致度Ｄ_Ｆを求める。ステップＳ２３で、その不一致度Ｄ_Ｆと不一致度に対するしきい値Ｓ_Ｆを比較して、不一致度Ｄ_Ｆがしきい値Ｓ_Ｆよりも大きい場合には、画素（ｘ，ｙ）の値を１とし、そうでない場合には、０とする２値化処理を行うのである。これによって、図１１に示されるようなフレーム間差分２値画像５５ｂが抽出されるのである。なお、しきい値Ｓ_Ｆは適宜予め設定される数値である。

次に、図１４を参照しながらエッジ２値画像抽出部５４ｃについて説明する。図１４はエッジ２値画像抽出部５４ｃにおける作用を説明するための概念図である。図１４において、ステップＳ３１として表現されている入力画像４０のエッジ２値画像抽出部５４ｃによる読み出しは、ステップＳ３２におけるエッジ成分の検出工程につながる。このエッジ成分の検出は、示される座標から明らかなように４つの隣接する画素のそれぞれのＲＧＢ成分についてあたかもたすきがけのようにして行われる。
このようにして求められたエッジ成分は、ステップＳ３３で示されるように入力画像４０中の画素のエッジ成分の和Ｅを求め、このエッジ成分の和Ｅとしきい値Ｓｅを比較してエッジ成分の和Ｅが大きい場合には、画素値を１とし、そうでない場合には画素値を０として２値化処理が施される。このようにしてエッジ２値画像５５ｃを抽出するのである。

次に、図１１に戻り共通領域抽出部５６について説明する。この共通領域抽出部５６では、先に図７を用いて説明した共通領域抽出部４６ｂと同様の手法によって手候補領域を含む２値画像５７を抽出する。
この手候補領域を含む２値画像５７と先に説明したエッジ２値画像５５ｃからエッジマッチング部１１ｃは手領域２値画像４８ｃを抽出する。このエッジマッチング部１１ｃによる手領域２値画像４８ｃの抽出の作用について図１５を参照しながら説明する。図１５（ａ）は、手候補領域を含む２値画像を模式的に示す概念図であり図１５（ｂ）は、エッジ２値画像を模式的に示す概念図である。図１５（ａ）においては、示される丸印は手候補領域を含む２値画像５７の境界線を示すものである。この境界線をまず抽出し、その後、この境界線における２値画像とエッジ２値画像５５ｃの論理積を取る。この論理積とは、先に式（４）として説明したものであり、いずれも画素値が１である場合には論理積は１となるが、その画素値が１となった画素数を計数し、一致率としてこの画素値が１となった画素数と先の境界線における画素数の比を演算する。そして、この一致率が最大となる領域を手領域とする。
なお、頭部検出部８ａの箇所で説明したとおり、最大のものとすると、常に１つあるいは一対の手が認識されるものの、タスク制御手段が機能しないこととなってしまうので、タスク制御手段などを作動させる場合にはしきい値を設けておき、撮像領域に人物が複数存在する際に、複数の部位すなわち、単独ではない部位が検出されるようにしておくことが望ましい。

なお、本実施の形態の説明においては、足検出部については手検出部と同じアルゴリズムで抽出することができる。具体的には、例えば図１１においては、手に対して構成される要素について、これを足についての構成要素とすればよい。肌色領域抽出部５４ａ、フレーム間差分抽出部５４ｂ、エッジ２値画像抽出部５４ｃなどについても足用に構成すればよい。その他の構成要素についても同様である。もちろん、第２データベース１８には足のためのテンプレートデータを格納しておく必要がある。

以上、部位検出部８について説明した。次に、行動特徴検出部６を構成する部位領域データ変化量演算手段１４ａと特定領域データ変化量演算手段１４ｂについて図１６を参照しながら説明する。
図１６（ａ）は特定領域データ変化量演算手段１４ｂの作用を説明するためのフロー図であり、図１６（ｂ）は部位存在領域検出手段１４ｃの作用を説明するためのフロー図である。図１６（ａ）において、特定領域検出部９で抽出された分割された特定領域の各エリアに含まれる時刻ｔにおけるＲＧＢ背景差分領域の画素数について、その単位時刻前の同じＲＧＢ背景差分領域の画素数を比較することによって、例えばふとん領域（エリア３）の差分が増加したかどうかを判断し、そうであれば１とし、そうでなければ０とする２値化処理を行う。このエリア３については、先にも一例として説明したが図１７に示すとおりである。具体的には、ベッド上の患者が起き上がったときの頭部位置周辺エリアをエリア１、枕周辺をエリア２、布団の領域をエリア３、ベッド廻りでエリア１，２，３のいずれにも属さない領域をエリア４としている。
また、図１６（ｂ）においては、頭部検出部８ａによって抽出された頭部の重心座標に着目し、その重心座標がエリア１に含まれるか否かを判断し、それであれば１とし、そうでなければ０とする２値化処理を行うものである。

図１８は、図１６に示されるようにして実行された特定領域検出部９からの出力を用いた２値化処理の結果によって定められる行動特徴を表現する概念図である。図１８において、例えば、現状の状態を「寝ている」状態としておき、特定領域検出部９において、時刻ｔと時刻ｔ−１におけるエリア１のＲＧＢ差分の画素数の差を求め、それが増加か等しいか減少であるかを判断する。

その結果自体が、図１９で示される行動特徴データテーブル２５の一部に含まれている。図１９は、行動特徴データテーブルの一例を示す概念図である。例えば、図１８のエリア１のＲＧＢ差分の画素数が、エリア１で増加したと仮定すると、図１９の行動特徴データテーブル２５では、ＩＤ＝ｂ２で示される行動特徴となる。この図１８に示される演算と判断が図１における特定領域データ変化量演算手段１４ｂで実行される。また、その特定領域データ変化量演算手段１４ｂで実行された結果得られた行動特徴データは行動特徴抽出手段１５によって第２データベース１８に格納された行動特徴データテーブル２５を読み出して実行される。特定領域データ変化量演算手段１４ｂで演算された特定領域データ変化量３１、特定領域データ変化速度３２、特定領域データ変化加速度３３は第３データベース１９に格納される。
特定領域検出部９で抽出された特定領域データ２２を利用するだけでなく、図１６（ｂ）に示される例えば頭部検出部８ａによって抽出された頭部の重心座標に関して部位存在領域検出手段１４ｃで図１６に示されるような演算と判断を行い、行動特徴抽出手段１５によって第２データベース１８に格納された行動特徴データテーブル２５を読み出してＩＤ＝ａ７で示される行動特徴である「頭部がエリア１に存在する」が抽出される。部位存在領域検出手段１４ｃで演算された部位存在領域データ３０は、第３データベース１９に格納される。

なお、図１６には図示していないが、部位領域データ変化量演算手段１４ａについても同様に頭部検出部８ａによって抽出された頭部の重心座標の移動による変化量などを演算し、その変化量から例えば図１９にＩＤ＝ａ１で示される行動特徴である「頭部が一定速度以上で移動する」などが抽出される。部位領域データ変化量演算手段１４ａによって演算される部位領域データ変化量２７、部位領域データ変化速度２８、部位領域データ変化加速度２９は第３データベース１９に格納される。
このように行動特徴検出部６で行動特徴データテーブル２５を使用して抽出された行動特徴は、図１に示される行動理解部７へ伝送される。行動理解部７では、人物行動抽出手段１６が、行動特徴を組み合せることによって第２データベース１８に格納されている行動理解データテーブル２６を読み出して最終的な人物の行動を抽出することになる。

本実施の形態に係る人物行動理解システム１の大きな特徴として、前述の前兆行動特徴と確定行動特徴による行動理解プロセスがある。この行動理解のプロセスを模式的に表現したのが図２０である。図２０において、「行動特徴」のもとで「行動特徴」ならば「行動」と理解すると示されているが、最初の「行動特徴」が前兆行動特徴であり、後の「行動特徴」が確定行動特徴となる。この行動理解プロセスでは、１つの行動特徴で行動を理解するのではなく、前兆と確定の２つの行動特徴をもってはじめて行動と理解するものである。このように２段構えの行動理解プロセスを備えることで、行動理解を確実なものにして誤認などがないようにしている。なお、前兆行動特徴がある行動に対して複数存在する場合にはこれらはＯＲで考えられ、確定行動特徴がある行動に対して複数存在するならば、これらはＡＮＤで考えられる。これによって、可能性は広く考えるが確定する際には絞り込むというスタンスが明確となっている。

図２１及び図２２を参照しながら行動理解のプロセスの具体例を説明する。図２１（ａ）乃至（ｄ）は、いずれも第２データベース１８に格納される行動理解データテーブル２６の一例である。また、図２２(ａ)は、被写対象の人物の行動の状態遷移図を示すものであり、図２２（ｂ）は（ａ）の行動の状態遷移図の一部を拡大しながらさらに、その遷移の条件を示す概念図である。
図２１（ａ）において、「背景差分がエリア３で増加する」という前兆行動特徴のもとで、「頭部がエリア１に存在する」という確定行動特徴と「背景差分がエリア４に存在しない」という別の確定行動特徴を備えているならば、「寝ているから起きている」という行動と理解するものである。この他の図２１（ｂ）乃至（ｄ）については記載のとおりであるためその説明を省略する。
図２２（ａ）において、符号６０ａ〜６０ｅは人物の状態の候補を示すものであり、符号６１ａ〜６１ｇはその状態遷移の方向を示すものである。寝ている状態６０ａと起きている状態６０ｄでは互いに遷移の可能性があるため、互いに矢印が向いているが、寝ている状態６０ａと転落している状態６０ｂでは、寝ている状態６０ａから転落している状態６０ｂへのみ矢印が向いている。
図２１(ａ)の行動を見ると、「寝ている」から「起きている」への遷移であり、図２２（ａ）の符号６０ａから符号６０ｄへの矢印で符号６１ａとなる。

この遷移の条件について図２２（ｂ）を参照しながらもう一度説明する。図２２（ｂ）では、行動特徴検出部６において抽出される行動特徴がいくつか存在すると考えられ、そのうち、寝ている状態で、図中、１．で表現される「起きている」への行動特徴検出があるとした場合、符号６１ａで示される状態遷移の方向へ進んで、「起きている」という状態になるためには、さらに、図中２．で表現される「起きている」への行動特徴検出がなされなければならないのである。
これが先に説明した前兆行動特徴と確定行動特徴と呼ぶものである。これらの２つの行動特徴が検出されてはじめて状態の遷移と判断し、その状態遷移が行動なのである。
この行動理解のための行動理解データテーブル２６を利用した演算では、図１９で示したようなＩＤをキーとすることで論理的な演算を実行するとよい。

このようにして行動として理解された内容は、図１に示されるように出力部４に表示される。
その際には、第１データベース１７乃至第３データベース１９に格納されている様々なデータや演算結果を適宜表示するとよい。

次に、図２３及び図２４を参照しながら本実施の形態に係る人物行動理解システム１のフィードバックについて説明する。
図２３は、人物行動理解システム１全体のフィードバックを含めた概略構成図であり、図２４（ａ）はフィードバックの作用を説明するための概念図であり、図２４（ｂ）はフィードバックの条件を説明するためのフロー図である。
図２３において、既に説明したとおり、入力画像４０は人体部位検出部５によって読み出され、人体部位検出部５では頭部や手、さらに胴体などの検出を行う。検出後、それらの情報を基に行動特徴検出部６において、行動特徴の抽出を行い、さらに抽出された行動特徴を基に行動理解部７において行動理解を行うのである。そして、これら人体部位検出部５、行動特徴検出部６、行動理解部７の階層構造を利用しながら互いに協調が可能なように行動理解部７から行動特徴検出部６へ実行される第１フィードバック６５と行動特徴検出部６から人体部位検出部５へ実行される第２フィードバック６６が設けられている。

この２つのフィードバックについて図２４（ａ），（ｂ）を参照しながら説明を加える。図２４（ａ）において、まず行動理解部７にて「寝ている」を検出したとする。その際に、第１フィードバック６５によって行動特徴検出部６で矛盾する行動特徴の有無を確認する。その結果、図２４（ａ）に示されるように、「頭部がエリア４に存在」という行動特徴を検出したとする。このエリア４は先に説明したとおり、ベッドの下など寝ている状態では頭がそこにあるはずがないようなエリアである。従って、その行動特徴は行動理解部７における行動理解と矛盾しており、従って、本実施の形態に係る人物行動理解システム１では、行動特徴検出部６から人体部位検出部５に対して第２フィードバック６６を実行させて頭部検出部による再検出を指令する。
一方、図２４（ｂ）に示されるように、もし、「頭部がエリア４に存在する」という行動特徴が行動特徴検出部６において検出されなかったとすれば、矛盾はないので、そのままフィードバックなしとなる。このように人体部位検出部５から行動理解部７への情報の流れと、これとは逆に流れるチェック機能を備えており、階層構造を効果的に活用することにより、より精度の高い人物行動理解システムとしている。

以上説明したとおり、本実施の形態に係る人物行動理解システム１は、人体部位検出部５、行動特徴検出部６、行動理解部７という階層構造を備えて分散、協調しながら入力画像を処理することができ、高い精度を発揮することができる。また、人物の部位のみならず、特定領域を想定してそれを複数に分割してエリア毎に背景差分の増減などを演算することで、被写対象となる人物のみならず、周囲の変化も捉えることが可能であると同時に、エリアに分割するに留まって、詳細に周囲を解析することはしないため処理される画素データが比較的軽い。従って、高い精度を発揮しながら行動理解の判断に必要な演算装置の性能に制限がほとんどなく、必要な時間も短くて済むという顕著な効果を有する。

次に、図２５乃至図２８を参照しながら発明者によって実施された実証試験について説明する。
図２５（ａ）は、実証試験の様子を模式的に表現した概念図であり、図２５（ｂ）は固定カメラによって実際に撮像された画像例を示すものである。
患者が病院のベッドに横たわっている様子を模擬して実証試験を実施した。固定カメラは１台であり、病室の天井から患者とその周囲を撮像している。
図２６（ａ）は、例えば図２に示した入力画像４０の一例を示すものであり、（ｂ）は同じくＲＧＢ背景差分抽出部４４ｃによって抽出される背景差分画像を示し、（ｃ）は同じく図２の正規化明度背景差分抽出部４４ｂによって抽出される画像であり、（ｄ）は肌色領域抽出部４４ａ、（ｅ）は髪色領域抽出部４４ｄで抽出される画像である。最後に（ｆ）は例えば図１１に示されるフレーム間差分抽出部５４ｂによって抽出される画像を示すものである。これらの（ｂ）乃至（ｆ）は（ａ）の入力画像をベースにそれぞれ得られた画像である。

図２７（ａ）乃至（ｆ）はそれぞれ「寝ている」、「起き上がる」、「ベッドの外」、「撮像領域外」、「転落」、「柵をつかむ」を示す状態を示しており、これらが本人物行動理解システム１によって検出対象となる状態例である。
最後に図２８に入力画像とそれによって検出された例について示す。（ａ）は入力画像で、（ｂ）が頭部検出例、（ｃ）が手検出例であり、（ｄ）が胴体の検出例である。
このように示される実証試験の結果をまとめて表１と表２に示す。

表１は、人体部位検出結果を示すものである。表１より、頭部及び胴体の検出率に比較して手の検出率が著しく低くなっているが、頭部と胴体については概ねほぼ検出可能なレベルとなった。

表２は、「寝ている」という初期状態からの行動理解結果を示すものである。表２より「寝ている」、「起きている」、「ベッドの外にいる」、「退室している」は９０％以上の高精度で検出された。また、「転落している」と状態についても７割以上の検出率があり、本実施の形態に係る人物行動理解システムは十分実用可能といえる。

一般家庭から病院などの医療施設や介護施設などで、介護が必要な患者や高齢者などに対して幅広く利用が可能である。また、このような医療分野でなくとも危険作業の監視などにも行動特徴データテーブルや行動理解データテーブルを適宜修正すれば適用が可能である。

本発明の実施の形態に係る人物行動理解システムの構成図である。 本実施の形態に係る部位検出部の部位として頭部を想定する頭部検出部の構成図である。 ＲＧＢ背景差分抽出部における作用を示すフロー図である。 入力画像の画素配置を示す概念図である。 ＲＧＢ背景差分抽出部で実行される処理内容を示すフロー図である。 肌色領域抽出部における作用を示すフロー図である。 共通領域抽出部が肌色と髪色の２値画像から共通画像を抽出することを説明するための概念図である。 頭部候補データを頭部テンプレートデータに照合する状態を示す概念図である。 （ａ）は頭部候補領域に係る２値画像を長方形のボーダーとして捉える様子を模式的に示す概念図であり、（ｂ）は頭部テンプレートデータのうち、演算に用いる部分を示すための概念図である。 部位として胴体を想定する胴体検出部の構成図である。 部位として手を想定する手検出部の構成図である。 フレーム間差分抽出部の作用を説明するための概念図である。 フレーム間差分抽出部で実行される処理内容を示すフロー図である。 エッジ２値画像抽出部における作用を説明するための概念図である。 （ａ）は、手候補領域を含む２値画像を模式的に示す概念図であり（ｂ）は、エッジ２値画像を模式的に示す概念図である。 （ａ）は特定領域データ変化量演算手段の作用を説明するためのフロー図であり、（ｂ）は部位存在領域検出手段の作用を説明するためのフロー図である。 特定領域の分割エリア例を示す概念図である。 図１６に示されるようにして実行された特定領域検出部からの出力を用いた２値化処理の結果によって定められる行動特徴を表現する概念図である。 行動特徴データテーブルの一例を示す概念図である。 行動理解のプロセスを模式的に表現した概念図である。 （ａ）乃至（ｄ）は、いずれも第２データベースに格納される行動理解データテーブルの一例である。 (ａ)は、被写対象の人物の行動の状態遷移図を示すものであり、（ｂ）は（ａ）の行動の状態遷移図の一部を拡大しながらさらに、その遷移の条件を示す概念図である。 人物行動理解システム１全体のフィードバックを含めた概略構成図である。 （ａ）はフィードバックの作用を説明するための概念図であり、図２４（ｂ）はフィードバックの条件を説明するためのフロー図である。 （ａ）は、実証試験の様子を模式的に表現した概念図であり、（ｂ）は固定カメラによって実際に撮像された画像例を示すものである。 （ａ）は、例えば図２に示した入力画像の一例を示すものであり、（ｂ）は同じくＲＧＢ背景差分抽出部によって抽出される背景差分画像を示し、（ｃ）は同じく図２の正規化明度背景差分抽出部によって抽出される画像であり、（ｄ）は肌色領域抽出部で抽出される画像であり、（ｅ）は髪色領域抽出部で抽出される画像であり、（ｆ）は例えば図１１に示されるフレーム間差分抽出部によって抽出される画像を示すものである。 （ａ）乃至（ｆ）はそれぞれ寝ている、起き上がる、ベッドの外、撮像領域外、転落、柵をつかむを示す状態を示しており、これらが本人物行動理解システム１によって検出対象となる状態例である。 （ａ）は入力画像で、（ｂ）が頭部検出例、（ｃ）が手検出例であり、（ｄ）が胴体の検出例である。

符号の説明

１…人物行動理解システム ２…撮像部 ３…システム本体 ４…出力部 ５…人体部位検出部 ６…行動特徴検出部 ７…行動理解部 ８…部位検出部 ８ａ…頭部検出部 ８ｂ…胴体検出部 ８ｃ…手検出部 ９…特定領域検出部 １０…部位領域候補データ抽出手段 １０ａ…頭部候補データ抽出部 １０ｂ…胴体候補データ抽出部 １０ｃ…手候補データ抽出部 １１…部位領域データ照合手段 １１ａ…テンプレートマッチング部 １１ｂ…パジャマモデルマッチング部 １１ｃ…エッジマッチング部 １２…特定領域データ抽出手段 １３…タスク制御手段 １４ａ…部位領域データ変化量演算手段 １４ｂ…特定領域データ変化量演算手段 １４ｃ…部位存在領域検出手段 １５…行動特徴抽出手段 １６…人物行動抽出手段 １７…第１データベース １８…第２データベース １９…第３データベース ２０…撮像データ ２１…部位領域データ ２２…特定領域データ ２３…背景画像データ ２４…テンプレートデータ ２４ａ…肌モデルデータ ２４ｂ…髪モデルデータ ２４ｃ…頭部テンプレートデータ ２５…行動特徴データテーブル ２６…行動理解データテーブル ２７…部位領域データ変化量 ２８…部位領域データ変化速度 ２９…部位領域データ変化加速度 ３０…部位存在領域データ ３１…特定領域データ変化量 ３２…特定領域データ変化速度 ３３…特定領域データ変化加速度 ４０…入力画像 ４０ａ…入力画像 ４４ａ…肌色領域抽出部 ４４ｂ…正規化明度背景差分抽出部 ４４ｃ…ＲＧＢ背景差分抽出部 ４４ｄ…髪色領域抽出部 ４５ａ…２値画像 ４５ｂ…２値画像 ４５ｃ…２値画像 ４５ｄ…２値画像 ４６ａ…共通領域抽出部 ４６ｂ…共通領域抽出部 ４７ａ…２値画像 ４７ｂ…２値画像 ４８ａ…頭部領域２値画像 ４８ｂ…胴体領域２値画像 ４８ｃ…手領域２値画像 ５０…ＲＧＢ差分抽出部 ５１…背景差分領域 ５２…クラスタリング部 ５４ａ…肌色領域抽出部 ５４ｂ…フレーム間差分抽出部 ５４ｃ…エッジ２値画像抽出部 ５５ａ…肌色領域２値画像 ５５ｂ…フレーム間差分２値画像 ５５ｃ…エッジ２値画像 ５６…共通領域抽出部 ５７…手候補領域を含む２値画像 ６０ａ〜６０ｅ…状態 ６１ａ〜６１ｇ…状態遷移の方向 ６５…第１フィードバック ６６…第２フィードバック

Claims (7)

1. 被写対象の人物を含む人物領域と別個に予め規定される特定領域を含む撮像領域の検出を行う撮像部と、この撮像部によって撮像される前記人物領域に含まれる部位領域データを抽出する部位検出部と前記特定領域に含まれる特定領域データを抽出する特定領域検出部とを備える人体部位検出部と、前記人体部位検出部によって抽出された部位領域データと特定領域データの変化量によって行動の特徴を検出する行動特徴検出部と、前記行動特徴検出部によって検出された前記行動の特徴を組み合わせることによって前記人物の行動を判断する行動理解部と、を有する人物行動理解システムであって、
   前記部位検出部は、前記撮像部によって撮像された前記人物領域に含まれる部位領域候補の部位領域候補データを抽出する手段と、この抽出された部位領域候補データと予め設定される前記部位領域のテンプレートデータとを照合して部位領域データを抽出する手段とを備え、
   前記特定領域検出部は、前記撮像部によって撮像された前記特定領域に含まれる特定領域データを抽出する手段を備え、
   前記行動特徴検出部は、前記部位検出部によって検出された前記部位領域データの変化量を演算する手段と、前記特定領域検出部によって検出された前記特定領域データの変化量を演算する手段と、前記部位領域データの変化量及び前記特定領域データの変化量によって定められる行動特徴を示す行動特徴データテーブルから該人物の前兆行動特徴と確定行動特徴を抽出する手段とを備え、
   前記行動理解部は、前記行動特徴検出部によって抽出された前記人物の前記前兆行動特徴と前記確定行動特徴の組合せを、予め設定される前記人物の行動に対応付ける行動理解データテーブルから、該人物の行動を抽出する手段を備えることを特徴とする人物行動理解システム。
2. 前記特定領域は予め分割された複数の領域であって、前記行動特徴検出部は、前記部位検出部によって抽出された該部位領域データが、前記分割された特定領域のいずれの領域に存在するかという部位存在領域データについて検出する手段を備え、前記行動特徴テーブルはこの部位存在領域データと行動特徴を対応付けることを特徴とする請求項１に記載の人物行動理解システム。
3. 前記部位検出部は、人物の頭部領域の部位領域データを抽出する頭部検出部と、手領域の部位領域データを抽出する手検出部と、胴体領域の部位領域データを抽出する胴体検出部と、足領域の部位領域データを抽出する足検出部の内少なくとも１つの検出部を備えることを特徴とする請求項１又は請求項２のいずれか１項に記載の人物行動理解システム。
4. 前記部位領域データの変化量は、前記部位領域のデータの変化量、この変化量の変化速度、前記変化量の変化加速度のいずれか１つであることを特徴とする請求項１乃至請求項３のいずれか１項に記載の人物行動理解システム。
5. 前記行動理解部は、前記行動理解データテーブルから該人物の行動が抽出できない場合には、前記行動特徴検出部又は人体部位検出部において再検出を実行するように信号を送信することを特徴とする請求項１乃至請求項４のいずれか１項に記載の人物行動理解システム。
6. 前記部位検出部は、抽出された前記部位領域データが単独である場合に、前記特定領域検出部、前記行動特徴検出部及び前記行動理解部を作動させるタスク制御手段を備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の人物行動理解システム。
7. 前記部位検出部によって抽出された前記部位領域データが単独である場合に、前記特定領域検出部、前記行動特徴検出部及び前記行動理解部を作動させるタスク制御手段を備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の人物行動理解システム。