JP2012146040A - 異常事態の検出システム - Google Patents

Abstract

【課題】予め異常事態が起こりうると予想できる場合に限られることなく、異常事態の可能性の指標として顕著性を算出することができ、あるいは、異常事態の可能性が高い時点と場所の候補を検出することができる異常事態の検出方法を提供する。
【解決手段】各時空点に対応する値をもつ時空間データを入力する入力部と、所定の多数の時空点において時空間データの特徴を表すベクトルを抽出する特徴抽出部と、抽出されたベクトルの特徴の統計量を算出する特徴解析部と、特徴抽出部の結果と特徴解析部の結果に基づいて所定の多数の時空点における顕著性を算出する顕著性算出部を備える。
【選択図】図１

Description

本発明はカメラなどのセンサ情報を基に異常事態を発見するシステムにおいて、生物の注意機能を模したモデルに基づいて異常事態の候補を絞り込む異常事態の検出システムに関する。

安全に安心して暮らせる街づくりに向けて、犯罪を未然に防止するための監視システム及び子供や高齢者のための見守りシステムの実現が望まれている。現状では監視カメラのモニタリングはほとんどが人手によるもので、肉体的・精神的にも大きな負担を強いられている。そのため、自動化が強く望まれている。

監視カメラのモニタリングを自動化するための技術として、監視カメラで撮影される画像を処理して人間が異常の有無を判断するべき画像を自動的に選別するシステムが提案されている（例えば、特許文献１参照。）。また、フレーム間差分データに基づいて動画像から異常動作を検出する装置および方法が提案されている（例えば、特許文献２参照。）。

さらに、生物の注意機能を模したモデルとして、画像から顕著性を算出する方法（例えば、非特許文献１参照。）や、視覚体験の効果を取り入れて画像から顕著性を算出する方法（例えば、特許文献３、非特許文献２参照。）が提案されている。

特開２００８−２７８１２８号公報 特開２００６−７９２７２号公報 特開２００７−２８７０７１号公報

Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，ａｎｄ Ｅ．Ｎｉｅｂｕｒ，"ＡＭｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ ＶｉｓｕａｌＡｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ、"ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．２０，Ｎｏ．１１，ｐｐ．１２５４−１２５９，１９９８． Ｔａｋａｓｈｉ Ｔｏｒｉｕ ａｎｄ Ｓｈｉｇｅｙｏｓｈｉ Ｎａｋａｊｉｍａ，"ＡＭｅｔｈｏｄ ｏｆ Ｃａｌｃｕｌａｔｉｎｇ Ｉｍａｇｅ Ｓａｌｉｅｎｃｙ ａｎｄ Ｏｐｔｉｍｉｚｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｉｍａｇｅ Ｗｉｎｄｏｗ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｎｏｖａｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ（ＩＣＩＣＩＣ−０６），Ｂｅｉｊｉｎｇ，Ａｕｇ．，Ｖｏｌ．１，ｐｐ．２９０−２９３，２００６

特許文献１に開示されている発明では、監視カメラで撮影された画像を処理してそれが予め定義しておいたどのクラスに属するかの判断を試み、その際にあいまいさが残る時に人間に判断を求めている。この方法は予め生じうる事態をいくつかのクラスに分類し、それぞれ予め定義しておく必要があるが、それが可能であるのは、ＡＴＭや駐車場など予め起こりうる状況が予想できる場合に限られるという問題がある。

特許文献２に開示されている発明では、フレーム間差分データの特徴が正常な状態の特徴と乖離しているときに異常と判断するようにしているが、画像のどの場所において異常が発生したかは判断していない。そのため、画像の一部でだけ異常が発生した時は異常の程度が相対的に小さいために見逃す可能性が高いという問題がある。

人間をはじめとする生物の視覚系には注意と呼ばれる機能がある。目に入力される情報の全てを一様に処理するのではなく、特定の対象に注意を集中し、その部分を重点的に処理している。それによって、迅速に危険を察知し、適切な対応を採ることが可能となっている。

生物の視覚系が持つ注意の機能を模することによって監視システムに類似の注意の機能を持たせれば、異常事態の候補を適切に抽出することが可能になるかも知れない。そのためには、生物の視覚系の注意の機能を工学的にモデル化する必要がある。そのような試みの例として、特許文献３、非特許文献１、非特許文献２において画像各部の顕著性を算出する方法が開示されている。顕著性は周囲と比べて色が異なっているなど際立っている度合いを表し、顕著性が高い部分は注意をひき易いとしている。このモデルを利用すれば顕著性が高い部分を異常事態の候補として検出できる。しかし、この方法はそれぞれの瞬間において、その時刻における顕著性を検出しているため、時間の経過を見て初めて判断されるような異常事態の候補を検出できないという問題がある。

本発明は、生物の注意機能を模した顕著性算出のモデルに基づいて異常事態の候補を絞り込む異常事態検出システムを提供することを目的とするものであり、各時空点に対応する値をもつ時空間データを入力する入力部と、所定の多数の時空点において時空間データの特徴を表すベクトルを抽出する特徴抽出部と、抽出されたベクトルの特徴の統計量を算出する特徴解析部と、特徴抽出部の結果と特徴解析部の結果に基づいて所定の多数の時空点における顕著性を算出する顕著性算出部を備えることにより、前記の課題を解決したものである。

本発明は、さらに、顕著性算出部の結果に基づいて異常事態が発生している可能性が大きい時空点の候補を検出する異常事態候補検出部を備えることもできる。

本発明によれば、ＡＴＭや駐車場など予め起こりうる状況が予想できる場合に限られることなく、異常事態の可能性の指標として顕著性を算出することができ、あるいは、異常事態の可能性が高い時点と場所の候補を検出することができる。異常事態が起こった場所も特定できるので、異常事態が狭い領域に限られていても見逃す可能性が小さいという効果がある。また、それぞれの瞬間における顕著性ではなく時間空間のある領域の特徴に基づいて顕著性を算出するので、時間の経過を見て初めて判断されるような異常事態の候補を検出できるという効果がある。

第１の実施例における検出システムの概略構成図 第２の実施例における検出システムの概略構成図 第２の実施例における異常事態候補検出部のアルゴリズムの一例を示す図 第３の実施例における検出システムの概略構成図 第４の実施例における検出システムの概略構成図 第５の実施例における検出システムの概略構成図 第６の実施例における検出システムの概略構成図

（実施例１）
本発明は、生物の注意機能を模したモデルに基づいて異常事態の候補を絞り込む異常事態の検出システムである。ここで、本明細書における異常事態とは、「正常動作ではないもの」をいう。正常動作とは、動作特徴の統計的な分布を考えた場合に分布の集中する、統計的な分布から学習可能な動作をいう。そして、その分布から大きく逸脱する動作を異常動作とする。以下、本発明に係る異常事態の候補検出システムを図面を用いて説明する。本発明の第１の実施例の構成を図１に示す。本実施例の検出システムは入力部（１）、特徴抽出部（２）、特徴解析部（３）、顕著性算出部（４）から成る。

入力部ではカメラで撮影された画像が入力されると、その画像をデジタル化して時系列画像Ｉ（ｘ，ｙ，ｔ）を出力する。時系列画像Ｉ（ｘ，ｙ，ｔ）は各時空点（ｘ，ｙ，ｔ）に対応する値をもつ時空間データである。この時系列画像Ｉ（ｘ，ｙ，ｔ）はデジタル画像であり、ｘ，ｙ，ｔはそれぞれ０からＷ−１、Ｈ−１，Ｔ−１の間の整数の値を持つ。また、Ｉ（ｘ，ｙ，ｔ）はそれぞれの時空点（ｘ，ｙ，ｔ）における赤の強さを表すＲ（ｘ，ｙ，ｔ）、緑の強さを表すＧ（ｘ，ｙ，ｔ）、青の強さを表すＢ（ｘ，ｙ，ｔ）の画素値から構成され、それぞれ０から２５５の整数の値を持つ。

特徴抽出部では、Δｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおいて時空点（ｘ，ｙ，ｔ）を中心とする時空間の領域ｔ−Δｔ≦ｔ＋Δｔ、ｘ−Δｘ≦ｘ＋Δｘ、ｙ−Δｙ≦ｙ＋Δｙに含まれる各画素の画素値Ｒ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）に基づいてその領域の特徴を表すＫ次元の特徴ｖ（ｘ，ｙ，ｔ）を抽出する。どのような特徴を抽出するかということについては様々な方法が知られている。この発明はどのような特徴を抽出するかについて特に限定するものではなく、例えば色以外に物体の輪郭線の方向を特徴とする方法、あるいは、物体の動きの方向を特徴とする方法などが考えられる。ここでは、一般に良く利用される特徴を例として本発明の具体的な構成を説明する。

ここで例としてあげる特徴は色に関するものである。上記に述べたように、Ｉ（ｘ，ｙ，ｔ）はそれぞれの時空点（ｘ，ｙ，ｔ）における赤の強さを表すＲ（ｘ，ｙ，ｔ）、緑の強さを表すＧ（ｘ，ｙ，ｔ）、青の強さを表すＢ（ｘ，ｙ，ｔ）の画素値から構成され、それぞれ０から２５５の整数の値を持つ。Ｒ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）のそれぞれにおいて０から２５５までの整数を、６３以下、６４から１２７まで、１２８から１９１まで、１９２以上の４段階に区分する。このようにして色は４×４×４＝６４個の区画に区分されることになる。例えば、ある区画では、６４≦Ｒ≦１２７、０≦Ｇ≦６３、１２８≦Ｂ≦１９１である。

時空点（ｘ，ｙ，ｔ）を中心とする時空間の領域ｔ−Δｔ≦ｔ＋Δｔ、ｘ−Δｘ≦ｘ＋Δｘ、ｙ−Δｙ≦ｙ＋Δｙに含まれる各画素の画素値Ｒ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）が６４種類の区画のどこに属するかを判断し、それぞれの区画に何個の画素が含まれるかを計数し、その結果を６４次元のベクトルｖ（ｘ，ｙ，ｔ）にまとめる。このベクトルのｋ番目の要素はｋ番目の色の区画に時空間の領域ｔ−Δｔ≦ｔ＋Δｔ、ｘ−Δｘ≦ｘ＋Δｘ、ｙ−Δｙ≦ｙ＋Δｙに含まれる画素の個数を表す。この場合、特徴の次元はＫ=６４である。

特徴解析部では、特徴抽出部が抽出したベクトルＫ次元の特徴の統計量を算出する。具体的には、Δｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおいて抽出されたＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）の平均<ｖ>と標準偏差ベクトルσを以下の式（数１と数２）に従って算出する。

顕著性算出部では、特徴抽出部で抽出されたベクトルＫ次元の特徴と、特徴解析部で算出された算出結果に基づいて所定の多数の時空点（ｘ，ｙ，ｔ）における顕著性を算出する。以下、この顕著性算出部による算出方法について具体的に説明する。まず、特徴抽出部で算出されたΔｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおける特徴を表すベクトルＫ次元の特徴ｖ（ｘ，ｙ，ｔ）と特徴解析部で算出されたＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）の平均<ｖ>の差をとり、次式のようにそれをw（ｘ，ｙ，ｔ）とする。

顕著性S（ｘ，ｙ，ｔ）は次式で算出される。ここで顕著性とは、一般的に人が画像を観察したときに人の目の注意が向きやすい程度を表す尺度をいい、例えば画像データの中に周囲と異なる対象がある場合に大きくなる指標である。

この式は時空点（ｘ，ｙ，ｔ）における特徴を表すベクトルＫ次元の特徴ｖ（ｘ，ｙ，ｔ）がそれらの平均ｖ（ｘ，ｙ，ｔ）からどれほど離れているかの尺度（すなわち顕著性）を表す。この尺度によれば、特徴が周囲と異なっているときに顕著性が高くなる。

本実施例によれば、時間的にみてもまた空間的にみても周囲と特徴が異なっているところの顕著性が高くなり、それを異常事態発生の指標として用いることができる。従って、ＴＭや駐車場など予め起こりうる状況が予想できる場合に限られることなく、異常事態の可能性の指標として顕著性を算出することができる。また、時間的にみてもまた空間的にみても周囲と特徴が異なっているところの顕著性が高くなるので、異常事態が起こった時間だけでなく場所も特定できる。そのため、異常事態が狭い領域に限られていても見逃す可能性が小さいという効果がある。さらに、それぞれの瞬間における顕著性ではなく時間空間のある領域の特徴に基づいて顕著性を算出するので、時間の経過を見て初めて判断されるような異常事態の指標を算出できるという効果がある。

（実施例２）
本発明の第２の実施例の構成を図２に示す。本実施例は入力部（１）、特徴抽出部（２）、特徴解析部（３）、顕著性算出部（４）、異常事態候補検出部（５）から成る。入力部（１）、特徴抽出部（２）、特徴解析部（３）、顕著性算出部（４）は実施例１と同様である。実施例２は実施例１に異常事態候補検出部（５）を付け加えた構成となっている。

異常事態候補検出部では顕著性算出部で算出されたΔｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおける顕著性の値に基づいて異常事態が起こっている可能性がある、若しくは可能性の大きい時空間の領域を検出する。図３にそのアルゴリズムの一例を示す。

領域の大きさ設定部では候補として検出する領域の大きさを決定する。初期値は例えば全時空領域0≦ｔ≦Ｔ、0≦ｘ≦Ｘ、0≦ｙ≦Ｙの2分の１とする。異常事態領域候補抽出部では、領域の大きさ設定部で大きさを設定した領域の位置をずらせながらその領域内での顕著性の総和を算出し、顕著性の総和が最大である領域を異常事態領域候補として仮り抽出する。検証部では顕著性の総和と領域の大きさに基づいてその領域が異常事態領域候補として適切かどうか判断し、適切と判断した場合はその領域を異常事態領域候補として出力する。そうでない場合は領域の大きさをより小さく設定して同じ処理を繰り返す。所定の回数繰り返しても適切と判断される異常事態領域候補が出力されなければ異常事態候補が無いとして処理を終了する。

実施例２は実施例１に異常事態候補検出部を付け加えたものであるが、異常事態が生じている時空間の領域を特定できるので、その領域をさらに詳しく分析する処理につなぐことが可能となるという効果がある。また、特定された時空間の領域の画像を人間に提示して人間に判断させることも可能となる。

（実施例３）
本発明の第３の実施例の構成を図４に示す。本実施例は第２の実施例の構成に、複数の基底ベクトルを格納する基底ベクトル格納部（６）を付け加えたものである。また、それに伴って、特徴抽出部（２）における処理内容が実施例１、実施例２と異なっており、本実施例の特徴抽出部（２）では所定の多数の時空点において時空間データの時空点を含む時空間の小領域の画素値を要素とするベクトルと前記基底ベクトル格納部に格納されている複数の基底ベクトルとの内積を算出することで特徴を表すベクトルを算出する。以下、詳細に説明する。

特徴抽出部では、Δｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおいて時空点（ｘ，ｙ，ｔ）を中心とする時空間の領域ｔ−Δｔ≦ｔ＋Δｔ、ｘ−Δｘ≦ｘ＋Δｘ、ｙ−Δｙ≦ｙ＋Δｙに含まれる各画素の画素値Ｒ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）に基づいてその領域の特徴を表すＫ次元の特徴ｖ（ｘ，ｙ，ｔ）を抽出する。この点は実施例１、実施例２と同様である。本実施例では、どのような特徴を抽出するかという点において実施例１、実施例２と異なっている。時空点（ｘ，ｙ，ｔ）を中心とする時空間の領域ｔ−Δｔ≦ｔ＋Δｔ、ｘ−Δｘ≦ｘ＋Δｘ、ｙ−Δｙ≦ｙ＋Δｙに含まれる画素値Ｒ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）の総和は次式である。

これらｎ個の要素を持つベクトルをU（ｘ，ｙ，z）とする。このベクトルはｎ次元であるが、同じ次元の基底ベクトルを適当な個数、例えばＫ個準備し、Ｑ_1、Ｑ_2、…、Ｑ_Ｋとする。これらのベクトルは次式に示す正規直交関係を満たしているものとする。

上式はクロネッカのデルタであり、iとjが等しい時に１の値を持ち、それ以外のときは０の値を持つ。基底ベクトル格納部にはこれらのベクトルＱ_1、Ｑ_2、…、Ｑ_Ｋが格納される。このとき、v₁（ｘ，ｙ，ｔ）、v₂（ｘ，ｙ，ｔ）、…、v_Ｋ（ｘ，ｙ，ｔ）を要素とするＫ次元の特徴ｖ（ｘ，ｙ，ｔ）が次式のように得られる。

本実施例は第２の実施例の構成に基底ベクトル格納部（６）を付け加えたものであるが、それによって基底ベクトルＱ_1、Ｑ_2、…、Ｑ_Ｋを取り換えれば抽出される特徴を変化させることができるようになる。実施例１や実施例２では特徴が固定されていたが、本実施例のように特徴を変化させることができるようになれば、場面の特性に応じて抽出される特徴を適切なものに変えることで異常事態の候補を検出する能力を高めることができるという効果がある。

（実施例４）
本発明の第４の実施例の構成を図５に示す。本実施例は第３の実施例に学習部（７）を付け加えたものである。学習部（７）では予め準備しておいた学習用の複数個の時系列画像J₁（ｘ，ｙ，ｔ）、J₂（ｘ，ｙ，ｔ）、…、J_L（ｘ，ｙ，ｔ）を基に、基底ベクトル格納部に格納する基底ベクトルを算出する。

学習部ではまず、L個の時系列画像J₁（ｘ，ｙ，ｔ）、J₂（ｘ，ｙ，ｔ）、…、J_L（ｘ，ｙ，ｔ）のそれぞれにおいてΔｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たす時空点（ｘ，ｙ，ｔ）をP個ランダムに選ぶ。こうして選ばれたP個の時空点（ｘ，ｙ，ｔ）のそれぞれを中心とする時空間の領域ｔ−Δｔ≦ｔ＋Δｔ、ｘ−Δｘ≦ｘ＋Δｘ、ｙ−Δｙ≦ｙ＋Δｙに含まれる各画素の画素値Ｒ_i（ｘ，ｙ，ｔ）、Ｇ_i（ｘ，ｙ，ｔ）、Ｂ_i（ｘ，ｙ，ｔ）を要素とする画素値ベクトルs_i（ｘ，ｙ，ｔ）を抽出する。s_i（ｘ，ｙ，ｔ）はi番目の時系列画像の時空点（ｘ，ｙ，ｔ）におけるベクトルである。

次に、多数のベクトルs_i（ｘ，ｙ，ｔ）に対して主成分分析を施して基底ベクトルを算出するが、具体的な手順を以下に記す。まず、次式に従って平均<s>と共分散行列Mを算出する。なお、次式においてＮ_Lはベクトルs_i（ｘ，ｙ，ｔ）の個数である。また、s_i（ｘ，ｙ，ｔ）^Ｔはs_i（ｘ，ｙ，ｔ）の転置ベクトルを表す。

次に共分散行列Mの固有ベクトルを算出し、それらを固有値が大きいほうからＫ個並べてＱ_1、Ｑ_2、…、Ｑ_Ｋとこれらのベクトルを基底ベクトルとして基底ベクトル格納部に格納する。

本実施例は第３の実施例に学習部（７）を付け加えたものであるが、これによって異常事態の候補検出の対象となる時系列画像から抽出するべき特徴の種類を第１および第2の実施例のように予め固定するのではなく、また、第３に実施例のように人手によって特徴を決めるのでもなく学習用の時系列画像J₁（ｘ，ｙ，ｔ）、J₂（ｘ，ｙ，ｔ）、…、J_L（ｘ，ｙ，ｔ）を与えれば基底ベクトルＱ_1、Ｑ_2、…、Ｑ_Ｋが自動的に決定される。

本実施例によれば、学習用の時系列画像J₁（ｘ，ｙ，ｔ）、J₂（ｘ，ｙ，ｔ）、…、J_L（ｘ，ｙ，ｔ）を与えれば基底ベクトルＱ_1、Ｑ_2、…、Ｑ_Ｋが自動的に決定されるので、異常事態の候補検出の対象となる時系列画像と同種類の時系列画像を学習用の時系列画像として用いることで、学習した時系列画像と同種類の時系列画像に最適な基底ベクトルＱ_1、Ｑ_2、…、Ｑ_Ｋを人手を要さずに自動的に選ぶことができるという効果がある。

（実施例５）
本発明の第５の実施例の構成を図６に示す。本実施例は第４の実施例と比べて、特徴解析部（３）と、顕著性算出部（４）の内容が異なる。

本実施例の特徴解析部ではΔｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおいて抽出されたＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）の平均<ｖ>と共分散Cを以下の式（数１１と数１２）に従って算出する。

次に共分散行列Cの固有ベクトルを算出し、それらを固有値が大きいほうからM個並べてu₁、u₂、…、u_Mとし、それらを記憶しておく。

顕著性算出部は近似部と誤差算出部から構成される。

近似部では、特徴抽出部で算出されたΔｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおける特徴を表すベクトルＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）と特徴解析部で算出されたＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）の平均<ｖ>の差をとり、次式のようにそれをw（ｘ，ｙ，ｔ）とする。

次に、次式に示すようにｗ（ｘ，ｙ，ｔ）をＭ個の固有ベクトルu₁、u₂、…、u_Mの線形結合で近似したものを求める。

誤差算出部では、w（ｘ，ｙ，ｔ）を上述の式１３で近似したときの誤差を次式で算出し、顕著性S（ｘ，ｙ，ｔ）として出力する。

本実施例では特徴抽出部で抽出した特徴に対して特徴解析部で主成分分析を行い、各時空点における特徴を主成分分析で得られた固有ベクトルで近似したときの誤差を顕著性として出力している。実施例１から実施例４では単に特徴の平均との差異を顕著性としており、様々な特徴が周囲とくらべて少しずつ異なっている場合でもその総和が大きいときは顕著性が高くなるという性質があった。それと比較して本実施例によれば、少数の特徴が大きく変化している場合に顕著性が高くなるという性質がある。人間は線の方向などある特定の特徴が周囲と比べて異なっているときにそこに注意を向けやすいという性質をもっており、この実施例は人間の視覚系における注意の機能により類似した性質を持っており、異常事態の有無の判断において人間の判断により近いことが期待できるという効果がある。

（実施例６）
本発明の第６の実施例の構成を図７に示す。本実施例は第５の実施例とは別の方法で特徴解析部（３）と顕著性算出部（４）を実現したものである。

特徴解析部では、第５の実施例と同じく、Δｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおいてにおいて抽出されたＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）の平均<ｖ>と共分散Cを前記の式、数１１と数１２に従って算出する。本実施例では特徴解析部の処理はこれだけである。

顕著性算出部では、まず、特徴抽出部で算出されたΔｔ≦ｔ≦Ｔ−Δｔ、Δｘ≦ｘ≦Ｘ−Δｘ、Δｙ≦ｙ≦Ｙ−Δｘを満たすＮ個の時空点（ｘ，ｙ，ｔ）のそれぞれにおける特徴を表すベクトルＮ個のＫ次元の特徴ｖ（ｘ，ｙ，ｔ）が多次元正規分布に従うと仮定して、特徴解析部で算出した平均<ｖ>と共分散Cを利用して特徴ｖ（ｘ，ｙ，ｔ）の生起確率を次式のように算出する。

次に、次式によって、この特徴を観測したときに得られる情報量を算出し、顕著性として出力する。

本実施例では、顕著性はその特徴を観測することによって得られる情報量であるという物理的意味が定まっているので、この結果をもとにより適切な判断が可能となるという効果がある。

１ 入力部
２ 特徴抽出部
３ 特徴解析部
４ 顕著性算出部
５ 異常事態候補検出部
６ 基底ベクトル格納部
７ 学習部

Claims (6)

1. 各時空点に対応する値をもつ時空間データを入力する入力部と、所定の多数の時空点において時空間データの特徴を表すベクトルを抽出する特徴抽出部と、抽出された前記ベクトルの特徴の統計量を算出する特徴解析部と、特徴抽出部の結果と特徴解析部の結果に基づいて所定の多数の時空点における顕著性を算出する顕著性算出部を備える異常事態の検出システム
2. さらに、顕著性算出部の結果に基づいて異常事態が発生している可能性が大きい時空点の候補を検出する異常事態候補検出部を備える請求項１に記載の異常事態の検出システム
3. さらに、複数の基底ベクトルを格納する基底ベクトル格納部を備え、前記特徴抽出部は所定の多数の時空点において時空間データの時空点を含む時空間の小領域の画素値を要素とするベクトルと前記基底ベクトル格納部に格納されている複数の基底ベクトルとの内積を算出することで特徴を表すベクトルを算出する請求項１又は２に記載の異常事態の検出システム。
4. さらに、多数の時空間データの多数の時空点においてその時空点を含む時空間の小領域の画素値を要素とするベクトルを抽出するとともに、該ベクトルを基に前記基底ベクトル格納部に格納される基底ベクトルを定める学習部を備える請求項３記載の異常事態の検出システム。
5. 前記特徴解析部は前記特徴抽出部で抽出された多数の特徴に対して主成分分析を施して複数の固有ベクトルを算出し、前記顕著性算出部は所定の多数の時空点において抽出された時空間データの時空点を含む時空間の小領域の画素値を要素とするベクトルを前記複数の固有ベクトルの線形結合で近似したときの誤差を算出する請求項１から４の何れかに記載の異常事態の検出システム
6. 前記特徴解析部は前記特徴抽出部で抽出された多数の特徴の平均と共分散を算出し、前記顕著性算出部は前記特徴解析部が算出した平均と共分散に基づいて所定の多数の時空点において抽出された時空間データを含む時空間の小領域の画素値を要素とするベクトルの生起確率を評価するとともに、評価した生起確率に基づいて顕著性を算出する請求項１から４の何れかに記載の異常事態の検出システム。
   
   

Images