JP4624396B2 - Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program - Google Patents
Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program Download PDFInfo
- Publication number
- JP4624396B2 JP4624396B2 JP2007278625A JP2007278625A JP4624396B2 JP 4624396 B2 JP4624396 B2 JP 4624396B2 JP 2007278625 A JP2007278625 A JP 2007278625A JP 2007278625 A JP2007278625 A JP 2007278625A JP 4624396 B2 JP4624396 B2 JP 4624396B2
- Authority
- JP
- Japan
- Prior art keywords
- situation
- local
- movement
- image change
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、駅・空港などの複数の人が移動する公共空間において、撮像した画像を解析して人の混雑度または移動状況を検出する状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムに関する。 The present invention relates to a situation determination apparatus, a situation determination method, a situation determination program, and an abnormality determination that analyze a captured image to detect a degree of congestion or movement of a person in a public space where a plurality of persons move, such as a station / airport. The present invention relates to an apparatus, an abnormality determination method, and an abnormality determination program.
近年、安全安心への要望の高まりから、駅・空港などの公共空間、重要施設などへの監視カメラの設置が進んでいる。従来は監視カメラを監視員が常時モニタリングしていたが、監視カメラ数の増加、監視員の疲労による見落とし防止などの観点から、画像認識することにより監視の省力化・効率化を図るような取組みが行われている。 In recent years, with the increasing demand for safety and security, surveillance cameras are being installed in public spaces such as stations and airports and important facilities. In the past, surveillance cameras were constantly monitoring surveillance cameras, but from the viewpoint of increasing the number of surveillance cameras and preventing oversight due to fatigue of the surveillance staff, efforts to reduce labor and increase the efficiency of surveillance by recognizing images Has been done.
監視場所において人の計数を行う技術として、特許文献1、特許文献2が提案されている。特許文献1は、背景差分により前景を抽出し、人物の通路に直交する監視エリアを横切る人数を計数するものである。監視エリアを複数用意し監視エリア間の計数値のばらつきを利用することで、外乱に対して頑健な計数を実現している。
特許文献2は、通路の上方に光軸を鉛直下向きに設置したカメラを用い、計数のために画像上に設けた境界線における動きベクトルを抽出し、動きベクトルの境界線に対する垂直成分を積分することにより通路を通過する人数を計数するものである。
一方、各人を計数するのではなく、画像から人数に対応する特徴を抽出し混雑度を求める技術として特許文献3が提案されている。特許文献3は、「通行人の人数が多いならば、異なる時刻に撮像した画像間における変化回数が増加する」という前提のもとに、画素毎あるいは局所領域毎に一定時間内の変化回数を求め、この変化回数を基に混雑度を求めるものである。
On the other hand,
しかしながら、上述した従来技術においては、以下に述べる問題がある。すなわち、特許文献1では、背景差分を利用しているため照明変化の大きい場所への適用が難しく、また混雑時には一人一人を計数することが難しくなる。特許文献2も同様に、混雑時には一人一人を計数することが難しい。特許文献3は、人が移動していることを前提としているため、動いている人と立ち止まっている人が混在する状況での混雑度の算出が難しい。
However, the above-described prior art has the following problems. That is, in
本発明は、かかる事情に鑑みてなされたものであり、監視場所の状況の判定および混雑度の判定を容易に行うことができる状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and a situation determination apparatus, a situation determination method, a situation determination program, an abnormality determination apparatus, an abnormality that can easily determine the situation of a monitoring place and the degree of congestion An object is to provide a determination method and an abnormality determination program.
前記目的を達成するため、本発明の状況判定装置は、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定する状況判定装置であって、前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出手段と、前記局所画像変化率算出手段で算出された前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定手段と、を備えた。 To achieve the above object, the apparatus for judging the condition of the present invention is an apparatus for judging the condition determining the movement status and / or degree of congestion of people by analyzing the moving image captured, the moving image a plurality of divided into local regions, calculates a local image change ratio calculating means for calculating a histogram representing a frequency distribution of the local image change ratio calculated in the local image change ratio calculating means for local image change ratio of each of the local region And a situation determination unit that compares the calculated histogram with a reference histogram obtained in advance to determine a person's movement situation and / or a person's congestion level.
この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。 According to this configuration, the local change rate in the captured image is obtained for a plurality of local regions, the histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.
また、本発明の状況判定装置は、前記局所領域毎の局所画像変化率算出手段は、前記動画像の第1の時間間隔を隔てて撮像された画像から得られる代表動きベクトルを求め、前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、前記第1の時間間隔より長い第2の時間間隔を前記第1の時間間隔で分割した個数と、前記動き有りと判定された前記第1の時間間隔の個数との割合として前記局所画像変化率を算出する。 Further, the apparatus for judging the condition of the present invention, local image change ratio calculating means for each of the local regions, obtains the representative motion vector obtained from the captured images at a first time interval of the moving image, the The size of the representative motion vector is compared with a predetermined threshold value to determine the presence or absence of movement of the local region, and the number of second time intervals longer than the first time interval divided by the first time interval Then, the local image change rate is calculated as a ratio to the number of the first time intervals determined as having the motion .
この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。 According to this configuration, the local change rate in the captured image is obtained for a plurality of local regions, the histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.
また、上記構成において、前記状況判定手段は、予め求めた参照ヒストグラムを保持する参照ヒストグラム格納手段と、前記算出したヒストグラムと前記参照ヒストグラムとを比較するヒストグラム比較手段とで構成された。 In the above configuration, the situation determination unit includes a reference histogram storage unit that holds a previously obtained reference histogram, and a histogram comparison unit that compares the calculated histogram with the reference histogram .
また、上記構成において、前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定する。 Further, in the above configuration, the movement situation is determined as a movement of a large number of people, a movement of a small number of people, or a movement path bias, and the number of areas determined to have movement in the local area is large. When the local image change rate is medium or large, it is determined that the movement is a large number of people, and the number of regions determined to be moving is large in the local region, and the local image is determined in the calculated histogram. When the rate of change is medium or large, it is determined that the movement is a small number of people, and the number of regions determined to be moving is small in the local region, and the local image change rate is medium or low in the calculated histogram. When the large frequency is large, it is determined that the movement path is biased .
この構成によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。 According to this configuration, since it is possible to detect that the moving route is biased with a simple process, the presence of the queue and the congestion level in a place where there is a train queue such as a station, for example. Can be estimated. Of course, the situation and the degree of congestion can also be estimated in a situation where there is no bias in the travel route. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.
また、本発明の異常判定装置は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、上記状況判定装置と、前記プラットホームへの列車の到着を検知する列車到着検知手段と、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合に異常と判定する異常判定手段と、を備えた。 The abnormality determination device of the present invention is an abnormality determination device that determines an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station. Train arrival information is obtained using a device, train arrival detection means for detecting arrival of a train to the platform, situation determination result by the situation determination device and train arrival information by the train arrival detection means And an abnormality determination unit that determines that an abnormality occurs when it is determined that a person's movement route is biased as a result of the situation determination after a predetermined time later.
この構成によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。 According to this configuration, it is possible to determine an abnormal congestion state that is different from normal using the situation type or the degree of congestion obtained by the situation determination device.
また、上記構成において、前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた。 Moreover, the said structure WHEREIN: When the said abnormality determination means determined with abnormality, the notification means which notifies to the contact address defined beforehand was further provided.
この構成によれば、監視者に対する補助情報の提供や、所定の連絡先への速やかな通報を行うことが可能となる。 According to this configuration, it is possible to provide auxiliary information to the monitor and to promptly notify a predetermined contact address.
また、本発明の状況判定方法は、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定する状況判定方法であって、前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、を備えた。 Also, status determination method of the present invention is a situation determining method of determining a movement status and / or degree of congestion of people by analyzing the moving image captured divides the moving image into a plurality of local regions , calculates the local image change ratio calculating step of calculating a local image change ratio of each of the local region, a histogram representing a frequency distribution of the local image change ratio of the local each area calculated by the local image change ratio calculating step And a situation determination step of comparing the calculated histogram with a reference histogram obtained in advance to determine a person's movement situation and / or a person's congestion level.
この方法によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。 According to this method, a local change rate in a captured image is obtained for a plurality of local regions, a histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.
また、上記状況判定方法において、前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定する。 Further, in the situation determination method, the movement situation is determined as a movement of a large number of people, a movement of a small number of people, or a movement path bias, and the number of areas determined to have movement in the local area is large, and the calculation is performed. When the local image change rate in the histogram is large or large, it is determined that there is a large number of people moving, and the number of regions determined to have movement in the local region is large. When the local image change rate is medium or large, when the frequency is small, it is determined that the movement is a large number of people, the number of regions determined to be moving is small in the local region, and the local image change rate is determined in the calculated histogram. When the medium or large frequency is large, it is determined that the movement is large .
この方法によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。 According to this method, it is possible to detect that the moving route is biased by a simple process. For example, in a place where there is a train queue such as a station, the presence of the queue and its congestion level Can be estimated. Of course, the situation and the degree of congestion can also be estimated in a situation where there is no bias in the travel route. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.
また、本発明の異常判定方法は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、上記状況判定方法を実行する状況判定ステップと、前記プラットホームへの列車の到着を検知する列車到着検知ステップと、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して、前記列車到着情報が得られた後の所定時間経過後に、前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、を備えた。 The abnormality determination method of the present invention is an abnormality determination method for determining an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station. Using the situation determination step for executing the method, the train arrival detection step for detecting the arrival of the train to the platform, the situation determination result by the situation determination device and the train arrival information by the train arrival detection means, And a failure determination step of determining an abnormality when it is determined that the movement route of the person is biased as a result of the situation determination after a lapse of a predetermined time after the train arrival information is obtained.
この方法によれば、状況判定方法により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。 According to this method, it is possible to determine an unusually crowded state different from normal using the situation type or the degree of congestion obtained by the situation judging method.
また、本発明の状況判定プログラムは、コンピュータに、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定させるための状況判定プログラムであって、前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、を備えた。 Moreover, the situation determining program of the present invention, a computer, a situation determining program for determining the movement status and / or degree of congestion of people by analyzing the moving image captured, the moving image a plurality of divided into local regions, the frequency distribution of the local and the local image change ratio calculating step of calculating a local image change ratio for each region, the local image change ratio of the local each area calculated by the local image change ratio calculating step And a situation determination step of comparing the calculated histogram with a previously obtained reference histogram to determine a person's movement situation and / or a person's congestion level.
このプログラムによれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。 According to this program, the local change rate in a captured image is obtained for a plurality of local regions, a histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る状況判定装置の概略構成を示すブロック図である。図1において、本実施の形態の状況判定装置は、画像入力部100と、画像蓄積部110と、局所画像変化検出部120と、局所画像変化情報蓄積部130と、局所画像変化率算出部140と、局所画像変化率蓄積部150と、局所画像変化率ヒストグラム算出部160と、状況判定部170とを備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a situation determination apparatus according to
図2は、図1の状況判定装置を、鉄道駅のプラットホームに設置した例を示す図である。鉄道駅は、プラットホーム(以下、ホームと略す)PH、ホームの側壁WL、ホームへの出入口である階段ST、線路RLから構成されている。カメラCMはホームPHに存在する人の様子を撮像するため、ホームPHの長手方向を光軸方向とするように設置され、状況判定装置SDに接続されている。図3に、カメラCMの撮像画像の例を示す。撮像画像には、ホームPH、階段STの出入口部分、側壁WLが含まれるようにカメラCMの画角、設置位置、光軸方向が決定されている。状況判定装置SDは、図1における状況判定装置に対応する。 FIG. 2 is a diagram illustrating an example in which the situation determination apparatus of FIG. 1 is installed on a platform of a railway station. The railway station includes a platform PH (hereinafter abbreviated as a platform) PH, a side wall WL of the platform, a staircase ST that is an entrance to the platform, and a track RL. The camera CM is installed so that the longitudinal direction of the home PH is the optical axis direction and is connected to the situation determination device SD in order to capture an image of a person existing in the home PH. FIG. 3 shows an example of a captured image of the camera CM. The angle of view, installation position, and optical axis direction of the camera CM are determined so that the captured image includes the home PH, the entrance / exit portion of the staircase ST, and the side wall WL. The situation determination device SD corresponds to the situation determination device in FIG.
次に、本実施の形態の状況判定装置の動作を、図4のフローチャートを用いて説明する。まず、画像入力ステップS100が、画像入力部100により実行される。ステップS100では、カメラCMで撮像された画像1フレームを、デジタル画像処理が可能な形式で取り込んだ後、画像蓄積部110に蓄積を行う。カメラCMがアナログカメラの場合、画像はAD変換され、必要に応じて符号化などの圧縮処理がなされた後、画像蓄積部110に蓄積される。カメラCMがデジタルカメラの場合、画像はデジタル回線を通じて入力され、画像蓄積部110に蓄積される。本実施の形態では、10fpsのデジタル動画像が入力され、現在時刻のフレーム画像が順次蓄積されるものとする。なお、カメラCMがアナログカメラの場合、画像蓄積部110がVTRなどのアナログ画像を蓄積するものであって、局所画像変化検出部120に向けて出力される直前にAD変換が実施されてもよい。
Next, the operation of the situation determination apparatus of the present embodiment will be described using the flowchart of FIG. First, the image input step S100 is executed by the
次に、局所画像変化検出ステップS110が、局所画像変化検出部120にて実行される。ここでは、図5のように、第1の時間間隔TS1として撮像周期と等しい0.1(秒)を設定し、画像蓄積部110に蓄積されたフレーム画像のうち、現在時刻tkの画像とTS1時刻前の画像tk−1の2個のフレーム画像を抽出し、局所領域における変化を検出する。局所領域の分割方法として、図6のようにカメラCMの設置に合わせて、予め決定しておくものとする。ここでは局所領域の総数をNRとする。また、ここでは透視投影の影響を補正するため、局所領域の大きさを、カメラに近い地点(画面下方)では大きく、カメラから遠い地点(画面上方)では小さく設定する。変化の検出方法として動きベクトルを利用する場合について以下に説明する。
Next, the local image change detection step S <b> 110 is executed by the local image
(1)2個のフレーム画像から、画素毎に動きベクトルを計算
動きベクトルの計算には、非特許文献1におけるLucus−Kanade法などの勾配法や、ブロックマッチング法を用いることができる。ここで、非特許文献2におけるGood Features to Track法や、マッチングの際の評価値(SAD、SSD等)により、信頼性の高い動きベクトルのみを後の処理で用いることが望ましい。2個のフレーム画像から画面全体に対して求めた動きベクトルのうち信頼性の高い動きベクトルの例を図7に示す。
(1) Calculation of motion vector for each pixel from two frame images For calculation of a motion vector, a gradient method such as the Lucus-Kanade method in
非特許文献1:B.D.Lucas and T.Kanade. “An iterative image registration technique with an application to stereo vision”. IJCAI, 1981.
非特許文献2:Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994 (CVPR'94)
Non-Patent Document 1: BDLucas and T. Kanade. “An iterative image registration technique with an application to stereo vision”. IJCAI, 1981.
Non-Patent Document 2: Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994 (CVPR'94)
(2)局所領域毎に動きベクトルを統合
以下、現在時刻tkの画像とTS1時刻前の画像tk−1の2個のフレーム画像から抽出された動きベクトルに対しては添え字kを、i番目(1≦i≦NR)の局所領域に含まれる動きベクトルに対しては添え字iを、i番目の局所領域に含まれるNVk,i個の動きベクトルのうちのj番目(1≦j≦NVk,i)の動きベクトルに対しては添え字jを、それぞれ用いて動きベクトル(uk,i,j,vk,i,j)を表現することにする。
(2) Integration of motion vectors for each local area Hereinafter, a subscript k is used for motion vectors extracted from two frame images of an image at the current time t k and an image t k-1 one time before TS. , I is the subscript i for the motion vector included in the i th (1 ≦ i ≦ N R ) local region, and j is the n th k of the NV k, i motion vectors included in the i th local region. The motion vector (u k, i, j , v k, i, j ) is expressed by using the subscript j for the motion vector of 1 ≦ j ≦ NV k, i ).
そして、(数1)(数2)を用いてその平均値を計算することで、局所領域iを代表する代表動きベクトル(muk,i,mvk,i)が算出される。動きベクトルの画像上での長さは、透視投影の影響を受け画面上方ほど実際の人の速度よりも小さく計算される。そのため、(数3)(数4)のように、その影響を補正した後の動きベクトルを平均して代表動きベクトルを算出してもよい。ここで、wkijは時刻tkでのi番目の局所領域におけるj番目の動きベクトルの大きさを補正するための重み係数である。動きベクトルの始点が画面上方にある程大きくなるように設定される。 Then, by calculating the average value using (Equation 1) and (Equation 2), a representative motion vector (mu k, i , mv k, i ) representing the local region i is calculated. The length of the motion vector on the image is affected by the perspective projection, and is calculated to be smaller than the actual human speed at the top of the screen. Therefore, as shown in (Equation 3) and (Equation 4), the motion vector after correcting the influence may be averaged to calculate the representative motion vector. Here, w kij is the weighting coefficient for correcting the size of the j-th motion vectors in the i-th local region at time t k. The start point of the motion vector is set so as to increase as it is at the top of the screen.
(3)代表動きベクトルに対して閾値処理を行うことにより、動きの有無を決定
局所領域iを代表する代表動きベクトル(muk,i,mvk,i)の大きさに対して、予め定めた閾値を用いて動きの有無を決定する。閾値以上であれば動き有、閾値未満であれば動き無と決定する。この時点で、局所領域i毎に変化(動き)の有無を二値で表現した局所変化情報Mk,iが得られる。動きがあればMk,i=1、なければMk,i=0となる。局所領域局所変化情報を画像で表現したものを図8に示す。図8では、変化が存在する局所領域に網掛けを行って表現している。局所変化情報Mkは、(数5)のように局所領域毎の変化の有無(二値情報)を局所領域の個数分だけ合わせた二値ベクトル情報として、図5のように局所画像変化情報蓄積部130に蓄積される。なお、図5においては、フレーム画像Ikおよび局所画像変化情報Mkは、時刻tkに蓄積され、フレーム画像Ik−1および局所画像変化情報Mk−1は、時刻tk−1に蓄積されたことを表す。
(3) Determine the presence or absence of motion by performing threshold processing on the representative motion vector. The size of the representative motion vector (mu k, i , mv k, i ) representing the local region i is determined in advance. The presence or absence of motion is determined using the determined threshold value. If it is equal to or greater than the threshold, it is determined that there is motion, and if it is less than the threshold, it is determined that there is no motion. At this point, local change information M k, i expressing the presence / absence of a change (motion) for each local region i in binary is obtained. If there is a motion, M k, i = 1, otherwise M k, i = 0. FIG. 8 shows the local region local change information represented by an image. In FIG. 8, the local region where the change exists is shaded for expression. The local change information M k is expressed as binary vector information obtained by combining the number of local areas with the presence or absence of change (binary information) for each local area as shown in (Formula 5), as shown in FIG. Accumulated in the
図4に戻り、次に、局所画像変化率算出ステップS120が、局所画像変化率算出部140にて実行される。ここでは、第2の時間間隔TS2として10(秒)を設定する。局所領域毎に過去TS2(秒)の間に変化(動き)がどの程度の率で発生したかを求める。変化情報は第1の時間間隔TS1にて求められているため、TS2/TS1個の変化情報を用いて変化率を求める。TS1=0.1(秒)、TS2=10(秒)の場合、100個の変化情報を用いることになる。図9では、i番目の局所領域において、時刻tkでの局所変化情報Mk,iから、時刻tk−TS2/TS1+1での局所変化情報Mk−TS2/TS1+1,iのうち値が1である(すなわち変化がある)個数をカウントし、その値をCk,iとする。そして、総数TS2/TS1にて割ることにより、局所変化率RTk,iを算出する。局所変化率RTk,iの取りうる値は[0,1]である。局所変化率RTkは、(数6)のように局所領域毎の変化率を局所領域の個数分だけ合わせたベクトル情報として、図10のように局所画像率蓄積部150に蓄積される。なお、図10においては、局所画像変化率RTkは時刻tkに蓄積され、局所画像変化率RTk−1は時刻tk−1に蓄積されたことを表す。
Returning to FIG. 4, next, the local image change rate calculation step S <b> 120 is executed by the local image change
次に、局所画像変化率ヒストグラム算出ステップS130が、局所画像変化率ヒストグラム算出部160にて実行される。ここでは、現時刻tkにおけるNR個の局所変化率RTk,iのヒストグラムを算出する。局所変化率RTk,iの取りうる値は[0,1]であるため、ヒストグラムの階級の幅をBWとすると、階級数は1/BWとなる。ここでは、階級の幅BW=0.1、階級数10とする。算出された局所画像変化率ヒストグラムの例を図11に示す。横軸は局所画像変化率を表し、縦軸は頻度(領域数)を表す。頻度の総和(ヒストグラムの積分値)は、全領域数NRとなる。
Next, the local image change rate histogram
ここで、図2で表される駅のプラットホームにおける人の移動状況について考える。移動状況として次の3つのパタンを考える。 Here, let us consider the movement situation of people on the platform of the station shown in FIG. Consider the following three patterns of movement.
(1)多人数の自由移動
例えば、列車の到着後に多くの乗客が下車し、階段STに向かって移動するという状況(図12)が存在する。多人数の移動であるため、AR1〜AR3など多くの移動経路で人が移動することになる。
(1) Free movement of a large number of people For example, there is a situation (FIG. 12) in which many passengers get off after the arrival of a train and move toward the staircase ST. Since the movement is a large number of people, people move along many movement routes such as AR1 to AR3.
(2)少人数の自由移動
例えば、列車から下車した乗客が階段STを通って移動した後、次の列車に乗る乗客が空になったホームを通って移動するという状況(図13)が存在する。少人数の移動ではあるが、ホームが空いているため人の移動経路はばらつく。その結果、多人数移動時と同様、AR1〜AR3など多くの移動経路で人が移動することになる。
(2) Free movement of a small number of people For example, there is a situation (FIG. 13) in which a passenger who gets off the train moves through the stairs ST and then a passenger on the next train moves through an empty platform. To do. Although the movement is a small number of people, the movement paths of people vary because the home is vacant. As a result, as in the case of movement by a large number of people, people move along many movement routes such as AR1 to AR3.
(3)移動経路の偏り
例えば、列車待ちの行列が存在している状況で、階段STを通ってホームに移動してきた新たな乗客がホームの空いている場所を通ってホームの画面手前側へ向かって移動するという状況(図14)が存在する。列車待ちの人WPが存在するため、移動する人MPの移動経路は矢印AR1付近に限定される。
(3) Uneven travel route For example, in a situation where there is a queue waiting for a train, a new passenger who has moved to the platform through the stairs ST passes through a vacant place on the platform and is on the near side of the home screen. There is a situation (FIG. 14) of moving toward. Since there is a person WP waiting for the train, the moving path of the moving person MP is limited to the vicinity of the arrow AR1.
これらの3つの移動状況パタンに関して、変化が発生する(ある一定値以上の変化率を有する)領域数と、局所画像変化率の大きさの傾向をまとめたものを図15に示す。また、この3つの移動パタンに関する、図11のような局所画像変化率ヒストグラムの典型例を(1)多人数移動、(2)少人数移動、(3)移動経路偏りのそれぞれについて、図16、図17、図18に示す。 FIG. 15 shows a summary of the trend of the number of regions where changes occur (having a change rate of a certain value or more) and the magnitude of the local image change rate for these three movement status patterns. Further, typical examples of local image change rate histograms as shown in FIG. 11 relating to these three movement patterns are shown in FIG. 16 for (1) movement of a large number of people, (2) movement of a small number of people, and (3) deviation of a movement path, respectively. It shows in FIG. 17, FIG.
まず多人数が移動する状況に関して、図12に局所領域分割を施した図19の画像を用いて補足説明をする。多人数が移動を行っている場合、画像中の多くの領域で変化(動き)が発生する。人の密度が大きいため、ある1つの局所領域に着目した場合、移動中の人が次々に通過するため、多くの局所領域にて局所画像変化率は大きくなる。よって図15第1列のような傾向になる。同様に、図16の局所画像変化率ヒストグラムにおいて、局所画像変化率が中〜大となる局所領域数は多くなる。 First, regarding the situation where a large number of people move, a supplementary explanation will be given using the image of FIG. 19 in which local region division is performed in FIG. When a large number of people are moving, changes (movements) occur in many areas in the image. Since the density of people is high, when attention is paid to a certain local region, moving people pass one after another, and the local image change rate increases in many local regions. Therefore, the tendency is as shown in the first column of FIG. Similarly, in the local image change rate histogram of FIG. 16, the number of local regions where the local image change rate is medium to large increases.
少人数が自由移動する状況に関して、図13に局所領域分割を施した図20の画像を用いて補足説明をする。多人数の移動時と同様に少人数が移動を行っている場合も、空いているホームでは人はいろいろな経路を通るため、画像中の多くの領域で変化(動き)が発生する。しかし、人の密度は小さいため、ある1つの局所領域に着目した場合、移動中の人が通過する頻度は小さくなり、局所画像変化率は小さくなる。よって図15の第2列のような傾向になる。同様に、図17の局所画像変化率ヒストグラムにおいては、局所画像変化率が中となる局所領域数は多くなるが、局所画像変化率が大きい局所領域数は少なくなる。 A supplementary explanation of the situation in which a small number of people move freely will be given using the image of FIG. Even when a small number of people are moving as in the case of a large number of people moving, since people pass through various routes in a vacant home, changes (movements) occur in many areas in the image. However, since the density of people is small, when attention is paid to a certain local region, the frequency of movement of a person passing is reduced, and the local image change rate is reduced. Therefore, the tendency is as shown in the second column of FIG. Similarly, in the local image change rate histogram of FIG. 17, the number of local regions where the local image change rate is medium increases, but the number of local regions where the local image change rate is large decreases.
移動経路が偏っている状況に関して、図14に局所領域分割を施した図21の画像を用いて補足説明をする。列車待ちの行列が存在している場合、人の移動経路は矢印AR1の付近に制限される。列車待ちの人はその場で時々身動きをする以外動かないため、変化(動き)が発生する領域は移動する人MPが存在する領域にほぼ限られ、変化が発生する領域数は少なくなる。階段STを通ってホームPHに流入する人の流量が少人数移動時(図12)と同程度だとすると、移動経路が限定されている分だけ、移動経路上における局所領域当たりの通過頻度は少人数移動時よりも大きくなる。よって図15の第3列のような傾向になる。同様に、図18の局所画像変化率ヒストグラムにおいては、局所画像変化率が中、大である局所領域数は、図16の多人数移動時よりも少なくなるが、図17の少人数移動時との違いは、局所画像変化率が大きい局所領域数が数は少なくとも存在するということである。 With respect to the situation where the movement route is biased, supplementary explanation will be given using the image of FIG. 21 in which local region division is performed in FIG. When there is a queue for waiting for a train, the movement path of the person is limited to the vicinity of the arrow AR1. Since the person waiting for the train does not move except sometimes moving on the spot, the area where the change (movement) occurs is almost limited to the area where the moving person MP exists, and the number of areas where the change occurs is small. If the flow rate of people who flow into the home PH through the stairs ST is about the same as when moving with a small number of people (Fig. 12), the number of people passing through the local area on the movement route is small because the movement route is limited. It becomes larger than when moving. Therefore, the tendency is as shown in the third column of FIG. Similarly, in the local image change rate histogram of FIG. 18, the number of local regions where the local image change rate is medium and large is smaller than in the case of movement of a large number of people in FIG. The difference is that there are at least a number of local regions having a large local image change rate.
以上、説明したように、局所画像変化率ヒストグラムが、局所画像変化率ヒストグラム算出ステップS130(局所画像変化率ヒストグラム算出部160)により算出される。 As described above, the local image change rate histogram is calculated by the local image change rate histogram calculation step S130 (local image change rate histogram calculation unit 160).
図22に実際の動画像における3つのシーン(多人数移動/少人数移動/移動経路偏り)から抽出した局所画像変化率ヒストグラムを示す。それぞれは、ある時刻tk´における局所変化率RTk´のヒストグラムに相当する(ある時刻tk´と言えども、図10で説明した通り、一時刻の局所変化率は過去TS2/TS1個の局所変化情報から計算されている)。図22は、局所領域の総数NR=162(個)、TS1=0.1(秒)、TS2=10(秒)、ヒストグラムの階級の幅をBW=0.1とした時の結果である。図22を見ると、図16、図17、図18の傾向と等しいことが分かる。 FIG. 22 shows local image change rate histograms extracted from three scenes (multi-person movement / small-group movement / movement path bias) in an actual moving image. Each, even though corresponding to a histogram of the local rate of change RT k'(certain time t k'and at a certain time t k', as described in FIG. 10, the local rate of change of one unit time is past TS2 / TS1 amino Calculated from local change information). FIG. 22 shows the results when the total number of local regions N R = 162 (pieces), TS 1 = 0.1 (seconds), TS 2 = 10 (seconds), and the width of the histogram class is BW = 0.1. It is. It can be seen from FIG. 22 that the tendency is the same as that shown in FIGS.
次に、状況判定ステップS140が、状況判定部170にて実行される。多人数移動/少人数移動/移動経路偏りの3状況において、局所画像変化率ヒストグラムの形状がそれぞれ図16〜図18のようになるということを説明済みである。本実施の形態では、これらの3状況における局所画像変化率ヒストグラムを予め求めて参照ヒストグラムとして格納しておき、判定したい状況での局所画像変化率ヒストグラムと比較することで3状況のうちのどれであるかを判定する。
Next, the situation determination step S140 is executed by the
図23は、本実施の形態における、状況判定部170の内部構成である。状況判定部170は、参照ヒストグラム格納部200とヒストグラム比較部210とで構成されている。参照ヒストグラム格納部200には、参照用として、予め求められた局所画像変化率ヒストグラムが、各状況において少なくとも1つ、その状況(多人数移動/少人数移動/移動経路偏り、のうちのどれか)と対応付けられて格納されている。ヒストグラム比較部210は、局所画像変化率ヒストグラム算出部160で算出された、判定したい状況での局所画像変化率ヒストグラムと、参照ヒストグラム格納部200に格納された参照用ヒストグラムのそれぞれとを比較する。そして、判定したい状況での局所画像変化率ヒストグラムがどの参照用ヒストグラムに最も類似しているかを判定し、最も類似したヒストグラムと対応づけられた状況を、状況判定の結果として出力する。ヒストグラム同士の類似度の計算方法として、(数7)のヒストグラムインターセクションや、(数8)のBhattaccharyya係数、(数9)の正規化相関、等が利用できる。
FIG. 23 shows the internal configuration of the
図4に戻り、最後に、ステップS150が図1にて図示せぬ制御部により実行される。図1にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合は、画像入力ステップS100へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合は、処理を終了する。 Returning to FIG. 4, finally, step S <b> 150 is executed by a control unit (not shown in FIG. 1). If a processing end instruction is input by the operator of the apparatus through the input unit (not shown in FIG. 1), the process returns to the image input step S100, and the frame image at the next time is processed. If no process end instruction has been input, the process ends.
なお、本実施の形態では、局所画像変化検出部120にて実行される局所画像変化検出ステップS110において、画像蓄積部110に蓄積されたフレーム画像のうち、時間間隔TS1である2個のフレーム画像間の、局所領域における変化を検出するために、動きベクトルを利用したが、他の方法でもよい。但し、動きベクトルを利用することで移動方向や速度が分かるので、より詳細な状況判定や混雑度判定が可能になる。単に変化の有無を検出するために、フレーム間差分が利用できる。図24のように、時刻tk−1および時刻tkに撮像された2フレーム間のフレーム間差分を計算すると各画素の値が輝度差(多値)で構成される画像Dk(x,y)が得られるが、局所領域iにおける輝度差の平均値dk,iが、予め定めた閾値以上か否かによって、局所領域毎の変化の有無を決定してもよい。図24において、Siは領域iを構成する画素の集合であり、NPiはその要素数である。
In the present embodiment, in the local image change detection step S110 executed by the local image
なお、図25のように、各画素の値が輝度差で構成される差分画像Dk(x,y)が得られた後、変化有/無を表す二値化を行い、二値化差分画像BDk(x,y)を得て、局所領域における変化有の画素数bd1k,iによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る(正規化する)したbd2k,iによって、局所領域毎の変化の有無を決定してもよい。 As shown in FIG. 25, after a difference image D k (x, y) in which the value of each pixel is composed of a luminance difference is obtained, binarization indicating presence / absence of change is performed, and binarization difference The image BD k (x, y) may be obtained, and whether or not there is a change for each local region may be determined based on the number of pixels bd1 k, i having a change in the local region. When the areas of the local regions are different from each other, whether or not there is a change for each local region may be determined by bd2 k, i obtained by dividing (normalizing) the number of pixels with change by the area of the local region.
また、輝度値ベースのフレーム間差分を行うと照明変化の影響を受けるため、図26のように入力画像に対して、エッジ抽出・二値化を行った画像同士の差分(画素毎のXOR処理)をして、エッジのフレーム間差分画像EDk(x,y)を得て、局所領域における変化有の画素数ed1k,iによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る(正規化する)したed2k,iによって、局所領域毎の変化の有無を決定してもよい。 Further, since the luminance value-based inter-frame difference is affected by illumination changes, the difference between the images obtained by performing edge extraction and binarization on the input image as shown in FIG. 26 (XOR processing for each pixel) ) To obtain an edge inter-frame difference image ED k (x, y), and the presence / absence of a change in each local region may be determined based on the number of pixels ed1 k, i having a change in the local region. When the area of each local region is different, whether or not there is a change for each local region may be determined by ed2 k, i obtained by dividing (normalizing) the number of pixels with change by the area of the local region.
以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在を推定可能である。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。 As described above, according to the situation determination apparatus of the present embodiment, the time change rate of the luminance value in the local region of the captured image and the histogram of the time change rate for the plurality of local regions are analyzed. It is possible to determine the movement status of In particular, since it is possible to detect that the movement route is biased by a simple process, it is possible to estimate the presence of the queue at a place where a train queue such as a station exists. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.
(実施の形態2)
本発明の実施の形態2に係る状況判定装置の構成は、上述した実施の形態1に係る状況判定装置と同じく図1で表される。よって図1の説明を省略する。但し、実施の形態1においては状況判定部170の内部構成が図23で表されていたのに対して、本実施の形態においては図27で表される。すなわち、状況判定部170は、特徴抽出部300、識別基準格納部310、識別部320で構成される。特徴抽出部300は、局所画像変化率ヒストグラム算出部160で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。識別基準格納部310には、状況判定あるいは混雑度判定のための、特徴抽出部300で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。識別部320は、特徴抽出部300で抽出された特徴量と、識別基準格納部310に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。
(Embodiment 2)
The configuration of the situation determination apparatus according to the second embodiment of the present invention is represented in FIG. 1 similarly to the situation determination apparatus according to the first embodiment described above. Therefore, the description of FIG. 1 is omitted. However, while the internal configuration of the
本実施の形態に係る状況判定方法のフローチャートは、実施の形態1と同じく図4で表される。ここで局所画像変化率ヒストグラム算出ステップS130までとステップ150での処理は、第1の実施形態と同様であるため、説明を省略する。
The flowchart of the situation determination method according to the present embodiment is represented in FIG. 4 as in the first embodiment. Here, the processing up to the local image change rate histogram calculation step S130 and the processing in
以下、状況判定ステップS140での動作を、図27のブロック図を利用して説明する。まず、特徴抽出部300は、局所画像変化率ヒストグラム算出部160で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。ここでは、局所画像変化率ヒストグラムから2次元の特徴量を抽出する。特徴量抽出方法を以下に示す。
Hereinafter, the operation in the situation determination step S140 will be described with reference to the block diagram of FIG. First, the
(1)局所画像変化率ヒストグラムにおいて、変化率が中程度(閾値TH1)以上の領域数をカウントし、この領域数RN1とする。
(2)局所画像変化率ヒストグラムにおいて、変化率が大きい(閾値TH2以上の;TH2>TH1)領域数をカウントし、この領域数をRN2とする。
(3)RN1≠0の時、(f1,f2)=(RN1/NR,RN2/RN1)を、RN1=0の時、(f1,f2)=(RN1/NR,0)を、特徴量とする。
(1) In the local image change rate histogram, the number of regions having a medium change rate (threshold value TH 1 ) or more is counted, and this number of regions is set as RN 1 .
(2) In the local image change rate histogram, the number of regions having a large change rate (threshold value TH 2 or more; TH 2 > TH 1 ) is counted, and this number of regions is defined as RN 2 .
(3) When RN 1 ≠ 0, (f 1 , f 2 ) = (RN 1 / N R , RN 2 / RN 1 ), and when RN 1 = 0, (f 1 , f 2 ) = (RN 1 / N R , 0) is a feature amount.
TH1=0.4,TH2=0.7とすると、図22における3状況(多人数移動/少人数移動/移動経路偏り)におけるRN1およびRN2の値は、それぞれ、図28における表のようになり、f1およびf2の値は、それぞれ、図29における表のようになる。 Assuming TH 1 = 0.4 and TH 2 = 0.7, the values of RN 1 and RN 2 in the three situations (multi-person movement / small-person movement / movement route bias) in FIG. The values of f 1 and f 2 are as shown in the table of FIG.
また、識別基準格納部310には、状況判定あるいは混雑度判定のための、特徴抽出部300で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。図30に3シーンの動画から予め抽出した2次元特徴量(f1,f2)の分布を示す。分布における各点は、一時刻における局所変化率ヒストグラムから抽出されたものである。すなわち、3シーンのそれぞれから、複数時刻において特徴抽出を行っていることになる。識別基準格納部310に格納する情報として、図30のような分布を用いる。
In the identification
識別部320は、特徴抽出部300で抽出された特徴量と、識別基準格納部310に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。
The
以下に状況種別を識別する方法について説明する。識別基準格納部310に図30の情報が格納されているとする。局所画像変化率ヒストグラム算出部160で算出された各ヒストグラムが図22のいずれかであり、その状況種別は未知であるとする。この時、特徴抽出部300にて抽出される特徴量は、図29で表される表のうち、いずれかの行の値の組になる。特徴抽出部300にて抽出された特徴量が、識別基準格納部310に格納された各特徴量のうち最も近い特徴点を探索し(最近傍法)、その特徴点に対応付けられた状況種別を出力することで、特徴抽出部300にて抽出された特徴量に対応するシーンの状況判定が可能となる。図31に、図29の表で表される各値と、図30で表される2次元特徴量(f1,f2)の分布との関係を示す。最近傍法を用いることで、状況判定が正しく行えることが分かる。
A method for identifying the situation type will be described below. Assume that the information of FIG. 30 is stored in the identification
なお、上記では最近傍法について説明したが、教師付けがなされた多数の訓練サンプルを用いて未知サンプルの識別を行う方法であれば他の方法でもよい。例えば、SupportVectorMachine(SVM)、判別分析法(線形判別分析、二次判別分析)、ニューラルネットワークなどを用いることができる。各手法は様々な文献にて解説されているため、説明を省略する。例えば、SVMに関しては非特許文献3を、判別分析法に関しては非特許文献4を参照されたい。
Although the nearest neighbor method has been described above, any other method may be used as long as it is a method for identifying unknown samples using a large number of training samples that are supervised. For example, Support Vector Machine (SVM), discriminant analysis (linear discriminant analysis, secondary discriminant analysis), neural network, or the like can be used. Since each method is explained in various documents, the explanation is omitted. For example, see
非特許文献3:「サポートベクターマシン入門」,Nello Cristianini 著,John Shawe‐Taylor 著,大北 剛 訳,共立出版,2005/03
非特許文献4:「多変量解析法 現代人の統計2」,柳井晴夫 他,朝倉書店,1979/01
Non-Patent Document 3: "Introduction to Support Vector Machine", Nero Christianiani, John Shawe-Taylor, Takeshi Ohkita, Kyoritsu Shuppan, 2005/03
Non-Patent Document 4: "Multivariate Analysis Method
次に、混雑度を判定する方法について説明する。まず、混雑が進んだ時の、指標RN1およびRN2,特徴量f1およびf2の変化傾向について、自由移動の(移動経路が制限されない)場合と、移動経路が偏る場合とに分けて説明を行う。 Next, a method for determining the degree of congestion will be described. First, the change tendency of the indicators RN 1 and RN 2 and the feature quantities f 1 and f 2 when the congestion progresses is divided into a case of free movement (the movement route is not limited) and a case where the movement route is biased. Give an explanation.
<自由移動の(移動経路が制限されない)場合>
図32における〔1〕から〔2〕(図では数値を○で囲んでおり、他の数値3〜6も同様である)の状態に移行するにつれて、中程度以上の局所画像変化率を持つ領域数RN1が増加するが、大きい局所画像変化率を持つ領域数RN2はあまり増加しない。これは、移動経路が制限されない状況において人数が増加すると人は様々な経路を通る(人と同じ経路を通ることが少ない)ためである。よって、特徴量f1の増加が主となり、2次元特徴量空間(f1,f2)においては、図33の〔1〕から〔2〕のように位置が変化する。
<In the case of free movement (the movement route is not limited)>
Region having a local image change rate of medium or higher as the state shifts from [1] to [2] in FIG. 32 (in the figure, the numerical values are surrounded by circles, and the other
図32における〔3〕は、人の移動経路がほぼ駅のホーム全域に広がった状態である。図32における〔2〕の状態から〔3〕の状態への移行に関しては、〔1〕から〔2〕への移行と同様に、特徴量f1の増加が主となり、2次元特徴量空間(f1,f2)においては、図33の〔2〕から〔3〕のように位置が変化する。 [3] in FIG. 32 is a state in which a person's movement route is spread almost throughout the station platform. In the transition from the state [2] to the state [3] in FIG. 32, as in the transition from [1] to [2], the feature amount f 1 is mainly increased, and the two-dimensional feature amount space ( In f 1 , f 2 ), the position changes from [2] to [3] in FIG.
図32における〔4〕の状態では、人の密度が増すため、大きい局所画像変化率を持つ領域が増加する。中程度以上の局所画像変化率を持つ領域数RN1の増加よりも、大きい局所画像変化率を持つ領域数RN2の増加の方が大きくなり、2次元特徴量空間(f1,f2)においては、図33の〔3〕から〔4〕のように位置が変化する(特徴量をプロットした点の移動の傾きが大きくなる)。 In the state of [4] in FIG. 32, since the density of people increases, the area having a large local image change rate increases. The increase in the number of regions RN 2 having a large local image change rate is larger than the increase in the number of regions RN 1 having a medium or higher local image change rate, and the two-dimensional feature space (f 1 , f 2 ). In FIG. 33, the position changes from [3] to [4] in FIG. 33 (the gradient of movement of the points on which the feature values are plotted increases).
なお、図32において〔4〕→〔3〕→〔2〕→〔1〕の順で状況推移する際は、図33の特徴量空間における特徴量の動きは〔4〕→〔3〕→〔2〕→〔1〕のように逆の経路を辿ることになる。 32, when the situation changes in the order of [4] → [3] → [2] → [1], the movement of the feature quantity in the feature quantity space of FIG. 33 is [4] → [3] → [ 2] → [1] The reverse path is followed.
<移動経路が偏る場合>
図32における〔1〕から〔2〕の状態への変化時の図33の特徴量空間におけるプロットの移動に関しては、自由移動の場合と同様である。〔2〕の状態から少しずつ人が列車待ちの行列を形成し始める。行列が形成され始めた図32の〔5〕では、人の移動経路が行列により制限されている。一度行列ができて移動経路が制限されると、中程度以上の局所画像変化率を持つ領域数RN1の増加が頭打ちになる。行列が伸びて、さらに移動経路が制限されると指標RN1は減少に転じる。もう一方の指標RN2に関しては、移動経路が限定されるため、人の流量が一定だとすると単位領域当たりの人通過の頻度が大きくなり、RN2が増加する。図33の2次元特徴量空間(f1,f2)においては〔2〕→〔5〕のように、位置が変化する。
<When the travel route is biased>
The movement of the plot in the feature amount space of FIG. 33 when changing from the state [1] to the state [2] in FIG. 32 is the same as the case of free movement. From the state of [2], people begin to form a queue waiting for trains. In [5] of FIG. 32 where the procession has started to be formed, the movement path of the person is limited by the procession. Once the matrix is formed and the movement path is restricted, the increase in the number of regions RN 1 having a medium or higher local image change rate reaches a peak. The index RN 1 starts to decrease when the queue is extended and the movement path is further restricted. For the other indicators RN 2, the movement path is limited, increase the frequency of human passage per fixed Datosuruto unit area flow of people, RN 2 is increased. In the two-dimensional feature space (f 1 , f 2 ) in FIG. 33, the position changes as [2] → [5].
図32の〔6〕では行列の人数がさらに増加し、人の移動経路がさらに制限されている。よって、中程度以上の局所画像変化率を持つ領域数RN1が減少し、局所画像変化率が大きい領域数RN2が増加している。図33の2次元特徴量空間(f1,f2)においては〔5〕→〔6〕のように、位置が変化する。 In [6] of FIG. 32, the number of people in the queue further increases, and the movement route of the person is further restricted. Therefore, the number of regions RN 1 having a medium or higher local image change rate is decreased, and the number of regions RN 2 having a large local image change rate is increased. In the two-dimensional feature space (f 1 , f 2 ) in FIG. 33, the position changes as [5] → [6].
次に、混雑度の算出方法について説明する。ここでは部分空間法を用いる例について説明する。部分空間法についての詳細は非特許文献5の第14章を参照されたい。ここでは概要のみを説明する。予め(1)〜(2)の処理を行っておく。
Next, a method for calculating the degree of congestion will be described. Here, an example using the subspace method will be described. Refer to
(1)多人数移動/少人数移動/移動経路偏りなどの状況別に複数の特徴量を抽出し、図30のような分布を求める。 (1) A plurality of feature amounts are extracted for each situation such as movement of a large number of people / movement of a small number of people / movement route deviation, and a distribution as shown in FIG. 30 is obtained.
(2)各状況の2次元分布に対してそれぞれ主成分分析を行い、第1主成分(主軸)の直線を1次元部分空間とする。3状況のそれぞれの部分空間を図34に示す。 (2) Principal component analysis is performed on the two-dimensional distribution of each situation, and a straight line of the first principal component (principal axis) is defined as a one-dimensional subspace. FIG. 34 shows the partial spaces of the three situations.
混雑度を求めたいシーンから抽出した特徴量が属する状況の決定方法、および、混雑度の算出方法を(3)にて説明する。 A method for determining a situation to which a feature amount extracted from a scene for which the degree of congestion is desired belongs and a method for calculating the degree of congestion will be described in (3).
(3)その状況が未知である特徴量が、属する部分空間を決定する。図35のように入力特徴量ベクトルfを部分空間に射影した時、最大の射影成分||Pf||を持つ部分空間を識別結果として選ぶ。ここまでは、先ほど説明した状況種別を識別する場合の他の実施例に相当する。図36のように、予め、部分空間(ここでは直線)上の位置と混雑度を表す指標とを対応付けておくことにより、特徴量ベクトルfを部分空間へ射影したベクトルの終点位置(図35の矢印POSの位置)により混雑度指標を求めることができる。混雑度指標として、図36における最も近い混雑度レベル(整数)を選んでもよいし、終点位置により補間を行い、小数での混雑度レベルを計算してもよい。 (3) The subspace to which the feature quantity whose state is unknown belongs is determined. When the input feature vector f is projected onto the subspace as shown in FIG. 35, the subspace having the maximum projected component || Pf || is selected as the identification result. Up to this point, this corresponds to another embodiment for identifying the situation type described above. As shown in FIG. 36, by previously associating a position on the partial space (here, a straight line) with an index representing the degree of congestion, the end point position of a vector obtained by projecting the feature vector f into the partial space (FIG. 35). (The position of the arrow POS), the congestion degree index can be obtained. As the congestion degree index, the closest congestion level (integer) in FIG. 36 may be selected, or interpolation may be performed based on the end point position to calculate the congestion degree level in decimal.
非特許文献5:「コンピュータビジョン 技術評論と将来展望」,松山 隆司,久野 義徳,井宮 淳 編,新技術コミュニケーションズ,1998/06 Non-Patent Document 5: “Computer Vision Technology Review and Future Prospects”, Takashi Matsuyama, Yoshinori Kuno, Satoshi Imiya, New Technology Communications, 1998/06
なお、本実施の形態では、混雑度を、部分空間に射影した位置を利用して算出したが、主成分分析ではなく重回帰分析などの他の手法を用いてもよい。重回帰分析に関しては、非特許文献4に詳細が記載されているため説明を省略する。
In the present embodiment, the degree of congestion is calculated using a position projected onto the partial space, but other methods such as multiple regression analysis may be used instead of principal component analysis. Since the details of the multiple regression analysis are described in
なお、本実施の形態では状況種別として、3状況(多人数移動/少人数移動/移動経路偏り)を定義したが、多人数移動と少人数移動を合わせた「通常移動」と「移動経路偏り」の2状況を識別するようにしてもよいし、3状況よりも多くの状況に分類してもよい。例えば、部分空間で近似を行う際の近似誤差が少なくなるように、図37のように4状況に分類してもよい。 In the present embodiment, three situations (multi-person movement / small-person movement / movement path bias) are defined as the situation types, but “normal movement” and “movement-path bias” are a combination of multi-person movement and small-person movement. 2 situations may be identified, or more situations than the 3 situations may be classified. For example, the situation may be classified into four situations as shown in FIG. 37 so that the approximation error when performing the approximation in the partial space is reduced.
以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定し、加えて、混雑度レベルを算出することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。 As described above, according to the situation determination apparatus of the present embodiment, the time change rate of the luminance value in the local region of the captured image and the histogram of the time change rate for the plurality of local regions are analyzed. In addition, it is possible to determine the movement status of the vehicle and to calculate the congestion level. In particular, since it is possible to detect that the travel route is biased with simple processing, it is possible to estimate the presence of the queue and the level of congestion in a place where there is a train queue such as a station. is there. Of course, the situation and the degree of congestion can also be estimated in a situation where there is no bias in the movement route. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.
(実施の形態3)
図38は、本発明の実施の形態3に係る異常判定装置の概略構成を示すブロック図である。図38において、本実施の形態の異常判定装置は、状況判定装置500と、列車到着検知部510と、異常判定部520と、通報部530とを備えて構成されている。前述した実施の形態1と同様に、この異常判定装置は図2の鉄道駅のプラットホームに設置される。
(Embodiment 3)
FIG. 38 is a block diagram showing a schematic configuration of the abnormality determination device according to
状況判定装置500は、図1のブロック図で表されるものであり、異常判定部520へ判定した状況種別または混雑度を送信する。状況判定装置500の動作など詳細は実施の形態1、または、実施の形態2にて説明したとおりである。判定する状況種別として、少なくとも、人の移動経路が偏っている状況を含むものとする。
The
列車到着検知部510は、列車のプラットホームへの到着を検知する手段である。画像認識によるもの、画像以外のセンサによるもの、列車運行データを利用するもの等、列車の到着を検知できればどのような方式であってもよい。画像認識を利用する場合、列車の色・形状などの見え情報を予め登録しておき、登録したテンプレートとマッチングすることにより列車の到着を判定すればよい。実施の形態1で説明した動きベクトルを利用することもできる。向きおよび強度が類似した動きベクトルが画像における予め指定した領域(線路付近)にて複数出現すれば、剛体の移動を検出したということで、列車が到着したと判定してもよい。画像以外のセンサとしては、例えば線路の下に荷重センサを設け、荷重値により列車到着を判定することができる。また、レーザ発光器と受光器を利用し、レーザ光の列車からの反射光を検知したり、列車により発光器からの光が遮断されることを検知して、列車到着を判定することができる。列車運行データを利用する例としては、列車あるいは運転指令所からの通信を受信することにより列車到着を知ることができる。
The train
異常判定部520は、状況判定装置500からの状況判定あるいは混雑度判定の結果と、列車到着検知部510からの列車到着情報の両者から異常を判定する。処理の詳細については後ほど説明する。通報部530は、異常判定部520で異常と判定された場合、予め定められた連絡先に通報を行う。
The
以下、本実施の形態の異常判定装置の動作について、図39のフローチャートを利用して説明する。画像入力ステップS100から状況判定ステップS140までが、状況判定装置500により実行される。状況判定装置500の構成は図1で表され、ステップS100からステップS140までの各処理が実行される手段および各処理の動作など詳細は実施の形態1、または、実施の形態2にて説明した通りであるため説明を省略する。ここで、状況判定装置500が出力する混雑度指標および状況判定結果の通常時の時系列変化について、図40を用いて説明する。図40は、実施の形態2で説明した状況判定装置が出力する混雑度および状況判定結果を時系列で表した模式図である。
Hereinafter, the operation of the abnormality determination device of the present embodiment will be described using the flowchart of FIG. The
<混雑度指標>
横軸は時刻を表しており、時刻t3およびt6にて列車が到着している。時刻t1では前の列車が到着した直後のためホームには人が存在せず混雑度は0である。時刻t3の列車到着まで、列車に乗るための人々がホームに流入するため混雑度は漸増し、列車が到着した時刻t3にて、列車待ちの人が列車に乗り込むと共に、列車から乗客がホームに下りて図2における階段STへ向かう。乗客が全て階段STに移動した時刻t4では混雑度が再び0に戻る。その後は、時刻t1からt4までの繰り返しである。
<Congestion index>
The horizontal axis represents the time, the train has arrived at time t 3 and t 6. It is the home for immediately after the time t 1 in which the front of the train arrived in the degree of congestion there is no person who is 0. Until the arrival of the train at time t 3, the crowds gradually increase because the people to get on the train flow into the platform. At time t 3 when the train arrives, people waiting for the train enter the train and passengers from the train Go down to the home and head towards the staircase ST in FIG. Passengers the time t the degree of congestion in 4 has moved to the all stairs ST back to zero again. After that, a repeat of from time t 1 to t 4.
<状況判定結果>
時刻t1からt2までは、列車待ちの行列がホームに存在しないため、状況判定結果として「状況1:少人数移動」と判定されている。時刻t2から列車待ち行列がホームに発生し始め、状況判定結果として「状況2:移動経路偏り」と判定される。時刻t3に列車が到着すると、乗客が一度に図2における階段STへ向かうため、状況判定結果として「状況3:多人数移動」と判定される。
<Situation judgment result>
From time t 1 to t 2, since there is no train waiting queue at the platform, it is determined as “situation 1: small number of people moving” as the situation determination result. Began to occur from time t 2 train queue in the home, status determination as a result: it is determined that the "
次に、列車到着検知ステップS200が、列車到着検知部510により実行される。ここでの処理は、列車到着検知部510の動作説明時に説明した通りである。
Next, the train arrival detection step S200 is executed by the train
次に、ステップS210が、図38では図示せぬ制御部により実行される。現在時刻にて列車到着情報が存在していれば(YESの場合)異常判定ステップS220に進み、列車到着情報が存在していなければ(NOの場合)ステップS150へ進む。 Next, step S210 is executed by a control unit (not shown in FIG. 38). If train arrival information exists at the current time (in the case of YES), the process proceeds to an abnormality determination step S220, and if train arrival information does not exist (in the case of NO), the process proceeds to step S150.
次に、異常判定ステップS220が、異常判定部520により実行される。本ステップの処理は次のように行われる。列車が到着してから混雑度が再び0に戻るまでの時間(例えば時刻t3からt4の間隔)を予め計測し、その値を基に閾値DTを決定しておく。列車到着検知部510が列車到着を検知した時刻から時間DTが経過した時に、混雑度指標が予め定めた閾値を下回らない、もしくは、状況判定結果が「状況1:少人数移動」にならない場合は、異常と判定する。
Next, the abnormality determination step S220 is executed by the
異常となる例として、到着した列車が満員のためホームにいた待ち客の全員が列車に乗り込めず、一部の人がホームに残ってしまう場合や、階段STにて混雑が生じ、時間DTが経過しても、列車から下りた人が階段STに移動できない場合がある。なお、混雑が解消する時間は、列車待ち行列の人数、および、列車から降りる人の人数に影響を受けるため、閾値DTとして、時間帯、曜日によりそれぞれ適切な値を設定することが望ましい。 As an example of an abnormal situation, when all of the waiting customers who were at the platform cannot get on the train because the train arrived is full, some people remain at the platform, or congestion occurs at the stairs ST, and the time DT is Even if it passes, the person who got off the train may not be able to move to the stairs ST. It should be noted that since the time for clearing the congestion is affected by the number of people in the train queue and the number of people getting off the train, it is desirable to set appropriate values for the time zone and the day of the week as the threshold DT.
次に、ステップS230が、図38では図示せぬ制御部により実行される。異常判定ステップで異常と判定されていれば(YESの場合)通報ステップS240に進み、そうでなければ(NOの場合)ステップS150へ進む。通報ステップS240は、通報部530により実行される。ここでの処理は、通報部530の動作説明時に説明した通りである。最後に、ステップS150が図38にて図示せぬ制御部により実行される。図38にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合(YESの場合)は画像入力ステップS100へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合(NOの場合)は処理を終了する。
Next, step S230 is executed by a control unit (not shown in FIG. 38). If it is determined that there is an abnormality in the abnormality determination step (in the case of YES), the process proceeds to notification step S240; otherwise (in the case of NO), the process proceeds to step S150. The reporting step S240 is executed by the
以上のように、本実施の形態の異常判定装置によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定可能である。 As described above, according to the abnormality determination device of the present embodiment, it is possible to determine an abnormal congestion state different from normal using the situation type or the degree of congestion obtained by the situation determination device.
本発明に係る状況判定装置、状況判定方法、状況判定プログラムは、人の移動に係る状況種別を判定し、あるいは、人の混雑度を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図ることのできる装置、方法、および、プログラムを提供できる。また、本発明に係る異常判定装置、異常判定方法、異常判定プログラムは、人の移動に係る異常な混雑状況を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図り、異常混雑に伴う事故を未然防止するために異常を早期検出できる、装置、方法、および、プログラムを提供できる。 The situation determination device, the situation determination method, and the situation determination program according to the present invention determine a situation type related to the movement of a person, or determine the degree of congestion of a person, and a public in which a plurality of people such as stations and airports move It is possible to provide an apparatus, a method, and a program capable of saving labor and increasing efficiency in image monitoring in a space. Further, the abnormality determination device, the abnormality determination method, and the abnormality determination program according to the present invention determine an abnormal congestion situation related to the movement of a person and perform image monitoring in a public space where a plurality of people move such as a station / airport. It is possible to provide an apparatus, a method, and a program that can detect an abnormality early in order to save labor and improve efficiency and prevent an accident associated with abnormal congestion.
100 画像入力部
110 画像蓄積部
120 局所画像変化検出部
130 局所画像変化情報蓄積部
140 局所画像変化率算出部
150 局所画像変化率蓄積部
160 局所画像変化率ヒストグラム算出部
170 状況判定部
200 参照ヒストグラム格納部
210 ヒストグラム比較部
300 特徴抽出部
310 識別基準格納部
320 識別部
500 状況判定装置
510 列車到着検知部
520 異常判定部
530 通報部
PH 駅のプラットホーム
WL プラットホームの側壁
ST プラットホームへの人の出入りのための階段
RL 線路
CM カメラ
SD 状況判定装置
AR1〜AR3 人の移動経路を表す矢印
WP 列車を待つ人
MP 移動する人
DESCRIPTION OF
Claims (11)
前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出手段と、
前記局所画像変化率算出手段で算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定手段と、
を備えた状況判定装置。 A situation determination device that determines a movement situation and / or a congestion degree of a person by analyzing a captured moving image ,
Wherein dividing the moving image into a plurality of local regions, and local image change ratio calculating means for calculating the local image change ratio of each of the local region,
A histogram representing the frequency distribution of the local image change rate for each of the local regions calculated by the local image change rate calculating means is calculated, and the calculated histogram and the reference histogram obtained in advance are compared to determine the movement situation of the person And / or situation determination means for determining the degree of congestion of people,
Situation judgment device with
前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、
前記第1の時間間隔より長い第2の時間間隔を前記第1の時間間隔で分割した個数と、前記動き有りと判定された前記第1の時間間隔の個数との割合として前記局所画像変化率を算出する請求項1に記載の状況判定装置。 The local image change ratio calculating means for each local region, obtains a representative motion vector obtained from the captured images at a first time interval of the moving image,
Comparing the magnitude of the representative motion vector with a predetermined threshold to determine the presence or absence of motion in the local region;
The local image change rate as a ratio between the number of times obtained by dividing the second time interval longer than the first time interval by the first time interval and the number of the first time intervals determined as having motion. The situation determination apparatus according to claim 1, which calculates
前記算出したヒストグラムと前記参照ヒストグラムとを比較するヒストグラム比較手段とで構成される請求項1または請求項2に記載の状況判定装置。 The situation determination means includes a reference histogram storage means for holding a reference histogram obtained in advance ,
Situation determining apparatus according to claim 1 or claim 2 Ru is composed of a histogram comparing means for comparing the reference histogram and histograms the calculated.
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定する請求項2に記載の状況判定装置。 As the movement situation, it is determined as a situation of movement of many people, movement of a small number of people or movement route bias,
When the number of areas determined to have movement in the local area is large, and the local image change rate in the calculated histogram is medium or large, it is determined as multi-person movement,
When the number of areas determined to have motion in the local area is large, and the local image change rate in the calculated histogram is determined to be a small number of people when the medium or large frequency is small,
3. The movement path bias is determined when the number of areas determined to have motion in the local area is small and the local image change rate in the calculated histogram is large at a medium or large frequency . Situation judgment device.
請求項4に記載の状況判定装置と、
前記プラットホームへの列車の到着を検知する列車到着検知手段と、
前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路偏りと判定されている場合に異常と判定する異常判定手段と、
を備えた異常判定装置。 An abnormality determination device that determines an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station,
A situation determination device according to claim 4 ;
Train arrival detection means for detecting the arrival of the train to the platform;
Determined Ri said status determination result as human movement path polarized by using the train arrival information after a predetermined time has passed after the train arrives information is obtained by the state determination result to the train arrival detecting means according to the status determining device An abnormality determining means for determining an abnormality when being performed;
An abnormality determination device comprising:
前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、
を備えた状況判定方法。 A situation determination method for determining a movement situation and / or a degree of congestion of a person by analyzing a captured moving image ,
The moving image is divided into a plurality of local regions, and local image change ratio calculating step of calculating a local image change ratio of each of the local region,
A histogram representing the frequency distribution of the local image change rate for each local area calculated in the local image change rate calculating step is calculated, and the calculated histogram and a reference histogram obtained in advance are compared to determine the movement situation of the person And / or a situation determination step for determining the degree of congestion of the person;
Situation judgment method with
前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、Comparing the magnitude of the representative motion vector with a predetermined threshold to determine the presence or absence of motion in the local region;
前記第1の時間間隔より長い第2の時間間隔を前記第1の時間間隔で分割した個数と、前記動き有りと判定された前記第1の時間間隔の個数との割合として前記局所画像変化率を算出する請求項7に記載の状況判定方法。The local image change rate as a ratio between the number of times obtained by dividing the second time interval longer than the first time interval by the first time interval and the number of the first time intervals determined as having motion. The situation determination method according to claim 7, which calculates
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、When the number of areas determined to have movement in the local area is large, and the local image change rate in the calculated histogram is medium or large, it is determined as multi-person movement,
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、When the number of areas determined to have motion in the local area is large, and the local image change rate in the calculated histogram is determined to be a small number of people when the medium or large frequency is small,
前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定するWhen the number of areas determined to have motion in the local area is small and the local image change rate in the calculated histogram is medium or large, the path is determined to be biased.
請求項7に記載の状況判定方法。The situation determination method according to claim 7.
請求項9に記載の状況判定方法を実行する状況判定ステップと、
前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路偏りと判定されている場合、異常と判定する異常判定ステップと、
を備えた異常判定方法。 An abnormality determination method for determining an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station,
A situation determination step for executing the situation determination method according to claim 9;
A train arrival detection step for detecting the arrival of the train to the platform;
Determining a moving route deviation of human as the status determination result after a predetermined period of time after the obtained the train arrival information by using a train arrival information by the train arrival detecting means and status determination result by the situation determining unit An abnormality determination step for determining an abnormality,
An abnormality determination method comprising:
前記動画像を複数の局所領域に分割し、前記局所領域毎の局所画像変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、
を備えた状況判定プログラム。 A situation determination program for causing a computer to determine a movement situation and / or a degree of congestion of a person by analyzing a captured moving image ,
The moving image is divided into a plurality of local regions, and local image change ratio calculating step of calculating a local image change ratio of each of the local region,
A histogram representing the frequency distribution of the local image change rate for each local area calculated in the local image change rate calculating step is calculated, and the calculated histogram and a reference histogram obtained in advance are compared to determine the movement situation of the person And / or a situation determination step for determining the degree of congestion of the person;
Situation determination program with
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007278625A JP4624396B2 (en) | 2007-10-26 | 2007-10-26 | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program |
CN2012100617661A CN102582664A (en) | 2007-10-26 | 2008-10-20 | Congestion estimating apparatus |
PCT/JP2008/002970 WO2009054119A1 (en) | 2007-10-26 | 2008-10-20 | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method, abnormality judging program, and congestion estimating device |
CN2008800183147A CN101681555B (en) | 2007-10-26 | 2008-10-20 | Situation judging device, situation judging method, abnormality judging device, and abnormality judging method |
US12/601,950 US8472715B2 (en) | 2007-10-26 | 2008-10-20 | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
US13/826,162 US8655078B2 (en) | 2007-10-26 | 2013-03-14 | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007278625A JP4624396B2 (en) | 2007-10-26 | 2007-10-26 | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009110054A JP2009110054A (en) | 2009-05-21 |
JP4624396B2 true JP4624396B2 (en) | 2011-02-02 |
Family
ID=40778519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007278625A Expired - Fee Related JP4624396B2 (en) | 2007-10-26 | 2007-10-26 | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4624396B2 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5070376B2 (en) * | 2009-06-01 | 2012-11-14 | 中央電子株式会社 | Congestion state detection apparatus, method, and program |
JP5540400B2 (en) * | 2010-06-21 | 2014-07-02 | 株式会社日立国際電気 | Object detection device |
CN102136195B (en) * | 2011-03-28 | 2013-05-01 | 长安大学 | Method for detecting road traffic condition based on image texture |
JP5810296B2 (en) | 2011-06-07 | 2015-11-11 | パナソニックIpマネジメント株式会社 | Image display device and image display method |
JP5776001B2 (en) * | 2011-07-22 | 2015-09-09 | パナソニックIpマネジメント株式会社 | Information display device and information display method |
JP5935617B2 (en) * | 2012-09-14 | 2016-06-15 | オムロン株式会社 | Image processing apparatus, moving body state determination method, and moving body state determination program |
JP6969871B2 (en) | 2015-01-14 | 2021-11-24 | 日本電気株式会社 | Movement status estimation device, movement status estimation method and program |
JP6474919B2 (en) * | 2016-01-12 | 2019-02-27 | 株式会社日立国際電気 | Congestion status monitoring system and congestion status monitoring method |
JP6674791B2 (en) | 2016-02-17 | 2020-04-01 | 株式会社Screenホールディングス | Congestion degree estimation method, number of persons estimation method, congestion degree estimation program, number of persons estimation program, and number of persons estimation system |
JP7009250B2 (en) * | 2017-05-12 | 2022-02-10 | キヤノン株式会社 | Information processing equipment, information processing system, information processing method and program |
US11314968B2 (en) | 2017-09-12 | 2022-04-26 | Nec Corporation | Information processing apparatus, control method, and program |
KR102526113B1 (en) * | 2018-05-31 | 2023-04-26 | 삼성에스디에스 주식회사 | Apparatus and method for visualizing congestion degree |
JP7166106B2 (en) * | 2018-08-31 | 2022-11-07 | 三菱電機ビルソリューションズ株式会社 | Installation environment estimation device and program |
JP7237499B2 (en) * | 2018-09-19 | 2023-03-13 | 株式会社東芝 | Image sensor, sensing method, control system and program |
JP6632757B1 (en) * | 2019-06-24 | 2020-01-22 | いであ株式会社 | Environmental abnormality detection device |
JP7295181B2 (en) * | 2021-09-08 | 2023-06-20 | ソフトバンク株式会社 | Determination device, program, and determination method |
JP2023179858A (en) * | 2022-06-08 | 2023-12-20 | 株式会社日立製作所 | Intra-train abnormality detection system and method therefor |
JP7407990B1 (en) | 2023-02-14 | 2024-01-04 | 弦太朗 中田 | Train delay detection and provision system using cameras |
JP2024137174A (en) * | 2023-03-24 | 2024-10-07 | パナソニックIpマネジメント株式会社 | Congestion determination system, congestion determination device, congestion determination method and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000016300A (en) * | 1998-07-03 | 2000-01-18 | Honda Motor Co Ltd | Vibration damping device for steering wheel |
JP2002008042A (en) * | 2000-06-19 | 2002-01-11 | Hitachi Ltd | Action recognizing and processing device, and moving object action analyzing system |
JP2004102380A (en) * | 2002-09-05 | 2004-04-02 | Meidensha Corp | Congestion degree investigation device |
WO2005039181A1 (en) * | 2003-10-21 | 2005-04-28 | Matsushita Electric Industrial Co., Ltd. | Monitoring device |
JP2006099241A (en) * | 2004-09-28 | 2006-04-13 | Ntt Data Corp | Abnormality detection apparatus, abnormality detection method and abnormality detection program |
JP2007028680A (en) * | 2003-10-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | Monitoring device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07296166A (en) * | 1994-04-22 | 1995-11-10 | Matsushita Electric Works Ltd | Congestion degree detector |
-
2007
- 2007-10-26 JP JP2007278625A patent/JP4624396B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000016300A (en) * | 1998-07-03 | 2000-01-18 | Honda Motor Co Ltd | Vibration damping device for steering wheel |
JP2002008042A (en) * | 2000-06-19 | 2002-01-11 | Hitachi Ltd | Action recognizing and processing device, and moving object action analyzing system |
JP2004102380A (en) * | 2002-09-05 | 2004-04-02 | Meidensha Corp | Congestion degree investigation device |
WO2005039181A1 (en) * | 2003-10-21 | 2005-04-28 | Matsushita Electric Industrial Co., Ltd. | Monitoring device |
JP2007028680A (en) * | 2003-10-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | Monitoring device |
JP2006099241A (en) * | 2004-09-28 | 2006-04-13 | Ntt Data Corp | Abnormality detection apparatus, abnormality detection method and abnormality detection program |
Also Published As
Publication number | Publication date |
---|---|
JP2009110054A (en) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4624396B2 (en) | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program | |
US8655078B2 (en) | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus | |
CN111144247B (en) | Escalator passenger reverse detection method based on deep learning | |
JP6458734B2 (en) | Passenger number measuring device, passenger number measuring method, and passenger number measuring program | |
US9183432B2 (en) | People counting device and people trajectory analysis device | |
US10943131B2 (en) | Image based lane marking classification | |
CN105139425B (en) | A kind of demographic method and device | |
Bas et al. | Automatic vehicle counting from video for traffic flow analysis | |
US20120020518A1 (en) | Person tracking device and person tracking program | |
US9940633B2 (en) | System and method for video-based detection of drive-arounds in a retail setting | |
US20110176000A1 (en) | System and Method for Counting People | |
EP2093699A1 (en) | Movable object status determination | |
US8339454B1 (en) | Vision-based car counting for multi-story carparks | |
CN101477641A (en) | Demographic method and system based on video monitoring | |
CN111046832B (en) | Retrograde judgment method, device, equipment and storage medium based on image recognition | |
JPH11282999A (en) | Instrument for measuring mobile object | |
KR101472674B1 (en) | Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images | |
Ryan et al. | Crowd counting using group tracking and local features | |
JP5165540B2 (en) | Height detection system and automatic ticket gate using the same | |
JP2021080106A (en) | Boarding detection system and boarding detection method | |
JP5110246B2 (en) | Fall detection device, program, fall detection method, and fall detection system | |
KR102287683B1 (en) | Passenger counting apparatus using computer vision and passenger monitoring system thereof | |
JP6922951B2 (en) | Image processing device and image processing method | |
KR20090083184A (en) | Method for dectecting front and rear vehicle by using image | |
CN109726750A (en) | A kind of passenger falls down detection device and its detection method and passenger conveying appliance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |