[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4624396B2 - Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program - Google Patents

Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program Download PDF

Info

Publication number
JP4624396B2
JP4624396B2 JP2007278625A JP2007278625A JP4624396B2 JP 4624396 B2 JP4624396 B2 JP 4624396B2 JP 2007278625 A JP2007278625 A JP 2007278625A JP 2007278625 A JP2007278625 A JP 2007278625A JP 4624396 B2 JP4624396 B2 JP 4624396B2
Authority
JP
Japan
Prior art keywords
situation
local
movement
image change
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007278625A
Other languages
Japanese (ja)
Other versions
JP2009110054A (en
Inventor
澄男 横光
堅司 近藤
昭一 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007278625A priority Critical patent/JP4624396B2/en
Priority to CN2012100617661A priority patent/CN102582664A/en
Priority to PCT/JP2008/002970 priority patent/WO2009054119A1/en
Priority to CN2008800183147A priority patent/CN101681555B/en
Priority to US12/601,950 priority patent/US8472715B2/en
Publication of JP2009110054A publication Critical patent/JP2009110054A/en
Application granted granted Critical
Publication of JP4624396B2 publication Critical patent/JP4624396B2/en
Priority to US13/826,162 priority patent/US8655078B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、駅・空港などの複数の人が移動する公共空間において、撮像した画像を解析して人の混雑度または移動状況を検出する状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムに関する。   The present invention relates to a situation determination apparatus, a situation determination method, a situation determination program, and an abnormality determination that analyze a captured image to detect a degree of congestion or movement of a person in a public space where a plurality of persons move, such as a station / airport. The present invention relates to an apparatus, an abnormality determination method, and an abnormality determination program.

近年、安全安心への要望の高まりから、駅・空港などの公共空間、重要施設などへの監視カメラの設置が進んでいる。従来は監視カメラを監視員が常時モニタリングしていたが、監視カメラ数の増加、監視員の疲労による見落とし防止などの観点から、画像認識することにより監視の省力化・効率化を図るような取組みが行われている。   In recent years, with the increasing demand for safety and security, surveillance cameras are being installed in public spaces such as stations and airports and important facilities. In the past, surveillance cameras were constantly monitoring surveillance cameras, but from the viewpoint of increasing the number of surveillance cameras and preventing oversight due to fatigue of the surveillance staff, efforts to reduce labor and increase the efficiency of surveillance by recognizing images Has been done.

監視場所において人の計数を行う技術として、特許文献1、特許文献2が提案されている。特許文献1は、背景差分により前景を抽出し、人物の通路に直交する監視エリアを横切る人数を計数するものである。監視エリアを複数用意し監視エリア間の計数値のばらつきを利用することで、外乱に対して頑健な計数を実現している。   Patent Documents 1 and 2 have been proposed as techniques for counting people at a monitoring location. Patent Document 1 extracts a foreground based on a background difference and counts the number of people crossing a monitoring area orthogonal to a person's passage. By preparing a plurality of monitoring areas and using the dispersion of the count values between the monitoring areas, a robust count against disturbance is realized.

特許文献2は、通路の上方に光軸を鉛直下向きに設置したカメラを用い、計数のために画像上に設けた境界線における動きベクトルを抽出し、動きベクトルの境界線に対する垂直成分を積分することにより通路を通過する人数を計数するものである。   Patent Document 2 uses a camera in which the optical axis is installed vertically downward above a passage, extracts a motion vector at a boundary line provided on an image for counting, and integrates a vertical component of the motion vector with respect to the boundary line. Thus, the number of people passing through the passage is counted.

一方、各人を計数するのではなく、画像から人数に対応する特徴を抽出し混雑度を求める技術として特許文献3が提案されている。特許文献3は、「通行人の人数が多いならば、異なる時刻に撮像した画像間における変化回数が増加する」という前提のもとに、画素毎あるいは局所領域毎に一定時間内の変化回数を求め、この変化回数を基に混雑度を求めるものである。   On the other hand, Patent Document 3 has been proposed as a technique for extracting a feature corresponding to the number of people from an image and calculating the degree of congestion instead of counting each person. Patent Document 3 describes the number of changes within a certain time for each pixel or each local region on the premise that “if the number of passersby is large, the number of changes between images taken at different times increases”. The degree of congestion is obtained based on the number of changes.

特開2002−074371号公報Japanese Patent Laid-Open No. 2002-074371 特開2005―135339号公報Japanese Patent Laid-Open No. 2005-135339 特開2004―102380号公報JP 2004-102380 A

しかしながら、上述した従来技術においては、以下に述べる問題がある。すなわち、特許文献1では、背景差分を利用しているため照明変化の大きい場所への適用が難しく、また混雑時には一人一人を計数することが難しくなる。特許文献2も同様に、混雑時には一人一人を計数することが難しい。特許文献3は、人が移動していることを前提としているため、動いている人と立ち止まっている人が混在する状況での混雑度の算出が難しい。   However, the above-described prior art has the following problems. That is, in Patent Document 1, since the background difference is used, it is difficult to apply to a place where the illumination change is large, and it is difficult to count each person at the time of congestion. Similarly, in Patent Document 2, it is difficult to count each person at the time of congestion. Since Patent Document 3 is based on the premise that a person is moving, it is difficult to calculate the degree of congestion in a situation where a moving person and a stationary person are mixed.

本発明は、かかる事情に鑑みてなされたものであり、監視場所の状況の判定および混雑度の判定を容易に行うことができる状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and a situation determination apparatus, a situation determination method, a situation determination program, an abnormality determination apparatus, an abnormality that can easily determine the situation of a monitoring place and the degree of congestion An object is to provide a determination method and an abnormality determination program.

前記目的を達成するため、本発明の状況判定装置は、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定する状況判定装置であって、前記動画像を複数の局所領域に分割し、前記局所領域毎局所画像変化率を算出する局所画像変化率算出手段と、前記局所画像変化率算出手段で算出された前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定手段と、を備えた。 To achieve the above object, the apparatus for judging the condition of the present invention is an apparatus for judging the condition determining the movement status and / or degree of congestion of people by analyzing the moving image captured, the moving image a plurality of divided into local regions, calculates a local image change ratio calculating means for calculating a histogram representing a frequency distribution of the local image change ratio calculated in the local image change ratio calculating means for local image change ratio of each of the local region And a situation determination unit that compares the calculated histogram with a reference histogram obtained in advance to determine a person's movement situation and / or a person's congestion level.

この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。   According to this configuration, the local change rate in the captured image is obtained for a plurality of local regions, the histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.

また、本発明の状況判定装置は、前記局所領域毎の局所画像変化率算出手段は、前記動画像の第1の時間間隔を隔てて撮像された画から得られる代表動きベクトルを求め、前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、前記第1の時間間隔より長い第2の時間間隔を前記第1の時間間隔で分割した個数と、前記動き有りと判定された前記第1の時間間隔の個数との割合として前記局所画像変化率を算出するFurther, the apparatus for judging the condition of the present invention, local image change ratio calculating means for each of the local regions, obtains the representative motion vector obtained from the captured images at a first time interval of the moving image, the The size of the representative motion vector is compared with a predetermined threshold value to determine the presence or absence of movement of the local region, and the number of second time intervals longer than the first time interval divided by the first time interval Then, the local image change rate is calculated as a ratio to the number of the first time intervals determined as having the motion .

この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。   According to this configuration, the local change rate in the captured image is obtained for a plurality of local regions, the histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.

また、上記構成において、前記状況判定手段は、予め求めた参照ヒストグラムを保持する参照ヒストグラム格納手段と、前記算出したヒストグラムと前記参照ヒストグラムとを比較するヒストグラム比較手段とで構成された。 In the above configuration, the situation determination unit includes a reference histogram storage unit that holds a previously obtained reference histogram, and a histogram comparison unit that compares the calculated histogram with the reference histogram .

また、上記構成において、前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定するFurther, in the above configuration, the movement situation is determined as a movement of a large number of people, a movement of a small number of people, or a movement path bias, and the number of areas determined to have movement in the local area is large. When the local image change rate is medium or large, it is determined that the movement is a large number of people, and the number of regions determined to be moving is large in the local region, and the local image is determined in the calculated histogram. When the rate of change is medium or large, it is determined that the movement is a small number of people, and the number of regions determined to be moving is small in the local region, and the local image change rate is medium or low in the calculated histogram. When the large frequency is large, it is determined that the movement path is biased .

この構成によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。   According to this configuration, since it is possible to detect that the moving route is biased with a simple process, the presence of the queue and the congestion level in a place where there is a train queue such as a station, for example. Can be estimated. Of course, the situation and the degree of congestion can also be estimated in a situation where there is no bias in the travel route. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.

また、本発明の異常判定装置は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、上記状況判定装置と、前記プラットホームへの列車の到着を検知する列車到着検知手段と、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合に異常と判定する異常判定手段と、を備えた。   The abnormality determination device of the present invention is an abnormality determination device that determines an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station. Train arrival information is obtained using a device, train arrival detection means for detecting arrival of a train to the platform, situation determination result by the situation determination device and train arrival information by the train arrival detection means And an abnormality determination unit that determines that an abnormality occurs when it is determined that a person's movement route is biased as a result of the situation determination after a predetermined time later.

この構成によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。   According to this configuration, it is possible to determine an abnormal congestion state that is different from normal using the situation type or the degree of congestion obtained by the situation determination device.

また、上記構成において、前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた。   Moreover, the said structure WHEREIN: When the said abnormality determination means determined with abnormality, the notification means which notifies to the contact address defined beforehand was further provided.

この構成によれば、監視者に対する補助情報の提供や、所定の連絡先への速やかな通報を行うことが可能となる。   According to this configuration, it is possible to provide auxiliary information to the monitor and to promptly notify a predetermined contact address.

また、本発明の状況判定方法は、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定する状況判定方法であって、前記動画像を複数の局所領域に分割し、前記局所領域毎局所画像変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、を備えた。 Also, status determination method of the present invention is a situation determining method of determining a movement status and / or degree of congestion of people by analyzing the moving image captured divides the moving image into a plurality of local regions , calculates the local image change ratio calculating step of calculating a local image change ratio of each of the local region, a histogram representing a frequency distribution of the local image change ratio of the local each area calculated by the local image change ratio calculating step And a situation determination step of comparing the calculated histogram with a reference histogram obtained in advance to determine a person's movement situation and / or a person's congestion level.

この方法によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。   According to this method, a local change rate in a captured image is obtained for a plurality of local regions, a histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.

また、上記状況判定方法において、前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき多人数移動と判定し、前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定するFurther, in the situation determination method, the movement situation is determined as a movement of a large number of people, a movement of a small number of people, or a movement path bias, and the number of areas determined to have movement in the local area is large, and the calculation is performed. When the local image change rate in the histogram is large or large, it is determined that there is a large number of people moving, and the number of regions determined to have movement in the local region is large. When the local image change rate is medium or large, when the frequency is small, it is determined that the movement is a large number of people, the number of regions determined to be moving is small in the local region, and the local image change rate is determined in the calculated histogram. When the medium or large frequency is large, it is determined that the movement is large .

この方法によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。   According to this method, it is possible to detect that the moving route is biased by a simple process. For example, in a place where there is a train queue such as a station, the presence of the queue and its congestion level Can be estimated. Of course, the situation and the degree of congestion can also be estimated in a situation where there is no bias in the travel route. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.

また、本発明の異常判定方法は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、上記状況判定方法を実行する状況判定ステップと、前記プラットホームへの列車の到着を検知する列車到着検知ステップと、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して、前記列車到着情報が得られた後の所定時間経過後に、前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、を備えた。   The abnormality determination method of the present invention is an abnormality determination method for determining an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station. Using the situation determination step for executing the method, the train arrival detection step for detecting the arrival of the train to the platform, the situation determination result by the situation determination device and the train arrival information by the train arrival detection means, And a failure determination step of determining an abnormality when it is determined that the movement route of the person is biased as a result of the situation determination after a lapse of a predetermined time after the train arrival information is obtained.

この方法によれば、状況判定方法により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。   According to this method, it is possible to determine an unusually crowded state different from normal using the situation type or the degree of congestion obtained by the situation judging method.

また、本発明の状況判定プログラムは、コンピュータに、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定させるための状況判定プログラムであって、前記動画像を複数の局所領域に分割し、前記局所領域毎局所画像変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、を備えた。 Moreover, the situation determining program of the present invention, a computer, a situation determining program for determining the movement status and / or degree of congestion of people by analyzing the moving image captured, the moving image a plurality of divided into local regions, the frequency distribution of the local and the local image change ratio calculating step of calculating a local image change ratio for each region, the local image change ratio of the local each area calculated by the local image change ratio calculating step And a situation determination step of comparing the calculated histogram with a previously obtained reference histogram to determine a person's movement situation and / or a person's congestion level.

このプログラムによれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性(例えば、動きの偏り、等)が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。   According to this program, the local change rate in a captured image is obtained for a plurality of local regions, a histogram for the plurality of regions of the local change rate is obtained, and this histogram is analyzed. Spatial characteristics (for example, motion bias, etc.) with a corresponding rate of change can be detected, and it is possible to determine the general situation of the monitoring place and the degree of congestion.

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.

(実施の形態1)
図1は、本発明の実施の形態1に係る状況判定装置の概略構成を示すブロック図である。図1において、本実施の形態の状況判定装置は、画像入力部100と、画像蓄積部110と、局所画像変化検出部120と、局所画像変化情報蓄積部130と、局所画像変化率算出部140と、局所画像変化率蓄積部150と、局所画像変化率ヒストグラム算出部160と、状況判定部170とを備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a situation determination apparatus according to Embodiment 1 of the present invention. In FIG. 1, the situation determination apparatus according to the present embodiment includes an image input unit 100, an image storage unit 110, a local image change detection unit 120, a local image change information storage unit 130, and a local image change rate calculation unit 140. A local image change rate accumulation unit 150, a local image change rate histogram calculation unit 160, and a situation determination unit 170.

図2は、図1の状況判定装置を、鉄道駅のプラットホームに設置した例を示す図である。鉄道駅は、プラットホーム(以下、ホームと略す)PH、ホームの側壁WL、ホームへの出入口である階段ST、線路RLから構成されている。カメラCMはホームPHに存在する人の様子を撮像するため、ホームPHの長手方向を光軸方向とするように設置され、状況判定装置SDに接続されている。図3に、カメラCMの撮像画像の例を示す。撮像画像には、ホームPH、階段STの出入口部分、側壁WLが含まれるようにカメラCMの画角、設置位置、光軸方向が決定されている。状況判定装置SDは、図1における状況判定装置に対応する。   FIG. 2 is a diagram illustrating an example in which the situation determination apparatus of FIG. 1 is installed on a platform of a railway station. The railway station includes a platform PH (hereinafter abbreviated as a platform) PH, a side wall WL of the platform, a staircase ST that is an entrance to the platform, and a track RL. The camera CM is installed so that the longitudinal direction of the home PH is the optical axis direction and is connected to the situation determination device SD in order to capture an image of a person existing in the home PH. FIG. 3 shows an example of a captured image of the camera CM. The angle of view, installation position, and optical axis direction of the camera CM are determined so that the captured image includes the home PH, the entrance / exit portion of the staircase ST, and the side wall WL. The situation determination device SD corresponds to the situation determination device in FIG.

次に、本実施の形態の状況判定装置の動作を、図4のフローチャートを用いて説明する。まず、画像入力ステップS100が、画像入力部100により実行される。ステップS100では、カメラCMで撮像された画像1フレームを、デジタル画像処理が可能な形式で取り込んだ後、画像蓄積部110に蓄積を行う。カメラCMがアナログカメラの場合、画像はAD変換され、必要に応じて符号化などの圧縮処理がなされた後、画像蓄積部110に蓄積される。カメラCMがデジタルカメラの場合、画像はデジタル回線を通じて入力され、画像蓄積部110に蓄積される。本実施の形態では、10fpsのデジタル動画像が入力され、現在時刻のフレーム画像が順次蓄積されるものとする。なお、カメラCMがアナログカメラの場合、画像蓄積部110がVTRなどのアナログ画像を蓄積するものであって、局所画像変化検出部120に向けて出力される直前にAD変換が実施されてもよい。   Next, the operation of the situation determination apparatus of the present embodiment will be described using the flowchart of FIG. First, the image input step S100 is executed by the image input unit 100. In step S100, one frame of an image captured by the camera CM is captured in a format that allows digital image processing, and then stored in the image storage unit 110. When the camera CM is an analog camera, the image is AD-converted, subjected to compression processing such as encoding as necessary, and then stored in the image storage unit 110. When the camera CM is a digital camera, an image is input through a digital line and stored in the image storage unit 110. In the present embodiment, it is assumed that a 10 fps digital moving image is input and a frame image at the current time is sequentially stored. When the camera CM is an analog camera, the image storage unit 110 stores an analog image such as a VTR, and AD conversion may be performed immediately before output to the local image change detection unit 120.

次に、局所画像変化検出ステップS110が、局所画像変化検出部120にて実行される。ここでは、図5のように、第1の時間間隔TSとして撮像周期と等しい0.1(秒)を設定し、画像蓄積部110に蓄積されたフレーム画像のうち、現在時刻tの画像とTS時刻前の画像tk−1の2個のフレーム画像を抽出し、局所領域における変化を検出する。局所領域の分割方法として、図6のようにカメラCMの設置に合わせて、予め決定しておくものとする。ここでは局所領域の総数をNとする。また、ここでは透視投影の影響を補正するため、局所領域の大きさを、カメラに近い地点(画面下方)では大きく、カメラから遠い地点(画面上方)では小さく設定する。変化の検出方法として動きベクトルを利用する場合について以下に説明する。 Next, the local image change detection step S <b> 110 is executed by the local image change detection unit 120. Here, as shown in FIG. 5, 0.1 (seconds) equal to the imaging period is set as the first time interval TS 1 , and the image at the current time t k among the frame images accumulated in the image accumulation unit 110. And two frame images of the image t k-1 one time before TS are extracted, and a change in the local region is detected. As a local region dividing method, it is determined in advance according to the installation of the camera CM as shown in FIG. Here, the total number of local regions is N R. Further, here, in order to correct the influence of perspective projection, the size of the local region is set large at a point close to the camera (lower screen) and small at a point far from the camera (upper screen). A case where a motion vector is used as a change detection method will be described below.

(1)2個のフレーム画像から、画素毎に動きベクトルを計算
動きベクトルの計算には、非特許文献1におけるLucus−Kanade法などの勾配法や、ブロックマッチング法を用いることができる。ここで、非特許文献2におけるGood Features to Track法や、マッチングの際の評価値(SAD、SSD等)により、信頼性の高い動きベクトルのみを後の処理で用いることが望ましい。2個のフレーム画像から画面全体に対して求めた動きベクトルのうち信頼性の高い動きベクトルの例を図7に示す。
(1) Calculation of motion vector for each pixel from two frame images For calculation of a motion vector, a gradient method such as the Lucus-Kanade method in Non-Patent Document 1 or a block matching method can be used. Here, it is desirable to use only a highly reliable motion vector in the subsequent processing by the Good Features to Track method in Non-Patent Document 2 or an evaluation value (SAD, SSD, etc.) at the time of matching. FIG. 7 shows an example of a highly reliable motion vector among the motion vectors obtained from two frame images for the entire screen.

非特許文献1:B.D.Lucas and T.Kanade. “An iterative image registration technique with an application to stereo vision”. IJCAI, 1981.
非特許文献2:Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994 (CVPR'94)
Non-Patent Document 1: BDLucas and T. Kanade. “An iterative image registration technique with an application to stereo vision”. IJCAI, 1981.
Non-Patent Document 2: Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994 (CVPR'94)

(2)局所領域毎に動きベクトルを統合
以下、現在時刻tの画像とTS時刻前の画像tk−1の2個のフレーム画像から抽出された動きベクトルに対しては添え字kを、i番目(1≦i≦N)の局所領域に含まれる動きベクトルに対しては添え字iを、i番目の局所領域に含まれるNVk,i個の動きベクトルのうちのj番目(1≦j≦NVk,i)の動きベクトルに対しては添え字jを、それぞれ用いて動きベクトル(uk,i,j,vk,i,j)を表現することにする。
(2) Integration of motion vectors for each local area Hereinafter, a subscript k is used for motion vectors extracted from two frame images of an image at the current time t k and an image t k-1 one time before TS. , I is the subscript i for the motion vector included in the i th (1 ≦ i ≦ N R ) local region, and j is the n th k of the NV k, i motion vectors included in the i th local region. The motion vector (u k, i, j , v k, i, j ) is expressed by using the subscript j for the motion vector of 1 ≦ j ≦ NV k, i ).

そして、(数1)(数2)を用いてその平均値を計算することで、局所領域iを代表する代表動きベクトル(muk,i,mvk,i)が算出される。動きベクトルの画像上での長さは、透視投影の影響を受け画面上方ほど実際の人の速度よりも小さく計算される。そのため、(数3)(数4)のように、その影響を補正した後の動きベクトルを平均して代表動きベクトルを算出してもよい。ここで、wkijは時刻tでのi番目の局所領域におけるj番目の動きベクトルの大きさを補正するための重み係数である。動きベクトルの始点が画面上方にある程大きくなるように設定される。 Then, by calculating the average value using (Equation 1) and (Equation 2), a representative motion vector (mu k, i , mv k, i ) representing the local region i is calculated. The length of the motion vector on the image is affected by the perspective projection, and is calculated to be smaller than the actual human speed at the top of the screen. Therefore, as shown in (Equation 3) and (Equation 4), the motion vector after correcting the influence may be averaged to calculate the representative motion vector. Here, w kij is the weighting coefficient for correcting the size of the j-th motion vectors in the i-th local region at time t k. The start point of the motion vector is set so as to increase as it is at the top of the screen.

Figure 0004624396
Figure 0004624396

Figure 0004624396
Figure 0004624396

Figure 0004624396
Figure 0004624396

Figure 0004624396
Figure 0004624396

(3)代表動きベクトルに対して閾値処理を行うことにより、動きの有無を決定
局所領域iを代表する代表動きベクトル(muk,i,mvk,i)の大きさに対して、予め定めた閾値を用いて動きの有無を決定する。閾値以上であれば動き有、閾値未満であれば動き無と決定する。この時点で、局所領域i毎に変化(動き)の有無を二値で表現した局所変化情報Mk,iが得られる。動きがあればMk,i=1、なければMk,i=0となる。局所領域局所変化情報を画像で表現したものを図8に示す。図8では、変化が存在する局所領域に網掛けを行って表現している。局所変化情報Mは、(数5)のように局所領域毎の変化の有無(二値情報)を局所領域の個数分だけ合わせた二値ベクトル情報として、図5のように局所画像変化情報蓄積部130に蓄積される。なお、図5においては、フレーム画像Iおよび局所画像変化情報Mは、時刻tに蓄積され、フレーム画像Ik−1および局所画像変化情報Mk−1は、時刻tk−1に蓄積されたことを表す。
(3) Determine the presence or absence of motion by performing threshold processing on the representative motion vector. The size of the representative motion vector (mu k, i , mv k, i ) representing the local region i is determined in advance. The presence or absence of motion is determined using the determined threshold value. If it is equal to or greater than the threshold, it is determined that there is motion, and if it is less than the threshold, it is determined that there is no motion. At this point, local change information M k, i expressing the presence / absence of a change (motion) for each local region i in binary is obtained. If there is a motion, M k, i = 1, otherwise M k, i = 0. FIG. 8 shows the local region local change information represented by an image. In FIG. 8, the local region where the change exists is shaded for expression. The local change information M k is expressed as binary vector information obtained by combining the number of local areas with the presence or absence of change (binary information) for each local area as shown in (Formula 5), as shown in FIG. Accumulated in the accumulation unit 130. In FIG. 5, frame image I k and local image change information M k are accumulated at time t k , and frame image I k−1 and local image change information M k−1 are stored at time t k−1 . Indicates that it has been accumulated.

Figure 0004624396
Figure 0004624396

図4に戻り、次に、局所画像変化率算出ステップS120が、局所画像変化率算出部140にて実行される。ここでは、第2の時間間隔TSとして10(秒)を設定する。局所領域毎に過去TS(秒)の間に変化(動き)がどの程度の率で発生したかを求める。変化情報は第1の時間間隔TSにて求められているため、TS/TS個の変化情報を用いて変化率を求める。TS=0.1(秒)、TS=10(秒)の場合、100個の変化情報を用いることになる。図9では、i番目の局所領域において、時刻tでの局所変化情報Mk,iから、時刻tk−TS2/TS1+1での局所変化情報Mk−TS2/TS1+1,iのうち値が1である(すなわち変化がある)個数をカウントし、その値をCk,iとする。そして、総数TS/TSにて割ることにより、局所変化率RTk,iを算出する。局所変化率RTk,iの取りうる値は[0,1]である。局所変化率RTは、(数6)のように局所領域毎の変化率を局所領域の個数分だけ合わせたベクトル情報として、図10のように局所画像率蓄積部150に蓄積される。なお、図10においては、局所画像変化率RTは時刻tに蓄積され、局所画像変化率RTk−1は時刻tk−1に蓄積されたことを表す。 Returning to FIG. 4, next, the local image change rate calculation step S <b> 120 is executed by the local image change rate calculation unit 140. Here, set as the interval TS 2 second time 10 (seconds). For each local region, the rate of change (movement) occurring during the past TS 2 (seconds) is obtained. Change because the information is being sought at intervals TS 1 the first time, determine the rate of change with TS 2 / TS 1 pieces of change information. When TS 1 = 0.1 (seconds) and TS 2 = 10 (seconds), 100 pieces of change information are used. 9, in the i-th local region, the local change information M k at time t k, a i, among values of the local change information M k-TS2 / TS1 + 1 , i at time t k-TS2 / TS1 + 1 is 1 Is counted (that is, there is a change), and the value is defined as C k, i . Then, the local change rate RT k, i is calculated by dividing by the total number TS 2 / TS 1 . The possible value of the local change rate RT k, i is [0,1]. The local change rate RT k is stored in the local image rate storage unit 150 as shown in FIG. 10 as vector information obtained by combining the change rates for each local region by the number of local regions as shown in (Expression 6). In FIG. 10, the local image change rate RT k is accumulated at time t k and the local image change rate RT k−1 is accumulated at time t k−1 .

Figure 0004624396
Figure 0004624396

次に、局所画像変化率ヒストグラム算出ステップS130が、局所画像変化率ヒストグラム算出部160にて実行される。ここでは、現時刻tにおけるN個の局所変化率RTk,iのヒストグラムを算出する。局所変化率RTk,iの取りうる値は[0,1]であるため、ヒストグラムの階級の幅をBWとすると、階級数は1/BWとなる。ここでは、階級の幅BW=0.1、階級数10とする。算出された局所画像変化率ヒストグラムの例を図11に示す。横軸は局所画像変化率を表し、縦軸は頻度(領域数)を表す。頻度の総和(ヒストグラムの積分値)は、全領域数Nとなる。 Next, the local image change rate histogram calculation step S 130 is executed by the local image change rate histogram calculation unit 160. Here calculates the N R local change ratio RT k, i histograms of the current time t k. Since the local change rate RT k, i can take a value [0, 1], if the width of the histogram class is BW, the class number is 1 / BW. Here, the class width BW = 0.1 and the number of classes is 10. An example of the calculated local image change rate histogram is shown in FIG. The horizontal axis represents the local image change rate, and the vertical axis represents the frequency (number of regions). The total frequency (integrated value of the histogram) is the total number of regions N R.

ここで、図2で表される駅のプラットホームにおける人の移動状況について考える。移動状況として次の3つのパタンを考える。   Here, let us consider the movement situation of people on the platform of the station shown in FIG. Consider the following three patterns of movement.

(1)多人数の自由移動
例えば、列車の到着後に多くの乗客が下車し、階段STに向かって移動するという状況(図12)が存在する。多人数の移動であるため、AR1〜AR3など多くの移動経路で人が移動することになる。
(1) Free movement of a large number of people For example, there is a situation (FIG. 12) in which many passengers get off after the arrival of a train and move toward the staircase ST. Since the movement is a large number of people, people move along many movement routes such as AR1 to AR3.

(2)少人数の自由移動
例えば、列車から下車した乗客が階段STを通って移動した後、次の列車に乗る乗客が空になったホームを通って移動するという状況(図13)が存在する。少人数の移動ではあるが、ホームが空いているため人の移動経路はばらつく。その結果、多人数移動時と同様、AR1〜AR3など多くの移動経路で人が移動することになる。
(2) Free movement of a small number of people For example, there is a situation (FIG. 13) in which a passenger who gets off the train moves through the stairs ST and then a passenger on the next train moves through an empty platform. To do. Although the movement is a small number of people, the movement paths of people vary because the home is vacant. As a result, as in the case of movement by a large number of people, people move along many movement routes such as AR1 to AR3.

(3)移動経路の偏り
例えば、列車待ちの行列が存在している状況で、階段STを通ってホームに移動してきた新たな乗客がホームの空いている場所を通ってホームの画面手前側へ向かって移動するという状況(図14)が存在する。列車待ちの人WPが存在するため、移動する人MPの移動経路は矢印AR1付近に限定される。
(3) Uneven travel route For example, in a situation where there is a queue waiting for a train, a new passenger who has moved to the platform through the stairs ST passes through a vacant place on the platform and is on the near side of the home screen. There is a situation (FIG. 14) of moving toward. Since there is a person WP waiting for the train, the moving path of the moving person MP is limited to the vicinity of the arrow AR1.

これらの3つの移動状況パタンに関して、変化が発生する(ある一定値以上の変化率を有する)領域数と、局所画像変化率の大きさの傾向をまとめたものを図15に示す。また、この3つの移動パタンに関する、図11のような局所画像変化率ヒストグラムの典型例を(1)多人数移動、(2)少人数移動、(3)移動経路偏りのそれぞれについて、図16、図17、図18に示す。   FIG. 15 shows a summary of the trend of the number of regions where changes occur (having a change rate of a certain value or more) and the magnitude of the local image change rate for these three movement status patterns. Further, typical examples of local image change rate histograms as shown in FIG. 11 relating to these three movement patterns are shown in FIG. 16 for (1) movement of a large number of people, (2) movement of a small number of people, and (3) deviation of a movement path, respectively. It shows in FIG. 17, FIG.

まず多人数が移動する状況に関して、図12に局所領域分割を施した図19の画像を用いて補足説明をする。多人数が移動を行っている場合、画像中の多くの領域で変化(動き)が発生する。人の密度が大きいため、ある1つの局所領域に着目した場合、移動中の人が次々に通過するため、多くの局所領域にて局所画像変化率は大きくなる。よって図15第1列のような傾向になる。同様に、図16の局所画像変化率ヒストグラムにおいて、局所画像変化率が中〜大となる局所領域数は多くなる。   First, regarding the situation where a large number of people move, a supplementary explanation will be given using the image of FIG. 19 in which local region division is performed in FIG. When a large number of people are moving, changes (movements) occur in many areas in the image. Since the density of people is high, when attention is paid to a certain local region, moving people pass one after another, and the local image change rate increases in many local regions. Therefore, the tendency is as shown in the first column of FIG. Similarly, in the local image change rate histogram of FIG. 16, the number of local regions where the local image change rate is medium to large increases.

少人数が自由移動する状況に関して、図13に局所領域分割を施した図20の画像を用いて補足説明をする。多人数の移動時と同様に少人数が移動を行っている場合も、空いているホームでは人はいろいろな経路を通るため、画像中の多くの領域で変化(動き)が発生する。しかし、人の密度は小さいため、ある1つの局所領域に着目した場合、移動中の人が通過する頻度は小さくなり、局所画像変化率は小さくなる。よって図15の第2列のような傾向になる。同様に、図17の局所画像変化率ヒストグラムにおいては、局所画像変化率が中となる局所領域数は多くなるが、局所画像変化率が大きい局所領域数は少なくなる。   A supplementary explanation of the situation in which a small number of people move freely will be given using the image of FIG. Even when a small number of people are moving as in the case of a large number of people moving, since people pass through various routes in a vacant home, changes (movements) occur in many areas in the image. However, since the density of people is small, when attention is paid to a certain local region, the frequency of movement of a person passing is reduced, and the local image change rate is reduced. Therefore, the tendency is as shown in the second column of FIG. Similarly, in the local image change rate histogram of FIG. 17, the number of local regions where the local image change rate is medium increases, but the number of local regions where the local image change rate is large decreases.

移動経路が偏っている状況に関して、図14に局所領域分割を施した図21の画像を用いて補足説明をする。列車待ちの行列が存在している場合、人の移動経路は矢印AR1の付近に制限される。列車待ちの人はその場で時々身動きをする以外動かないため、変化(動き)が発生する領域は移動する人MPが存在する領域にほぼ限られ、変化が発生する領域数は少なくなる。階段STを通ってホームPHに流入する人の流量が少人数移動時(図12)と同程度だとすると、移動経路が限定されている分だけ、移動経路上における局所領域当たりの通過頻度は少人数移動時よりも大きくなる。よって図15の第3列のような傾向になる。同様に、図18の局所画像変化率ヒストグラムにおいては、局所画像変化率が中、大である局所領域数は、図16の多人数移動時よりも少なくなるが、図17の少人数移動時との違いは、局所画像変化率が大きい局所領域数が数は少なくとも存在するということである。   With respect to the situation where the movement route is biased, supplementary explanation will be given using the image of FIG. 21 in which local region division is performed in FIG. When there is a queue for waiting for a train, the movement path of the person is limited to the vicinity of the arrow AR1. Since the person waiting for the train does not move except sometimes moving on the spot, the area where the change (movement) occurs is almost limited to the area where the moving person MP exists, and the number of areas where the change occurs is small. If the flow rate of people who flow into the home PH through the stairs ST is about the same as when moving with a small number of people (Fig. 12), the number of people passing through the local area on the movement route is small because the movement route is limited. It becomes larger than when moving. Therefore, the tendency is as shown in the third column of FIG. Similarly, in the local image change rate histogram of FIG. 18, the number of local regions where the local image change rate is medium and large is smaller than in the case of movement of a large number of people in FIG. The difference is that there are at least a number of local regions having a large local image change rate.

以上、説明したように、局所画像変化率ヒストグラムが、局所画像変化率ヒストグラム算出ステップS130(局所画像変化率ヒストグラム算出部160)により算出される。   As described above, the local image change rate histogram is calculated by the local image change rate histogram calculation step S130 (local image change rate histogram calculation unit 160).

図22に実際の動画像における3つのシーン(多人数移動/少人数移動/移動経路偏り)から抽出した局所画像変化率ヒストグラムを示す。それぞれは、ある時刻tk´における局所変化率RTk´のヒストグラムに相当する(ある時刻tk´と言えども、図10で説明した通り、一時刻の局所変化率は過去TS2/TS1個の局所変化情報から計算されている)。図22は、局所領域の総数N=162(個)、TS=0.1(秒)、TS=10(秒)、ヒストグラムの階級の幅をBW=0.1とした時の結果である。図22を見ると、図16、図17、図18の傾向と等しいことが分かる。 FIG. 22 shows local image change rate histograms extracted from three scenes (multi-person movement / small-group movement / movement path bias) in an actual moving image. Each, even though corresponding to a histogram of the local rate of change RT k'(certain time t k'and at a certain time t k', as described in FIG. 10, the local rate of change of one unit time is past TS2 / TS1 amino Calculated from local change information). FIG. 22 shows the results when the total number of local regions N R = 162 (pieces), TS 1 = 0.1 (seconds), TS 2 = 10 (seconds), and the width of the histogram class is BW = 0.1. It is. It can be seen from FIG. 22 that the tendency is the same as that shown in FIGS.

次に、状況判定ステップS140が、状況判定部170にて実行される。多人数移動/少人数移動/移動経路偏りの3状況において、局所画像変化率ヒストグラムの形状がそれぞれ図16〜図18のようになるということを説明済みである。本実施の形態では、これらの3状況における局所画像変化率ヒストグラムを予め求めて参照ヒストグラムとして格納しておき、判定したい状況での局所画像変化率ヒストグラムと比較することで3状況のうちのどれであるかを判定する。   Next, the situation determination step S140 is executed by the situation determination unit 170. It has already been explained that the shapes of the local image change rate histograms are as shown in FIGS. 16 to 18 in the three situations of large number of people movement / small number of people movement / movement route bias. In the present embodiment, the local image change rate histogram in these three situations is obtained in advance and stored as a reference histogram, and compared with the local image change rate histogram in the situation to be determined. Determine if there is.

図23は、本実施の形態における、状況判定部170の内部構成である。状況判定部170は、参照ヒストグラム格納部200とヒストグラム比較部210とで構成されている。参照ヒストグラム格納部200には、参照用として、予め求められた局所画像変化率ヒストグラムが、各状況において少なくとも1つ、その状況(多人数移動/少人数移動/移動経路偏り、のうちのどれか)と対応付けられて格納されている。ヒストグラム比較部210は、局所画像変化率ヒストグラム算出部160で算出された、判定したい状況での局所画像変化率ヒストグラムと、参照ヒストグラム格納部200に格納された参照用ヒストグラムのそれぞれとを比較する。そして、判定したい状況での局所画像変化率ヒストグラムがどの参照用ヒストグラムに最も類似しているかを判定し、最も類似したヒストグラムと対応づけられた状況を、状況判定の結果として出力する。ヒストグラム同士の類似度の計算方法として、(数7)のヒストグラムインターセクションや、(数8)のBhattaccharyya係数、(数9)の正規化相関、等が利用できる。   FIG. 23 shows the internal configuration of the situation determination unit 170 in the present embodiment. The situation determination unit 170 includes a reference histogram storage unit 200 and a histogram comparison unit 210. The reference histogram storage unit 200 has at least one local image change rate histogram determined in advance as a reference for each situation, any of the situation (multi-person movement / small-person movement / movement path bias). ) And stored. The histogram comparison unit 210 compares the local image change rate histogram calculated by the local image change rate histogram calculation unit 160 and the reference histogram stored in the reference histogram storage unit 200 with the situation to be determined. Then, it is determined to which reference histogram the local image change rate histogram in the situation to be judged is most similar, and the situation associated with the most similar histogram is output as the result of situation judgment. As a method of calculating the similarity between histograms, the histogram intersection of (Equation 7), the Bhattaccharyya coefficient of (Equation 8), the normalized correlation of (Equation 9), and the like can be used.

Figure 0004624396
Figure 0004624396

Figure 0004624396
Figure 0004624396

Figure 0004624396
Figure 0004624396

図4に戻り、最後に、ステップS150が図1にて図示せぬ制御部により実行される。図1にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合は、画像入力ステップS100へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合は、処理を終了する。   Returning to FIG. 4, finally, step S <b> 150 is executed by a control unit (not shown in FIG. 1). If a processing end instruction is input by the operator of the apparatus through the input unit (not shown in FIG. 1), the process returns to the image input step S100, and the frame image at the next time is processed. If no process end instruction has been input, the process ends.

なお、本実施の形態では、局所画像変化検出部120にて実行される局所画像変化検出ステップS110において、画像蓄積部110に蓄積されたフレーム画像のうち、時間間隔TSである2個のフレーム画像間の、局所領域における変化を検出するために、動きベクトルを利用したが、他の方法でもよい。但し、動きベクトルを利用することで移動方向や速度が分かるので、より詳細な状況判定や混雑度判定が可能になる。単に変化の有無を検出するために、フレーム間差分が利用できる。図24のように、時刻tk−1および時刻tに撮像された2フレーム間のフレーム間差分を計算すると各画素の値が輝度差(多値)で構成される画像D(x,y)が得られるが、局所領域iにおける輝度差の平均値dk,iが、予め定めた閾値以上か否かによって、局所領域毎の変化の有無を決定してもよい。図24において、Sは領域iを構成する画素の集合であり、NPはその要素数である。 In the present embodiment, in the local image change detection step S110 executed by the local image change detection unit 120, two frames having the time interval TS 1 among the frame images stored in the image storage unit 110. In order to detect a change in a local region between images, a motion vector is used, but another method may be used. However, since the movement direction and speed can be known by using the motion vector, more detailed situation determination and congestion degree determination are possible. Inter-frame differences can be used to simply detect the presence or absence of changes. As shown in FIG. 24, when the inter-frame difference between the two frames captured at time t k−1 and time t k is calculated, an image D k (x, y) is obtained, but whether or not there is a change for each local region may be determined depending on whether or not the average value d k, i of the luminance difference in the local region i is equal to or greater than a predetermined threshold value. In FIG. 24, S i is a set of pixels constituting the region i, and NP i is the number of elements.

なお、図25のように、各画素の値が輝度差で構成される差分画像D(x,y)が得られた後、変化有/無を表す二値化を行い、二値化差分画像BD(x,y)を得て、局所領域における変化有の画素数bd1k,iによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る(正規化する)したbd2k,iによって、局所領域毎の変化の有無を決定してもよい。 As shown in FIG. 25, after a difference image D k (x, y) in which the value of each pixel is composed of a luminance difference is obtained, binarization indicating presence / absence of change is performed, and binarization difference The image BD k (x, y) may be obtained, and whether or not there is a change for each local region may be determined based on the number of pixels bd1 k, i having a change in the local region. When the areas of the local regions are different from each other, whether or not there is a change for each local region may be determined by bd2 k, i obtained by dividing (normalizing) the number of pixels with change by the area of the local region.

また、輝度値ベースのフレーム間差分を行うと照明変化の影響を受けるため、図26のように入力画像に対して、エッジ抽出・二値化を行った画像同士の差分(画素毎のXOR処理)をして、エッジのフレーム間差分画像ED(x,y)を得て、局所領域における変化有の画素数ed1k,iによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る(正規化する)したed2k,iによって、局所領域毎の変化の有無を決定してもよい。 Further, since the luminance value-based inter-frame difference is affected by illumination changes, the difference between the images obtained by performing edge extraction and binarization on the input image as shown in FIG. 26 (XOR processing for each pixel) ) To obtain an edge inter-frame difference image ED k (x, y), and the presence / absence of a change in each local region may be determined based on the number of pixels ed1 k, i having a change in the local region. When the area of each local region is different, whether or not there is a change for each local region may be determined by ed2 k, i obtained by dividing (normalizing) the number of pixels with change by the area of the local region.

以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在を推定可能である。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。   As described above, according to the situation determination apparatus of the present embodiment, the time change rate of the luminance value in the local region of the captured image and the histogram of the time change rate for the plurality of local regions are analyzed. It is possible to determine the movement status of In particular, since it is possible to detect that the movement route is biased by a simple process, it is possible to estimate the presence of the queue at a place where a train queue such as a station exists. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.

(実施の形態2)
本発明の実施の形態2に係る状況判定装置の構成は、上述した実施の形態1に係る状況判定装置と同じく図1で表される。よって図1の説明を省略する。但し、実施の形態1においては状況判定部170の内部構成が図23で表されていたのに対して、本実施の形態においては図27で表される。すなわち、状況判定部170は、特徴抽出部300、識別基準格納部310、識別部320で構成される。特徴抽出部300は、局所画像変化率ヒストグラム算出部160で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。識別基準格納部310には、状況判定あるいは混雑度判定のための、特徴抽出部300で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。識別部320は、特徴抽出部300で抽出された特徴量と、識別基準格納部310に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。
(Embodiment 2)
The configuration of the situation determination apparatus according to the second embodiment of the present invention is represented in FIG. 1 similarly to the situation determination apparatus according to the first embodiment described above. Therefore, the description of FIG. 1 is omitted. However, while the internal configuration of the situation determination unit 170 is represented in FIG. 23 in the first embodiment, it is represented in FIG. 27 in the present embodiment. That is, the situation determination unit 170 includes a feature extraction unit 300, an identification reference storage unit 310, and an identification unit 320. The feature extraction unit 300 extracts feature amounts for situation determination or congestion degree determination from the histogram calculated by the local image change rate histogram calculation unit 160. In the identification reference storage unit 310, the relationship between the feature amount extracted by the feature extraction unit 300 and the situation type or the congestion degree index for situation determination or congestion degree determination is obtained and stored in advance. The identification unit 320 identifies the situation type or the degree of congestion using the feature amount extracted by the feature extraction unit 300 and the identification standard stored in the identification standard storage unit 310.

本実施の形態に係る状況判定方法のフローチャートは、実施の形態1と同じく図4で表される。ここで局所画像変化率ヒストグラム算出ステップS130までとステップ150での処理は、第1の実施形態と同様であるため、説明を省略する。   The flowchart of the situation determination method according to the present embodiment is represented in FIG. 4 as in the first embodiment. Here, the processing up to the local image change rate histogram calculation step S130 and the processing in step 150 is the same as in the first embodiment, and thus the description thereof is omitted.

以下、状況判定ステップS140での動作を、図27のブロック図を利用して説明する。まず、特徴抽出部300は、局所画像変化率ヒストグラム算出部160で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。ここでは、局所画像変化率ヒストグラムから2次元の特徴量を抽出する。特徴量抽出方法を以下に示す。   Hereinafter, the operation in the situation determination step S140 will be described with reference to the block diagram of FIG. First, the feature extraction unit 300 extracts a feature amount for situation determination or congestion determination from the histogram calculated by the local image change rate histogram calculation unit 160. Here, a two-dimensional feature amount is extracted from the local image change rate histogram. The feature amount extraction method is shown below.

(1)局所画像変化率ヒストグラムにおいて、変化率が中程度(閾値TH)以上の領域数をカウントし、この領域数RNとする。
(2)局所画像変化率ヒストグラムにおいて、変化率が大きい(閾値TH以上の;TH>TH)領域数をカウントし、この領域数をRNとする。
(3)RN≠0の時、(f,f)=(RN/N,RN/RN)を、RN=0の時、(f,f)=(RN/N,0)を、特徴量とする。
(1) In the local image change rate histogram, the number of regions having a medium change rate (threshold value TH 1 ) or more is counted, and this number of regions is set as RN 1 .
(2) In the local image change rate histogram, the number of regions having a large change rate (threshold value TH 2 or more; TH 2 > TH 1 ) is counted, and this number of regions is defined as RN 2 .
(3) When RN 1 ≠ 0, (f 1 , f 2 ) = (RN 1 / N R , RN 2 / RN 1 ), and when RN 1 = 0, (f 1 , f 2 ) = (RN 1 / N R , 0) is a feature amount.

TH=0.4,TH=0.7とすると、図22における3状況(多人数移動/少人数移動/移動経路偏り)におけるRNおよびRNの値は、それぞれ、図28における表のようになり、fおよびfの値は、それぞれ、図29における表のようになる。 Assuming TH 1 = 0.4 and TH 2 = 0.7, the values of RN 1 and RN 2 in the three situations (multi-person movement / small-person movement / movement route bias) in FIG. The values of f 1 and f 2 are as shown in the table of FIG.

また、識別基準格納部310には、状況判定あるいは混雑度判定のための、特徴抽出部300で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。図30に3シーンの動画から予め抽出した2次元特徴量(f,f)の分布を示す。分布における各点は、一時刻における局所変化率ヒストグラムから抽出されたものである。すなわち、3シーンのそれぞれから、複数時刻において特徴抽出を行っていることになる。識別基準格納部310に格納する情報として、図30のような分布を用いる。 In the identification reference storage unit 310, the relationship between the feature amount extracted by the feature extraction unit 300 and the situation type or the congestion degree index for situation determination or congestion degree determination is obtained and stored in advance. FIG. 30 shows a distribution of two-dimensional feature values (f 1 , f 2 ) extracted in advance from three scenes of moving images. Each point in the distribution is extracted from a local change rate histogram at one time. That is, feature extraction is performed from each of the three scenes at a plurality of times. As information stored in the identification reference storage unit 310, a distribution as shown in FIG. 30 is used.

識別部320は、特徴抽出部300で抽出された特徴量と、識別基準格納部310に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。   The identification unit 320 identifies the situation type or the degree of congestion using the feature amount extracted by the feature extraction unit 300 and the identification standard stored in the identification standard storage unit 310.

以下に状況種別を識別する方法について説明する。識別基準格納部310に図30の情報が格納されているとする。局所画像変化率ヒストグラム算出部160で算出された各ヒストグラムが図22のいずれかであり、その状況種別は未知であるとする。この時、特徴抽出部300にて抽出される特徴量は、図29で表される表のうち、いずれかの行の値の組になる。特徴抽出部300にて抽出された特徴量が、識別基準格納部310に格納された各特徴量のうち最も近い特徴点を探索し(最近傍法)、その特徴点に対応付けられた状況種別を出力することで、特徴抽出部300にて抽出された特徴量に対応するシーンの状況判定が可能となる。図31に、図29の表で表される各値と、図30で表される2次元特徴量(f,f)の分布との関係を示す。最近傍法を用いることで、状況判定が正しく行えることが分かる。 A method for identifying the situation type will be described below. Assume that the information of FIG. 30 is stored in the identification reference storage unit 310. It is assumed that each histogram calculated by the local image change rate histogram calculation unit 160 is one in FIG. 22, and the situation type is unknown. At this time, the feature quantity extracted by the feature extraction unit 300 is a set of values in any row in the table shown in FIG. The feature type extracted by the feature extraction unit 300 searches for the closest feature point among the feature amounts stored in the identification reference storage unit 310 (nearest neighbor method), and the situation type associated with the feature point Is output, it is possible to determine the situation of the scene corresponding to the feature amount extracted by the feature extraction unit 300. FIG. 31 shows the relationship between the values shown in the table of FIG. 29 and the distribution of the two-dimensional feature values (f 1 , f 2 ) shown in FIG. It can be seen that the situation judgment can be correctly performed by using the nearest neighbor method.

なお、上記では最近傍法について説明したが、教師付けがなされた多数の訓練サンプルを用いて未知サンプルの識別を行う方法であれば他の方法でもよい。例えば、SupportVectorMachine(SVM)、判別分析法(線形判別分析、二次判別分析)、ニューラルネットワークなどを用いることができる。各手法は様々な文献にて解説されているため、説明を省略する。例えば、SVMに関しては非特許文献3を、判別分析法に関しては非特許文献4を参照されたい。   Although the nearest neighbor method has been described above, any other method may be used as long as it is a method for identifying unknown samples using a large number of training samples that are supervised. For example, Support Vector Machine (SVM), discriminant analysis (linear discriminant analysis, secondary discriminant analysis), neural network, or the like can be used. Since each method is explained in various documents, the explanation is omitted. For example, see Non-Patent Document 3 for SVM and Non-Patent Document 4 for discriminant analysis.

非特許文献3:「サポートベクターマシン入門」,Nello Cristianini 著,John Shawe‐Taylor 著,大北 剛 訳,共立出版,2005/03
非特許文献4:「多変量解析法 現代人の統計2」,柳井晴夫 他,朝倉書店,1979/01
Non-Patent Document 3: "Introduction to Support Vector Machine", Nero Christianiani, John Shawe-Taylor, Takeshi Ohkita, Kyoritsu Shuppan, 2005/03
Non-Patent Document 4: "Multivariate Analysis Method Modern Human Statistics 2", Haruo Yanai et al., Asakura Shoten, 1979/01

次に、混雑度を判定する方法について説明する。まず、混雑が進んだ時の、指標RNおよびRN,特徴量fおよびfの変化傾向について、自由移動の(移動経路が制限されない)場合と、移動経路が偏る場合とに分けて説明を行う。 Next, a method for determining the degree of congestion will be described. First, the change tendency of the indicators RN 1 and RN 2 and the feature quantities f 1 and f 2 when the congestion progresses is divided into a case of free movement (the movement route is not limited) and a case where the movement route is biased. Give an explanation.

<自由移動の(移動経路が制限されない)場合>
図32における〔1〕から〔2〕(図では数値を○で囲んでおり、他の数値3〜6も同様である)の状態に移行するにつれて、中程度以上の局所画像変化率を持つ領域数RNが増加するが、大きい局所画像変化率を持つ領域数RNはあまり増加しない。これは、移動経路が制限されない状況において人数が増加すると人は様々な経路を通る(人と同じ経路を通ることが少ない)ためである。よって、特徴量fの増加が主となり、2次元特徴量空間(f,f)においては、図33の〔1〕から〔2〕のように位置が変化する。
<In the case of free movement (the movement route is not limited)>
Region having a local image change rate of medium or higher as the state shifts from [1] to [2] in FIG. 32 (in the figure, the numerical values are surrounded by circles, and the other numerical values 3 to 6 are the same). The number RN 1 increases, but the number of regions RN 2 having a large local image change rate does not increase so much. This is because when the number of people increases in a situation where the movement route is not restricted, the person passes various routes (they rarely pass the same route as the person). Therefore, the increase in the feature amount f 1 is mainly performed, and the position of the two-dimensional feature amount space (f 1 , f 2 ) changes from [1] to [2] in FIG.

図32における〔3〕は、人の移動経路がほぼ駅のホーム全域に広がった状態である。図32における〔2〕の状態から〔3〕の状態への移行に関しては、〔1〕から〔2〕への移行と同様に、特徴量fの増加が主となり、2次元特徴量空間(f,f)においては、図33の〔2〕から〔3〕のように位置が変化する。 [3] in FIG. 32 is a state in which a person's movement route is spread almost throughout the station platform. In the transition from the state [2] to the state [3] in FIG. 32, as in the transition from [1] to [2], the feature amount f 1 is mainly increased, and the two-dimensional feature amount space ( In f 1 , f 2 ), the position changes from [2] to [3] in FIG.

図32における〔4〕の状態では、人の密度が増すため、大きい局所画像変化率を持つ領域が増加する。中程度以上の局所画像変化率を持つ領域数RNの増加よりも、大きい局所画像変化率を持つ領域数RNの増加の方が大きくなり、2次元特徴量空間(f,f)においては、図33の〔3〕から〔4〕のように位置が変化する(特徴量をプロットした点の移動の傾きが大きくなる)。 In the state of [4] in FIG. 32, since the density of people increases, the area having a large local image change rate increases. The increase in the number of regions RN 2 having a large local image change rate is larger than the increase in the number of regions RN 1 having a medium or higher local image change rate, and the two-dimensional feature space (f 1 , f 2 ). In FIG. 33, the position changes from [3] to [4] in FIG. 33 (the gradient of movement of the points on which the feature values are plotted increases).

なお、図32において〔4〕→〔3〕→〔2〕→〔1〕の順で状況推移する際は、図33の特徴量空間における特徴量の動きは〔4〕→〔3〕→〔2〕→〔1〕のように逆の経路を辿ることになる。   32, when the situation changes in the order of [4] → [3] → [2] → [1], the movement of the feature quantity in the feature quantity space of FIG. 33 is [4] → [3] → [ 2] → [1] The reverse path is followed.

<移動経路が偏る場合>
図32における〔1〕から〔2〕の状態への変化時の図33の特徴量空間におけるプロットの移動に関しては、自由移動の場合と同様である。〔2〕の状態から少しずつ人が列車待ちの行列を形成し始める。行列が形成され始めた図32の〔5〕では、人の移動経路が行列により制限されている。一度行列ができて移動経路が制限されると、中程度以上の局所画像変化率を持つ領域数RNの増加が頭打ちになる。行列が伸びて、さらに移動経路が制限されると指標RNは減少に転じる。もう一方の指標RNに関しては、移動経路が限定されるため、人の流量が一定だとすると単位領域当たりの人通過の頻度が大きくなり、RNが増加する。図33の2次元特徴量空間(f,f)においては〔2〕→〔5〕のように、位置が変化する。
<When the travel route is biased>
The movement of the plot in the feature amount space of FIG. 33 when changing from the state [1] to the state [2] in FIG. 32 is the same as the case of free movement. From the state of [2], people begin to form a queue waiting for trains. In [5] of FIG. 32 where the procession has started to be formed, the movement path of the person is limited by the procession. Once the matrix is formed and the movement path is restricted, the increase in the number of regions RN 1 having a medium or higher local image change rate reaches a peak. The index RN 1 starts to decrease when the queue is extended and the movement path is further restricted. For the other indicators RN 2, the movement path is limited, increase the frequency of human passage per fixed Datosuruto unit area flow of people, RN 2 is increased. In the two-dimensional feature space (f 1 , f 2 ) in FIG. 33, the position changes as [2] → [5].

図32の〔6〕では行列の人数がさらに増加し、人の移動経路がさらに制限されている。よって、中程度以上の局所画像変化率を持つ領域数RNが減少し、局所画像変化率が大きい領域数RNが増加している。図33の2次元特徴量空間(f,f)においては〔5〕→〔6〕のように、位置が変化する。 In [6] of FIG. 32, the number of people in the queue further increases, and the movement route of the person is further restricted. Therefore, the number of regions RN 1 having a medium or higher local image change rate is decreased, and the number of regions RN 2 having a large local image change rate is increased. In the two-dimensional feature space (f 1 , f 2 ) in FIG. 33, the position changes as [5] → [6].

次に、混雑度の算出方法について説明する。ここでは部分空間法を用いる例について説明する。部分空間法についての詳細は非特許文献5の第14章を参照されたい。ここでは概要のみを説明する。予め(1)〜(2)の処理を行っておく。   Next, a method for calculating the degree of congestion will be described. Here, an example using the subspace method will be described. Refer to Chapter 14 of Non-Patent Document 5 for details on the subspace method. Only the outline will be described here. Processes (1) to (2) are performed in advance.

(1)多人数移動/少人数移動/移動経路偏りなどの状況別に複数の特徴量を抽出し、図30のような分布を求める。 (1) A plurality of feature amounts are extracted for each situation such as movement of a large number of people / movement of a small number of people / movement route deviation, and a distribution as shown in FIG. 30 is obtained.

(2)各状況の2次元分布に対してそれぞれ主成分分析を行い、第1主成分(主軸)の直線を1次元部分空間とする。3状況のそれぞれの部分空間を図34に示す。 (2) Principal component analysis is performed on the two-dimensional distribution of each situation, and a straight line of the first principal component (principal axis) is defined as a one-dimensional subspace. FIG. 34 shows the partial spaces of the three situations.

混雑度を求めたいシーンから抽出した特徴量が属する状況の決定方法、および、混雑度の算出方法を(3)にて説明する。   A method for determining a situation to which a feature amount extracted from a scene for which the degree of congestion is desired belongs and a method for calculating the degree of congestion will be described in (3).

(3)その状況が未知である特徴量が、属する部分空間を決定する。図35のように入力特徴量ベクトルfを部分空間に射影した時、最大の射影成分||Pf||を持つ部分空間を識別結果として選ぶ。ここまでは、先ほど説明した状況種別を識別する場合の他の実施例に相当する。図36のように、予め、部分空間(ここでは直線)上の位置と混雑度を表す指標とを対応付けておくことにより、特徴量ベクトルfを部分空間へ射影したベクトルの終点位置(図35の矢印POSの位置)により混雑度指標を求めることができる。混雑度指標として、図36における最も近い混雑度レベル(整数)を選んでもよいし、終点位置により補間を行い、小数での混雑度レベルを計算してもよい。 (3) The subspace to which the feature quantity whose state is unknown belongs is determined. When the input feature vector f is projected onto the subspace as shown in FIG. 35, the subspace having the maximum projected component || Pf || is selected as the identification result. Up to this point, this corresponds to another embodiment for identifying the situation type described above. As shown in FIG. 36, by previously associating a position on the partial space (here, a straight line) with an index representing the degree of congestion, the end point position of a vector obtained by projecting the feature vector f into the partial space (FIG. 35). (The position of the arrow POS), the congestion degree index can be obtained. As the congestion degree index, the closest congestion level (integer) in FIG. 36 may be selected, or interpolation may be performed based on the end point position to calculate the congestion degree level in decimal.

非特許文献5:「コンピュータビジョン 技術評論と将来展望」,松山 隆司,久野 義徳,井宮 淳 編,新技術コミュニケーションズ,1998/06   Non-Patent Document 5: “Computer Vision Technology Review and Future Prospects”, Takashi Matsuyama, Yoshinori Kuno, Satoshi Imiya, New Technology Communications, 1998/06

なお、本実施の形態では、混雑度を、部分空間に射影した位置を利用して算出したが、主成分分析ではなく重回帰分析などの他の手法を用いてもよい。重回帰分析に関しては、非特許文献4に詳細が記載されているため説明を省略する。   In the present embodiment, the degree of congestion is calculated using a position projected onto the partial space, but other methods such as multiple regression analysis may be used instead of principal component analysis. Since the details of the multiple regression analysis are described in Non-Patent Document 4, description thereof is omitted.

なお、本実施の形態では状況種別として、3状況(多人数移動/少人数移動/移動経路偏り)を定義したが、多人数移動と少人数移動を合わせた「通常移動」と「移動経路偏り」の2状況を識別するようにしてもよいし、3状況よりも多くの状況に分類してもよい。例えば、部分空間で近似を行う際の近似誤差が少なくなるように、図37のように4状況に分類してもよい。   In the present embodiment, three situations (multi-person movement / small-person movement / movement path bias) are defined as the situation types, but “normal movement” and “movement-path bias” are a combination of multi-person movement and small-person movement. 2 situations may be identified, or more situations than the 3 situations may be classified. For example, the situation may be classified into four situations as shown in FIG. 37 so that the approximation error when performing the approximation in the partial space is reduced.

以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定し、加えて、混雑度レベルを算出することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。   As described above, according to the situation determination apparatus of the present embodiment, the time change rate of the luminance value in the local region of the captured image and the histogram of the time change rate for the plurality of local regions are analyzed. In addition, it is possible to determine the movement status of the vehicle and to calculate the congestion level. In particular, since it is possible to detect that the travel route is biased with simple processing, it is possible to estimate the presence of the queue and the level of congestion in a place where there is a train queue such as a station. is there. Of course, the situation and the degree of congestion can also be estimated in a situation where there is no bias in the movement route. In addition, when the deviation of the movement route is detected in a passage that normally does not generate a matrix, it is possible to estimate that free movement of a person is hindered by some kind of obstacle.

(実施の形態3)
図38は、本発明の実施の形態3に係る異常判定装置の概略構成を示すブロック図である。図38において、本実施の形態の異常判定装置は、状況判定装置500と、列車到着検知部510と、異常判定部520と、通報部530とを備えて構成されている。前述した実施の形態1と同様に、この異常判定装置は図2の鉄道駅のプラットホームに設置される。
(Embodiment 3)
FIG. 38 is a block diagram showing a schematic configuration of the abnormality determination device according to Embodiment 3 of the present invention. In FIG. 38, the abnormality determination device of the present embodiment is configured to include a situation determination device 500, a train arrival detection unit 510, an abnormality determination unit 520, and a notification unit 530. Similar to the first embodiment described above, this abnormality determination device is installed on the platform of the railway station in FIG.

状況判定装置500は、図1のブロック図で表されるものであり、異常判定部520へ判定した状況種別または混雑度を送信する。状況判定装置500の動作など詳細は実施の形態1、または、実施の形態2にて説明したとおりである。判定する状況種別として、少なくとも、人の移動経路が偏っている状況を含むものとする。   The situation determination device 500 is represented by the block diagram of FIG. 1, and transmits the determined situation type or congestion level to the abnormality determination unit 520. Details such as the operation of the situation determination apparatus 500 are as described in the first embodiment or the second embodiment. It is assumed that the situation type to be determined includes at least a situation where a person's movement route is biased.

列車到着検知部510は、列車のプラットホームへの到着を検知する手段である。画像認識によるもの、画像以外のセンサによるもの、列車運行データを利用するもの等、列車の到着を検知できればどのような方式であってもよい。画像認識を利用する場合、列車の色・形状などの見え情報を予め登録しておき、登録したテンプレートとマッチングすることにより列車の到着を判定すればよい。実施の形態1で説明した動きベクトルを利用することもできる。向きおよび強度が類似した動きベクトルが画像における予め指定した領域(線路付近)にて複数出現すれば、剛体の移動を検出したということで、列車が到着したと判定してもよい。画像以外のセンサとしては、例えば線路の下に荷重センサを設け、荷重値により列車到着を判定することができる。また、レーザ発光器と受光器を利用し、レーザ光の列車からの反射光を検知したり、列車により発光器からの光が遮断されることを検知して、列車到着を判定することができる。列車運行データを利用する例としては、列車あるいは運転指令所からの通信を受信することにより列車到着を知ることができる。   The train arrival detection unit 510 is a means for detecting arrival of a train on the platform. Any method may be used as long as it can detect the arrival of a train, such as by image recognition, by a sensor other than an image, or by using train operation data. When image recognition is used, appearance information such as the color and shape of the train is registered in advance, and the arrival of the train may be determined by matching with the registered template. The motion vector described in Embodiment 1 can also be used. If a plurality of motion vectors having similar directions and intensities appear in a predetermined area (near the track) in the image, it may be determined that the train has arrived because the movement of the rigid body has been detected. As a sensor other than the image, for example, a load sensor can be provided under the track, and the arrival of the train can be determined based on the load value. In addition, by using a laser emitter and a light receiver, it is possible to detect the reflected light from the train of laser light, or to detect that the light from the light emitter is blocked by the train, and determine the arrival of the train. . As an example of using train operation data, train arrival can be known by receiving communication from a train or an operation command center.

異常判定部520は、状況判定装置500からの状況判定あるいは混雑度判定の結果と、列車到着検知部510からの列車到着情報の両者から異常を判定する。処理の詳細については後ほど説明する。通報部530は、異常判定部520で異常と判定された場合、予め定められた連絡先に通報を行う。   The abnormality determination unit 520 determines an abnormality from both the result of the situation determination or the congestion degree determination from the situation determination device 500 and the train arrival information from the train arrival detection unit 510. Details of the processing will be described later. When the abnormality determination unit 520 determines that an abnormality has occurred, the reporting unit 530 reports to a predetermined contact address.

以下、本実施の形態の異常判定装置の動作について、図39のフローチャートを利用して説明する。画像入力ステップS100から状況判定ステップS140までが、状況判定装置500により実行される。状況判定装置500の構成は図1で表され、ステップS100からステップS140までの各処理が実行される手段および各処理の動作など詳細は実施の形態1、または、実施の形態2にて説明した通りであるため説明を省略する。ここで、状況判定装置500が出力する混雑度指標および状況判定結果の通常時の時系列変化について、図40を用いて説明する。図40は、実施の形態2で説明した状況判定装置が出力する混雑度および状況判定結果を時系列で表した模式図である。   Hereinafter, the operation of the abnormality determination device of the present embodiment will be described using the flowchart of FIG. The situation determination apparatus 500 executes the image input step S100 to the situation determination step S140. The configuration of the situation determination apparatus 500 is shown in FIG. 1, and the details of the means for executing each process from step S100 to step S140 and the operation of each process have been described in the first embodiment or the second embodiment. Since it is as it is, description is abbreviate | omitted. Here, a normal time-series change in the congestion degree index and the situation determination result output by the situation determination apparatus 500 will be described with reference to FIG. FIG. 40 is a schematic diagram showing, in a time series, the degree of congestion and the situation determination result output by the situation determination apparatus described in the second embodiment.

<混雑度指標>
横軸は時刻を表しており、時刻tおよびtにて列車が到着している。時刻tでは前の列車が到着した直後のためホームには人が存在せず混雑度は0である。時刻tの列車到着まで、列車に乗るための人々がホームに流入するため混雑度は漸増し、列車が到着した時刻tにて、列車待ちの人が列車に乗り込むと共に、列車から乗客がホームに下りて図2における階段STへ向かう。乗客が全て階段STに移動した時刻tでは混雑度が再び0に戻る。その後は、時刻tからtまでの繰り返しである。
<Congestion index>
The horizontal axis represents the time, the train has arrived at time t 3 and t 6. It is the home for immediately after the time t 1 in which the front of the train arrived in the degree of congestion there is no person who is 0. Until the arrival of the train at time t 3, the crowds gradually increase because the people to get on the train flow into the platform. At time t 3 when the train arrives, people waiting for the train enter the train and passengers from the train Go down to the home and head towards the staircase ST in FIG. Passengers the time t the degree of congestion in 4 has moved to the all stairs ST back to zero again. After that, a repeat of from time t 1 to t 4.

<状況判定結果>
時刻tからtまでは、列車待ちの行列がホームに存在しないため、状況判定結果として「状況1:少人数移動」と判定されている。時刻tから列車待ち行列がホームに発生し始め、状況判定結果として「状況2:移動経路偏り」と判定される。時刻tに列車が到着すると、乗客が一度に図2における階段STへ向かうため、状況判定結果として「状況3:多人数移動」と判定される。
<Situation judgment result>
From time t 1 to t 2, since there is no train waiting queue at the platform, it is determined as “situation 1: small number of people moving” as the situation determination result. Began to occur from time t 2 train queue in the home, status determination as a result: it is determined that the "situation 2 moving path bias". When the train arrives at time t 3 , passengers head for the staircase ST in FIG. 2 at a time, so that the situation determination result is “Situation 3: Multi-person movement”.

次に、列車到着検知ステップS200が、列車到着検知部510により実行される。ここでの処理は、列車到着検知部510の動作説明時に説明した通りである。   Next, the train arrival detection step S200 is executed by the train arrival detection unit 510. The processing here is as described when the operation of the train arrival detection unit 510 is described.

次に、ステップS210が、図38では図示せぬ制御部により実行される。現在時刻にて列車到着情報が存在していれば(YESの場合)異常判定ステップS220に進み、列車到着情報が存在していなければ(NOの場合)ステップS150へ進む。   Next, step S210 is executed by a control unit (not shown in FIG. 38). If train arrival information exists at the current time (in the case of YES), the process proceeds to an abnormality determination step S220, and if train arrival information does not exist (in the case of NO), the process proceeds to step S150.

次に、異常判定ステップS220が、異常判定部520により実行される。本ステップの処理は次のように行われる。列車が到着してから混雑度が再び0に戻るまでの時間(例えば時刻tからtの間隔)を予め計測し、その値を基に閾値DTを決定しておく。列車到着検知部510が列車到着を検知した時刻から時間DTが経過した時に、混雑度指標が予め定めた閾値を下回らない、もしくは、状況判定結果が「状況1:少人数移動」にならない場合は、異常と判定する。 Next, the abnormality determination step S220 is executed by the abnormality determination unit 520. The processing in this step is performed as follows. Train congestion from the arrival is measured in advance time (e.g. from time t 3 of t 4 interval) to return to 0 again, previously determined threshold DT based on that value. When the time DT elapses from the time when the train arrival detection unit 510 detects the arrival of the train, when the congestion degree index does not fall below a predetermined threshold or the situation determination result does not become “situation 1: small number of people moving” Determined as abnormal.

異常となる例として、到着した列車が満員のためホームにいた待ち客の全員が列車に乗り込めず、一部の人がホームに残ってしまう場合や、階段STにて混雑が生じ、時間DTが経過しても、列車から下りた人が階段STに移動できない場合がある。なお、混雑が解消する時間は、列車待ち行列の人数、および、列車から降りる人の人数に影響を受けるため、閾値DTとして、時間帯、曜日によりそれぞれ適切な値を設定することが望ましい。   As an example of an abnormal situation, when all of the waiting customers who were at the platform cannot get on the train because the train arrived is full, some people remain at the platform, or congestion occurs at the stairs ST, and the time DT is Even if it passes, the person who got off the train may not be able to move to the stairs ST. It should be noted that since the time for clearing the congestion is affected by the number of people in the train queue and the number of people getting off the train, it is desirable to set appropriate values for the time zone and the day of the week as the threshold DT.

次に、ステップS230が、図38では図示せぬ制御部により実行される。異常判定ステップで異常と判定されていれば(YESの場合)通報ステップS240に進み、そうでなければ(NOの場合)ステップS150へ進む。通報ステップS240は、通報部530により実行される。ここでの処理は、通報部530の動作説明時に説明した通りである。最後に、ステップS150が図38にて図示せぬ制御部により実行される。図38にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合(YESの場合)は画像入力ステップS100へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合(NOの場合)は処理を終了する。   Next, step S230 is executed by a control unit (not shown in FIG. 38). If it is determined that there is an abnormality in the abnormality determination step (in the case of YES), the process proceeds to notification step S240; otherwise (in the case of NO), the process proceeds to step S150. The reporting step S240 is executed by the reporting unit 530. The processing here is as described when the operation of the reporting unit 530 is described. Finally, step S150 is executed by a control unit not shown in FIG. If a processing end instruction is input by the operator of the apparatus through the input unit (not shown in FIG. 38) (YES), the process returns to the image input step S100 to process the frame image at the next time. If no process end instruction is input (NO), the process ends.

以上のように、本実施の形態の異常判定装置によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定可能である。   As described above, according to the abnormality determination device of the present embodiment, it is possible to determine an abnormal congestion state different from normal using the situation type or the degree of congestion obtained by the situation determination device.

本発明に係る状況判定装置、状況判定方法、状況判定プログラムは、人の移動に係る状況種別を判定し、あるいは、人の混雑度を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図ることのできる装置、方法、および、プログラムを提供できる。また、本発明に係る異常判定装置、異常判定方法、異常判定プログラムは、人の移動に係る異常な混雑状況を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図り、異常混雑に伴う事故を未然防止するために異常を早期検出できる、装置、方法、および、プログラムを提供できる。   The situation determination device, the situation determination method, and the situation determination program according to the present invention determine a situation type related to the movement of a person, or determine the degree of congestion of a person, and a public in which a plurality of people such as stations and airports move It is possible to provide an apparatus, a method, and a program capable of saving labor and increasing efficiency in image monitoring in a space. Further, the abnormality determination device, the abnormality determination method, and the abnormality determination program according to the present invention determine an abnormal congestion situation related to the movement of a person and perform image monitoring in a public space where a plurality of people move such as a station / airport. It is possible to provide an apparatus, a method, and a program that can detect an abnormality early in order to save labor and improve efficiency and prevent an accident associated with abnormal congestion.

本発明の実施の形態1に係る状況判定装置の概略構成を示すブロック図The block diagram which shows schematic structure of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置を鉄道の駅に設置した様子を示す図The figure which shows a mode that the situation determination apparatus which concerns on Embodiment 1 of this invention was installed in the station of a railway 本発明の実施の形態1に係るカメラCMでの撮像画像を示す図The figure which shows the picked-up image with the camera CM which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置で実施される状況判定方法を説明するためのフローチャートThe flowchart for demonstrating the condition determination method implemented with the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の画像蓄積部に蓄積されるフレーム画像と、局所画像変化情報蓄積部に蓄積される局所変化情報と、時刻との関係を示す図The figure which shows the relationship between the frame image accumulate | stored in the image storage part of the condition determination apparatus which concerns on Embodiment 1 of this invention, the local change information accumulate | stored in a local image change information storage part, and time. 本発明の実施の形態1に係るカメラCMでの撮像画像に対し、局所領域分割を行った様子を示す図The figure which shows a mode that the local region division was performed with respect to the captured image with the camera CM which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の局所画像変化検出部にて抽出された動きベクトルの例を示す図The figure which shows the example of the motion vector extracted in the local image change detection part of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の局所画像変化検出部にて検出され、局所画像変化情報蓄積部に蓄積される局所変化情報の要素を示す図The figure which shows the element of the local change information detected in the local image change detection part of the condition determination apparatus which concerns on Embodiment 1 of this invention, and is accumulate | stored in a local image change information storage part. 本発明の実施の形態1に係る状況判定装置の局所画像変化率算出部にて算出され、局所画像変化率蓄積部に蓄積される局所変化率の要素を示す図The figure which shows the element of the local change rate calculated in the local image change rate calculation part of the condition determination apparatus which concerns on Embodiment 1 of this invention, and accumulate | stores in a local image change rate storage part. 本発明の実施の形態1に係る状況判定装置の画像蓄積部に蓄積されるフレーム画像と、局所画像変化情報蓄積部に蓄積される局所変化情報と、局所画像変化率蓄積部に蓄積される局所変化率と、時刻との関係を示す図Frame images stored in the image storage unit of the situation determination apparatus according to Embodiment 1 of the present invention, local change information stored in the local image change information storage unit, and local images stored in the local image change rate storage unit Diagram showing the relationship between rate of change and time 本発明の実施の形態1に係る状況判定装置の局所画像変化率ヒストグラム算出部で算出された局所画像変化率ヒストグラムの例を示す図The figure which shows the example of the local image change rate histogram calculated in the local image change rate histogram calculation part of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、多人数の移動状況を撮像した画像の例を示す図The figure which shows the example of the image which imaged the movement condition of many people in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、少人数の移動状況を撮像した画像の例を示す図The figure which shows the example of the image which imaged the movement condition of a small number of persons in the operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、列車を待つ行列が存在する場所にて、人が移動する状況を撮像した画像の例を示す図The figure which shows the example of the image which imaged the condition where a person moves in the place where the queue which waits for a train exists in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、3つの状況に関して、変化が発生する領域数と局所画像変化率の傾向を示す表In the operation of the situation determination apparatus according to the first embodiment of the present invention, a table showing the tendency of the number of regions where the change occurs and the local image change rate with respect to three situations. 本発明の実施の形態1に係る状況判定装置の動作において、多人数移動時での局所画像変化率ヒストグラムの特性を示す図The figure which shows the characteristic of the local image change rate histogram at the time of multi-person movement in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、小人数移動時での局所画像変化率ヒストグラムの特性を示す図The figure which shows the characteristic of the local image change rate histogram at the time of small group movement in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、人の移動経路に偏りが存在する時での局所画像変化率ヒストグラムの特性を示す図The figure which shows the characteristic of the local image change rate histogram in case operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention has a bias | inclination in a human movement path | route. 本発明の実施の形態1に係る状況判定装置の動作において、多人数の移動状況を撮像した画像に、局所領域分割を施した様子を示す図The figure which shows a mode that the local region division | segmentation was performed to the image which imaged the movement condition of many people in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、少人数の移動状況を撮像した画像に局所領域分割を施した様子を示す図The figure which shows a mode that local region division was performed to the image which imaged the movement condition of a small number of persons in the operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、人の移動経路に偏りが存在する状況を撮像した画像に局所領域分割を施した様子を示す図The figure which shows a mode that local region division was performed to the image which imaged the condition where the bias | inclination exists in a person's movement path | route in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の動作において、実際の動画像から求められた局所画像変化率ヒストグラムの例を示す図The figure which shows the example of the local image change rate histogram calculated | required from the actual moving image in operation | movement of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の状況判定部の内部構成を示すブロック図The block diagram which shows the internal structure of the condition determination part of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図The figure which shows the other implementation example of the process in the local image change detection part of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図The figure which shows the other implementation example of the process in the local image change detection part of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図The figure which shows the other implementation example of the process in the local image change detection part of the condition determination apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態2に係る状況判定装置の状況判定部の内部構成を示すブロック図The block diagram which shows the internal structure of the condition determination part of the condition determination apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る状況判定装置の特徴抽出部の特徴量抽出において求められる指標の値を示す図The figure which shows the value of the parameter | index calculated | required in the feature amount extraction of the feature extraction part of the condition determination apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る状況判定装置の特徴抽出部で抽出された特徴量の値を示す図The figure which shows the value of the feature-value extracted by the feature extraction part of the condition determination apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る状況判定装置の特徴抽出部が3シーンの動画から抽出した2次元特徴量の分布を示す図The figure which shows distribution of the two-dimensional feature-value extracted from the moving image of 3 scenes by the feature extraction part of the condition determination apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る状況判定装置の特徴抽出部で抽出された特徴量の各値と2次元特徴量の分布との関係を示す図The figure which shows the relationship between each value of the feature-value extracted by the feature extraction part of the condition determination apparatus which concerns on Embodiment 2 of this invention, and distribution of a two-dimensional feature-value. 本発明の実施の形態2に係る状況判定装置における混雑度判定処理の説明に用いられ、駅ホームにおける、6シーンを撮像した画像を示す図The figure which is used for description of the congestion degree determination process in the situation determination apparatus according to the second embodiment of the present invention, and shows an image obtained by capturing six scenes at the station platform 本発明の実施の形態2に係る状況判定装置における混雑度判定処理の説明に用いられ、6シーンに対応する特徴量の2次元特徴量空間における分布を示す図The figure which is used for description of the congestion degree determination process in the situation determination apparatus according to Embodiment 2 of the present invention, and shows the distribution in the two-dimensional feature amount space of feature amounts corresponding to six scenes. 本発明の実施の形態2に係る状況判定装置における混雑度判定処理の説明に用いられ、3状況における特徴量の分布に対して、それぞれ求めた部分空間を、分布と同時に表示した図The figure which used for explanation of the congestion degree judgment processing in the situation judgment device concerning Embodiment 2 of the present invention, and displayed each partial space calculated for the distribution of the feature quantity in three situations simultaneously with the distribution. 本発明の実施の形態2に係る状況判定装置における混雑度判定処理の説明に用いられ、部分空間法を説明するための図The figure for demonstrating the subspace method used for description of the congestion degree determination process in the condition determination apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る状況判定装置における混雑度判定処理の説明に用いられ、部分空間上の位置と混雑度を表す指標とを対応付けた様子を示す図The figure which shows a mode that it was used for description of the congestion degree determination process in the condition determination apparatus which concerns on Embodiment 2 of this invention, and matched the parameter | index showing a congestion degree with the position on a partial space. 本発明の実施の形態2に係る状況判定装置における混雑度判定処理の説明に用いられ、4状況における特徴量の分布に対して、それぞれ求めた部分空間を、分布と同時に表示した図The figure which used for explanation of the congestion degree judgment processing in the situation judgment device concerning Embodiment 2 of the present invention, and displayed each partial space calculated simultaneously with the distribution of the feature quantity in four situations. 本発明の実施の形態3に係る異常判定装置の概略構成を示すブロック図The block diagram which shows schematic structure of the abnormality determination apparatus which concerns on Embodiment 3 of this invention. 本発明の実施の形態3に係る異常判定装置で実行される異常判定処理を説明するためのフローチャートThe flowchart for demonstrating the abnormality determination process performed with the abnormality determination apparatus which concerns on Embodiment 3 of this invention. 本発明の実施の形態3に係る異常判定装置の状況判定装置が出力する混雑度および状況種別の通常状態における時間推移を示すグラフThe graph which shows the time transition in the normal state of the congestion degree and condition classification which the condition determination apparatus of the abnormality determination apparatus which concerns on Embodiment 3 of this invention outputs

符号の説明Explanation of symbols

100 画像入力部
110 画像蓄積部
120 局所画像変化検出部
130 局所画像変化情報蓄積部
140 局所画像変化率算出部
150 局所画像変化率蓄積部
160 局所画像変化率ヒストグラム算出部
170 状況判定部
200 参照ヒストグラム格納部
210 ヒストグラム比較部
300 特徴抽出部
310 識別基準格納部
320 識別部
500 状況判定装置
510 列車到着検知部
520 異常判定部
530 通報部
PH 駅のプラットホーム
WL プラットホームの側壁
ST プラットホームへの人の出入りのための階段
RL 線路
CM カメラ
SD 状況判定装置
AR1〜AR3 人の移動経路を表す矢印
WP 列車を待つ人
MP 移動する人
DESCRIPTION OF SYMBOLS 100 Image input part 110 Image storage part 120 Local image change detection part 130 Local image change information storage part 140 Local image change rate calculation part 150 Local image change rate storage part 160 Local image change rate histogram calculation part 170 Situation determination part 200 Reference histogram Storage unit 210 Histogram comparison unit 300 Feature extraction unit 310 Identification reference storage unit 320 Identification unit 500 Situation determination device 510 Train arrival detection unit 520 Abnormality determination unit 530 Notification unit PH Station platform WL Platform side wall ST Platform entrance / exit of people Stairs for RL Track CM Camera SD Situation Judgment Device AR1 to AR3 Arrows representing the movement path of a person WP Person waiting for a train MP Person moving

Claims (11)

撮像された動画像を解析することにより人の移動状況および/または混雑度を判定する状況判定装置であって、
前記動画像を複数の局所領域に分割し、前記局所領域毎局所画像変化率を算出する局所画像変化率算出手段と、
前記局所画像変化率算出手段で算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定手段と、
を備えた状況判定装置。
A situation determination device that determines a movement situation and / or a congestion degree of a person by analyzing a captured moving image ,
Wherein dividing the moving image into a plurality of local regions, and local image change ratio calculating means for calculating the local image change ratio of each of the local region,
A histogram representing the frequency distribution of the local image change rate for each of the local regions calculated by the local image change rate calculating means is calculated, and the calculated histogram and the reference histogram obtained in advance are compared to determine the movement situation of the person And / or situation determination means for determining the degree of congestion of people,
Situation judgment device with
前記局所領域毎の局所画像変化率算出手段は、前記動画像の第1の時間間隔を隔てて撮像された画から得られる代表動きベクトルを求め
前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、
前記第1の時間間隔より長い第2の時間間隔を前記第1の時間間隔で分割した個数と、前記動き有りと判定された前記第1の時間間隔の個数との割合として前記局所画像変化率を算出する請求項1に記載の状況判定装置。
The local image change ratio calculating means for each local region, obtains a representative motion vector obtained from the captured images at a first time interval of the moving image,
Comparing the magnitude of the representative motion vector with a predetermined threshold to determine the presence or absence of motion in the local region;
The local image change rate as a ratio between the number of times obtained by dividing the second time interval longer than the first time interval by the first time interval and the number of the first time intervals determined as having motion. The situation determination apparatus according to claim 1, which calculates
前記状況判定手段は、予め求めた参照ヒストグラムを保持する参照ヒストグラム格納手段と
前記算出したヒストグラムと前記参照ヒストグラムとを比較するヒストグラム比較手段とで構成され請求項1または請求項2に記載の状況判定装置。
The situation determination means includes a reference histogram storage means for holding a reference histogram obtained in advance ,
Situation determining apparatus according to claim 1 or claim 2 Ru is composed of a histogram comparing means for comparing the reference histogram and histograms the calculated.
前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、
前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定する請求項2に記載の状況判定装置。
As the movement situation, it is determined as a situation of movement of many people, movement of a small number of people or movement route bias,
When the number of areas determined to have movement in the local area is large, and the local image change rate in the calculated histogram is medium or large, it is determined as multi-person movement,
When the number of areas determined to have motion in the local area is large, and the local image change rate in the calculated histogram is determined to be a small number of people when the medium or large frequency is small,
3. The movement path bias is determined when the number of areas determined to have motion in the local area is small and the local image change rate in the calculated histogram is large at a medium or large frequency . Situation judgment device.
駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、
請求項に記載の状況判定装置と、
前記プラットホームへの列車の到着を検知する列車到着検知手段と、
前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路偏と判定されている場合に異常と判定する異常判定手段と、
を備えた異常判定装置。
An abnormality determination device that determines an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station,
A situation determination device according to claim 4 ;
Train arrival detection means for detecting the arrival of the train to the platform;
Determined Ri said status determination result as human movement path polarized by using the train arrival information after a predetermined time has passed after the train arrives information is obtained by the state determination result to the train arrival detecting means according to the status determining device An abnormality determining means for determining an abnormality when being performed;
An abnormality determination device comprising:
前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた請求項に記載の異常判定装置。 The abnormality determination device according to claim 5 , further comprising a notification unit configured to notify a predetermined contact address when the abnormality determination unit determines that an abnormality has occurred. 撮像された動画像を解析することにより人の移動状況および/または混雑度を判定する状況判定方法であって、
前記動画像を複数の局所領域に分割し、前記局所領域毎局所画像変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、
を備えた状況判定方法。
A situation determination method for determining a movement situation and / or a degree of congestion of a person by analyzing a captured moving image ,
The moving image is divided into a plurality of local regions, and local image change ratio calculating step of calculating a local image change ratio of each of the local region,
A histogram representing the frequency distribution of the local image change rate for each local area calculated in the local image change rate calculating step is calculated, and the calculated histogram and a reference histogram obtained in advance are compared to determine the movement situation of the person And / or a situation determination step for determining the degree of congestion of the person;
Situation judgment method with
前記局所領域毎の局所画像変化率算出ステップは、前記動画像の第1の時間間隔を隔てて撮像された画像から得られる代表動きベクトルを求め、The local image change rate calculation step for each local region obtains a representative motion vector obtained from images captured at a first time interval of the moving image,
前記代表動きベクトルの大きさを所定の閾値と比較して前記局所領域の動きの有無を判定し、Comparing the magnitude of the representative motion vector with a predetermined threshold to determine the presence or absence of motion in the local region;
前記第1の時間間隔より長い第2の時間間隔を前記第1の時間間隔で分割した個数と、前記動き有りと判定された前記第1の時間間隔の個数との割合として前記局所画像変化率を算出する請求項7に記載の状況判定方法。The local image change rate as a ratio between the number of times obtained by dividing the second time interval longer than the first time interval by the first time interval and the number of the first time intervals determined as having motion. The situation determination method according to claim 7, which calculates
前記移動状況として、多人数移動、少人数移動あるいは移動経路偏りの状況として判定し、As the movement situation, it is determined as a situation of movement of many people, movement of a small number of people or movement route bias,
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき多人数移動と判定し、When the number of areas determined to have movement in the local area is large, and the local image change rate in the calculated histogram is medium or large, it is determined as multi-person movement,
前記局所領域の中で動き有りと判定された領域数が多く、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が小さいとき少人数移動と判定し、When the number of areas determined to have motion in the local area is large, and the local image change rate in the calculated histogram is determined to be a small number of people when the medium or large frequency is small,
前記局所領域の中で動き有りと判定された領域数が少なく、前記算出したヒストグラムの中で前記局所画像変化率が中あるいは大の度数が大きいとき移動経路偏りと判定するWhen the number of areas determined to have motion in the local area is small and the local image change rate in the calculated histogram is medium or large, the path is determined to be biased.
請求項7に記載の状況判定方法。The situation determination method according to claim 7.
駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、
請求項9に記載の状況判定方法を実行する状況判定ステップと、
前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路偏りと判定されている場合、異常と判定する異常判定ステップと、
を備えた異常判定方法。
An abnormality determination method for determining an abnormal situation by analyzing a moving image or a plurality of still images captured by an imaging unit installed on a platform of a station,
A situation determination step for executing the situation determination method according to claim 9;
A train arrival detection step for detecting the arrival of the train to the platform;
Determining a moving route deviation of human as the status determination result after a predetermined period of time after the obtained the train arrival information by using a train arrival information by the train arrival detecting means and status determination result by the situation determining unit An abnormality determination step for determining an abnormality,
An abnormality determination method comprising:
コンピュータに、撮像された動画像を解析することにより人の移動状況および/または混雑度を判定させるための状況判定プログラムであって、
前記動画像を複数の局所領域に分割し、前記局所領域毎局所画像変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出ステップで算出された前記局所領域毎の前記局所画像変化率の度数分布を表すヒストグラムを算出し、前記算出したヒストグラムと予め求めた参照ヒストグラムとを比較して人の移動状況および/または人の混雑度を判定する状況判定ステップと、
を備えた状況判定プログラム。
A situation determination program for causing a computer to determine a movement situation and / or a degree of congestion of a person by analyzing a captured moving image ,
The moving image is divided into a plurality of local regions, and local image change ratio calculating step of calculating a local image change ratio of each of the local region,
A histogram representing the frequency distribution of the local image change rate for each local area calculated in the local image change rate calculating step is calculated, and the calculated histogram and a reference histogram obtained in advance are compared to determine the movement situation of the person And / or a situation determination step for determining the degree of congestion of the person;
Situation determination program with
JP2007278625A 2007-10-26 2007-10-26 Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program Expired - Fee Related JP4624396B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007278625A JP4624396B2 (en) 2007-10-26 2007-10-26 Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program
CN2012100617661A CN102582664A (en) 2007-10-26 2008-10-20 Congestion estimating apparatus
PCT/JP2008/002970 WO2009054119A1 (en) 2007-10-26 2008-10-20 Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method, abnormality judging program, and congestion estimating device
CN2008800183147A CN101681555B (en) 2007-10-26 2008-10-20 Situation judging device, situation judging method, abnormality judging device, and abnormality judging method
US12/601,950 US8472715B2 (en) 2007-10-26 2008-10-20 Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
US13/826,162 US8655078B2 (en) 2007-10-26 2013-03-14 Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007278625A JP4624396B2 (en) 2007-10-26 2007-10-26 Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program

Publications (2)

Publication Number Publication Date
JP2009110054A JP2009110054A (en) 2009-05-21
JP4624396B2 true JP4624396B2 (en) 2011-02-02

Family

ID=40778519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007278625A Expired - Fee Related JP4624396B2 (en) 2007-10-26 2007-10-26 Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program

Country Status (1)

Country Link
JP (1) JP4624396B2 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5070376B2 (en) * 2009-06-01 2012-11-14 中央電子株式会社 Congestion state detection apparatus, method, and program
JP5540400B2 (en) * 2010-06-21 2014-07-02 株式会社日立国際電気 Object detection device
CN102136195B (en) * 2011-03-28 2013-05-01 长安大学 Method for detecting road traffic condition based on image texture
JP5810296B2 (en) 2011-06-07 2015-11-11 パナソニックIpマネジメント株式会社 Image display device and image display method
JP5776001B2 (en) * 2011-07-22 2015-09-09 パナソニックIpマネジメント株式会社 Information display device and information display method
JP5935617B2 (en) * 2012-09-14 2016-06-15 オムロン株式会社 Image processing apparatus, moving body state determination method, and moving body state determination program
JP6969871B2 (en) 2015-01-14 2021-11-24 日本電気株式会社 Movement status estimation device, movement status estimation method and program
JP6474919B2 (en) * 2016-01-12 2019-02-27 株式会社日立国際電気 Congestion status monitoring system and congestion status monitoring method
JP6674791B2 (en) 2016-02-17 2020-04-01 株式会社Screenホールディングス Congestion degree estimation method, number of persons estimation method, congestion degree estimation program, number of persons estimation program, and number of persons estimation system
JP7009250B2 (en) * 2017-05-12 2022-02-10 キヤノン株式会社 Information processing equipment, information processing system, information processing method and program
US11314968B2 (en) 2017-09-12 2022-04-26 Nec Corporation Information processing apparatus, control method, and program
KR102526113B1 (en) * 2018-05-31 2023-04-26 삼성에스디에스 주식회사 Apparatus and method for visualizing congestion degree
JP7166106B2 (en) * 2018-08-31 2022-11-07 三菱電機ビルソリューションズ株式会社 Installation environment estimation device and program
JP7237499B2 (en) * 2018-09-19 2023-03-13 株式会社東芝 Image sensor, sensing method, control system and program
JP6632757B1 (en) * 2019-06-24 2020-01-22 いであ株式会社 Environmental abnormality detection device
JP7295181B2 (en) * 2021-09-08 2023-06-20 ソフトバンク株式会社 Determination device, program, and determination method
JP2023179858A (en) * 2022-06-08 2023-12-20 株式会社日立製作所 Intra-train abnormality detection system and method therefor
JP7407990B1 (en) 2023-02-14 2024-01-04 弦太朗 中田 Train delay detection and provision system using cameras
JP2024137174A (en) * 2023-03-24 2024-10-07 パナソニックIpマネジメント株式会社 Congestion determination system, congestion determination device, congestion determination method and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000016300A (en) * 1998-07-03 2000-01-18 Honda Motor Co Ltd Vibration damping device for steering wheel
JP2002008042A (en) * 2000-06-19 2002-01-11 Hitachi Ltd Action recognizing and processing device, and moving object action analyzing system
JP2004102380A (en) * 2002-09-05 2004-04-02 Meidensha Corp Congestion degree investigation device
WO2005039181A1 (en) * 2003-10-21 2005-04-28 Matsushita Electric Industrial Co., Ltd. Monitoring device
JP2006099241A (en) * 2004-09-28 2006-04-13 Ntt Data Corp Abnormality detection apparatus, abnormality detection method and abnormality detection program
JP2007028680A (en) * 2003-10-21 2007-02-01 Matsushita Electric Ind Co Ltd Monitoring device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296166A (en) * 1994-04-22 1995-11-10 Matsushita Electric Works Ltd Congestion degree detector

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000016300A (en) * 1998-07-03 2000-01-18 Honda Motor Co Ltd Vibration damping device for steering wheel
JP2002008042A (en) * 2000-06-19 2002-01-11 Hitachi Ltd Action recognizing and processing device, and moving object action analyzing system
JP2004102380A (en) * 2002-09-05 2004-04-02 Meidensha Corp Congestion degree investigation device
WO2005039181A1 (en) * 2003-10-21 2005-04-28 Matsushita Electric Industrial Co., Ltd. Monitoring device
JP2007028680A (en) * 2003-10-21 2007-02-01 Matsushita Electric Ind Co Ltd Monitoring device
JP2006099241A (en) * 2004-09-28 2006-04-13 Ntt Data Corp Abnormality detection apparatus, abnormality detection method and abnormality detection program

Also Published As

Publication number Publication date
JP2009110054A (en) 2009-05-21

Similar Documents

Publication Publication Date Title
JP4624396B2 (en) Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
CN111144247B (en) Escalator passenger reverse detection method based on deep learning
JP6458734B2 (en) Passenger number measuring device, passenger number measuring method, and passenger number measuring program
US9183432B2 (en) People counting device and people trajectory analysis device
US10943131B2 (en) Image based lane marking classification
CN105139425B (en) A kind of demographic method and device
Bas et al. Automatic vehicle counting from video for traffic flow analysis
US20120020518A1 (en) Person tracking device and person tracking program
US9940633B2 (en) System and method for video-based detection of drive-arounds in a retail setting
US20110176000A1 (en) System and Method for Counting People
EP2093699A1 (en) Movable object status determination
US8339454B1 (en) Vision-based car counting for multi-story carparks
CN101477641A (en) Demographic method and system based on video monitoring
CN111046832B (en) Retrograde judgment method, device, equipment and storage medium based on image recognition
JPH11282999A (en) Instrument for measuring mobile object
KR101472674B1 (en) Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images
Ryan et al. Crowd counting using group tracking and local features
JP5165540B2 (en) Height detection system and automatic ticket gate using the same
JP2021080106A (en) Boarding detection system and boarding detection method
JP5110246B2 (en) Fall detection device, program, fall detection method, and fall detection system
KR102287683B1 (en) Passenger counting apparatus using computer vision and passenger monitoring system thereof
JP6922951B2 (en) Image processing device and image processing method
KR20090083184A (en) Method for dectecting front and rear vehicle by using image
CN109726750A (en) A kind of passenger falls down detection device and its detection method and passenger conveying appliance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees