JP2016143335A - Group mapping device, group mapping method, and group mapping computer program - Google Patents
Group mapping device, group mapping method, and group mapping computer program Download PDFInfo
- Publication number
- JP2016143335A JP2016143335A JP2015020521A JP2015020521A JP2016143335A JP 2016143335 A JP2016143335 A JP 2016143335A JP 2015020521 A JP2015020521 A JP 2015020521A JP 2015020521 A JP2015020521 A JP 2015020521A JP 2016143335 A JP2016143335 A JP 2016143335A
- Authority
- JP
- Japan
- Prior art keywords
- group
- image
- person
- groups
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000013507 mapping Methods 0.000 title abstract 7
- 238000004364 calculation method Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループとを対応付けるグループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラムに関する。 The present invention relates to, for example, a group association apparatus, a group association method, and a group association for associating a group of persons captured in an image generated by a camera with a group of persons captured in an image generated by another camera It relates to a computer program.
従来、ショッピングモールや商店街などの店舗の内外に、互いに撮影範囲が異なる複数の監視カメラが設置されている。そこで、それら複数の監視カメラのそれぞれで生成された画像を解析することで、人の流れを把握することが検討されている。 Conventionally, a plurality of surveillance cameras having different shooting ranges are installed inside and outside a store such as a shopping mall or a shopping street. Therefore, it has been studied to grasp the flow of people by analyzing images generated by each of the plurality of surveillance cameras.
例えば、追跡対象者に特徴が少ない場合でも、追跡対象者に同伴する同伴者の中から特異的な特徴量を有する特徴人物を選出して、追跡対象者と特徴人物との相対位置に応じて、追跡対象者を追跡する人物追跡装置が提案されている（例えば、特許文献１を参照）。 For example, even if there are few features in the tracking target person, select a characteristic person with a specific feature amount from the accompanying persons accompanying the tracking target person, and depending on the relative position of the tracking target person and the characteristic person A person tracking device for tracking a tracking target person has been proposed (see, for example, Patent Document 1).
特許文献１に開示された技術では、同行するグループ内に特異的な特徴量を有する人物が存在すれば、そのグループの追跡が可能となる。しかしながら、同行するグループ内に特異的な特徴量を有する人物が存在しないこともある。このような場合、特許文献１に開示された技術では、そのようなグループの追跡が困難となる。
With the technique disclosed in
そこで、本明細書は、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループ間で同一のグループを対応付ける精度を向上できるグループ対応付け装置を提供することを目的とする。 Accordingly, the present specification describes a group association apparatus capable of improving the accuracy of associating the same group between a group of persons shown in an image generated by a camera and a group of persons shown in an image generated by another camera. The purpose is to provide.
一つの実施形態によれば、第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれからその画像に写っている人物を検出する人物検出部と、第１の画像及び第２の画像のそれぞれについて、その画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、第１の画像のグループから選択された一つのグループと、第２の画像のグループから選択された一つのグループの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出するグループ間類似度算出部と、その組のそれぞれごとに、算出されたグループ間の類似度に応じて、その組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部、を有するグループ対応付け装置を有する。 According to one embodiment, a person detection unit that detects a person in the image from each of the first image generated by the first camera and the second image generated by the second camera; Each of the first image and the second image is selected from a grouping unit for classifying at least one person detected from the image into one of at least one group, and a group of the first image. An inter-group similarity calculation unit that calculates the similarity between two groups included in the set for each of the one group and one set of groups selected from the group of the second image; A group having, for each group, a group association unit that determines whether two groups included in the pair are the same group according to the calculated similarity between the groups. Have a response with the device.
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。 The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。 It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.
本明細書に開示されたグループ対応付け装置は、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループ間で同一のグループを対応付ける精度を向上できる。 The group association apparatus disclosed in this specification has an accuracy for associating the same group between a group of persons shown in an image generated by a camera and a group of people shown in an image generated by another camera. Can be improved.
以下、図を参照しつつ、一つの実施形態による、グループ対応付け装置について説明する。このグループ対応付け装置は、互いの撮影範囲の少なくとも一部が重ならないように設置された二つのカメラで生成された画像ごとに、その画像に写っている人物を検出してグループ化する。そしてこのグループ対応付け装置は、一方のカメラにより生成された画像上のグループと、他方のカメラにより生成された画像上のグループ間の類似度を算出し、その類似度に応じて、それら二つのグループが同一か否か判定する。その際、このグループ対応付け装置は、それら二つのグループのうちの一方に属する人物と他方のグループに属する人物とを、組み合わせを変えながら一人ずつ組み合わせることで、複数の人物の組の集合を求める。そしてこのグループ対応付け装置は、人物の組の集合ごとに、その集合に含まれる各人物の組について、人物間の類似度を求めてその類似度の総和を算出し、類似度の総和の最大値をグループ間の類似度とする。 Hereinafter, a group association apparatus according to an embodiment will be described with reference to the drawings. The group association device detects and groups persons in the images for each image generated by two cameras installed so that at least a part of the shooting range of each other does not overlap. And this group matching apparatus calculates the similarity between the group on the image generated by one camera and the group on the image generated by the other camera, and depending on the similarity, the two Determine whether the groups are the same. At this time, the group association apparatus obtains a set of a plurality of sets by combining a person belonging to one of the two groups and a person belonging to the other group one by one while changing the combination. . Then, for each set of persons, this group association device calculates the sum of similarities for each person set included in the set, calculates the sum of the similarities, and calculates the maximum sum of similarities. The value is the similarity between groups.
図１は、一つの実施形態によるグループ対応付け装置のハードウェア構成図である。図１に示されるように、グループ対応付け装置１は、操作部３と、記憶部４と、処理部５と、出力部６と、通信インターフェース部７とを有し、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２と接続されている。また処理部５は、操作部３、記憶部４、出力部６及び通信インターフェース部７と、例えば、バスを介して接続される。なお、グループ対応付け装置１と接続されるカメラの数は、二つに限定されず、三つ以上あってもよい。
FIG. 1 is a hardware configuration diagram of a group association apparatus according to an embodiment. As shown in FIG. 1, the
第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、所定の撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのため、第１のカメラ２−１及び第２のカメラ２−２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系を有する。第１のカメラ２−１及び第２のカメラ２−２は、一定の撮影周期（例えば1/30秒）ごとに画像を生成する。そして第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、画像を生成する度に、その画像を、通信ネットワークを介して、グループ対応付け装置１へ出力する。なお、第１のカメラ２−１及び第２のカメラ２−２により生成される画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。以下では、説明の便宜上、第１のカメラ２−１で生成された画像を第１の画像とし、第２のカメラ２−２で生成された画像を第２の画像とする。
The first camera 2-1 and the second camera 2-2 each shoot a predetermined shooting range, and generate an image showing the shooting range. Therefore, the first camera 2-1 and the second camera 2-2 include a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light, such as CCD or C-MOS, and the two-dimensional detector. An imaging optical system that forms an image of the imaging range on the detector is provided. The first camera 2-1 and the second camera 2-2 generate images at a constant shooting period (for example, 1/30 second). Each time the first camera 2-1 and the second camera 2-2 generate an image, the image is output to the
本実施形態において、第１のカメラ２−１及び第２のカメラ２−２は、互いの撮影範囲の少なくとも一部が重ならないように設置される。
図２は、第１のカメラ２−１及び第２のカメラ２−２の撮影範囲の一例を示す図である。この例では、第１のカメラ２−１及び第２のカメラ２−２は、互いの撮影範囲２００、２０１が重ならないように、ショッピングモールなどの建物の異なるフロアに設置されている。このように二つのカメラが設置されていると、同一の人物を含むグループがカメラ２−１が設置されたフロア及びカメラ２−２が設置されたフロアを通行する際に、そのグループは、第１のカメラ２−１及び第２のカメラ２−２によりそれぞれ撮影される。したがって、第１のカメラ２−１で生成された画像に写った人物のグループと、第２のカメラ２−２で生成された画像に写った人物のグループとが同一のグループであることが判定できれば、その人物のグループの移動経路を特定することが可能となる。
In the present embodiment, the first camera 2-1 and the second camera 2-2 are installed so that at least a part of their shooting ranges do not overlap.
FIG. 2 is a diagram illustrating an example of shooting ranges of the first camera 2-1 and the second camera 2-2. In this example, the first camera 2-1 and the second camera 2-2 are installed on different floors of a building such as a shopping mall so that the
操作部３は、例えば、キーボードとマウスなどの入力装置を有する。そして操作部３は、例えば、ユーザの操作に応じて、グループ対応付け処理を開始させる操作信号を処理部５へ出力する。
The
記憶部４は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部４は、例えば、処理部５上で実行されるグループ対応付け処理を実行するためのコンピュータプログラム、及びそのグループ対応付け処理で利用されるデータ及びグループ対応付け処理の途中で生成される各種のデータを一時的に記憶する。さらに、記憶部４は、カメラ２−１から取得した第１の画像及びカメラ２−２から取得した第２の画像を一定期間記憶する。
The
処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部５は、グループ対応付け装置１全体を制御する。また、処理部５は、通信インターフェース部７を介して第１のカメラ２−１から第１の画像を受け取る度に、その第１の画像に第１のカメラ２−１を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部４に保存する。同様に、処理部５は、通信インターフェース部７を介して第２のカメラ２−２から第２の画像を受け取る度に、その第２の画像に第２のカメラ２−２を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部４に保存する。そして処理部５は、順次取得された第１の画像及び第２の画像に基づいてグループ対応付け処理を実行する。なお、グループ対応付け処理の詳細については後述する。
The
出力部６は、処理部５から受け取った対応付け結果を表示装置（図示せず）へ出力する。そのために、出力部６は、例えば、表示装置をグループ対応付け装置１と接続するためのビデオインターフェース回路を有する。なお、操作部３及び出力部６は、タッチパネルディスプレイといった、入力装置と出力装置とが一体化された装置を有してもよい。
The
通信インターフェース部７は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース部７は、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２からそれぞれ画像を受け取り、その受け取った画像を処理部５にわたす。また通信インターフェース部７は、処理部５から受け取ったグループ間対応付け結果を、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。
The
以下、処理部５により実行されるグループ対応付け処理の詳細について説明する。
Details of the group association process executed by the
図３は、グループ対応付け処理に関する処理部５の機能ブロック図である。図３に示されるように、処理部５は、人物検出部１１と、追跡部１２と、グループ化部１３と、特徴量算出部１４と、グループ間類似度算出部１５と、グループ対応付け部１６とを有する。
FIG. 3 is a functional block diagram of the
処理部５が有するこれらの各部は、例えば、処理部が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、処理部５が有するこれらの各部は、ファームウェアとしてグループ対応付け装置１に実装されてもよい。
Each of these units included in the
人物検出部１１は、処理部５が第１のカメラ２−１から第１の画像を取得する度に、その第１の画像に写っている人物を検出する。同様に、人物検出部１１は、処理部５が第２のカメラ２−２から第２の画像を取得する度に、その第２の画像に写っている人物を検出する。なお、人物検出部１１は、第１の画像及び第２の画像に対して同一の処理を実行するので、以下では、第１の画像に対する処理を例として説明する。
Each time the
人物検出部１１は、例えば、国際公開第２０１２／１３１８１６号に開示されているように、第１の画像と背景画像間の差分から移動物体が写っている領域を抽出し、抽出された領域が人物に該当するか否かの判定処理を行うことで人物を検出する。あるいは、人物検出部１１は、人物検出用に学習されたAdaBoost、サポートベクトルマシン、またはパーセプトロンといった識別器を用いて、第１の画像から人物を検出してもよい。
人物検出部１１は、第１の画像のそれぞれに対して、検出された人物の情報を表す人物テーブルを生成し、その人物テーブルを記憶部４に記憶する。
For example, as disclosed in International Publication No. 2012/131816, the
The
図４は、人物テーブル４００の一例を示す図である。人物テーブル４００には、人物検出対象となった画像を生成したカメラのＩＤ（第１の画像の場合、カメラ２−１のＩＤ）、及びその画像が生成された日時が含まれる。さらに、人物テーブル４００には、検出された人物ごとに、その人物を識別するための人物ＩＤ、その人物が写った領域の左上座標（ｘ，ｙ）、その人物が写った領域の外接矩形サイズ（ｗ，ｈ）が含まれる。なお、ｗは、人物が写った領域の外接矩形の幅であり、ｈは、その外接矩形の高さである。 FIG. 4 is a diagram illustrating an example of the person table 400. The person table 400 includes the ID of the camera that generated the image that is the person detection target (in the case of the first image, the ID of the camera 2-1), and the date and time when the image was generated. Further, in the person table 400, for each detected person, a person ID for identifying the person, the upper left coordinates (x, y) of the area where the person is shown, and the circumscribed rectangle size of the area where the person is shown (W, h) is included. Note that w is the width of the circumscribed rectangle of the area in which the person is shown, and h is the height of the circumscribed rectangle.
追跡部１２は、検出された人物をグループに分類するために利用する情報を得るために、第１のカメラ２−１及び第２のカメラ２−２のそれぞれごとに、画像から検出された人物を追跡する。なお、追跡部１２は、第１のカメラ２−１から得られた第１の画像から検出された人物及び第２のカメラ２−２から得られた第２の画像から検出された人物に対して同一の処理を実行する。そこで以下では、第１の画像から検出された人物に対する処理を例として、追跡部１２の処理を説明する。
The
追跡部１２は、処理部５が最新の第１の画像を受け取る度に、直近の二つの第１の画像についての人物テーブルを参照して、追跡中の人物のそれぞれごとに、その直近の二つの第１の画像上でのその人物の位置の差分から移動ベクトルを算出する。追跡部１２は、着目する追跡中の人物の直前の第１の画像上でのその人物の位置から移動ベクトルだけ移動した位置を、最新の第１の画像上でのその人物の予想移動位置とする。そして追跡部１２は、最新の第１の画像上で、予想移動位置から所定範囲内（例えば、実世界の１〜２ｍに相当する画素数）に、検出された人物が存在するか否か判定する。その所定範囲内に検出された人物が存在する場合、追跡部１２は、その検出された人物を着目する追跡中の人物と同一人物であると判定する。そして追跡部１２は、着目する追跡中の人物の人物ＩＤを、その検出された人物に割り当て、最新の第１の画像についての人物テーブルに、その人物ＩＤを登録する。これにより、時系列に取得された複数の第１の画像のそれぞれに対応する人物テーブルに登録された、同一の人物ＩＤが割り当てられた人物の画像上の位置が、その人物の位置の時系列の遷移を表す追跡情報となる。なお、着目する追跡中の人物が直前の一つの第１の画像でしか検出されていない場合、追跡部１２は、その人物について、直前の画像の位置を最新の画像上の予想移動位置とし、その予想移動位置から人物を検出する所定範囲をより広くしてもよい。
Each time the
一方、最新の第１の画像上で、予想移動位置から所定範囲内に検出された人物が存在しない場合、追跡部１２は、着目する追跡中の人物の追跡を中止する。なお、他の物体あるいは他の人物に隠れていて、一時的に最新の画像上の予想移動位置から所定範囲内に検出された人物が存在しない場合もある。そこで、例えば、追跡部１２は、最新の第１の画像上の予想移動位置から所定範囲内に検出された人物が存在しないことが所定期間（例えば、10秒〜30秒間）連続した場合に、着目する追跡中の人物の追跡を中止してもよい。これにより、追跡部１２は、人物が一時的に隠れてしまった場合も、その人物に対する追跡を続行できる。
On the other hand, if there is no person detected within the predetermined range from the expected movement position on the latest first image, the
また、追跡部１２は、最新の第１の画像上で検出された人物のうち、追跡中の何れの人物とも対応付けられていない人物が存在する場合、その人物を新たな追跡対象人物とし、追跡中の何れの人物の人物ＩＤとも異なる新たな人物ＩＤを割り当てる。そして追跡部１２は、その新たな追跡対象人物の人物ＩＤを人物テーブルに登録する。
Further, when there is a person that is not associated with any person being tracked among the persons detected on the latest first image, the
なお、追跡部１２は、時系列に取得される複数の画像間で移動物体を追跡する他の様々なトラッキング手法の何れかを利用して、人物を追跡してもよい。例えば、追跡部１２は、山下隆義など, “追跡対象と周辺領域の関係性を利用した協調的な物体追跡”, 画像の認識・理解シンポジウム(MIRU2011), pp.56−63, 2011年、特開２００２−１５７５９９号公報に開示されているトラッキング手法に従って、人物を追跡してもよい。
Note that the
グループ化部１３は、第１のカメラ２−１及び第２のカメラ２−２のそれぞれごとに、画像から検出された人物をグループ化する。本実施形態では、グループ化部１３は、第１のカメラ２−１から処理部５が第１の画像を受け取る度に、その第１の画像から検出された人物に対してグループ化処理を実行する。同様に、グループ化部１３は、第２のカメラ２−２から処理部５が第２の画像を受け取る度に、その第２の画像から検出された人物に対してグループ化処理を実行する。なお、グループ化部１３は、第１のカメラ２−１から得られた第１の画像から検出された人物及び第２のカメラ２−２から得られた第２の画像から検出された人物に対して同一の処理を実行する。そこで以下では、第１の画像から検出された人物に対する処理を例として、グループ化部１３の処理を説明する。
The
本実施形態では、グループ化部１３は、検出された人物ごとの追跡情報を参照して、一定期間にわたって近傍にいる人物同士を同一のグループに分類する。同一のグループに属している複数の人物は、継続的に互いに近接していると想定されるためである。そこでグループ化部１３は、追跡中の各人物について、その人物の近傍に一定期間にわたって他の追跡中の人物がいるか否か判定する。
In the present embodiment, the
図５及び図６は、グループ化部１３により実行される、グループ化処理の動作フローチャートである。まず、グループ化部１３は、未着目の追跡中の人物のうちの一人を着目する追跡中の人物に設定する（ステップＳ１０１）。グループ化部１３は、同一の画像上での着目する追跡中の人物と他の全ての追跡中の人物との重心間距離distを次式に従って算出する。
5 and 6 are operation flowcharts of the grouping process executed by the
ここで、(x1,t、y1,t)は、時刻tにおける第１の画像（この例では、最新の第１の画像）上の着目する追跡中の人物が写った領域の左上座標である。(x2,t，y2,t)は、時刻ｔにおける第１の画像上に写った他の追跡中の人物が写った画像上の領域の左上座標である。また、w1,t，h1,tは、時刻ｔにおける第１の画像上の着目する追跡中の人物が写った領域の外接矩形の幅及び高さである。同様に、w2,t，h2,tは、時刻ｔにおける第１の画像上に写っている他の追跡中の人物が写った領域の外接矩形の幅及び高さである。 Here, (x 1, t , y 1, t ) is the upper left coordinates of the region in which the person being tracked on the first image (in this example, the latest first image) at time t is shown. It is. (x 2, t , y 2, t ) is the upper left coordinates of the area on the image in which another person being tracked that appears on the first image at time t is shown. Further, w 1, t and h 1, t are the width and height of the circumscribed rectangle of the area in which the target tracking person on the first image at time t is shown. Similarly, w 2, t and h 2, t are the width and height of the circumscribed rectangle of the area in which another person being tracked that appears on the first image at time t is shown.
グループ化部１３は、他の追跡中の人物のそれぞれについての重心間距離distを、他の追跡中の人物の人物ＩＤと対応付けて記憶部４に登録する（ステップＳ１０２）。
The
グループ化部１３は、記憶部４を参照して、他の追跡中の人物のそれぞれについて、過去一定期間（例えば、３分間）における、着目する追跡中の人物との重心間距離distが所定の閾値dTh以内である近傍出現回数をカウントする（ステップＳ１０３）。なお、所定の閾値dThは、二人の人物が同一グループに含まれる可能性がある距離に相当する閾値であり、例えば、実世界の２ｍに相当する画素数に設定される。あるいは、閾値dThは、検出された人物の幅または高さの平均値の定数倍（例えば、１〜２倍程度）に設定される。
The
グループ化部１３は、他の追跡中の人物のうち、近傍出現回数が所定の閾値fTh以上となる人物を、着目する追跡中の人物の近傍にいる人物として検出する（ステップＳ１０４）。なお、所定の閾値fThは、二人の人物が同一グループに含まれる可能性がある近傍出現回数に相当する閾値であり、例えば、近傍出現回数のカウント期間中に取得される第１の画像の枚数に0.3〜0.5を乗じた値に設定される。ステップＳ１０４の後、グループ化部１３は、最新の第１の画像について追跡が終了したと判定された人物のそれぞれについて、過去一定期間に、近傍に人物がいるか否かの判定結果を利用して、何れかのグループに分類する。
The
図６を参照すると、グループ化部１３は、着目する追跡が終了した人物が属するグループが既に決定されているか否か判定する（ステップＳ２０１）。着目する追跡が終了した人物が属するグループが未だ決定されていない場合（ステップＳ２０１−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物の近傍にいる人物が検出されたか否か判定する（ステップＳ２０２）。着目する追跡が終了した人物の近傍にいる人物が検出されない場合（ステップＳ２０２−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物を新規のグループに追加する（ステップＳ２０３）。そしてグループ化部１３は、新規のグループのグループＩＤを設定する。そしてグループ化部１３は、各人物が属するグループを表す人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物の人物ＩＤを登録する。
Referring to FIG. 6, the
図７は、記憶部４に記憶された人物グループ対応テーブル７００の一例を示す図である。人物グループ対応テーブル７００では、グループごとに、そのグループを他のグループと識別するためのグループＩＤが示される。そして人物グループ対応テーブル７００は、追跡中の人物ごとに、その人物の人物ＩＤと、その人物が属するグループのグループＩＤとを表す。例えば、図７に示される例では、人物ＩＤが'1'である人物と'3'である人物とがグループＩＤが'1'のグループに属し、人物ＩＤが'2'である人物がグループＩＤが'2'のグループに属することが示されている。
FIG. 7 is a diagram illustrating an example of the person group correspondence table 700 stored in the
一方、着目する追跡が終了した人物の近傍にいる人物が検出された場合（ステップＳ２０２−Ｙｅｓ）、グループ化部１３は、近傍にいる人物が複数か否か判定する（ステップＳ２０４）。近傍にいる人物が複数でない場合（ステップＳ２０４−Ｎｏ）、グループ化部１３は、人物グループ対応テーブルを参照し、近傍にいる人物が何れかのグループに属しているか否か判定する（ステップＳ２０５）。近傍にいる人物が何れかのグループに属している場合（ステップＳ２０５−Ｙｅｓ）、グループ化部１３は、着目する追跡が終了した人物を、近傍にいる人物が属するグループに追加する（ステップＳ２０６）。そしてグループ化部１３は、人物グループ対応テーブルに、着目する追跡が終了した人物の人物ＩＤを、その人物が追加されたグループのグループＩＤと対応付けて登録する。一方、近傍にいる人物が何れのグループにも属していない場合（ステップＳ２０５−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物及びその近傍にいる人物を新規のグループに追加する（ステップＳ２０７）。そしてグループ化部１３は、その新規のグループＩＤを設定する。グループ化部１３は、人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物及びその近傍にいる人物のそれぞれの人物ＩＤを登録する。
On the other hand, when a person in the vicinity of the person who has finished tracking of interest is detected (step S202—Yes), the
一方、近傍にいる人物が複数である場合（ステップＳ２０４−Ｙｅｓ）、グループ化部１３は、近傍にいる複数の人物のうち、近傍出現回数が最大の人物を判定対象人物とし、判定対象人物が何れかのグループに属しているか否か判定する（ステップＳ２０８）。判定対象人物が何れかのグループに属している場合（ステップＳ２０８−Ｙｅｓ）、グループ化部１３は、着目する追跡が終了した人物を、判定対象人物が属するグループに追加する（ステップＳ２０９）。一方、判定対象人物が何れのグループにも属していない場合（ステップＳ２０８−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物の近傍にいる人物のうちで判定対象人物に設定されていない人物がいるか否か判定する（ステップＳ２１０）。判定対象人物に設定されていない人物がいる場合（ステップＳ２１０−Ｙｅｓ）、グループ化部１３は、現在の判定対象人物の次に近傍出現回数が多い人物を次の判定対象人物とする（ステップＳ２１２）。そしてグループ化部１３は、ステップＳ２０８以降の処理を繰り返す。一方、判定対象人物に設定されていない人物がいない場合（ステップＳ２１０−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物及びその近傍にいる複数の人物を新規のグループに追加する（ステップＳ２１１）。そしてグループ化部１３は、その新規のグループＩＤを設定する。グループ化部１３は、人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物及びその近傍にいる複数の人物の人物ＩＤを登録する。
On the other hand, when there are a plurality of persons in the vicinity (Yes in step S204), the
ステップＳ２０１にて、着目する追跡が終了した人物が既に何れかのグループに属している場合（ステップＳ２０１−Ｙｅｓ）、グループ化部１３は、追跡が終了した全ての人物に対してグループ化処理を終了したか否か判定する（ステップＳ２１３）。また、ステップＳ２０３、ステップＳ２０６、ステップＳ２０７、ステップＳ２０９、またはステップＳ２１１の後も、グループ化部１３は、ステップＳ２１３の処理を行う。追跡が終了した全ての人物に対してグループ化処理を終了していない場合（ステップＳ２１３−Ｎｏ）、グループ化部１３は、図５のステップＳ１０１以降の処理を繰り返す。一方、追跡が終了した全ての人物に対してグループ化処理を終了した場合（ステップＳ２１３−Ｙｅｓ）、グループ化部１３は、グループ化処理を終了する。なお、グループ化部１３は、ステップＳ２０１〜ステップＳ２１３の処理を、追跡中の人物について実行してもよい。
In step S201, when the person whose tracking that has been focused on already belongs to any group (step S201-Yes), the
図８（ａ）は、第１の画像上で検出された人物のグループ分けの結果の一例を示す図である。例えば、人物８１０及び人物８１１は、グループ８００に分類され、人物８１２、人物８１３及び人物８１４は、グループ８０１に分類され、人物８１５及び人物８１６は、グループ８０２に分類される。
FIG. 8A is a diagram illustrating an example of a result of grouping the persons detected on the first image. For example, the
図８（ｂ）は、第２の画像上で検出された人物のグループ分けの結果の一例を示す図である。例えば、人物８１７及び人物８１８は、グループ８０３に分類され、人物８１９及び人物８２０は、グループ８０４に分類され、人物８２１〜人物８２４は、グループ８０５に分類される。
FIG. 8B is a diagram illustrating an example of a result of grouping the persons detected on the second image. For example, the
特徴量算出部１４は、処理部５が第１のカメラ２−１から第１の画像を取得する度に、その第１の画像に写っている人物ごとに、その人物の外見を表す特徴量を算出する。同様に、特徴量算出部１４は、処理部５が第２のカメラ２−２から第２の画像を取得する度に、その第２の画像に写っている人物ごとに、その人物の外見を表す特徴量を算出する。なお、特徴量算出部１４は、第１の画像及び第２の画像に対して同一の処理を実行するので、以下では、第１の画像に対する処理を例として説明する。
Each time the
特徴量算出部１４は、例えば、特開２００５−２０２９３８号公報に開示される手法に従って、人物ごとに、その人物の外見を表す特徴量を算出する。この場合、特徴量算出部１４は、第１の画像上のその人物が写っている領域を、例えば垂直方向に沿って四つのブロックに分割する。そして特徴量算出部１４は、ブロックごとに、色相のヒストグラムを作成し、そのヒストグラムに基づいて出現頻度が最も高い色相の値を代表色とする。そして特徴量算出部１４は、ブロックごとの代表色に相当する色相の値を表す四次元空間の座標を、その人物の外見を表す特徴量とする。特徴量算出部１４は、算出した特徴量をその人物と対応付けて人物テーブルに登録する。
なお、特徴量算出部１４は、人物の外見を表す特徴量として、上記以外の特徴量を算出してもよい。
The feature
Note that the feature
グループ間類似度算出部１５は、第１のカメラ２−１で生成された画像のグループが第２のカメラ２−２で生成された画像のグループと同一か否か判定するために、グループ間の類似度を算出する。
The inter-group
本実施形態では、第１のカメラ２−１の撮影範囲と第２のカメラ２−２の撮影範囲が互いに異なっているので、第１のカメラ２−１の撮影範囲にいたグループが、第２のカメラ２−２の撮影範囲に到達するまでにある程度の時間を要する。逆に、第２のカメラ２−２の撮影範囲にいたグループが、第１のカメラ２−１の撮影範囲に到達するまでにも、ある程度の時間を要する。そのため、同一グループか否かの判定及びグループ類似度の算出は、その撮影範囲間のグループの移動に要すると想定される時間である予想移動時間だけ撮影時刻の差がある第１の画像と第２の画像間で行われる。なお、予想移動時間は、撮影範囲間の距離及び想定されるグループの移動速度に応じて予め設定される。 In the present embodiment, since the shooting range of the first camera 2-1 and the shooting range of the second camera 2-2 are different from each other, the group that was in the shooting range of the first camera 2-1 is the second group. It takes a certain amount of time to reach the shooting range of the camera 2-2. Conversely, it takes a certain amount of time for the group that was in the shooting range of the second camera 2-2 to reach the shooting range of the first camera 2-1. Therefore, the determination of whether or not they are in the same group and the calculation of the group similarity are the same as the first image and the first image that have a difference in shooting time by an estimated moving time that is assumed to be required for moving the group between the shooting ranges. Between two images. The expected moving time is set in advance according to the distance between the shooting ranges and the assumed moving speed of the group.
グループ間類似度算出部１５は、最新の第１の画像において一つ以上のグループが検出された場合、その最新の第１の画像の撮影時刻から予想移動時間だけ前の基準時刻を含む所定の時間範囲に含まれる撮影時刻の第２の画像を特定する。なお、所定の時間範囲は、例えば、基準時刻の前後３分間とすることができる。そしてグループ間類似度算出部１５は、その最新の第１の画像と特定された第２の画像のそれぞれとの間でグループ間の類似度を算出する。同様に、グループ間類似度算出部１５は、最新の第２の画像において一つ以上のグループが検出された場合、その最新の第２の画像の撮影時刻から予想移動時間だけ前の基準時刻を含む所定の時間範囲に含まれる撮影時刻の第１の画像を特定する。そしてグループ間類似度算出部１５は、その最新の第２の画像と特定された第１の画像のそれぞれとの間でグループ間の類似度を算出する。以下では、第１の画像と第２の画像の一つの組を例として、グループ間の類似度算出処理を説明する。
The inter-group
グループ間類似度算出部１５は、第１の画像上のグループに属する人物と第２の画像上のグループに属する人物とを一人ずつ組み合わせた人物の組の集合を、人物の組み合わせを変えながら複数作成する。さらにグループ間類似度算出部１５は、第１の画像または第２の画像において、複数のグループが検出されている場合、第１の画像上のグループと第２の画像上のグループの組み合わせを変えながら、各グループの組み合わせについて人物の組の集合を複数作成する。
The inter-group
図９（ａ）及び図９（ｂ）は、それぞれ、人物の組の集合の一例を示す図である。図９（ａ）では、一方の画像（例えば、第１の画像）からグループ９０１が検出され、他方の画像（例えば、第２の画像）からグループ９０４が検出されている。そしてグループ９０１には、人物９０２と人物９０３が属しており、グループ９０４には、人物９０５と人物９０６が属している。そのため、グループ間類似度算出部１５は、グループ９０１とグループ９０４の組について、（人物９０２，人物９０５）の組と、（人物９０３，人物９０６）の組とを含む人物の組の集合を作成する。さらに、グループ間類似度算出部１５は、（人物９０２，人物９０６）の組と、（人物９０３，人物９０５）の組とを含む人物の組の集合を作成する。
FIG. 9A and FIG. 9B are diagrams illustrating an example of a set of person groups, respectively. In FIG. 9A, the
同様に、図９（ｂ）では、一方の画像（例えば、第１の画像）からグループ９０７が検出され、他方の画像（例えば、第２の画像）からグループ９１０が検出されている。そしてグループ９０７には、人物９０８と人物９０９が属しており、グループ９１０には、人物９１１と人物９１２が属している。そのため、グループ間類似度算出部１５は、グループ９０７とグループ９１０の組について、（人物９０８，人物９１１）の組と、（人物９０９，人物９１２）の組とを含む人物の組の集合を作成する。さらに、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組と、（人物９０９，人物９１１）の組とを含む人物の組の集合を作成する。
Similarly, in FIG. 9B, the
グループ間類似度算出部１５は、記憶部４に記憶された人物テーブルを参照して、グループの組み合わせごとに、その組み合わせに含まれるグループに属する人物の特徴量を読み込む。そしてグループ間類似度算出部１５は、複数の人物の組の集合のそれぞれについて、その集合に含まれる人物の組ごとに、その組に含まれる二人の人物間の類似度を算出する。例えば、グループ間類似度算出部１５は、人物の組に含まれる二人の人物のそれぞれの特徴量間の正規化相互相関値を類似度として算出する。また、上記のように、人物の特徴量が四次元座標で表されている場合、二人の人物の特徴量間の距離の逆数を正規化した値を類似度として算出してもよい。
The inter-group
例えば、図９（ａ）に示される例では、（人物９０２，人物９０５）の組についての類似度は９５であり、（人物９０３，人物９０６）の組についての類似度は９０である。また、（人物９０２，人物９０６）の組についての類似度は４５であり、（人物９０３，人物９０５）の組についての類似度は５０である。また、図９（ｂ）に示される例では、（人物９０８，人物９１１）の組についての類似度は５であり、（人物９０９，人物９１２）の組についての類似度は２５である。また、（人物９０８，人物９１２）の組についての類似度は３０であり、（人物９０９，人物９１１）の組についての類似度は１０である。なお、人物間の類似度は、０〜１００で正規化されているとする。
For example, in the example shown in FIG. 9A, the similarity for the set of (
グループ間類似度算出部１５は、算出された人物の組ごとの類似度の総和が最大となる人物の組の集合を選択する。図９（ａ）に示される例では、（人物９０２，人物９０５）の組と（人物９０３，人物９０６）の組を含む人物の組の集合についての類似度の総和は１８５である。一方、（人物９０２，人物９０６）の組と（人物９０３，人物９０５）の組を含む人物の組の集合についての類似度の総和は９５である。そこでグループ間類似度算出部１５は、（人物９０２，人物９０５）の組と（人物９０３，人物９０６）の組を含む人物の組の集合を選択する。同様に、図９（ｂ）に示される例では、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組と（人物９０９，人物９１１）の組を含む人物の組の集合を選択する。
The inter-group
グループ間類似度算出部１５は、選択した、人物の組ごとの類似度の総和が最大となる人物の組の集合に含まれる人物の組のそれぞれの類似度の統計的代表値（例えば、合計値または平均値）を、グループ間の類似度として算出する。図９（ａ）に示される例では、グループ間類似度算出部１５は、（人物９０２，人物９０５）の組の類似度９５と（人物９０３，人物９０６）の組の類似度９０の平均値９２．５をグループ９０１とグループ９０４間の類似度とする。また、図９（ｂ）に示される例では、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組の類似度３０，（人物９０９，人物９１１）の組の類似度１０の平均値２０を、グループ９０７とグループ９１０間の類似度とする。
The inter-group
グループ間類似度算出部１５は、グループの組ごとに、その組について算出されたグループ間の類似度をグループ対応付け部１６へ出力する。
The inter-group
グループ対応付け部１６は、グループの組ごとに、グループ間の類似度に応じて、その組に含まれる二つのグループが同一グループか否か判定し、同一と判定された二つのグループを対応付ける。
For each group of groups, the
例えば、グループ対応付け部１６は、グループ間の類似度が所定の閾値gTh以上である場合、そのグループの組に含まれる二つのグループが同一のグループ、すなわち、属する人物の少なくとも一部が同一のグループであると判定する。なお、所定の閾値gThは、同一のグループについてのグループ間の類似度の下限値に相当する値、例えば、グループ間の類似度が取り得る値の最大値に0.6〜0.8を乗じた値に設定される。そしてグループ対応付け部１６は、グループの組に含まれる二つのグループが同一グループであると判定した場合、その二つのグループに同一ＩＤを割り当てて、その二つのグループを対応付ける。一方、グループ間の類似度が所定の閾値gTh未満である場合、グループ対応付け部１６は、そのグループの組に含まれる二つのグループは、互いに異なるグループ、すなわち、属する人物が互いに異なるグループであると判定する。
For example, when the similarity between groups is equal to or greater than a predetermined threshold value gTh, the
例えば、所定の閾値gThが８０である場合、図９（ａ）に示される、グループ９０１とグループ９０４間の類似度は９２．５なので、グループ対応付け部１６は、グループ９０１とグループ９０４を同一のグループと判定する。一方、図９（ｂ）に示される、グループ９０７とグループ９１０間の類似度は２０なので、グループ対応付け部１６は、グループ９０７とグループ９１０を互いに異なるグループと判定する。
For example, when the predetermined threshold value gTh is 80, the similarity between the
図１０は、グループ対応付け装置１の処理部５により実行される、グループ対応付け処理全体の動作フローチャートである。処理部５は、以下の動作フローチャートに従ってグループ対応付け処理を実行する。
FIG. 10 is an operation flowchart of the entire group association process executed by the
処理部５の人物検出部１１は、第１のカメラ２−１で生成された第１の画像及び第２のカメラ２−２で生成された第２の画像のそれぞれから人物を検出する（ステップＳ３０１）。処理部５の追跡部１２は、追跡処理を行って、検出された人物を追跡中の人物と対応付ける（ステップＳ３０２）。処理部５のグループ化部１３は、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物をグループの何れかに分類する（ステップＳ３０３）。
The
処理部５の特徴量算出部１４は、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物ごとに、その人物の外見を表す特徴量を算出する（ステップＳ３０４）。
The feature
処理部５のグループ間類似度算出部１５は、第１の画像と第２の画像の組について、第１の画像上のグループと、第２の画像上のグループとの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出する（ステップＳ３０５）。ここで、第１の画像と第２の画像の組には、同一のグループが写っている可能性がある。
The inter-group
処理部５のグループ対応付け部１６は、グループ間の類似度に応じて、その組に含まれる二つのグループが同一のグループか否か判定する。そしてグループ対応付け部１６は、同一のグループと判定された二つのグループに同一のＩＤを割り当て、その二つのグループを対応付ける（ステップＳ３０６）。
The
以上に説明してきたように、このグループ対応付け装置は、互いに異なる撮影範囲を持つ二つのカメラの一方により生成された画像に写っているグループと他方のカメラにより生成された画像に写っているグループとの間で類似度を求める。そしてこのグループ対応付け装置は、グループ間の類似度に応じて、異なるカメラにより撮影されたグループ同士が同一のグループか否かを判定する。そのため、このグループ対応付け装置は、異なるカメラにより撮影された同一のグループについての対応付けの精度を向上できる。さらに、このグループ対応付け装置は、二つのグループ間の類似度を、一方のグループに属する人物と他方のグループに属する人物間の類似度に応じて算出する。そのため、グループ内に特徴的な人物が含まれていない場合でも、各画像に写っているグループ同士が同一グループか否かを適切に判定できる。 As described above, the group association apparatus is configured such that the group shown in the image generated by one of the two cameras having different shooting ranges and the group shown in the image generated by the other camera. The degree of similarity is obtained. And this group matching apparatus determines whether the groups image | photographed with the different camera are the same groups according to the similarity between groups. Therefore, this group association device can improve the accuracy of association for the same group photographed by different cameras. Further, this group association apparatus calculates the similarity between two groups according to the similarity between a person belonging to one group and a person belonging to the other group. Therefore, even when a characteristic person is not included in the group, it can be appropriately determined whether the groups shown in each image are the same group.
これにより、このグループ対応付け装置は、同一のグループであると判定された、各カメラにより生成された画像に写っているグループについて、それら画像の撮影時刻及び各カメラの撮影範囲に基づいて移動経路を推定できる。このグループ対応付けの結果から推定される、ショッピングモールまたは商店街などを通行するグループ客の移動経路は、マーケティングあるいは混雑緩和による安全の確保に利用できる。 As a result, the group association apparatus moves the path of the groups that are determined to be the same group and appear in the images generated by the cameras based on the shooting times of the images and the shooting ranges of the cameras. Can be estimated. The movement route of the group customer passing through a shopping mall or a shopping street estimated from the result of this group association can be used for ensuring safety by marketing or congestion reduction.
なお、変形例によれば、グループ間類似度算出部１５は、グループの組について、人物の組の集合ごとに、人物間の類似度が所定の閾値pTh以上となる人物の組の数をカウントし、そのカウント数の最大値を求めてもよい。そしてグループ間類似度算出部１５は、グループの組に含まれる何れか一方のグループに属する人物の数に対する、カウント数の最大値の比、またはその比に所定数（例えば、100）を乗じた値を、グループ間の類似度としてもよい。
Note that, according to the modification, the inter-group
再度、図９（ａ）を参照すると、所定の閾値pThが８０である場合、（人物９０２，人物９０５）の組の類似度及び（人物９０３，人物９０６）の組の類似度の何れも閾値pTh以上となる。そのため、グループ９０１とグループ９０４間の類似度は1となる。一方、図９（ｂ）を参照すると、人物の組の類似度が閾値pTh以上となる人物の組は無い。そのため、グループ９０７とグループ９１０間の類似度は0となる。
Referring to FIG. 9A again, when the predetermined threshold pTh is 80, both the similarity of the pair of (
また、変形例によれば、特徴量算出部１４は、グループごとに、グループ全体として一つの特徴量を算出してもよい。例えば、特徴量算出部１４は、グループに属する全ての人物の外見を表す特徴量をグループ全体の特徴量として算出してもよい。この場合、特徴量算出部１４は、グループに属する人物の画像上の領域の何れかに含まれる画素の集合について、色相の正規化ヒストグラムを求める。そして特徴量算出部１４は、その正規化ヒストグラムそのもの、あるいは、その正規化ヒストグラムから求めた、特定の複数の色相の値における頻度値を、グループ全体の特徴量とする。
In addition, according to the modification, the feature
この場合、グループ間類似度算出部１５は、グループの組に含まれる二つのグループのそれぞれのグループ全体の特徴量間の正規化相互相関値、あるいは、特徴量間の距離の逆数を正規化した値をグループ間の類似度として算出すればよい。
この変形例では、グループ対応付け装置は、グループ間の類似度を算出する際に、人物の組ごとに類似度を算出しなくてもよいので、グループ間の類似度の算出に要する演算量を削減できる。
In this case, the inter-group
In this modification, the group association device does not have to calculate the similarity for each set of persons when calculating the similarity between groups, so the amount of computation required to calculate the similarity between groups is reduced. Can be reduced.
また、変形例によれば、グループ化部１３は、最短距離法、最長距離法、又は群平均法などの階層的クラスタリング手法を用いることにより、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物をグループの何れかに分類してもよい。この場合には、検出された人物を、複数の画像にわたって追跡しなくてよいので、追跡部１２は省略されてもよい。
In addition, according to the modification, the
また、同一のグループであれば、何れのカメラにより撮影された画像上でも、そのグループに属する人物の数はあまり変わらないと想定される。そこで他の変形例によれば、グループ間類似度算出部１５は、第１の画像上のグループに属する人物の数と、第２の画像上のグループに属する人物の数の差が所定の許容範囲に含まれる場合にのみ、その二つのグループ間の類似度を算出してもよい。ここで、所定の許容範囲は、例えば、一人以内あるいは同数である。この場合、グループ間の人数差が所定の許容範囲内でない場合、グループ間の類似度の算出をしないため、グループ対応付け装置は、グループ間の類似度の算出に要する演算量を削減できる。またこの場合、全てのグループについて、グループ間の類似度が算出されるとは限らない。そこで、特徴量算出部１４は、グループ間の類似度が算出されると判定されたグループ、またはそのグループに属する人物についてのみ、特徴量を算出してもよい。これにより、グループ対応付け装置は、特徴量の算出に要する演算量を削減できる。
In addition, in the case of the same group, it is assumed that the number of persons belonging to the group does not change much on an image taken by any camera. Therefore, according to another modification, the inter-group
例えば、再度図８(ａ)及び図８（ｂ）を参照すると、所定の許容範囲が一人以内である場合、グループ８０５に属する人物の数は４名であり、グループ８００に属する人物の数、及び、グループ８０２に属する人物の数は２名である。そのため、グループ８００とグループ８０５の間、及び、グループ８０２とグループ８０５の間については、グループ間の類似度の算出は省略される。
For example, referring again to FIGS. 8A and 8B, when the predetermined allowable range is within one person, the number of persons belonging to the
さらに、上記の各実施形態による処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、又は半導体メモリに記憶された形で提供されてもよい。 Furthermore, a computer program that causes a computer to realize the functions of the processing units according to the above embodiments is provided in a form stored in a computer-readable medium, for example, a magnetic recording medium, an optical recording medium, or a semiconductor memory. May be.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
以上説明した実施形態及びその変形例に関し、さらに以下の付記を開示する。
（付記１）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出する人物検出部と、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、
前記第１の画像の前記グループから選択された一つのグループと、前記第２の画像の前記グループから選択された一つのグループの組のそれぞれごとに、当該組に含まれる二つの前記グループ間の類似度を算出するグループ間類似度算出部と、
当該組のそれぞれごとに、算出されたグループ間の前記類似度に応じて、当該組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部と、
を有するグループ対応付け装置。
（付記２）
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、当該人物の組の集合に含まれる人物の組ごとに当該組に含まれる二人の人物間の類似度を算出して、当該集合に含まれる前記人物の組の前記類似度の総和を算出し、
算出された前記類似度の総和の最大値に相当する前記人物の組の集合に含まれる前記人物の組ごとの前記人物間の類似度の統計的代表値を前記グループ間の類似度とする、付記１に記載のグループ対応付け装置。
（付記３）
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、人物の組に含まれる二人の人物間の類似度が所定の閾値以上となる人物の組の数をカウントし、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物の数または前記第２の画像上の前記グループに属する人物の数に対する、二人の人物間の前記類似度が前記所定の閾値以上となる前記組の数の最大値の比に応じて前記グループ間の類似度を算出する、付記１に記載のグループ対応付け装置。
（付記４）
前記グループの組に含まれる前記第１の画像の前記グループと、前記第２の画像の前記グループとのそれぞれについて、当該グループに属する全ての人物の外見から当該グループの特徴量を算出する特徴量算出部をさらに有し、
前記グループ間類似度算出部は、前記グループの組に含まれる前記第１の画像の前記グループの前記特徴量と、前記第２の画像の前記グループの前記特徴量とに基づいて、前記グループ間の類似度を算出する、
付記１に記載のグループ対応付け装置。
（付記５）
前記特徴量算出部は、当該グループに属する人物の画像上の領域の何れかに含まれる画素の集合について、色相の正規化ヒストグラムを求め、求めた前記色相の正規化ヒストグラムから当該グループの特徴量を算出する、付記４に記載のグループ対応付け装置。
（付記６）
前記第１のカメラにより一定期間にわたって生成された複数の前記第１の画像のそれぞれにおいて、検出された人物ごとに、当該人物の位置を求める追跡部をさらに有し、
前記グループ化部は、前記一定期間に取得された複数の前記第１の画像のうち、検出された二人の人物の位置間の距離が所定距離範囲内となる前記第１の画像の数が所定値以上となる場合に、当該検出された二人の人物を同一のグループに分類する、
付記１〜５の何れか一項に記載のグループ対応付け装置。
（付記７）
前記グループ間類似度算出部は、前記第１の画像の前記グループと前記第２の画像の前記グループのうち、属する人数の差が所定の許容範囲内となる前記第１の画像の前記グループと前記第２の画像の前記グループを前記グループの組とする、付記１〜６の何れか一項に記載のグループ対応付け装置。
（付記８）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことを含むグループ対応付け方法。
（付記９）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことをコンピュータに実行させるためのグループ対応付け用コンピュータプログラム。
The following supplementary notes are further disclosed regarding the embodiment described above and its modifications.
(Appendix 1)
A person detection unit for detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, a grouping unit that classifies at least one person detected from the image into any one of at least one group;
For each of one group selected from the group of the first image and one group selected from the group of the second image, between the two groups included in the set An inter-group similarity calculation unit for calculating the similarity,
A group association unit for determining whether or not two groups included in the set are the same group according to the calculated similarity between the groups for each of the sets;
A group association apparatus having
(Appendix 2)
The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of persons, the similarity between two persons included in the set is calculated for each set of persons included in the set of persons and included in the set. Calculating the sum of the similarities of the set of persons,
A statistical representative value of similarity between the persons for each set of persons included in the set of sets of persons corresponding to the maximum value of the calculated sum of similarities is set as the similarity between the groups. The group association apparatus according to
(Appendix 3)
The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of person sets, count the number of person sets whose similarity between two persons included in the person set is equal to or greater than a predetermined threshold,
The similarity between two persons with respect to the number of persons belonging to the group on the first image or the number of persons belonging to the group on the second image, included in the group set, is The group association device according to
(Appendix 4)
For each of the group of the first image and the group of the second image included in the group set, a feature amount for calculating the feature amount of the group from the appearances of all persons belonging to the group A calculation unit;
The similarity calculation unit between groups is based on the feature amount of the group of the first image and the feature amount of the group of the second image included in the group set. Calculate the similarity of
The group association apparatus according to
(Appendix 5)
The feature amount calculation unit obtains a hue normalization histogram for a set of pixels included in any of the regions on the image of the person belonging to the group, and the feature amount of the group from the obtained hue normalization histogram The group association apparatus according to
(Appendix 6)
In each of the plurality of first images generated by the first camera over a certain period, for each detected person, a tracking unit that obtains the position of the person is further included.
In the grouping unit, the number of the first images in which the distance between the positions of the two detected persons is within a predetermined distance range among the plurality of the first images acquired in the certain period. Classify the detected two persons into the same group when the predetermined value is exceeded,
The group matching apparatus according to any one of
(Appendix 7)
The similarity calculation unit between groups includes the group of the first images in which a difference in the number of persons belonging to the group of the first images and the group of the second images is within a predetermined allowable range. The group matching apparatus according to any one of
(Appendix 8)
Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
Group association method including the above.
(Appendix 9)
Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
A computer program for group association for causing a computer to execute this.
１ グループ対応付け装置
２−１ 第１のカメラ
２−２ 第２のカメラ
３ 操作部
４ 記憶部
５ 処理部
６ 出力部
７ 通信インターフェース部
１１ 人物検出部
１２ 追跡部
１３ グループ化部
１４ 特徴量算出部
１５ グループ間類似度算出部
１６ グループ対応付け部
DESCRIPTION OF
Claims (8)
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出するグループ間類似度算出部と、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定するグループ対応付け部と、
を有するグループ対応付け装置。 A person detection unit for detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, a grouping unit that classifies at least one person detected from the image into any one of at least one group;
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, An inter-group similarity calculation unit that calculates the similarity between the two groups included in the group set;
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group A group association unit for determining whether or not;
A group association apparatus having
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、当該人物の組の集合に含まれる人物の組ごとに当該組に含まれる二人の人物間の類似度を算出して、当該集合に含まれる前記人物の組の前記類似度の総和を算出し、
算出された前記類似度の総和の最大値に相当する前記人物の組の集合に含まれる前記人物の組ごとの前記人物間の類似度の統計的代表値を前記グループ間の類似度とする、請求項１に記載のグループ対応付け装置。 The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of persons, the similarity between two persons included in the set is calculated for each set of persons included in the set of persons and included in the set. Calculating the sum of the similarities of the set of persons,
A statistical representative value of similarity between the persons for each set of persons included in the set of sets of persons corresponding to the maximum value of the calculated sum of similarities is set as the similarity between the groups. The group matching apparatus according to claim 1.
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、人物の組に含まれる二人の人物間の類似度が所定の閾値以上となる人物の組の数をカウントし、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物の数または前記第２の画像上の前記グループに属する人物の数に対する、二人の人物間の前記類似度が前記所定の閾値以上となる前記組の数の最大値の比に応じて前記グループ間の類似度を算出する、請求項１に記載のグループ対応付け装置。 The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of person sets, count the number of person sets whose similarity between two persons included in the person set is equal to or greater than a predetermined threshold,
The similarity between two persons with respect to the number of persons belonging to the group on the first image or the number of persons belonging to the group on the second image, included in the group set, is The group correlation apparatus according to claim 1, wherein a similarity between the groups is calculated according to a ratio of maximum values of the number of sets that are equal to or greater than a predetermined threshold.
前記グループ間類似度算出部は、前記グループの組に含まれる前記第１の画像の前記グループの前記特徴量と、前記第２の画像の前記グループの前記特徴量とに基づいて、前記グループ間の類似度を算出する、
請求項１に記載のグループ対応付け装置。 For each of the group of the first image and the group of the second image included in the group set, a feature amount for calculating the feature amount of the group from the appearances of all persons belonging to the group A calculation unit;
The similarity calculation unit between groups is based on the feature amount of the group of the first image and the feature amount of the group of the second image included in the group set. Calculate the similarity of
The group matching apparatus according to claim 1.
前記グループ化部は、前記一定期間に取得された複数の前記第１の画像のうち、検出された二人の人物の位置間の距離が所定距離範囲内となる前記第１の画像の数が所定値以上となる場合に、当該検出された二人の人物を同一のグループに分類する、請求項１〜４の何れか一項に記載のグループ対応付け装置。 In each of the plurality of first images generated by the first camera over a certain period, for each detected person, a tracking unit that obtains the position of the person is further included.
In the grouping unit, the number of the first images in which the distance between the positions of the two detected persons is within a predetermined distance range among the plurality of the first images acquired in the certain period. The group association device according to any one of claims 1 to 4, wherein the detected two persons are classified into the same group when the predetermined value is exceeded.
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことを含むグループ対応付け方法。 Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
Group association method including the above.
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことをコンピュータに実行させるためのグループ対応付け用コンピュータプログラム。 Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
A computer program for group association for causing a computer to execute this.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015020521A JP2016143335A (en) | 2015-02-04 | 2015-02-04 | Group mapping device, group mapping method, and group mapping computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015020521A JP2016143335A (en) | 2015-02-04 | 2015-02-04 | Group mapping device, group mapping method, and group mapping computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016143335A true JP2016143335A (en) | 2016-08-08 |
Family
ID=56570476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015020521A Pending JP2016143335A (en) | 2015-02-04 | 2015-02-04 | Group mapping device, group mapping method, and group mapping computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016143335A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018028784A (en) * | 2016-08-17 | 2018-02-22 | 富士通株式会社 | Movable body group detection program, movable body group detection device, and movable body group detection method |
| JP6407493B1 (en) * | 2017-08-22 | 2018-10-17 | 三菱電機株式会社 | Image processing apparatus and image processing method |
| JP2019033430A (en) * | 2017-08-09 | 2019-02-28 | キヤノン株式会社 | Movie reproduction apparatus, control method thereof, and program |
| JP2019168886A (en) * | 2018-03-23 | 2019-10-03 | カシオ計算機株式会社 | Detection body region detecting device, imaging device, flying device, detection body region detecting method, imaging method and program |
| JP2021013188A (en) * | 2018-09-06 | 2021-02-04 | 日本電気株式会社 | Method, device, and program |
-
2015
- 2015-02-04 JP JP2015020521A patent/JP2016143335A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018028784A (en) * | 2016-08-17 | 2018-02-22 | 富士通株式会社 | Movable body group detection program, movable body group detection device, and movable body group detection method |
| JP2019033430A (en) * | 2017-08-09 | 2019-02-28 | キヤノン株式会社 | Movie reproduction apparatus, control method thereof, and program |
| US11200683B2 (en) | 2017-08-22 | 2021-12-14 | Mitsubishi Electric Corporation | Image processing device and image processing method |
| JP6407493B1 (en) * | 2017-08-22 | 2018-10-17 | 三菱電機株式会社 | Image processing apparatus and image processing method |
| WO2019038821A1 (en) * | 2017-08-22 | 2019-02-28 | 三菱電機株式会社 | Image processing device and image processing method |
| KR20200020009A (en) * | 2017-08-22 | 2020-02-25 | 미쓰비시덴키 가부시키가이샤 | Image processing apparatus and image processing method |
| CN111033564A (en) * | 2017-08-22 | 2020-04-17 | 三菱电机株式会社 | Image processing apparatus and image processing method |
| GB2579736A (en) * | 2017-08-22 | 2020-07-01 | Mitsubishi Electric Corp | Image processing device and image processing method |
| KR102150847B1 (en) | 2017-08-22 | 2020-09-02 | 미쓰비시덴키 가부시키가이샤 | Image processing apparatus and image processing method |
| GB2579736B (en) * | 2017-08-22 | 2021-01-27 | Mitsubishi Electric Corp | Image processing device and image processing method |
| CN111033564B (en) * | 2017-08-22 | 2023-11-07 | 三菱电机株式会社 | Image processing apparatus and image processing method |
| JP2019168886A (en) * | 2018-03-23 | 2019-10-03 | カシオ計算機株式会社 | Detection body region detecting device, imaging device, flying device, detection body region detecting method, imaging method and program |
| JP2022105047A (en) * | 2018-03-23 | 2022-07-12 | カシオ計算機株式会社 | Imaging apparatus, flight device, imaging method, and program |
| US11250251B2 (en) | 2018-09-06 | 2022-02-15 | Nec Corporation | Method for identifying potential associates of at least one target person, and an identification device |
| JP7302566B2 (en) | 2018-09-06 | 2023-07-04 | 日本電気株式会社 | Method, Apparatus and Program |
| JP2021013188A (en) * | 2018-09-06 | 2021-02-04 | 日本電気株式会社 | Method, device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5102410B2 (en) | Moving body detection apparatus and moving body detection method | |
| CN110959160B (en) | A gesture recognition method, device and equipment | |
| US9129524B2 (en) | Method of determining parking lot occupancy from digital camera images | |
| CN105844234B (en) | A method and device for people counting based on head and shoulders detection | |
| JP6233624B2 (en) | Information processing system, information processing method, and program | |
| US10157327B2 (en) | Image processing device, image processing method, and program | |
| WO2009109127A1 (en) | Real-time body segmentation system | |
| EP2951783B1 (en) | Method and system for detecting moving objects | |
| JP2016143335A (en) | Group mapping device, group mapping method, and group mapping computer program | |
| AU2015203666A1 (en) | Methods and systems for controlling a camera to perform a task | |
| US20170053172A1 (en) | Image processing apparatus, and image processing method | |
| Jiang et al. | Multiple pedestrian tracking using colour and motion models | |
| Santoro et al. | Crowd analysis by using optical flow and density based clustering | |
| CN107665495B (en) | Object tracking method and object tracking device | |
| CN111027482B (en) | Behavior analysis method and device based on motion vector segmentation analysis | |
| Kumar et al. | Zero-stopping constraint-based hybrid tracking model for dynamic and high-dense crowd videos | |
| US20070223818A1 (en) | Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video | |
| CN113763418B (en) | Multi-target tracking method based on head and shoulder detection | |
| Vijayarani et al. | An efficient algorithm for facial image classification | |
| CN111191524A (en) | Sports people counting method | |
| AU2021102668A4 (en) | Crowd Detection Intelligent Camera to Prevent Covid-19 or any Other Need | |
| Lin et al. | A novel layer-scanning method for improving real-time people counting | |
| JP7488673B2 (en) | MOVING OBJECT TRACKING DEVICE, MOVING OBJECT TRACKING METHOD, AND MOVING OBJECT TRACKING PROGRAM | |
| JP2019121031A (en) | Image processing device | |
| Reddy et al. | Crowd Control and Monitoring using Deep Learning |