JP2008123360A - Device, method, and program for extracting/determining human body specific area - Google Patents
Device, method, and program for extracting/determining human body specific area Download PDFInfo
- Publication number
- JP2008123360A JP2008123360A JP2006308183A JP2006308183A JP2008123360A JP 2008123360 A JP2008123360 A JP 2008123360A JP 2006308183 A JP2006308183 A JP 2006308183A JP 2006308183 A JP2006308183 A JP 2006308183A JP 2008123360 A JP2008123360 A JP 2008123360A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- region
- hand
- specific
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
一人以上の人が存在するリアルタイム画像の中から、それぞれの人に対応する体の特定の部位を検出する画像処理技術に関する。 The present invention relates to an image processing technique for detecting a specific part of a body corresponding to each person from a real-time image in which one or more persons exist.
現在、公共空間に置かれた大型ディスプレイや携帯端末など、様々な情報提示装置がある。その1つとして、人物の手の平を検出しその手の平へ画像を提示することのできる技術が提案されている(非特許文献1参照)。
この技術では、人物の手の平に画像を提示することのできる情報提示装置において、カメラで撮影した画像の、ある1フレームの情報のみを用いて、人物と手との対応を行っている。
Currently, there are various information presentation devices such as large displays and portable terminals placed in public spaces. As one of the techniques, a technique capable of detecting a palm of a person and presenting an image on the palm of the palm has been proposed (see Non-Patent Document 1).
According to this technology, in an information presentation apparatus that can present an image on the palm of a person, correspondence between the person and the hand is performed using only information of one frame of the image captured by the camera.
この場合において、移動をしている複数の人が同時に存在した場合を考えると、あるフレームにおいて存在した人体がその次のフレームでどの人体と対応付けられるのか正しく検出し、その人体の領域から効率的に人体の特定領域(例えば、手領域や額領域)を抽出することが必要である。
また、複数存在する人体の領域から手領域を抽出した場合に、抽出された手の位置が移動し続けても、当該手領域が左右どちらの手なのか正確に判定することが好ましい。
更に、数人の人体の特定領域(例えば、手領域)が複雑に移動する中で、あるフレームとその次のフレームで同じ人体の特定領域同士を正しく対応付けることが必要である。
In this case, considering that there are a plurality of people who are moving at the same time, the human body that existed in one frame is correctly detected as to which human body is associated in the next frame, and the efficiency of the human body region is detected. In particular, it is necessary to extract a specific region of the human body (for example, a hand region or a forehead region).
In addition, when hand regions are extracted from a plurality of human body regions, it is preferable to accurately determine whether the hand region is the left or right hand even if the position of the extracted hand continues to move.
Furthermore, while specific areas (for example, hand areas) of several human bodies move in a complex manner, it is necessary to correctly associate specific areas of the same human body in a certain frame and the next frame.
本発明は、複数人の人体領域の特定領域を効率良く正しく抽出することを提供することを目的とする。 An object of the present invention is to provide a method for efficiently and correctly extracting a specific region of a human body region of a plurality of people.
本発明の局面に係る人体特定領域抽出・判定装置は、撮影された人物の画像の中から人物の領域を検出する人体領域検出手段と、前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行う人体判定手段と、前記人体判定手段により人体領域であると判定された人体領域の中から特定領域を抽出する人体特定領域抽出手段と、を具備することを特微とする。本発明は、装置に限らず、装置で実現される方法やプログラムの発明としても成立する。 A human body specific region extraction / determination device according to an aspect of the present invention includes a human body region detection unit that detects a human region from a photographed person image, and a human body in a current frame detected by the human body region detection unit. Human body determination means for associating a region with a human body area detected in a frame prior to the present, and human body identification for extracting a specific area from the human body areas determined by the human body determination means And a region extracting means. The present invention is not limited to an apparatus, and can also be realized as an invention of a method or program realized by the apparatus.
本発明によれば、複数人の人体領域の特定領域を効率良く正しく抽出することができる。 According to the present invention, it is possible to efficiently and correctly extract specific regions of human body regions of a plurality of people.
図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る人体特定領域抽出・判定装置の概略構成を示すブロック図である。なお、図1には、各ブロックでやりとりされるデータの流れも併せて示している。なお、本実施形態において、検出する人体の特定領域として任意の領域を指定可能であるが、該特定領域を手領域であるものとして、本実施形態を説明する。 Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a human body specific region extraction / determination device according to an embodiment of the present invention. FIG. 1 also shows the flow of data exchanged in each block. In the present embodiment, an arbitrary area can be designated as the specific area of the human body to be detected. The present embodiment will be described assuming that the specific area is a hand area.
本実施形態に係る人体特定領域抽出・判定装置は、少なくとも、撮影部1と、人体領域検出部2と、人体判定部3と、人体特定領域抽出部4と、人体特定領域判定部5と、記憶部6と、記憶部7と、左右判定部8を具備する。
The human body specific region extraction / determination device according to the present embodiment includes at least a photographing
撮影部1は、人体を真上から撮影して、撮影によって得られた撮影画像を人体領域検出部2へ送信する。なお、撮影部1はカメラであって、該カメラのシャッター速度や露出などのパラメータは固定されているものとする。
The photographing
人体領域検出部2は、撮影部1から送られた撮影画像の中から人物領域を検出する。この場合において、検出する人物領域は複数であっても良い。そして、人体領域検出部2は検出された人体領域情報(この人体領域情報を「現フレームの人体領域情報」と称する)を人体判定部3へ送る。
The human body
記憶部6は、前フレームの人体領域情報を記憶し、該前フレームの人体領域情報を人体判定部3へ送る。また、記憶部6は、人体領域検出部2から人体判定部3に出力された現フレームの人体領域情報を受け取って、前フレームの人体領域情報として、次のフレームの人体領域情報を受け取るまで記憶する。なお、前フレームは、直前のフレームでも、数フレーム前のフレームでも良く、これらを総称して、本明細書では、「前フレーム」と称する。
The storage unit 6 stores the human body region information of the previous frame, and sends the human body region information of the previous frame to the human
人体判定部3は、人体領域検出部2から送られた現フレームの人体領域情報と、記憶部6から送られた前フレームの人体領域情報を取得する。人体判定部3は、前フレームと現フレームの重心をそれぞれ求め、前フレームに人体が存在していた場合には、現フレームに存在する人体領域と、前フレームの人体領域の重心距離を比べる。なお、前フレームと現フレームの重心の求め方は、例えば、検出した人体領域の幾何中心を重心とすればよい。そして、人体判定部3は、現フレームの人体領域の重心と前フレームの人体領域の重心位置が所定の距離より近い場合(すなわち所定の闘値以下である場合)、現フレームの該当する人体領域と前フレームの該当する人体領域を同じ人体領域として判定する。また、人体判定部3は、現フレームの人体領域が、前フレームの人体領域と対応しない場合には、その人体領域は新たに出現した人体領域として判定する。人体判定部3は、現フレームに存在する人体領域の数について、上記と同様の処理を行う。人体判定部3は、対応付けられた人体領域情報を、人体特定領域抽出部4と人体特定領域判定部5に送る。
The human
人体特定領域抽出部4は、前記人体判定部3より送られた人体領域情報から手の領域を抽出する。人体特定領域抽出部4は、人体判定部3より送られた人体領域が複数ある場合には、複数の人体領域情報のそれぞれの人体領域情報から手の領域(手領域)を抽出する。なお、手領域は、人体領域の末端にあることから、体の末端にある領域を最大2つずつ人体領域毎に抽出することが好ましい。そして、人体特定領域抽出部4は、抽出した手領域の情報を左右判定部8と人体特定領域判定部5へ送信する。
The human body specific
左右判定部8は、人体特定領域抽出部4から送られた情報を用いて、手領域が左右どちらの手なのかを判定する。左右判定部8は、判定した手領域の左右情報を人体特定領域判定部5へ送信する。
The left /
記憶部7は、前フレームの手領域の情報を記憶し、該前フレームの手領域の情報を人体特定領域判定部5へ送る。また、記憶部7は、人体特定領域抽出部4から人体特定領域判定部5に出力された現フレームの手領域の情報を受け取って、前フレームの手領域の情報として、次のフレームの手領域の情報を受け取るまで記憶する。
The
人体特定領域判定部5は、人体特定領域抽出部4から送られた現フレームの手領域情報と、左右判定部8から送られた現フレームの左右判定情報と、記憶部7より送られた前フレームの手領域情報を取得する。そして、人体特定領域判定部5は、現フレームに存在する人体領域情報毎に以下の処理を行い、その処理結果を出力する。
(1)前フレームに手領域が存在し、現フレームに手領域が存在する場合、それぞれの手領域の重心点と人体の重心点を結ぶ直線と、基準となる直線とでできる角度を比較する。そして、前フレームと現フレームそれぞれの角度の差が所定の闘値内にある場合、対応する前フレームの手領域と現フレームの手領域を同じ手領域として判定する。
(2)現フレームの手領域が、前フレームの手領域と対応しない場合には、その手領域は新たに出現した手領域として判定する。
上記のようにして、人体の特定領域としての手領域が判定される。
The human body specific region determination unit 5 includes the current frame hand region information transmitted from the human body specific
(1) When a hand region exists in the previous frame and a hand region exists in the current frame, the angle formed between the straight line connecting the center of gravity of each hand region and the center of gravity of the human body and the reference straight line is compared. . When the difference in angle between the previous frame and the current frame is within a predetermined threshold, the corresponding hand region of the previous frame and the hand region of the current frame are determined as the same hand region.
(2) If the hand area of the current frame does not correspond to the hand area of the previous frame, the hand area is determined as a newly appearing hand area.
As described above, the hand region as the specific region of the human body is determined.
本実施形態によれば、過去フレーム(前フレーム)の人体領域情報を用いることで誤認識を減らし、移動を行う複数人の人体領域をそれぞれ時系列に正しく対応付けることが可能になる。さらに、人体領域情報からある特定領域(例えば、「手領域」)を検出する処理において、特定領域以外の領域を検出してしまう誤認識が減り、より効率的に特定領域を検出することが可能になる。 According to the present embodiment, it is possible to reduce misrecognition by using the human body region information of the past frame (previous frame), and to correctly associate the human body regions of a plurality of persons who move with each other in time series. Furthermore, in the process of detecting a specific area (for example, “hand area”) from human body area information, it is possible to detect the specific area more efficiently by reducing erroneous recognition that detects areas other than the specific area. become.
以下、具体的な例として、特定領域として手領域を検出する場合(第1の具体例)と、特定領域として額領域を検出する場合(第2の具体例)とを説明する。 Hereinafter, as a specific example, a case where a hand region is detected as a specific region (first specific example) and a case where a forehead region is detected as a specific region (second specific example) will be described.
(第1の具体例)
図2は、第1の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。本具体例では、人体領域情報から検出する特定領域は手領域であるものとして説明する。
本第1の具体例において、上記の実施形態における撮影部1はビデオカメラ10として実装されている。また、計算機11には、人体領域検出手段12と、人体判定手段13と、人体特定領域抽出手段14と、左右判定手段17と、人体特定領域判定手段15と、記憶手段16とが実装されている。ビデオカメラ10は、ユーザの頭上に設置され、ユーザの真上からユーザの画像を取得する。また、ビデオカメラ10は計算機11に接続されており、撮影した画像を計算機11に送信する。
(First specific example)
FIG. 2 is a diagram illustrating a configuration example of the human body specific region extraction / determination device according to the first specific example. In this specific example, the specific area detected from the human body area information will be described as a hand area.
In the first specific example, the photographing
計算機11に送られた画像は、人体領域検出手段12に入力される。人体領域検出手段12は、ビデオカメラ10が撮影した画像を受け取る。人体領域検出手段12は、まず、人物がビデオカメラ10の撮影領域内に存在しない場合の画像と、現在の画像(すなわち現フレームの画像)との差分を取る。そして、人体領域検出手段12は、差分を取った画像内に所定の闘値以上の大きさの領域が存在する場合、この領域を人体領域であるとして検出する。人体領域検出手段12は、人体領域が検出された場合、検出された領域のサイズや重心位置、バウンディングボックスのサイズや位置などを求めて、当該情報を人体領域情報として人体判定手段13に送る。なお、バウンディングボックスは、検出された領域を取り囲むような多面体であれば、どのような形状であっても良く、公知の技術によって求めることが出来るので、説明を省略する。
The image sent to the computer 11 is input to the human body region detection means 12. The human body region detection means 12 receives an image taken by the video camera 10. First, the human body
人体判定手段13は、抽出した人体領域が人体であるかどうかを判定する。人体判定手段13の具体的な処理の流れを図3に示す。図3は、人体判定手段13の具体的な処理の流れを示すフローチャートである。 The human body determination means 13 determines whether or not the extracted human body region is a human body. A specific processing flow of the human body determination means 13 is shown in FIG. FIG. 3 is a flowchart showing a specific processing flow of the human body determination means 13.
人体判定手段13は、人体領域検出手段12より現フレームに存在している人体領域の情報を取得する。そして、人体判定手段13は、現フレームで人体領域が検出されているかどうか判定する(ステップA1)。ステップA1において、現フレームで人体領域が検出されていなければ、ステップA10の処理に進む。ステップA1において、現フレームで人体領域が検出されているのであれば、現フレームで検出された人体領域の個数分ステップA3からステップA8の処理を繰り返す。なお、ステップA2は、ループの開始を示し、ステップA9は、ループの終了を示す。
The human
具体的には、まず、人体判定手段13は、前フレームで人体が検出されていなかった場合には(ステップA3のNo)、現フレームの人体は新たに現れた人体領域だと判定する。そして、次の人体領域について、ステップA3からステップA8の処理を行う。
Specifically, first, when the human body is not detected in the previous frame (No in step A3), the human
まず、人体判定手段13は、記憶手段16より、前フレームに存在していた人体領域の重心位置情報を取得し、前フレームで人体領域が検出されていた場合には(ステップA3のYes)、前フレームの人体領域の中で対応付け候補となる人体領域があるかどうかを判定する(ステップA4)。前フレームの人体領域の中で対応付け候補となる人体領域があれば(ステップA4のYes)、対応付け可能な前フレームの全ての人体領域の重心位置と現フレームの1つの人体領域の重心位置の距離を測定する(ステップA5)。なお、ステップA3とステップA4において、判定結果がNoであれば、ステップA9の処理に進む。
First, the human
人体判定手段13は、測定した重心位置の距離の中で最も短い距離を持つ前フレームの1つの人体領域が、所定の闘値以下であるかどうかを判定し(ステップA6)、距離が所定の闘値以下であれば、該前フレームの1つの人体領域と現フレームの1つの人体領域を対応付ける(ステップA7)。現フレームの人体領域が複数個ある場合、対応付けが行われた前フレームの1つの人体領域は、処理対象から除外する(ステップA8)。そして、ステップA3からステップA8の処理を繰り返して、残った前フレームの領域の中で、残りの現フレームの人体領域との対応付けの判定を行う。これにより、対応付けられる人体領域は、前フレームの人体領域と現フレームの人体領域それぞれについて一対一の関係になる。なお、対応付けられる前フレームの人体領域が無くなった場合は、残りの現フレームの人体領域は新たに現れた人体領域だと判定する。 The human body determination means 13 determines whether or not one human body region of the previous frame having the shortest distance among the measured distances of the center of gravity positions is equal to or less than a predetermined battle value (step A6). If it is equal to or less than the threshold value, one human body region of the previous frame is associated with one human body region of the current frame (step A7). If there are a plurality of human body regions in the current frame, one human body region in the previous frame that has been associated is excluded from the processing target (step A8). Then, the processing from step A3 to step A8 is repeated, and the association with the human body region of the remaining current frame is determined among the remaining previous frame regions. As a result, the associated human body regions have a one-to-one relationship between the human body region of the previous frame and the human body region of the current frame. If there is no more human body area in the previous frame to be associated, it is determined that the remaining human body area in the current frame is a newly appearing human body area.
人体判定手段13は対応付けの判定を行った人体領域のサイズや重心位置、バウンディングボックスのサイズや位置などの情報を人体特定領域抽出手段14と人体特定領域判定手段15へ送信する。人体判定手段13は対応付けの判定を行った人体領域のサイズや重心位置、バウンディングボックスのサイズや位置、どの前フレームの領域と対応付けが行われたのか(もしくは行われなかったのか)などの情報を記憶手段16へ送信する。記憶手段16は、対応付けが行われた人体領域の場合データをアップデートし、対応付けが行われなかった人体領域を新たに出現した人体領域としてデータを保存し、現フレームと対応付けの行われなかった前フレームのデータは削除する(ステップA10)。
The human
その後の処理(ステップA11)として、人体特定領域抽出手段14は、人体判定手段13より対応付けの判定を行った人体領域の情報を受け取る。そして、人体特定領域抽出手段14は、受け取った人体領域の情報の中から肌色の領域を抽出する。肌色の領域を抽出する方法として、画像をある成分に分解できる一般的な処理の1つであるHSV変換を行い、H成分(色成分)とS成分(彩度成分)がそれぞれある闘値より大きくある闘値より小さい領域を抽出する手段を用いても良い。人体特定領域抽出手段14は、抽出された肌色領域の中からある闘値より大きくある闘値より小さい領域を抽出し、これを手候補領域とする。人体特定領域抽出手段14は、手候補領域の重心点を求める。人体特定領域抽出手段14は、各手候補領域と人体の重心点の距離を求め、最も人体重心点と離れた重心点を持つ最大2つの手候補領域を手領域として抽出する。人体特定領域抽出手段14は、検出された手領域の、サイズ、バウンディングボックスの位置・サイズ、重心位置情報などを左右判定手段17に送る。
As a subsequent process (step A11), the human body specific
左右判定手段17は人体特定領域抽出手段14より送られた手領域の情報を受けとり、以下の処理行う。
前フレームで手が存在しておらず、現フレームで片手のみ存在する場合は、その手を右手として定める。前フレームで手が存在しておらず、現フレームで両手が存在する場合は、手と人体領域の重心点を結ぶ直線を求め、それら直線によりできる鋭角(図4内θ)の右辺側の手を右手とし、左辺側の手を左手として判定する(図4参照)。
The left / right determination means 17 receives the hand area information sent from the human body specific area extraction means 14 and performs the following processing.
If no hand is present in the previous frame and only one hand is present in the current frame, that hand is determined as the right hand. If no hand is present in the previous frame and both hands are present in the current frame, a straight line connecting the hand and the center of gravity of the human body region is obtained, and the hand on the right side of the acute angle (θ in FIG. 4) formed by the straight line is obtained. As the right hand and the left hand as the left hand (see FIG. 4).
前フレームで手が存在し、現フレームで片手のみ存在する場合は、その手を仮に右手として定める。前フレームで手が存在し、現フレームで両手が存在する場合は、手と人体領域の重心点を結ぶ直線を求め、それら直線によりできる鋭角(図4内θ)の右辺側の手を右手とし、左辺側の手を左手として判定する(図4参照)。 If a hand is present in the previous frame and only one hand is present in the current frame, that hand is determined as the right hand. If a hand is present in the previous frame and both hands are present in the current frame, a straight line connecting the hand and the center of gravity of the human body region is obtained, and the right hand of the right side of the acute angle (θ in FIG. 4) formed by these straight lines is defined as the right hand. The left hand is determined as the left hand (see FIG. 4).
左右判定手段17は、左右判定情報を人体特定領域判定手段15へ送信する。人体特定領域判定手段15は、図5に示すフローチャートに従って、人体特定領域と人体領域との対応付けを行う。図5は、人体特定領域判定手段15の処理の流れを示すフローチャートである。図5を参照して、人体特定領域判定手段15の処理の流れを説明する。
The left /
人体特定領域判定手段15は、人体判定手段13より、前フレームと現フレームで対応付けを行った人体領域の情報を受け取る。人体特定領域判定手段15は、左右判定手段17より左右判定情報を受け取る。人体特定領域判定手段15は、記憶手段16より、前フレームに存在していた手領域の重心位置情報と左右情報と、どの人体領域の手領域なのかの情報を取得する。そして、各人体領域についてステップB2からステップB17の処理を繰り返す。なお、ステップB1は、ループの開始を示し、ステップB18は、ループの終了を示す。
人体特定領域判定手段15は、前フレームの手領域が検出された人体領域が対応づけられているかを判定し(ステップB2)、その結果に従って、人体領域毎に以下の条件に分け、それぞれに対して対応する処理を行う。
The human body specific
The human body specific region determination means 15 determines whether or not the human body region in which the hand region of the previous frame is detected is associated (step B2), and according to the result, the human body region is divided into the following conditions, To perform the corresponding process.
1)現フレームで手領域が存在しない場合(ステップB3のNo、ステップB5のNo)
前フレームでも手領域が存在しない場合には(ステップB3のNo)、ステップB18処理を進める。前フレームで手を検出していた場合には(ステップB5のNo)、その手は無くなった手であると認識し、前記フレームの手領域を消去して(ステップB6)、現フレームでは左右どちらの手も存在しないとして処理を行う。
1) When there is no hand area in the current frame (No in step B3, No in step B5)
If no hand area exists even in the previous frame (No in step B3), the process of step B18 is advanced. If a hand has been detected in the previous frame (No in step B5), the hand is recognized as a lost hand, and the hand area of the frame is deleted (step B6). It is assumed that there is no other hand.
2)現フレームで手が存在し、前フレームで手を検出していなかった場合(ステップB3のYse)
現フレームの手は新たに出現した手として認識し、手の左右情報はそのまま用いる(ステップB4)。
2) When a hand is present in the current frame and a hand is not detected in the previous frame (Yse in step B3)
The hand of the current frame is recognized as a newly appearing hand, and the left and right information of the hand is used as it is (step B4).
3)前フレームで両手を検出し現フレームでも両手を検出した場合(ステップB7)
現フレームの右手、左手の情報をそのまま用い、前フレームで存在した右手と現フレームの右手を対応付け、前フレームで存在した左手と現フレームの左手を対応付ける(ステップB8)。
3) When both hands are detected in the previous frame and both hands are detected in the current frame (step B7)
Using the right hand and left hand information of the current frame as they are, the right hand existing in the previous frame is associated with the right hand of the current frame, and the left hand existing in the previous frame is associated with the left hand of the current frame (step B8).
4)前フレームでは片手を検出し現フレームでは両手を検出した場合(ステップB9)
図6をもとに、現フレームの右手・左手それぞれの角度aと角度bを、前フレームの手の角度a(角度b)と比べ、より近い角度を持つ現フレームの手を前フレームの手と対応付け、前フレームから存在していた手であると判定し、手領域の重心座標と角度及び左右情報をアップデートする(ステップB10)。この時、現フレームの手の左右情報と前フレームの手の左右情報が違っていても、現フレームの左右情報を優先させる。
なお、対応付けが行われなかった現フレームの片手は新たに出現した手であると認識する(ステップB11)。
図6において、人体領域の重心点を通る、カメラ画像の横軸方向と平行の線を基準線Cとする。図6内の基準線Cと「右手の重心点から人体領域の重心点を結ぶ線」によりできる角を角度aとする。図6内の基準線Cと「左手の重心点から人体領域の重心点を結ぶ線」によりできる角を角度bとする。
4) When one hand is detected in the previous frame and both hands are detected in the current frame (step B9)
Based on FIG. 6, the angle a and the angle b of the right and left hands of the current frame are compared with the angle a (angle b) of the hand of the previous frame. , It is determined that the hand is present from the previous frame, and the center-of-gravity coordinates, angle, and left / right information of the hand region are updated (step B10). At this time, priority is given to the left and right information of the current frame even if the left and right information of the hand of the current frame is different from the left and right information of the hand of the previous frame.
Note that one hand of the current frame that has not been associated is recognized as a newly appearing hand (step B11).
In FIG. 6, a line passing through the center of gravity of the human body region and parallel to the horizontal axis direction of the camera image is defined as a reference line C. An angle formed by the reference line C in FIG. 6 and “a line connecting the center of gravity of the human body region with the center of gravity of the right hand” is an angle a. An angle formed by the reference line C in FIG. 6 and “a line connecting the centroid point of the human body region with the centroid point of the left hand” is an angle b.
5)前フレームでは両手を検出し現フレームでは片手を検出した場合(ステップB12)
現フレームで片手のみが検出された場合は、その手は右手として判定される。現フレームの右手の角度aと、前フレームの右手、左手それぞれの角度aおよび角度bを比較し、より近い角度を持つ方の前フレームの手を対応付け、手領域の重心座標と角度及び左右情報をアップデートする(ステップB13)。このとき、前フレームと現フレームで左右情報が違う場合は、前フレームの左右情報を優先させる。対応付けが行われなかった前フレームの片手は画面から無くなった手であると認識する(ステップB14)。
5) When both hands are detected in the previous frame and one hand is detected in the current frame (step B12)
If only one hand is detected in the current frame, that hand is determined as the right hand. Compare the right hand angle a of the current frame with the right hand and left hand angles a and b of the previous frame, associate the hand of the front frame with the closer angle, and match the center of gravity coordinates and angle of the hand region Information is updated (step B13). At this time, if the left and right information is different between the previous frame and the current frame, priority is given to the left and right information of the previous frame. One hand of the previous frame that has not been associated is recognized as a hand that has disappeared from the screen (step B14).
6)前フレームで片手を検出し現フレームでも片手を検出した場合(ステップB15)
図6をもとに、現フレームの手の角度と、前フレームの手の角度とを比べ、闘値以下であった場合、現フレームと前フレームの手を対応付け、手領域の重心座標と角度及び左右情報をアップデートする(ステップB16)。左右情報は前フレームの手の情報を用いる。角度の差が闘値より大きい場合、前フレームの手は画面から無くなった手であると認識し、現フレームの手は新たに出現した手であると認識する(ステップB17)。手の左右情報は前フレームの左右情報と逆の情報を現フレームの手に対応付ける。
6) When one hand is detected in the previous frame and one hand is detected in the current frame (step B15)
Based on FIG. 6, if the hand angle of the current frame is compared with the hand angle of the previous frame, and if it is less than the battle value, the current frame and the hand of the previous frame are associated, The angle and left / right information is updated (step B16). The left and right information uses information on the hand of the previous frame. If the angle difference is larger than the battle value, the hand of the previous frame is recognized as a hand that has disappeared from the screen, and the hand of the current frame is recognized as a newly appearing hand (step B17). As for the left / right information of the hand, information opposite to the left / right information of the previous frame is associated with the hand of the current frame.
人体特定領域判定手段15は、判定後の特定領域のサイズや重心位置、バウンディングボックスのサイズや位置、左右情報、どの人体領域の手領域なのかの情報、どの前フレームの領域と対応付けが行われたのか(もしくは行われなかったのか)などの情報を記憶手段16へ送信する。これにより、手判定処理が終了する(ステップB19)。 The human body specific region determination means 15 performs the association with the size and position of the specific region after the determination, the size and position of the bounding box, left and right information, information on which human body region is the hand region, and the region of the previous frame. Information such as whether or not it has been sent is transmitted to the storage means 16. Thereby, the hand determination process ends (step B19).
記憶手段16は、対応付けが行われた人体特定領域の場合データをアップデートし、対応付けが行われなかった人体特定領域の場合新たに出現した人体特定領域としてデータを保存し、現フレームの特定領域と対応付けの行われなかった前フレーム特定領域のデータは削除する。 The storage means 16 updates the data in the case of the human body specific area in which the association is performed, stores the data as a human body specific area that has newly appeared in the case of the human body specific area in which the association has not been performed, and specifies the current frame Data in the previous frame specific area that has not been associated with the area is deleted.
(第2の具体例)
図7は、第2の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。本具体例では、人体領域情報から検出する特定領域は額領域であるものとして説明する。
本第2の具体例において、上記の実施形態における撮影部1はビデオカメラ20として実装されている。また、計算機21には、人体領域検出手段22と、人体判定手段23と、人体特定領域抽出手段24と、記憶手段26とが実装されている。ビデオカメラ20は、ユーザの頭上に設置され、ユーザの真上からユーザの画像を取得する。また、ビデオカメラ20は計算機21に接続されており、撮影した画像を計算機21に送信する。
(Second specific example)
FIG. 7 is a diagram illustrating a configuration example of the human body specific region extraction / determination device according to the second specific example. In this specific example, the specific area detected from the human body area information is assumed to be a forehead area.
In the second specific example, the photographing
計算機21に送られた画像は、人体領域検出手段22に入力される。人体領域検出手段22は、ビデオカメラ20が撮影した画像を受け取る。人体領域検出手段22は、まず、人物がビデオカメラ20の撮影領域内に存在しない場合の画像と、現在の画像(すなわち現フレームの画像)との差分を取る。そして、人体領域検出手段22は、差分を取った画像内に所定の闘値以上の大きさの領域が存在する場合、この領域を人体領域であるとして検出する。人体領域検出手段22は、人体領域が検出された場合、検出された領域のサイズや重心位置、バウンディングボックスのサイズや位置などを求めて、当該情報を人体領域情報として人体判定手段23に送る。
The image sent to the computer 21 is input to the human body region detection means 22. The human body region detection means 22 receives an image taken by the video camera 20. First, the human body region detection unit 22 calculates a difference between an image when a person is not present in the shooting region of the video camera 20 and a current image (that is, an image of the current frame). Then, when a region having a size equal to or larger than a predetermined threshold exists in the image obtained by the difference, the human body region detection unit 22 detects this region as a human body region. When the human body region is detected, the human body region detection unit 22 obtains the size and position of the center of gravity of the detected region, the size and position of the bounding box, and sends the information to the human
人体判定手段23は、抽出した人体領域が人体であるかどうかを判定する。人体判定手段23の具体的な処理は、第1の具体例の人体判定手段13と同様であるので、説明を省略する。
人体判定手段23は対応付けの判定を行った人体領域の情報を人体特定領域抽出手段24と、記憶手段26へ送信する。
The human
The human
人体特定領域抽出手段24は、人体判定手段23より対応付けの判定を行った人体領域の情報を受け取る。人体特定領域抽出手段24は、受け取った人体領域の情報の中から肌色の領域を抽出する。肌色の領域を抽出する方法として、第1の具体例と同様に、画像をある成分に分解できる一般的な処理の1つであるHSV変換を行い、H成分(色成分)とS成分(彩度成分)がそれぞれある闘値より大きくある闘値より小さい領域を抽出する手段を用いても良い。人体特定領域抽出手段24は、抽出された肌色領域の中からある闘値より大きくある闘値より小さい領域を抽出し、これを額候補領域とする。
The human body specific
そして、人体特定領域抽出手段24は、額候補領域の重心点を求める。人体特定領域抽出手段24は、各額候補領域と人体の重心点の距離を求め、その距離がある闘値より近いものの中で「最も人体重心点に近い重心点を持つ額候補領域」1つを額領域として抽出する。人体特定領域抽出手段24は、各額候補領域と人体の重心点の距離がある闘値を満たさない場合、その額候補領域は額ではないと判断する。額候補領域を額領域として抽出する際に人体の重心点からの距離を調べるのは、ユーザの頭上に設置されたカメラから人体を撮影すると人体の重心点の近くに額領域が存在するため、額候補領域と人体の重心点の距離を計測することで正しく額領域を抽出することができるからである。
人体特定領域抽出手段24は、抽出された額領域の情報を記憶手段26へ送信する。
Then, the human body specific
The human body specific
上記のように、本実施形態では、過去のフレーム(すなわち、前フレーム)における人体領域の情報を記憶しておき、検出された人体領域毎に人体の特定領域の存在する数と、特定領域が人体に存在する時の位置情報を使い、それら条件に当てはまる領域を抽出する。例えば、特定領域が手領域の場合は、手のひらが人体で最大2つ存在することと体の末端にあることから、体の末端にある領域を最大2つずつ人体領域毎に抽出する。また、別の例として特定領域が額の場合は、人体で最大1つ存在することと、人体を真上から撮影したカメラで撮った場合に、体の重心付近に位置することから、体の重心近くにある領域を最大1つずつ人体領域毎に抽出する。
手領域の左右判定では、人体領域の重心点と、右手と左手それぞれの手領域重心点を結ぶ2本の直線が、ある基準線と成す角度を比較することで左右の判定を行う。この結果、複数人の手領域が複雑に移動しても、正しく右手と左手を判定することが可能になる。
また、あるフレームにおける人体の特定領域の重心点と人体領域の重心点とを結ぶ角度情報を記憶しておき、その情報を用いることで、移動を行う複数人の人体の特定手域を正しく対応付ける。この結果、複数人の人体の特定領域が複雑に移動しても、あるフレームとその次のフレームとで人体の特定領域の正しい対応付けが可能になる。
As described above, in the present embodiment, information on the human body area in the past frame (that is, the previous frame) is stored, and the number of human body specific areas for each detected human body area and the specific area are determined. Using the location information when it exists in the human body, the region that meets those conditions is extracted. For example, when the specific region is a hand region, since there are a maximum of two palms in the human body and at the end of the body, a maximum of two regions at the end of the body are extracted for each human body region. As another example, when the specific area is the forehead, there is at most one in the human body, and when the human body is photographed from directly above, it is located near the center of gravity of the body, A maximum of one region near the center of gravity is extracted for each human body region.
In the left / right determination of the hand region, the left / right determination is performed by comparing the angles formed by the two straight lines connecting the center of gravity of the human body region and the center of gravity of the hand region of each of the right hand and the left hand with a certain reference line. As a result, it is possible to correctly determine the right hand and the left hand even if the hand regions of a plurality of people move in a complicated manner.
In addition, the angle information connecting the center of gravity of the specific area of the human body and the center of gravity of the human body area in a certain frame is stored, and by using this information, the specific areas of the human bodies of the plurality of persons to be moved are correctly associated. . As a result, even if the specific areas of the human bodies of a plurality of people move in a complex manner, it is possible to correctly associate the specific areas of the human body between a certain frame and the next frame.
本発明は、上記各実施の形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得る。
また、例えば各実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.
In addition, for example, even if some structural requirements are deleted from all the structural requirements shown in each embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the effect of the invention Can be obtained as an invention.
1…撮影部
2…人体領域検出部
3…人体判定部
4…人体特定領域抽出部
5…人体特定領域判定部
6…記憶部
7…記憶部
8…左右判定部
10…ビデオカメラ
20…ビデオカメラ
11、21…計算機
12、22…人体領域検出手段
13、23…人体判定手段
14、24…人体特定領域抽出手段
15…人体特定領域判定手段
16、26…記憶手段
17…左右判定手段
DESCRIPTION OF
Claims (8)
前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行う人体判定手段と、
前記人体判定手段により人体領域であると判定された人体領域の中から特定領域を抽出する人体特定領域抽出手段と、を具備することを特微とする人体特定領域抽出・判定装置。 Human body region detecting means for detecting a person region from a photographed person image;
Human body determination means for associating the human body area in the current frame detected by the human body area detection means with the human body area detected in a frame before the current time;
A human body specific region extraction / determination device comprising: a human body specific region extraction unit that extracts a specific region from the human body region determined to be a human body region by the human body determination unit.
前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行い、
前記対応付けされた人体領域の中から特定領域を抽出することを特微とする人体特定領域抽出・判定方法。 Detect the person's area from the photographed person's image,
The human body region in the current frame detected by the human body region detection means is associated with the human body region detected in a frame before the current time,
A human body specific area extraction / determination method characterized by extracting a specific area from the associated human body areas.
前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行い、
前記対応付けされた人体領域の中から特定領域を抽出することを特微とするコンピュータで読み取り可能な人体特定領域抽出・判定プログラム。 Detect the person's area from the photographed person's image,
The human body region in the current frame detected by the human body region detection means is associated with the human body region detected in a frame before the current time,
A computer-readable human body specific region extraction / determination program characterized by extracting a specific region from the associated human body regions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006308183A JP4659722B2 (en) | 2006-11-14 | 2006-11-14 | Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006308183A JP4659722B2 (en) | 2006-11-14 | 2006-11-14 | Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008123360A true JP2008123360A (en) | 2008-05-29 |
JP4659722B2 JP4659722B2 (en) | 2011-03-30 |
Family
ID=39508035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006308183A Active JP4659722B2 (en) | 2006-11-14 | 2006-11-14 | Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4659722B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013122763A (en) * | 2011-12-12 | 2013-06-20 | Samsung Electronics Co Ltd | Video processor and video processing method |
JP2016035759A (en) * | 2015-10-06 | 2016-03-17 | 株式会社ソニー・コンピュータエンタテインメント | Individual identification apparatus and individual identification method |
JP2016071546A (en) * | 2014-09-29 | 2016-05-09 | キヤノン株式会社 | Information processing device and control method thereof, program, and storage medium |
JP2016146640A (en) * | 2016-02-29 | 2016-08-12 | 株式会社ニコン | Area extraction device, imaging apparatus, and area extraction program |
US9717987B2 (en) | 2011-10-26 | 2017-08-01 | Sony Corporation | Individual discrimination device and individual discrimination method |
JP2017163610A (en) * | 2017-06-08 | 2017-09-14 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1132325A (en) * | 1997-05-14 | 1999-02-02 | Hitachi Denshi Ltd | Object tracing method, and object tracking and supervising system |
JP2005078257A (en) * | 2003-08-29 | 2005-03-24 | Fuji Xerox Co Ltd | Motion identification device and object attitude identification device |
-
2006
- 2006-11-14 JP JP2006308183A patent/JP4659722B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1132325A (en) * | 1997-05-14 | 1999-02-02 | Hitachi Denshi Ltd | Object tracing method, and object tracking and supervising system |
JP2005078257A (en) * | 2003-08-29 | 2005-03-24 | Fuji Xerox Co Ltd | Motion identification device and object attitude identification device |
Non-Patent Citations (1)
Title |
---|
CSNG200700013006, 石井 陽子 Yoko ISHII, "Palm Display Interface:情報の付加価値を生み出すインタフェース Palm Display I", 電子情報通信学会技術研究報告 Vol.106 No.234 IEICE Technical Report, 20060905, 第106巻, JP, 社団法人電子情報通信学会 The Institute of Electro * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9717987B2 (en) | 2011-10-26 | 2017-08-01 | Sony Corporation | Individual discrimination device and individual discrimination method |
JP2013122763A (en) * | 2011-12-12 | 2013-06-20 | Samsung Electronics Co Ltd | Video processor and video processing method |
JP2016071546A (en) * | 2014-09-29 | 2016-05-09 | キヤノン株式会社 | Information processing device and control method thereof, program, and storage medium |
JP2016035759A (en) * | 2015-10-06 | 2016-03-17 | 株式会社ソニー・コンピュータエンタテインメント | Individual identification apparatus and individual identification method |
JP2016146640A (en) * | 2016-02-29 | 2016-08-12 | 株式会社ニコン | Area extraction device, imaging apparatus, and area extraction program |
JP2017163610A (en) * | 2017-06-08 | 2017-09-14 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4659722B2 (en) | 2011-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106228628B (en) | Check-in system, method and device based on face recognition | |
JP6742405B2 (en) | Head-mounted display with facial expression detection function | |
CN105612533B (en) | Living body detection method, living body detection system, and computer program product | |
JP2022071195A (en) | Computing device and method | |
EP2842075B1 (en) | Three-dimensional face recognition for mobile devices | |
JP6809226B2 (en) | Biometric device, biometric detection method, and biometric detection program | |
WO2017045258A1 (en) | Photographing prompting method, device and apparatus, and nonvolatile computer storage medium | |
WO2019071664A1 (en) | Human face recognition method and apparatus combined with depth information, and storage medium | |
WO2019127262A1 (en) | Cloud end-based human face in vivo detection method, electronic device and program product | |
WO2015165365A1 (en) | Facial recognition method and system | |
US20180173979A1 (en) | Living body detection method, living body detection system, and computer program product | |
WO2017000213A1 (en) | Living-body detection method and device and computer program product | |
JP6587435B2 (en) | Image processing apparatus, information processing method, and program | |
CN109684951A (en) | Face identification method, bottom library input method, device and electronic equipment | |
JP6362085B2 (en) | Image recognition system, image recognition method and program | |
WO2017000218A1 (en) | Living-body detection method and device and computer program product | |
JP4659722B2 (en) | Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program | |
WO2022174594A1 (en) | Multi-camera-based bare hand tracking and display method and system, and apparatus | |
WO2016070300A1 (en) | System and method for detecting genuine user | |
JP2015106252A (en) | Face direction detection device and three-dimensional measurement device | |
KR20170078176A (en) | Apparatus for presenting game based on action recognition, method thereof and computer recordable medium storing the method | |
US10242253B2 (en) | Detection apparatus, detection method, and computer program product | |
JP6969878B2 (en) | Discriminator learning device and discriminator learning method | |
WO2017000217A1 (en) | Living-body detection method and device and computer program product | |
EP3699865B1 (en) | Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4659722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |