[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2008123360A - Device, method, and program for extracting/determining human body specific area - Google Patents

Device, method, and program for extracting/determining human body specific area Download PDF

Info

Publication number
JP2008123360A
JP2008123360A JP2006308183A JP2006308183A JP2008123360A JP 2008123360 A JP2008123360 A JP 2008123360A JP 2006308183 A JP2006308183 A JP 2006308183A JP 2006308183 A JP2006308183 A JP 2006308183A JP 2008123360 A JP2008123360 A JP 2008123360A
Authority
JP
Japan
Prior art keywords
human body
region
hand
specific
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006308183A
Other languages
Japanese (ja)
Other versions
JP4659722B2 (en
Inventor
Yoko Ishii
陽子 石井
Minoru Kobayashi
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006308183A priority Critical patent/JP4659722B2/en
Publication of JP2008123360A publication Critical patent/JP2008123360A/en
Application granted granted Critical
Publication of JP4659722B2 publication Critical patent/JP4659722B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently and accurately extract specific areas in human body areas of a plurality of persons. <P>SOLUTION: The device for extracting/determining a human body specific area is provided with human body area detection means 2, 12, and 22 for detecting a human area in a photographed image of a person, human body determination means 3, 13, and 23 for associating a human body area in a current frame detected by the human body area detection means with that detected in the previous frame, and human body specific area extraction means 4, 14, and 24 for extracting a specific area from the human body area determined as a human body area by the human body determination means. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

一人以上の人が存在するリアルタイム画像の中から、それぞれの人に対応する体の特定の部位を検出する画像処理技術に関する。   The present invention relates to an image processing technique for detecting a specific part of a body corresponding to each person from a real-time image in which one or more persons exist.

現在、公共空間に置かれた大型ディスプレイや携帯端末など、様々な情報提示装置がある。その1つとして、人物の手の平を検出しその手の平へ画像を提示することのできる技術が提案されている(非特許文献1参照)。
この技術では、人物の手の平に画像を提示することのできる情報提示装置において、カメラで撮影した画像の、ある1フレームの情報のみを用いて、人物と手との対応を行っている。
Currently, there are various information presentation devices such as large displays and portable terminals placed in public spaces. As one of the techniques, a technique capable of detecting a palm of a person and presenting an image on the palm of the palm has been proposed (see Non-Patent Document 1).
According to this technology, in an information presentation apparatus that can present an image on the palm of a person, correspondence between the person and the hand is performed using only information of one frame of the image captured by the camera.

この場合において、移動をしている複数の人が同時に存在した場合を考えると、あるフレームにおいて存在した人体がその次のフレームでどの人体と対応付けられるのか正しく検出し、その人体の領域から効率的に人体の特定領域(例えば、手領域や額領域)を抽出することが必要である。
また、複数存在する人体の領域から手領域を抽出した場合に、抽出された手の位置が移動し続けても、当該手領域が左右どちらの手なのか正確に判定することが好ましい。
更に、数人の人体の特定領域(例えば、手領域)が複雑に移動する中で、あるフレームとその次のフレームで同じ人体の特定領域同士を正しく対応付けることが必要である。
In this case, considering that there are a plurality of people who are moving at the same time, the human body that existed in one frame is correctly detected as to which human body is associated in the next frame, and the efficiency of the human body region is detected. In particular, it is necessary to extract a specific region of the human body (for example, a hand region or a forehead region).
In addition, when hand regions are extracted from a plurality of human body regions, it is preferable to accurately determine whether the hand region is the left or right hand even if the position of the extracted hand continues to move.
Furthermore, while specific areas (for example, hand areas) of several human bodies move in a complex manner, it is necessary to correctly associate specific areas of the same human body in a certain frame and the next frame.

石井陽子、小林稔、中山彰、細田真道、「情報との出会いを演出する手の平表示インタフェース」信学技報、MVE−2005−42、Sep.2005Yoko Ishii, Satoshi Kobayashi, Akira Nakayama, Michi Hosoda, “Hand Display Interface for Directing Encounters with Information,” IEICE Tech. Bulletin, MVE-2005-42, Sep. 2005

本発明は、複数人の人体領域の特定領域を効率良く正しく抽出することを提供することを目的とする。   An object of the present invention is to provide a method for efficiently and correctly extracting a specific region of a human body region of a plurality of people.

本発明の局面に係る人体特定領域抽出・判定装置は、撮影された人物の画像の中から人物の領域を検出する人体領域検出手段と、前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行う人体判定手段と、前記人体判定手段により人体領域であると判定された人体領域の中から特定領域を抽出する人体特定領域抽出手段と、を具備することを特微とする。本発明は、装置に限らず、装置で実現される方法やプログラムの発明としても成立する。   A human body specific region extraction / determination device according to an aspect of the present invention includes a human body region detection unit that detects a human region from a photographed person image, and a human body in a current frame detected by the human body region detection unit. Human body determination means for associating a region with a human body area detected in a frame prior to the present, and human body identification for extracting a specific area from the human body areas determined by the human body determination means And a region extracting means. The present invention is not limited to an apparatus, and can also be realized as an invention of a method or program realized by the apparatus.

本発明によれば、複数人の人体領域の特定領域を効率良く正しく抽出することができる。   According to the present invention, it is possible to efficiently and correctly extract specific regions of human body regions of a plurality of people.

図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る人体特定領域抽出・判定装置の概略構成を示すブロック図である。なお、図1には、各ブロックでやりとりされるデータの流れも併せて示している。なお、本実施形態において、検出する人体の特定領域として任意の領域を指定可能であるが、該特定領域を手領域であるものとして、本実施形態を説明する。   Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a human body specific region extraction / determination device according to an embodiment of the present invention. FIG. 1 also shows the flow of data exchanged in each block. In the present embodiment, an arbitrary area can be designated as the specific area of the human body to be detected. The present embodiment will be described assuming that the specific area is a hand area.

本実施形態に係る人体特定領域抽出・判定装置は、少なくとも、撮影部1と、人体領域検出部2と、人体判定部3と、人体特定領域抽出部4と、人体特定領域判定部5と、記憶部6と、記憶部7と、左右判定部8を具備する。   The human body specific region extraction / determination device according to the present embodiment includes at least a photographing unit 1, a human body region detection unit 2, a human body determination unit 3, a human body specific region extraction unit 4, a human body specific region determination unit 5, A storage unit 6, a storage unit 7, and a left / right determination unit 8 are provided.

撮影部1は、人体を真上から撮影して、撮影によって得られた撮影画像を人体領域検出部2へ送信する。なお、撮影部1はカメラであって、該カメラのシャッター速度や露出などのパラメータは固定されているものとする。   The photographing unit 1 photographs a human body from directly above and transmits a photographed image obtained by photographing to the human body region detecting unit 2. The photographing unit 1 is a camera, and parameters such as the shutter speed and exposure of the camera are fixed.

人体領域検出部2は、撮影部1から送られた撮影画像の中から人物領域を検出する。この場合において、検出する人物領域は複数であっても良い。そして、人体領域検出部2は検出された人体領域情報(この人体領域情報を「現フレームの人体領域情報」と称する)を人体判定部3へ送る。   The human body region detection unit 2 detects a person region from the photographed image sent from the photographing unit 1. In this case, a plurality of person regions may be detected. Then, the human body region detection unit 2 sends the detected human body region information (this human body region information is referred to as “human body region information of the current frame”) to the human body determination unit 3.

記憶部6は、前フレームの人体領域情報を記憶し、該前フレームの人体領域情報を人体判定部3へ送る。また、記憶部6は、人体領域検出部2から人体判定部3に出力された現フレームの人体領域情報を受け取って、前フレームの人体領域情報として、次のフレームの人体領域情報を受け取るまで記憶する。なお、前フレームは、直前のフレームでも、数フレーム前のフレームでも良く、これらを総称して、本明細書では、「前フレーム」と称する。   The storage unit 6 stores the human body region information of the previous frame, and sends the human body region information of the previous frame to the human body determination unit 3. The storage unit 6 receives the human body region information of the current frame output from the human body region detection unit 2 to the human body determination unit 3, and stores the human body region information of the next frame as the human body region information of the previous frame. To do. The previous frame may be the previous frame or a frame several frames before, and these are collectively referred to as “previous frame” in this specification.

人体判定部3は、人体領域検出部2から送られた現フレームの人体領域情報と、記憶部6から送られた前フレームの人体領域情報を取得する。人体判定部3は、前フレームと現フレームの重心をそれぞれ求め、前フレームに人体が存在していた場合には、現フレームに存在する人体領域と、前フレームの人体領域の重心距離を比べる。なお、前フレームと現フレームの重心の求め方は、例えば、検出した人体領域の幾何中心を重心とすればよい。そして、人体判定部3は、現フレームの人体領域の重心と前フレームの人体領域の重心位置が所定の距離より近い場合(すなわち所定の闘値以下である場合)、現フレームの該当する人体領域と前フレームの該当する人体領域を同じ人体領域として判定する。また、人体判定部3は、現フレームの人体領域が、前フレームの人体領域と対応しない場合には、その人体領域は新たに出現した人体領域として判定する。人体判定部3は、現フレームに存在する人体領域の数について、上記と同様の処理を行う。人体判定部3は、対応付けられた人体領域情報を、人体特定領域抽出部4と人体特定領域判定部5に送る。   The human body determination unit 3 acquires the human body region information of the current frame sent from the human body region detection unit 2 and the human body region information of the previous frame sent from the storage unit 6. The human body determination unit 3 obtains the centroids of the previous frame and the current frame, and compares the centroid distance between the human body region existing in the current frame and the human body region of the previous frame when the human body exists in the previous frame. Note that the method of obtaining the center of gravity of the previous frame and the current frame may be, for example, using the geometric center of the detected human body region as the center of gravity. When the center of gravity of the human body region of the current frame and the center of gravity of the human body region of the previous frame are closer than a predetermined distance (that is, below a predetermined battle value), the human body determination unit 3 And the corresponding human body region in the previous frame are determined as the same human body region. Further, when the human body region of the current frame does not correspond to the human body region of the previous frame, the human body determination unit 3 determines that the human body region is a newly appearing human body region. The human body determination unit 3 performs the same processing as described above for the number of human body regions existing in the current frame. The human body determination unit 3 sends the associated human body region information to the human body specific region extraction unit 4 and the human body specific region determination unit 5.

人体特定領域抽出部4は、前記人体判定部3より送られた人体領域情報から手の領域を抽出する。人体特定領域抽出部4は、人体判定部3より送られた人体領域が複数ある場合には、複数の人体領域情報のそれぞれの人体領域情報から手の領域(手領域)を抽出する。なお、手領域は、人体領域の末端にあることから、体の末端にある領域を最大2つずつ人体領域毎に抽出することが好ましい。そして、人体特定領域抽出部4は、抽出した手領域の情報を左右判定部8と人体特定領域判定部5へ送信する。   The human body specific region extraction unit 4 extracts a hand region from the human body region information sent from the human body determination unit 3. When there are a plurality of human body regions sent from the human body determination unit 3, the human body specific region extraction unit 4 extracts a hand region (hand region) from each human body region information of the plurality of human body region information. Since the hand region is at the end of the human body region, it is preferable to extract a maximum of two regions at the end of the body for each human body region. Then, the human body specific region extraction unit 4 transmits the extracted hand region information to the left / right determination unit 8 and the human body specific region determination unit 5.

左右判定部8は、人体特定領域抽出部4から送られた情報を用いて、手領域が左右どちらの手なのかを判定する。左右判定部8は、判定した手領域の左右情報を人体特定領域判定部5へ送信する。   The left / right determination unit 8 uses the information sent from the human body specific region extraction unit 4 to determine which hand is the left or right hand. The left / right determination unit 8 transmits left / right information of the determined hand region to the human body specific region determination unit 5.

記憶部7は、前フレームの手領域の情報を記憶し、該前フレームの手領域の情報を人体特定領域判定部5へ送る。また、記憶部7は、人体特定領域抽出部4から人体特定領域判定部5に出力された現フレームの手領域の情報を受け取って、前フレームの手領域の情報として、次のフレームの手領域の情報を受け取るまで記憶する。   The storage unit 7 stores information on the hand region of the previous frame and sends the information on the hand region of the previous frame to the human body specific region determination unit 5. Further, the storage unit 7 receives the information of the hand region of the current frame output from the human body specific region extraction unit 4 to the human body specific region determination unit 5, and uses the hand region of the next frame as the information of the hand region of the previous frame. Remember until you receive the information.

人体特定領域判定部5は、人体特定領域抽出部4から送られた現フレームの手領域情報と、左右判定部8から送られた現フレームの左右判定情報と、記憶部7より送られた前フレームの手領域情報を取得する。そして、人体特定領域判定部5は、現フレームに存在する人体領域情報毎に以下の処理を行い、その処理結果を出力する。
(1)前フレームに手領域が存在し、現フレームに手領域が存在する場合、それぞれの手領域の重心点と人体の重心点を結ぶ直線と、基準となる直線とでできる角度を比較する。そして、前フレームと現フレームそれぞれの角度の差が所定の闘値内にある場合、対応する前フレームの手領域と現フレームの手領域を同じ手領域として判定する。
(2)現フレームの手領域が、前フレームの手領域と対応しない場合には、その手領域は新たに出現した手領域として判定する。
上記のようにして、人体の特定領域としての手領域が判定される。
The human body specific region determination unit 5 includes the current frame hand region information transmitted from the human body specific region extraction unit 4, the current frame left / right determination information transmitted from the left / right determination unit 8, and the previous information transmitted from the storage unit 7. Get hand region information of the frame. Then, the human body specific region determination unit 5 performs the following processing for each human body region information existing in the current frame, and outputs the processing result.
(1) When a hand region exists in the previous frame and a hand region exists in the current frame, the angle formed between the straight line connecting the center of gravity of each hand region and the center of gravity of the human body and the reference straight line is compared. . When the difference in angle between the previous frame and the current frame is within a predetermined threshold, the corresponding hand region of the previous frame and the hand region of the current frame are determined as the same hand region.
(2) If the hand area of the current frame does not correspond to the hand area of the previous frame, the hand area is determined as a newly appearing hand area.
As described above, the hand region as the specific region of the human body is determined.

本実施形態によれば、過去フレーム(前フレーム)の人体領域情報を用いることで誤認識を減らし、移動を行う複数人の人体領域をそれぞれ時系列に正しく対応付けることが可能になる。さらに、人体領域情報からある特定領域(例えば、「手領域」)を検出する処理において、特定領域以外の領域を検出してしまう誤認識が減り、より効率的に特定領域を検出することが可能になる。   According to the present embodiment, it is possible to reduce misrecognition by using the human body region information of the past frame (previous frame), and to correctly associate the human body regions of a plurality of persons who move with each other in time series. Furthermore, in the process of detecting a specific area (for example, “hand area”) from human body area information, it is possible to detect the specific area more efficiently by reducing erroneous recognition that detects areas other than the specific area. become.

以下、具体的な例として、特定領域として手領域を検出する場合(第1の具体例)と、特定領域として額領域を検出する場合(第2の具体例)とを説明する。   Hereinafter, as a specific example, a case where a hand region is detected as a specific region (first specific example) and a case where a forehead region is detected as a specific region (second specific example) will be described.

(第1の具体例)
図2は、第1の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。本具体例では、人体領域情報から検出する特定領域は手領域であるものとして説明する。
本第1の具体例において、上記の実施形態における撮影部1はビデオカメラ10として実装されている。また、計算機11には、人体領域検出手段12と、人体判定手段13と、人体特定領域抽出手段14と、左右判定手段17と、人体特定領域判定手段15と、記憶手段16とが実装されている。ビデオカメラ10は、ユーザの頭上に設置され、ユーザの真上からユーザの画像を取得する。また、ビデオカメラ10は計算機11に接続されており、撮影した画像を計算機11に送信する。
(First specific example)
FIG. 2 is a diagram illustrating a configuration example of the human body specific region extraction / determination device according to the first specific example. In this specific example, the specific area detected from the human body area information will be described as a hand area.
In the first specific example, the photographing unit 1 in the above embodiment is implemented as a video camera 10. Further, the computer 11 includes a human body region detection unit 12, a human body determination unit 13, a human body specific region extraction unit 14, a left / right determination unit 17, a human body specific region determination unit 15, and a storage unit 16. Yes. The video camera 10 is installed above the user's head and acquires the user's image from directly above the user. The video camera 10 is connected to the computer 11 and transmits the captured image to the computer 11.

計算機11に送られた画像は、人体領域検出手段12に入力される。人体領域検出手段12は、ビデオカメラ10が撮影した画像を受け取る。人体領域検出手段12は、まず、人物がビデオカメラ10の撮影領域内に存在しない場合の画像と、現在の画像(すなわち現フレームの画像)との差分を取る。そして、人体領域検出手段12は、差分を取った画像内に所定の闘値以上の大きさの領域が存在する場合、この領域を人体領域であるとして検出する。人体領域検出手段12は、人体領域が検出された場合、検出された領域のサイズや重心位置、バウンディングボックスのサイズや位置などを求めて、当該情報を人体領域情報として人体判定手段13に送る。なお、バウンディングボックスは、検出された領域を取り囲むような多面体であれば、どのような形状であっても良く、公知の技術によって求めることが出来るので、説明を省略する。   The image sent to the computer 11 is input to the human body region detection means 12. The human body region detection means 12 receives an image taken by the video camera 10. First, the human body region detection unit 12 obtains a difference between an image when a person is not present in the shooting region of the video camera 10 and a current image (that is, an image of the current frame). Then, when a region having a size equal to or larger than a predetermined threshold exists in the image obtained by the difference, the human body region detection unit 12 detects this region as a human body region. When the human body region is detected, the human body region detection unit 12 obtains the size and position of the center of gravity of the detected region, the size and position of the bounding box, and sends the information to the human body determination unit 13 as human body region information. Note that the bounding box may have any shape as long as it is a polyhedron surrounding the detected area, and can be obtained by a known technique, and thus the description thereof is omitted.

人体判定手段13は、抽出した人体領域が人体であるかどうかを判定する。人体判定手段13の具体的な処理の流れを図3に示す。図3は、人体判定手段13の具体的な処理の流れを示すフローチャートである。   The human body determination means 13 determines whether or not the extracted human body region is a human body. A specific processing flow of the human body determination means 13 is shown in FIG. FIG. 3 is a flowchart showing a specific processing flow of the human body determination means 13.

人体判定手段13は、人体領域検出手段12より現フレームに存在している人体領域の情報を取得する。そして、人体判定手段13は、現フレームで人体領域が検出されているかどうか判定する(ステップA1)。ステップA1において、現フレームで人体領域が検出されていなければ、ステップA10の処理に進む。ステップA1において、現フレームで人体領域が検出されているのであれば、現フレームで検出された人体領域の個数分ステップA3からステップA8の処理を繰り返す。なお、ステップA2は、ループの開始を示し、ステップA9は、ループの終了を示す。   The human body determination unit 13 acquires information on the human body region existing in the current frame from the human body region detection unit 12. Then, the human body determination unit 13 determines whether a human body region is detected in the current frame (step A1). In step A1, if no human body area is detected in the current frame, the process proceeds to step A10. In step A1, if a human body region is detected in the current frame, the processing from step A3 to step A8 is repeated for the number of human body regions detected in the current frame. Step A2 indicates the start of the loop, and step A9 indicates the end of the loop.

具体的には、まず、人体判定手段13は、前フレームで人体が検出されていなかった場合には(ステップA3のNo)、現フレームの人体は新たに現れた人体領域だと判定する。そして、次の人体領域について、ステップA3からステップA8の処理を行う。   Specifically, first, when the human body is not detected in the previous frame (No in step A3), the human body determination unit 13 determines that the human body in the current frame is a newly appearing human body region. Then, the processing from step A3 to step A8 is performed for the next human body region.

まず、人体判定手段13は、記憶手段16より、前フレームに存在していた人体領域の重心位置情報を取得し、前フレームで人体領域が検出されていた場合には(ステップA3のYes)、前フレームの人体領域の中で対応付け候補となる人体領域があるかどうかを判定する(ステップA4)。前フレームの人体領域の中で対応付け候補となる人体領域があれば(ステップA4のYes)、対応付け可能な前フレームの全ての人体領域の重心位置と現フレームの1つの人体領域の重心位置の距離を測定する(ステップA5)。なお、ステップA3とステップA4において、判定結果がNoであれば、ステップA9の処理に進む。   First, the human body determination unit 13 obtains the center-of-gravity position information of the human body region existing in the previous frame from the storage unit 16, and when the human body region is detected in the previous frame (Yes in step A3), It is determined whether there is a human body region that is a candidate for association among the human body regions in the previous frame (step A4). If there is a human body region that is a candidate for association among the human body regions in the previous frame (Yes in step A4), the centroid positions of all human body regions in the previous frame that can be associated and the centroid positions of one human body region in the current frame Is measured (step A5). If the determination result in step A3 and step A4 is No, the process proceeds to step A9.

人体判定手段13は、測定した重心位置の距離の中で最も短い距離を持つ前フレームの1つの人体領域が、所定の闘値以下であるかどうかを判定し(ステップA6)、距離が所定の闘値以下であれば、該前フレームの1つの人体領域と現フレームの1つの人体領域を対応付ける(ステップA7)。現フレームの人体領域が複数個ある場合、対応付けが行われた前フレームの1つの人体領域は、処理対象から除外する(ステップA8)。そして、ステップA3からステップA8の処理を繰り返して、残った前フレームの領域の中で、残りの現フレームの人体領域との対応付けの判定を行う。これにより、対応付けられる人体領域は、前フレームの人体領域と現フレームの人体領域それぞれについて一対一の関係になる。なお、対応付けられる前フレームの人体領域が無くなった場合は、残りの現フレームの人体領域は新たに現れた人体領域だと判定する。   The human body determination means 13 determines whether or not one human body region of the previous frame having the shortest distance among the measured distances of the center of gravity positions is equal to or less than a predetermined battle value (step A6). If it is equal to or less than the threshold value, one human body region of the previous frame is associated with one human body region of the current frame (step A7). If there are a plurality of human body regions in the current frame, one human body region in the previous frame that has been associated is excluded from the processing target (step A8). Then, the processing from step A3 to step A8 is repeated, and the association with the human body region of the remaining current frame is determined among the remaining previous frame regions. As a result, the associated human body regions have a one-to-one relationship between the human body region of the previous frame and the human body region of the current frame. If there is no more human body area in the previous frame to be associated, it is determined that the remaining human body area in the current frame is a newly appearing human body area.

人体判定手段13は対応付けの判定を行った人体領域のサイズや重心位置、バウンディングボックスのサイズや位置などの情報を人体特定領域抽出手段14と人体特定領域判定手段15へ送信する。人体判定手段13は対応付けの判定を行った人体領域のサイズや重心位置、バウンディングボックスのサイズや位置、どの前フレームの領域と対応付けが行われたのか(もしくは行われなかったのか)などの情報を記憶手段16へ送信する。記憶手段16は、対応付けが行われた人体領域の場合データをアップデートし、対応付けが行われなかった人体領域を新たに出現した人体領域としてデータを保存し、現フレームと対応付けの行われなかった前フレームのデータは削除する(ステップA10)。   The human body determination unit 13 transmits information such as the size and position of the center of gravity of the human body region that has been determined to be associated, and the size and position of the bounding box to the human body specific region extraction unit 14 and the human body specific region determination unit 15. The human body determination means 13 includes the size and position of the center of gravity of the human body region for which the determination of the association is made, the size and position of the bounding box, which region of the previous frame has been associated (or has not been performed), etc. Information is transmitted to the storage means 16. The storage means 16 updates the data in the case of a human body region that has been associated, stores the data as a human body region that has not been associated, and is associated with the current frame. The data of the previous frame that did not exist is deleted (step A10).

その後の処理(ステップA11)として、人体特定領域抽出手段14は、人体判定手段13より対応付けの判定を行った人体領域の情報を受け取る。そして、人体特定領域抽出手段14は、受け取った人体領域の情報の中から肌色の領域を抽出する。肌色の領域を抽出する方法として、画像をある成分に分解できる一般的な処理の1つであるHSV変換を行い、H成分(色成分)とS成分(彩度成分)がそれぞれある闘値より大きくある闘値より小さい領域を抽出する手段を用いても良い。人体特定領域抽出手段14は、抽出された肌色領域の中からある闘値より大きくある闘値より小さい領域を抽出し、これを手候補領域とする。人体特定領域抽出手段14は、手候補領域の重心点を求める。人体特定領域抽出手段14は、各手候補領域と人体の重心点の距離を求め、最も人体重心点と離れた重心点を持つ最大2つの手候補領域を手領域として抽出する。人体特定領域抽出手段14は、検出された手領域の、サイズ、バウンディングボックスの位置・サイズ、重心位置情報などを左右判定手段17に送る。   As a subsequent process (step A11), the human body specific region extracting unit 14 receives information on the human body region for which the association is determined from the human body determining unit 13. Then, the human body specific region extracting means 14 extracts a skin color region from the received information on the human body region. As a method of extracting the skin color region, HSV conversion, which is one of the general processes that can decompose an image into a certain component, is performed, and the H component (color component) and the S component (saturation component) are respectively determined from certain threshold values. Means for extracting a region smaller than a large threshold value may be used. The human body specific region extracting means 14 extracts a region that is larger than a certain battle value and smaller than the battle value from the extracted skin color region, and uses this as a hand candidate region. The human body specific region extracting unit 14 obtains the center of gravity of the hand candidate region. The human body specific area extracting means 14 obtains the distance between each hand candidate area and the center of gravity of the human body, and extracts a maximum of two hand candidate areas having the center of gravity farthest from the human body center of gravity as the hand areas. The human body specific region extracting unit 14 sends the size of the detected hand region, the position / size of the bounding box, the gravity center position information, and the like to the left / right determining unit 17.

左右判定手段17は人体特定領域抽出手段14より送られた手領域の情報を受けとり、以下の処理行う。
前フレームで手が存在しておらず、現フレームで片手のみ存在する場合は、その手を右手として定める。前フレームで手が存在しておらず、現フレームで両手が存在する場合は、手と人体領域の重心点を結ぶ直線を求め、それら直線によりできる鋭角(図4内θ)の右辺側の手を右手とし、左辺側の手を左手として判定する(図4参照)。
The left / right determination means 17 receives the hand area information sent from the human body specific area extraction means 14 and performs the following processing.
If no hand is present in the previous frame and only one hand is present in the current frame, that hand is determined as the right hand. If no hand is present in the previous frame and both hands are present in the current frame, a straight line connecting the hand and the center of gravity of the human body region is obtained, and the hand on the right side of the acute angle (θ in FIG. 4) formed by the straight line is obtained. As the right hand and the left hand as the left hand (see FIG. 4).

前フレームで手が存在し、現フレームで片手のみ存在する場合は、その手を仮に右手として定める。前フレームで手が存在し、現フレームで両手が存在する場合は、手と人体領域の重心点を結ぶ直線を求め、それら直線によりできる鋭角(図4内θ)の右辺側の手を右手とし、左辺側の手を左手として判定する(図4参照)。   If a hand is present in the previous frame and only one hand is present in the current frame, that hand is determined as the right hand. If a hand is present in the previous frame and both hands are present in the current frame, a straight line connecting the hand and the center of gravity of the human body region is obtained, and the right hand of the right side of the acute angle (θ in FIG. 4) formed by these straight lines is defined as the right hand. The left hand is determined as the left hand (see FIG. 4).

左右判定手段17は、左右判定情報を人体特定領域判定手段15へ送信する。人体特定領域判定手段15は、図5に示すフローチャートに従って、人体特定領域と人体領域との対応付けを行う。図5は、人体特定領域判定手段15の処理の流れを示すフローチャートである。図5を参照して、人体特定領域判定手段15の処理の流れを説明する。   The left / right determination unit 17 transmits left / right determination information to the human body specific region determination unit 15. The human body specific region determination unit 15 associates the human body specific region with the human body region according to the flowchart shown in FIG. FIG. 5 is a flowchart showing the flow of processing of the human body specific region determination unit 15. With reference to FIG. 5, the flow of processing of the human body specific region determination unit 15 will be described.

人体特定領域判定手段15は、人体判定手段13より、前フレームと現フレームで対応付けを行った人体領域の情報を受け取る。人体特定領域判定手段15は、左右判定手段17より左右判定情報を受け取る。人体特定領域判定手段15は、記憶手段16より、前フレームに存在していた手領域の重心位置情報と左右情報と、どの人体領域の手領域なのかの情報を取得する。そして、各人体領域についてステップB2からステップB17の処理を繰り返す。なお、ステップB1は、ループの開始を示し、ステップB18は、ループの終了を示す。
人体特定領域判定手段15は、前フレームの手領域が検出された人体領域が対応づけられているかを判定し(ステップB2)、その結果に従って、人体領域毎に以下の条件に分け、それぞれに対して対応する処理を行う。
The human body specific region determination unit 15 receives information on the human body region associated with the previous frame and the current frame from the human body determination unit 13. The human body specific region determination unit 15 receives the left / right determination information from the left / right determination unit 17. The human body specific area determination unit 15 acquires from the storage unit 16 the center-of-gravity position information and left-right information of the hand area that existed in the previous frame, and information on which human body area is the hand area. Then, the processing from step B2 to step B17 is repeated for each human body region. Step B1 indicates the start of the loop, and step B18 indicates the end of the loop.
The human body specific region determination means 15 determines whether or not the human body region in which the hand region of the previous frame is detected is associated (step B2), and according to the result, the human body region is divided into the following conditions, To perform the corresponding process.

1)現フレームで手領域が存在しない場合(ステップB3のNo、ステップB5のNo)
前フレームでも手領域が存在しない場合には(ステップB3のNo)、ステップB18処理を進める。前フレームで手を検出していた場合には(ステップB5のNo)、その手は無くなった手であると認識し、前記フレームの手領域を消去して(ステップB6)、現フレームでは左右どちらの手も存在しないとして処理を行う。
1) When there is no hand area in the current frame (No in step B3, No in step B5)
If no hand area exists even in the previous frame (No in step B3), the process of step B18 is advanced. If a hand has been detected in the previous frame (No in step B5), the hand is recognized as a lost hand, and the hand area of the frame is deleted (step B6). It is assumed that there is no other hand.

2)現フレームで手が存在し、前フレームで手を検出していなかった場合(ステップB3のYse)
現フレームの手は新たに出現した手として認識し、手の左右情報はそのまま用いる(ステップB4)。
2) When a hand is present in the current frame and a hand is not detected in the previous frame (Yse in step B3)
The hand of the current frame is recognized as a newly appearing hand, and the left and right information of the hand is used as it is (step B4).

3)前フレームで両手を検出し現フレームでも両手を検出した場合(ステップB7)
現フレームの右手、左手の情報をそのまま用い、前フレームで存在した右手と現フレームの右手を対応付け、前フレームで存在した左手と現フレームの左手を対応付ける(ステップB8)。
3) When both hands are detected in the previous frame and both hands are detected in the current frame (step B7)
Using the right hand and left hand information of the current frame as they are, the right hand existing in the previous frame is associated with the right hand of the current frame, and the left hand existing in the previous frame is associated with the left hand of the current frame (step B8).

4)前フレームでは片手を検出し現フレームでは両手を検出した場合(ステップB9)
図6をもとに、現フレームの右手・左手それぞれの角度aと角度bを、前フレームの手の角度a(角度b)と比べ、より近い角度を持つ現フレームの手を前フレームの手と対応付け、前フレームから存在していた手であると判定し、手領域の重心座標と角度及び左右情報をアップデートする(ステップB10)。この時、現フレームの手の左右情報と前フレームの手の左右情報が違っていても、現フレームの左右情報を優先させる。
なお、対応付けが行われなかった現フレームの片手は新たに出現した手であると認識する(ステップB11)。
図6において、人体領域の重心点を通る、カメラ画像の横軸方向と平行の線を基準線Cとする。図6内の基準線Cと「右手の重心点から人体領域の重心点を結ぶ線」によりできる角を角度aとする。図6内の基準線Cと「左手の重心点から人体領域の重心点を結ぶ線」によりできる角を角度bとする。
4) When one hand is detected in the previous frame and both hands are detected in the current frame (step B9)
Based on FIG. 6, the angle a and the angle b of the right and left hands of the current frame are compared with the angle a (angle b) of the hand of the previous frame. , It is determined that the hand is present from the previous frame, and the center-of-gravity coordinates, angle, and left / right information of the hand region are updated (step B10). At this time, priority is given to the left and right information of the current frame even if the left and right information of the hand of the current frame is different from the left and right information of the hand of the previous frame.
Note that one hand of the current frame that has not been associated is recognized as a newly appearing hand (step B11).
In FIG. 6, a line passing through the center of gravity of the human body region and parallel to the horizontal axis direction of the camera image is defined as a reference line C. An angle formed by the reference line C in FIG. 6 and “a line connecting the center of gravity of the human body region with the center of gravity of the right hand” is an angle a. An angle formed by the reference line C in FIG. 6 and “a line connecting the centroid point of the human body region with the centroid point of the left hand” is an angle b.

5)前フレームでは両手を検出し現フレームでは片手を検出した場合(ステップB12)
現フレームで片手のみが検出された場合は、その手は右手として判定される。現フレームの右手の角度aと、前フレームの右手、左手それぞれの角度aおよび角度bを比較し、より近い角度を持つ方の前フレームの手を対応付け、手領域の重心座標と角度及び左右情報をアップデートする(ステップB13)。このとき、前フレームと現フレームで左右情報が違う場合は、前フレームの左右情報を優先させる。対応付けが行われなかった前フレームの片手は画面から無くなった手であると認識する(ステップB14)。
5) When both hands are detected in the previous frame and one hand is detected in the current frame (step B12)
If only one hand is detected in the current frame, that hand is determined as the right hand. Compare the right hand angle a of the current frame with the right hand and left hand angles a and b of the previous frame, associate the hand of the front frame with the closer angle, and match the center of gravity coordinates and angle of the hand region Information is updated (step B13). At this time, if the left and right information is different between the previous frame and the current frame, priority is given to the left and right information of the previous frame. One hand of the previous frame that has not been associated is recognized as a hand that has disappeared from the screen (step B14).

6)前フレームで片手を検出し現フレームでも片手を検出した場合(ステップB15)
図6をもとに、現フレームの手の角度と、前フレームの手の角度とを比べ、闘値以下であった場合、現フレームと前フレームの手を対応付け、手領域の重心座標と角度及び左右情報をアップデートする(ステップB16)。左右情報は前フレームの手の情報を用いる。角度の差が闘値より大きい場合、前フレームの手は画面から無くなった手であると認識し、現フレームの手は新たに出現した手であると認識する(ステップB17)。手の左右情報は前フレームの左右情報と逆の情報を現フレームの手に対応付ける。
6) When one hand is detected in the previous frame and one hand is detected in the current frame (step B15)
Based on FIG. 6, if the hand angle of the current frame is compared with the hand angle of the previous frame, and if it is less than the battle value, the current frame and the hand of the previous frame are associated, The angle and left / right information is updated (step B16). The left and right information uses information on the hand of the previous frame. If the angle difference is larger than the battle value, the hand of the previous frame is recognized as a hand that has disappeared from the screen, and the hand of the current frame is recognized as a newly appearing hand (step B17). As for the left / right information of the hand, information opposite to the left / right information of the previous frame is associated with the hand of the current frame.

人体特定領域判定手段15は、判定後の特定領域のサイズや重心位置、バウンディングボックスのサイズや位置、左右情報、どの人体領域の手領域なのかの情報、どの前フレームの領域と対応付けが行われたのか(もしくは行われなかったのか)などの情報を記憶手段16へ送信する。これにより、手判定処理が終了する(ステップB19)。   The human body specific region determination means 15 performs the association with the size and position of the specific region after the determination, the size and position of the bounding box, left and right information, information on which human body region is the hand region, and the region of the previous frame. Information such as whether or not it has been sent is transmitted to the storage means 16. Thereby, the hand determination process ends (step B19).

記憶手段16は、対応付けが行われた人体特定領域の場合データをアップデートし、対応付けが行われなかった人体特定領域の場合新たに出現した人体特定領域としてデータを保存し、現フレームの特定領域と対応付けの行われなかった前フレーム特定領域のデータは削除する。   The storage means 16 updates the data in the case of the human body specific area in which the association is performed, stores the data as a human body specific area that has newly appeared in the case of the human body specific area in which the association has not been performed, and specifies the current frame Data in the previous frame specific area that has not been associated with the area is deleted.

(第2の具体例)
図7は、第2の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。本具体例では、人体領域情報から検出する特定領域は額領域であるものとして説明する。
本第2の具体例において、上記の実施形態における撮影部1はビデオカメラ20として実装されている。また、計算機21には、人体領域検出手段22と、人体判定手段23と、人体特定領域抽出手段24と、記憶手段26とが実装されている。ビデオカメラ20は、ユーザの頭上に設置され、ユーザの真上からユーザの画像を取得する。また、ビデオカメラ20は計算機21に接続されており、撮影した画像を計算機21に送信する。
(Second specific example)
FIG. 7 is a diagram illustrating a configuration example of the human body specific region extraction / determination device according to the second specific example. In this specific example, the specific area detected from the human body area information is assumed to be a forehead area.
In the second specific example, the photographing unit 1 in the above embodiment is implemented as a video camera 20. The computer 21 includes a human body region detection unit 22, a human body determination unit 23, a human body specific region extraction unit 24, and a storage unit 26. The video camera 20 is installed above the user's head and acquires the user's image from directly above the user. Further, the video camera 20 is connected to a computer 21 and transmits a captured image to the computer 21.

計算機21に送られた画像は、人体領域検出手段22に入力される。人体領域検出手段22は、ビデオカメラ20が撮影した画像を受け取る。人体領域検出手段22は、まず、人物がビデオカメラ20の撮影領域内に存在しない場合の画像と、現在の画像(すなわち現フレームの画像)との差分を取る。そして、人体領域検出手段22は、差分を取った画像内に所定の闘値以上の大きさの領域が存在する場合、この領域を人体領域であるとして検出する。人体領域検出手段22は、人体領域が検出された場合、検出された領域のサイズや重心位置、バウンディングボックスのサイズや位置などを求めて、当該情報を人体領域情報として人体判定手段23に送る。   The image sent to the computer 21 is input to the human body region detection means 22. The human body region detection means 22 receives an image taken by the video camera 20. First, the human body region detection unit 22 calculates a difference between an image when a person is not present in the shooting region of the video camera 20 and a current image (that is, an image of the current frame). Then, when a region having a size equal to or larger than a predetermined threshold exists in the image obtained by the difference, the human body region detection unit 22 detects this region as a human body region. When the human body region is detected, the human body region detection unit 22 obtains the size and position of the center of gravity of the detected region, the size and position of the bounding box, and sends the information to the human body determination unit 23 as human body region information.

人体判定手段23は、抽出した人体領域が人体であるかどうかを判定する。人体判定手段23の具体的な処理は、第1の具体例の人体判定手段13と同様であるので、説明を省略する。
人体判定手段23は対応付けの判定を行った人体領域の情報を人体特定領域抽出手段24と、記憶手段26へ送信する。
The human body determination unit 23 determines whether or not the extracted human body region is a human body. Since the specific processing of the human body determination unit 23 is the same as that of the human body determination unit 13 of the first specific example, description thereof is omitted.
The human body determination unit 23 transmits the information on the human body region for which the association is determined to the human body specific region extraction unit 24 and the storage unit 26.

人体特定領域抽出手段24は、人体判定手段23より対応付けの判定を行った人体領域の情報を受け取る。人体特定領域抽出手段24は、受け取った人体領域の情報の中から肌色の領域を抽出する。肌色の領域を抽出する方法として、第1の具体例と同様に、画像をある成分に分解できる一般的な処理の1つであるHSV変換を行い、H成分(色成分)とS成分(彩度成分)がそれぞれある闘値より大きくある闘値より小さい領域を抽出する手段を用いても良い。人体特定領域抽出手段24は、抽出された肌色領域の中からある闘値より大きくある闘値より小さい領域を抽出し、これを額候補領域とする。   The human body specific region extracting unit 24 receives information on the human body region for which the association is determined from the human body determining unit 23. The human body specific region extraction unit 24 extracts a skin color region from the received information on the human body region. As a method for extracting a skin color region, as in the first specific example, HSV conversion, which is one of the general processes that can decompose an image into certain components, is performed, and an H component (color component) and an S component (saturation) are performed. It is also possible to use means for extracting a region where the degree component) is larger than a certain threshold value and smaller than a certain threshold value. The human body specific region extracting means 24 extracts a region that is larger than a certain battle value and smaller than the battle value from the extracted skin color region, and sets this as a forehead candidate region.

そして、人体特定領域抽出手段24は、額候補領域の重心点を求める。人体特定領域抽出手段24は、各額候補領域と人体の重心点の距離を求め、その距離がある闘値より近いものの中で「最も人体重心点に近い重心点を持つ額候補領域」1つを額領域として抽出する。人体特定領域抽出手段24は、各額候補領域と人体の重心点の距離がある闘値を満たさない場合、その額候補領域は額ではないと判断する。額候補領域を額領域として抽出する際に人体の重心点からの距離を調べるのは、ユーザの頭上に設置されたカメラから人体を撮影すると人体の重心点の近くに額領域が存在するため、額候補領域と人体の重心点の距離を計測することで正しく額領域を抽出することができるからである。
人体特定領域抽出手段24は、抽出された額領域の情報を記憶手段26へ送信する。
Then, the human body specific region extraction unit 24 obtains the center of gravity point of the forehead candidate region. The human body specific area extracting means 24 obtains the distance between each forehead candidate area and the center of gravity of the human body, and among the distances closer than a certain threshold value, “one forehead candidate area having the center of gravity closest to the body center of gravity” Is extracted as the forehead area. When the distance between each forehead candidate area and the center of gravity of the human body does not satisfy a certain threshold value, the human body specific area extraction unit 24 determines that the forehead candidate area is not a forehead. When extracting the forehead candidate area as the forehead area, the distance from the center of gravity of the human body is examined because the forehead area exists near the center of gravity of the human body when shooting the human body from the camera installed on the user's head, This is because the forehead region can be correctly extracted by measuring the distance between the forehead candidate region and the center of gravity of the human body.
The human body specific area extraction unit 24 transmits the information of the extracted forehead area to the storage unit 26.

上記のように、本実施形態では、過去のフレーム(すなわち、前フレーム)における人体領域の情報を記憶しておき、検出された人体領域毎に人体の特定領域の存在する数と、特定領域が人体に存在する時の位置情報を使い、それら条件に当てはまる領域を抽出する。例えば、特定領域が手領域の場合は、手のひらが人体で最大2つ存在することと体の末端にあることから、体の末端にある領域を最大2つずつ人体領域毎に抽出する。また、別の例として特定領域が額の場合は、人体で最大1つ存在することと、人体を真上から撮影したカメラで撮った場合に、体の重心付近に位置することから、体の重心近くにある領域を最大1つずつ人体領域毎に抽出する。
手領域の左右判定では、人体領域の重心点と、右手と左手それぞれの手領域重心点を結ぶ2本の直線が、ある基準線と成す角度を比較することで左右の判定を行う。この結果、複数人の手領域が複雑に移動しても、正しく右手と左手を判定することが可能になる。
また、あるフレームにおける人体の特定領域の重心点と人体領域の重心点とを結ぶ角度情報を記憶しておき、その情報を用いることで、移動を行う複数人の人体の特定手域を正しく対応付ける。この結果、複数人の人体の特定領域が複雑に移動しても、あるフレームとその次のフレームとで人体の特定領域の正しい対応付けが可能になる。
As described above, in the present embodiment, information on the human body area in the past frame (that is, the previous frame) is stored, and the number of human body specific areas for each detected human body area and the specific area are determined. Using the location information when it exists in the human body, the region that meets those conditions is extracted. For example, when the specific region is a hand region, since there are a maximum of two palms in the human body and at the end of the body, a maximum of two regions at the end of the body are extracted for each human body region. As another example, when the specific area is the forehead, there is at most one in the human body, and when the human body is photographed from directly above, it is located near the center of gravity of the body, A maximum of one region near the center of gravity is extracted for each human body region.
In the left / right determination of the hand region, the left / right determination is performed by comparing the angles formed by the two straight lines connecting the center of gravity of the human body region and the center of gravity of the hand region of each of the right hand and the left hand with a certain reference line. As a result, it is possible to correctly determine the right hand and the left hand even if the hand regions of a plurality of people move in a complicated manner.
In addition, the angle information connecting the center of gravity of the specific area of the human body and the center of gravity of the human body area in a certain frame is stored, and by using this information, the specific areas of the human bodies of the plurality of persons to be moved are correctly associated. . As a result, even if the specific areas of the human bodies of a plurality of people move in a complex manner, it is possible to correctly associate the specific areas of the human body between a certain frame and the next frame.

本発明は、上記各実施の形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得る。
また、例えば各実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.
In addition, for example, even if some structural requirements are deleted from all the structural requirements shown in each embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the effect of the invention Can be obtained as an invention.

本発明の一実施形態に係る人体特定領域抽出・判定装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the human body specific area | region extraction and determination apparatus which concerns on one Embodiment of this invention. 第1の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。It is a figure which shows the structural example of the human body specific area | region extraction and determination apparatus which concerns on a 1st specific example. 人体判定手段13の具体的な処理の流れを示すフローチャートである。5 is a flowchart showing a specific processing flow of human body determination means 13; 手領域の左右を判定する原理の一例を説明するための図。The figure for demonstrating an example of the principle which determines the right and left of a hand area. 人体特定領域判定手段15の処理の流れを示すフローチャートである。4 is a flowchart showing a flow of processing of a human body specific area determination unit 15. 手領域の左右の前フレームと現フレームとの対応付けを判定する原理の一例を説明するための図。The figure for demonstrating an example of the principle which determines matching with the front frame of the right and left of a hand area, and the present frame. 第2の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。It is a figure which shows the structural example of the human body specific area | region extraction and determination apparatus which concerns on a 2nd specific example.

符号の説明Explanation of symbols

1…撮影部
2…人体領域検出部
3…人体判定部
4…人体特定領域抽出部
5…人体特定領域判定部
6…記憶部
7…記憶部
8…左右判定部
10…ビデオカメラ
20…ビデオカメラ
11、21…計算機
12、22…人体領域検出手段
13、23…人体判定手段
14、24…人体特定領域抽出手段
15…人体特定領域判定手段
16、26…記憶手段
17…左右判定手段
DESCRIPTION OF SYMBOLS 1 ... Imaging | photography part 2 ... Human body area | region detection part 3 ... Human body determination part 4 ... Human body specific area extraction part 5 ... Human body specific area determination part 6 ... Memory | storage part 7 ... Memory | storage part 8 ... Left-right determination part 10 ... Video camera 20 ... Video camera DESCRIPTION OF SYMBOLS 11, 21 ... Computer 12, 22 ... Human body area | region detection means 13, 23 ... Human body determination means 14, 24 ... Human body specific area extraction means 15 ... Human body specific area determination means 16, 26 ... Storage means 17 ... Left-right determination means

Claims (8)

撮影された人物の画像の中から人物の領域を検出する人体領域検出手段と、
前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行う人体判定手段と、
前記人体判定手段により人体領域であると判定された人体領域の中から特定領域を抽出する人体特定領域抽出手段と、を具備することを特微とする人体特定領域抽出・判定装置。
Human body region detecting means for detecting a person region from a photographed person image;
Human body determination means for associating the human body area in the current frame detected by the human body area detection means with the human body area detected in a frame before the current time;
A human body specific region extraction / determination device comprising: a human body specific region extraction unit that extracts a specific region from the human body region determined to be a human body region by the human body determination unit.
請求項1に記載の人体特定領域抽出・判定装置において、人体判定手段は、前記検出された現在のフレームにおける人体領域が、前のフレームから存在していたのかを判定することを特徴とする人体特定領域抽出・判定装置。 2. The human body specific region extracting / determining device according to claim 1, wherein the human body determining means determines whether the detected human body region in the current frame is present from a previous frame. Specific area extraction / determination device. 請求項1又は請求項2に記載の人体特定領域抽出・判定装置において、前記人体判定手段によって、得られた情報を次のフレームの処理まで記憶する記憶手段を更に具備することを特徴とする人体特定領域抽出・判定装置。 3. The human body specific region extraction / determination device according to claim 1 or 2, further comprising storage means for storing the information obtained by the human body determination means until processing of the next frame. Specific area extraction / determination device. 請求項1から請求項3のいずれか1項に記載の人体特定領域抽出・判定装置において、前記人体特定領域抽出手段により抽出された前記特定領域が手領域である場合に、検出された手領域を左右どちらの手であるかを人体の重心と手領域の重心を結ぶ直線の角度により判定する左右判定手段を更に具備することを特徴とする人体特定領域抽出・判定装置。 The human body specific region extraction / determination device according to any one of claims 1 to 3, wherein the detected hand region when the specific region extracted by the human body specific region extraction unit is a hand region. A human body specific region extracting / determining device further comprising left / right determining means for determining whether the hand is a left or right hand by an angle of a straight line connecting the center of gravity of the human body and the center of gravity of the hand region. 請求項1から請求項4のいずれか1項に記載の人体特定領域抽出・判定装置において、前記人体特定領域抽出手段により抽出された前記特定領域が複数個有る場合に、現在のフレームの特定領域と現在より前のフレームの特定領域との重心距離で対応付け判定を行う人体特定領域判定手段を更に具備することを特徴とする人体特定領域抽出・判定装置。 5. The human body specific region extraction / determination device according to claim 1, wherein when there are a plurality of the specific regions extracted by the human body specific region extraction unit, the specific region of the current frame is determined. A human body specific area extracting / determining device further comprising human body specific area determining means for performing association determination based on a center-of-gravity distance between a current area and a specific area of a previous frame. 請求項1から請求項5のいずれか1項に記載の人体特定領域抽出・判定装置において、人物の画像を真上から撮影する撮影手段を更に具備することを特徴とする人体特定領域抽出・判定装置。 6. The human body specific region extracting / determining apparatus according to claim 1, further comprising a photographing unit for photographing a person image from directly above. apparatus. 撮影された人物の画像の中から人物の領域を検出し、
前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行い、
前記対応付けされた人体領域の中から特定領域を抽出することを特微とする人体特定領域抽出・判定方法。
Detect the person's area from the photographed person's image,
The human body region in the current frame detected by the human body region detection means is associated with the human body region detected in a frame before the current time,
A human body specific area extraction / determination method characterized by extracting a specific area from the associated human body areas.
撮影された人物の画像の中から人物の領域を検出し、
前記人体領域検出手段により検出された現在のフレームにおける人体領域と、現在より前のフレームで検出された人体領域との対応付けを行い、
前記対応付けされた人体領域の中から特定領域を抽出することを特微とするコンピュータで読み取り可能な人体特定領域抽出・判定プログラム。
Detect the person's area from the photographed person's image,
The human body region in the current frame detected by the human body region detection means is associated with the human body region detected in a frame before the current time,
A computer-readable human body specific region extraction / determination program characterized by extracting a specific region from the associated human body regions.
JP2006308183A 2006-11-14 2006-11-14 Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program Active JP4659722B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006308183A JP4659722B2 (en) 2006-11-14 2006-11-14 Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006308183A JP4659722B2 (en) 2006-11-14 2006-11-14 Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program

Publications (2)

Publication Number Publication Date
JP2008123360A true JP2008123360A (en) 2008-05-29
JP4659722B2 JP4659722B2 (en) 2011-03-30

Family

ID=39508035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006308183A Active JP4659722B2 (en) 2006-11-14 2006-11-14 Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program

Country Status (1)

Country Link
JP (1) JP4659722B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122763A (en) * 2011-12-12 2013-06-20 Samsung Electronics Co Ltd Video processor and video processing method
JP2016035759A (en) * 2015-10-06 2016-03-17 株式会社ソニー・コンピュータエンタテインメント Individual identification apparatus and individual identification method
JP2016071546A (en) * 2014-09-29 2016-05-09 キヤノン株式会社 Information processing device and control method thereof, program, and storage medium
JP2016146640A (en) * 2016-02-29 2016-08-12 株式会社ニコン Area extraction device, imaging apparatus, and area extraction program
US9717987B2 (en) 2011-10-26 2017-08-01 Sony Corporation Individual discrimination device and individual discrimination method
JP2017163610A (en) * 2017-06-08 2017-09-14 株式会社ニコン Image processing apparatus, imaging apparatus, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132325A (en) * 1997-05-14 1999-02-02 Hitachi Denshi Ltd Object tracing method, and object tracking and supervising system
JP2005078257A (en) * 2003-08-29 2005-03-24 Fuji Xerox Co Ltd Motion identification device and object attitude identification device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132325A (en) * 1997-05-14 1999-02-02 Hitachi Denshi Ltd Object tracing method, and object tracking and supervising system
JP2005078257A (en) * 2003-08-29 2005-03-24 Fuji Xerox Co Ltd Motion identification device and object attitude identification device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSNG200700013006, 石井 陽子 Yoko ISHII, "Palm Display Interface:情報の付加価値を生み出すインタフェース Palm Display I", 電子情報通信学会技術研究報告 Vol.106 No.234 IEICE Technical Report, 20060905, 第106巻, JP, 社団法人電子情報通信学会 The Institute of Electro *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9717987B2 (en) 2011-10-26 2017-08-01 Sony Corporation Individual discrimination device and individual discrimination method
JP2013122763A (en) * 2011-12-12 2013-06-20 Samsung Electronics Co Ltd Video processor and video processing method
JP2016071546A (en) * 2014-09-29 2016-05-09 キヤノン株式会社 Information processing device and control method thereof, program, and storage medium
JP2016035759A (en) * 2015-10-06 2016-03-17 株式会社ソニー・コンピュータエンタテインメント Individual identification apparatus and individual identification method
JP2016146640A (en) * 2016-02-29 2016-08-12 株式会社ニコン Area extraction device, imaging apparatus, and area extraction program
JP2017163610A (en) * 2017-06-08 2017-09-14 株式会社ニコン Image processing apparatus, imaging apparatus, and program

Also Published As

Publication number Publication date
JP4659722B2 (en) 2011-03-30

Similar Documents

Publication Publication Date Title
CN106228628B (en) Check-in system, method and device based on face recognition
JP6742405B2 (en) Head-mounted display with facial expression detection function
CN105612533B (en) Living body detection method, living body detection system, and computer program product
JP2022071195A (en) Computing device and method
EP2842075B1 (en) Three-dimensional face recognition for mobile devices
JP6809226B2 (en) Biometric device, biometric detection method, and biometric detection program
WO2017045258A1 (en) Photographing prompting method, device and apparatus, and nonvolatile computer storage medium
WO2019071664A1 (en) Human face recognition method and apparatus combined with depth information, and storage medium
WO2019127262A1 (en) Cloud end-based human face in vivo detection method, electronic device and program product
WO2015165365A1 (en) Facial recognition method and system
US20180173979A1 (en) Living body detection method, living body detection system, and computer program product
WO2017000213A1 (en) Living-body detection method and device and computer program product
JP6587435B2 (en) Image processing apparatus, information processing method, and program
CN109684951A (en) Face identification method, bottom library input method, device and electronic equipment
JP6362085B2 (en) Image recognition system, image recognition method and program
WO2017000218A1 (en) Living-body detection method and device and computer program product
JP4659722B2 (en) Human body specific area extraction / determination device, human body specific area extraction / determination method, human body specific area extraction / determination program
WO2022174594A1 (en) Multi-camera-based bare hand tracking and display method and system, and apparatus
WO2016070300A1 (en) System and method for detecting genuine user
JP2015106252A (en) Face direction detection device and three-dimensional measurement device
KR20170078176A (en) Apparatus for presenting game based on action recognition, method thereof and computer recordable medium storing the method
US10242253B2 (en) Detection apparatus, detection method, and computer program product
JP6969878B2 (en) Discriminator learning device and discriminator learning method
WO2017000217A1 (en) Living-body detection method and device and computer program product
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4659722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350