JP5577729B2 - Monitoring device and method, and program - Google Patents
Monitoring device and method, and program Download PDFInfo
- Publication number
- JP5577729B2 JP5577729B2 JP2010029388A JP2010029388A JP5577729B2 JP 5577729 B2 JP5577729 B2 JP 5577729B2 JP 2010029388 A JP2010029388 A JP 2010029388A JP 2010029388 A JP2010029388 A JP 2010029388A JP 5577729 B2 JP5577729 B2 JP 5577729B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- organ
- unit
- image
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000012806 monitoring device Methods 0.000 title claims description 7
- 210000000056 organ Anatomy 0.000 claims description 161
- 238000012545 processing Methods 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 41
- 210000001508 eye Anatomy 0.000 claims description 36
- 239000000284 extract Substances 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 20
- 210000000214 mouth Anatomy 0.000 description 19
- 238000009434 installation Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Description
本発明は、監視装置および方法、監視システム並びにプログラムに関し、特に、顔画像による認識率を向上できるようにした監視装置および方法、監視システム、並びにプログラムに関する。 The present invention relates to a monitoring apparatus and method, a monitoring system, and a program, and more particularly, to a monitoring apparatus and method, a monitoring system, and a program that can improve the recognition rate based on facial images.
現在もパチンコ店やパチスロ店に代表される遊技店においては、不審者による遊技媒体の抜き取りなどが発生し、遊技店の経営を圧迫する要因となっている。こうした被害は遊技店業界の喫緊の課題である。 Even at amusement stores such as pachinko and pachislot stores, suspicious people have been pulled out of gaming media, which is a factor that puts pressure on the management of amusement stores. Such damage is an urgent issue in the amusement store industry.
こうした実態を打破すべく、不審者を発見し、遊技を止めてしまうなどの仕組みができてきており、顔画像を用いた不審者入店監視も行われている。 In order to overcome this situation, a mechanism has been established in which a suspicious person is discovered and the game is stopped, and suspicious person entrance monitoring using a face image is also performed.
しかしながら、顔画像認証システムにおいては、認証においてエラーが生じることにより、認識率が100%に近い値となっておらず、信頼性に問題があった。 However, in the face image authentication system, due to an error in authentication, the recognition rate is not close to 100%, and there is a problem in reliability.
より具体的には、顔画像認証システムにおける信頼性の問題としては、取得された顔画像と同一人物の顔画像であるにも関わらず棄却される、いわゆる棄却エラーや、取得された顔画像と同一人物でもない他人の顔画像とを同一人物として受け入れてしまう、いわゆる他人受入エラーなどが挙げられる。 More specifically, as a problem of reliability in the face image authentication system, a so-called rejection error that is rejected even though it is a face image of the same person as the acquired face image, and an acquired face image There is a so-called other person acceptance error that accepts a face image of another person who is not the same person as the same person.
このうち、他人受入エラーについては、不審者でもない人物が不審者として検出されることとなるため、他人受入エラーが発生することで、遊技店の係員に対して不必要に発報してしまうことがあり、結局、係員による目視による確認が必要となることがあった。 Of these, other person acceptance errors are detected as unsuspicious persons as suspicious persons, and therefore, other person acceptance errors occur unnecessarily to an amusement store staff. In some cases, visual confirmation by an attendant was required after all.
このような営業への支障となりうるエラーの発生から、システムへの不信感が高まり、結果として、顔画像認証システムの導入や利用が辞められてしまうといった例もあり、これまでの顔画像認証システムは、有効に効果を発揮できていないのが実態であった。 Due to the occurrence of such an error that could hinder sales, there is an example where the distrust of the system increases, and as a result, the introduction and use of the face image authentication system has been discontinued. However, the actual situation was that it was not effective.
そこで、このような問題に対応すべく、顔の向きや照明へのロバスト性を向上させることで、棄却エラーや他人受入エラーを抑制させる技術が提案されている(特許文献1,2参照)。
Therefore, in order to cope with such a problem, there has been proposed a technique for suppressing a rejection error and a stranger acceptance error by improving the face orientation and the robustness to illumination (see
しかしながら、上述した棄却エラーや他人受入エラーの要因には、顔の向きや照明以外にも、髪の毛が目にかかることで顔の特徴点が隠れたり、髪の毛が顔の輪郭にかかることで陰影ができてしまうといった問題もあった、すなわち、髪の毛がかかることにより、顔画像の一部を隠したり、陰影に変化を与えることで、実際の顔画像においては、その特徴が類似していない人同士の顔画像でも、類似しているものとして誤認証してしまったり、逆に、本来類似している人同士の顔画像でも、非類似であるものとして誤認証してしまう恐れがあった。 However, in addition to the face orientation and lighting, the cause of the rejection error and other person acceptance error described above may be caused by the fact that the facial feature points are hidden when the hair touches the eyes, or the shadow is caused by the hair hitting the contour of the face. In other words, people who do not have similar characteristics in the actual face image by hiding part of the face image or changing the shadow The face images may be erroneously authenticated as being similar, or conversely, even face images of people who are originally similar may be erroneously authenticated as being dissimilar.
また、本来顔画像が正面から捉えられる場合や、本人が照合しにいく場合には、条件が揃うまで待つこともできるが、特に遊技店の場合、設備にカメラを有することが多く、遊技台上部(台ランプ)もしくは遊技台左隣(サンド)からの撮像となり、顔を正面から捉えるケースが少ないことや、本人は認証されていることに気がつかないため照合条件が揃い難い顔画像のみしか取得できず、認証の失敗や誤認証が生じてしまう恐れがあった。 In addition, when the face image is originally captured from the front or when the person goes to collate, it is possible to wait until the conditions are met. Captures images from the top (table lamp) or the left side of the game table (sand), and only captures face images that are difficult to match because there are few cases of capturing the face from the front and the person is unaware of being authenticated. There is a risk that authentication failure or misauthentication may occur.
本発明はこのような状況に鑑みてなされたものであり、顔画像を用いた認証処理における認証精度を向上できるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to improve authentication accuracy in authentication processing using a face image.
本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む。 The monitoring apparatus according to one aspect of the present invention includes a storage unit that stores a face image as a face image of an accumulator in an accumulator database, an image capturing unit that captures an image, and an image captured by the image capturing unit. A face image extracting means for extracting a person's face image, an organ extracting means for extracting a part of each organ constituting the face from the face image of the person to be collated, and the reliability of the organ extracted by the organ extracting means A reliability calculation unit that calculates the level, a determination unit that determines whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation unit, and the appropriate determination unit The collation means for calculating and collating the similarity between the face image of the person to be collated determined to be appropriate and the face image of the accumulator accumulated in the accumulation means, and the collation result of the collation means Similarity and predetermined Similarity determination means for determining whether or not the face image of the person to be collated is the face image of the accumulator by comparison with a threshold value, and the face image of the person to be collated is stored by the similarity degree determination means. A notification means for notifying that the person to be collated is the accumulator.
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。 Based on the reliability calculated by the reliability calculation means, an angle estimation means for estimating the angle of the face image with respect to the imaging device, and based on the angle of the face image with respect to the imaging device estimated by the angle estimation means, It can be determined whether or not the face image of the person to be collated is appropriate.
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。 And a feature amount extracting unit that extracts a feature amount from the face image of the person to be collated, and the collating unit includes a face image of the person to be collated acquired by the acquiring unit, The similarity is calculated using the feature amount with the registrant's face image stored in the storage means, the face image of the person to be collated acquired by the acquisition means, and the registrant's face stored in the storage means A face image can be collated.
前記器官抽出手段には、前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出させるようにすることができる。 The organ extracting means can extract left and right eyes and mouths of the parts of each organ constituting the face from the face image.
前記信頼度算出手段には、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出させるようにすることができる。 The reliability calculation means can calculate the reliability by increasing the weights of the reliability of the left and right eyes and the mouth among the organs extracted by the organ extraction means.
本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置における監視方法であって、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む。 The monitoring method according to one aspect of the present invention includes: an accumulation unit that accumulates a face image as an accumulator's face image in an accumulator database; an imaging unit that captures an image; and an image captured by the imaging unit. A face image extracting means for extracting a person's face image, an organ extracting means for extracting a part of each organ constituting the face from the face image of the person to be collated, and the reliability of the organ extracted by the organ extracting means A reliability calculation unit that calculates the level, a determination unit that determines whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation unit, and the appropriate determination unit The collation means for calculating and collating the similarity between the face image of the person to be collated determined to be appropriate and the face image of the accumulator accumulated in the accumulation means, and the collation result of the collation means Similarity and predetermined Similarity determination means for determining whether or not the face image of the person to be collated is the face image of the accumulator by comparison with a threshold value, and the face image of the person to be collated is stored by the similarity degree determination means. And a notifying means for notifying that the person to be collated is the accumulator, when the face image is determined to be a person's face image, wherein the face image is accumulated in the accumulating means From the accumulation step of accumulating in the accumulator database as a person's face image, the imaging step of capturing an image in the imaging unit, and the image captured by the processing of the imaging step in the face image extracting unit A face image extracting step for extracting a person's face image, and an organ extraction for extracting a part of each organ constituting the face from the face image of the person to be collated in the organ extracting means Calculated by the reliability calculation step of calculating the reliability of the organ extracted by the processing of the organ extraction step in the reliability calculation means, and the reliability calculation step of the appropriateness determination means Based on the reliability, an appropriate determination step for determining whether or not the face image of the verification target person is appropriate, and a verification target person determined to be appropriate by the processing of the appropriateness determination step in the acquisition unit A step of acquiring a facial image of the person, and calculating a similarity between the face image of the person to be collated acquired by the process of the obtaining step in the collating unit and the face image of the accumulating person accumulated in the accumulating unit In comparison between the collation step to be collated and the similarity that is the collation result in the collation step processing in the similarity determination means and a predetermined threshold value Thus, the similarity determination step for determining whether or not the face image of the collation target person is the face image of the accumulator, and the face image of the collation target person by the processing of the similarity determination step in the notification means A notification step of notifying that the person to be collated is the accumulator.
本発明の一側面のプログラムは、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置を制御するコンピュータに、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む処理を実行させる。 The program according to one aspect of the present invention includes: an accumulation unit that accumulates a face image as an accumulator's face image in an accumulator database; an imaging unit that captures an image; and an image captured by the imaging unit, A face image extracting means for extracting a face image of the subject, an organ extracting means for extracting a part of each organ constituting the face from the face image of the person to be collated, and the reliability of the organ extracted by the organ extracting means. A reliability calculation means for calculating, a correctness determination means for determining whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation means, and the appropriateness determination means. The similarity between the face image of the person to be collated determined to be appropriate and the face image of the accumulator accumulated in the accumulating means is calculated and collated, and the similarity that is the collation result of the collating means Degree and place A similarity determination unit that determines whether or not the face image of the person to be collated is the face image of the accumulator by comparison with the threshold value, and the face image of the person to be collated is determined by the similarity degree determination unit. When it is determined that the face image is an accumulator, the face image in the accumulator is accumulated in a computer that controls a monitoring device including a notifying unit that notifies that the person to be collated is the accumulator. From the accumulation step of accumulating in the accumulator database as a person's face image, the imaging step of capturing an image in the imaging unit, and the image captured by the processing of the imaging step in the face image extracting unit A face image extracting step for extracting a person's face image, and an organ extraction unit for extracting a part of each organ constituting the face from the face image of the person to be collated in the organ extracting means. Calculated by the reliability calculation step of calculating the reliability of the organ extracted by the processing of the organ extraction step in the reliability calculation means, and the reliability calculation step of the appropriateness determination means Based on the reliability, an appropriate determination step for determining whether or not the face image of the verification target person is appropriate, and a verification target person determined to be appropriate by the processing of the appropriateness determination step in the acquisition unit A step of acquiring a facial image of the person, and calculating a similarity between the face image of the person to be collated acquired by the process of the obtaining step in the collating unit and the face image of the accumulating person accumulated in the accumulating unit And a comparison between the matching step for matching and the similarity as a matching result in the processing of the matching step in the similarity determination means and a predetermined threshold value The similarity determination step for determining whether or not the face image of the person to be collated is the face image of the accumulator, and the face image of the person to be collated by the processing of the similarity degree determination step in the notification means Is determined to be a face image of the accumulator, a process including a notification step of notifying that the collation target person is the accumulator is executed.
本発明の一側面においては、顔画像が蓄積者の顔画像として蓄積者データベースに蓄積され、画像が撮像され、撮像された画像より、前記照合対象者の顔画像が抽出され、前記照合対象者の顔画像より、顔を構成する各器官の部位が抽出され、抽出された器官の信頼度が算出され、算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かが判定され、適正であると判定された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定され、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることが通知される。 In one aspect of the present invention, a face image is accumulated in the accumulator database as an accumulator face image, an image is captured, and the face image of the person to be collated is extracted from the captured image, and the person to be collated From each face image, the part of each organ constituting the face is extracted, the reliability of the extracted organ is calculated, and based on the calculated reliability, whether or not the face image of the person to be collated is appropriate The similarity between the face image of the person to be verified that has been determined to be appropriate and the face image of the accumulated person that has been accumulated is calculated and collated, and the similarity that is the result of the collation and a predetermined threshold value Is determined whether or not the face image of the person to be collated is the face image of the accumulator, and when it is determined that the face image of the person to be collated is the face image of the accumulator, Notification that the person to be collated is the accumulator
すなわち、本発明の一側面の監視装置における、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段とは、例えば、生体情報DBであり、画像を撮像する撮像手段とは、例えば、カメラであり、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、画像処理ユニットの顔画像抽出部であり、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段とは、器官抽出部であり、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段とは、器官スコア付与部であり、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段とは、適正判定部であり、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段とは、例えば、照合部であり、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とは、類似度判定部であり、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とは、例えば、通信部である。 That is, in the monitoring device according to one aspect of the present invention, the accumulation unit that accumulates a face image as an accumulator's face image in the accumulator database is, for example, a biological information DB, and The face image extraction unit that is a camera and extracts the face image of the person to be collated from the image captured by the image pickup unit is, for example, a face image extraction unit of an image processing unit, and The organ extracting means for extracting the part of each organ constituting the face from the face image is an organ extracting unit, and the reliability calculating means for calculating the reliability of the organ extracted by the organ extracting means is an organ An appropriate determination unit that is a score providing unit and determines whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation unit is an appropriate determination unit. Previous The collating means for calculating and collating the similarity between the face image of the person to be collated determined to be appropriate by the adequacy determining means and the face image of the accumulator accumulated in the accumulating means is, for example, a collating unit What is similarity determination means for determining whether or not the face image of the person to be collated is the face image of the accumulator by comparing the similarity that is the collation result of the collation means and a predetermined threshold value? A similarity determination unit that, when the similarity determination means determines that the face image of the person to be collated is the face image of the accumulator, notifies that the person to be collated is the accumulator The notification means is, for example, a communication unit.
すなわち、器官スコア付与部が、カメラで撮像された画像の顔画像より抽出される器官のそれぞれにスコアを付与する。適正判定部が、器官のそれぞれに付与されたスコアに基づいて、照合対象者の顔画像が、照合部における照合処理に適した顔画像であるか否かを判定する。そして、照合部は、適正判定部により照合に適した照合対象者の顔画像であると判定された顔画像と生体情報DBに蓄積された顔画像とを照合する。 That is, the organ score assigning unit assigns a score to each organ extracted from the face image of the image captured by the camera. The appropriateness determination unit determines whether the face image of the person to be collated is a face image suitable for the collation processing in the collation unit based on the score given to each organ. Then, the collation unit collates the face image determined by the appropriateness determination unit as the face image of the person to be collated suitable for collation with the face image stored in the biometric information DB.
また、抽出される器官においては、特に、左右の目、および口が重要であり、これらのみを抽出するようにしてもよいし、さらにその他の器官をも抽出する場合には、左右の目、および口の信頼度の重みを大きくするようにしても良い。 In the organ to be extracted, the left and right eyes and the mouth are particularly important, and only these may be extracted, and when extracting other organs, the left and right eyes, The weight of the mouth reliability may be increased.
結果として、照合処理に適した顔画像のみが、照合処理に用いられるため、認識率が向上すると共に、照合に適していない顔画像は照合処理に用いられないため、照合処理に要する負荷を低減させ、処理速度を向上させることが可能となる。 As a result, only the face image suitable for the matching process is used for the matching process, so that the recognition rate is improved and the face image not suitable for the matching is not used for the matching process, thereby reducing the load required for the matching process. And the processing speed can be improved.
本発明によれば、顔画像による認証処理における認識率を向上することが可能となる。 According to the present invention, it is possible to improve the recognition rate in authentication processing using a face image.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the configuration requirements of the present invention and the embodiments described in the detailed description of the present invention are exemplified as follows. This description is to confirm that the embodiments supporting the present invention are described in the detailed description of the invention. Accordingly, although there are embodiments that are described in the detailed description of the invention but are not described here as embodiments corresponding to the constituent elements of the present invention, It does not mean that the embodiment does not correspond to the configuration requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
すなわち、本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段(例えば、図10の生体情報DB22)と、画像を撮像する撮像手段(例えば、図9のカメラ38,40,41)と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段(例えば、図9の顔画像抽出部202)と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段(例えば、図9の器官抽出部203)と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段(例えば、図9の器官スコア付与部204)と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段(例えば、図9の適正判定部206)と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段(例えば、図10の照合部222)と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段(例えば、図10の類似度判定部233)と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段(例えば、図10の通信部224)とを含む。
That is, the monitoring device according to one aspect of the present invention includes an accumulation unit (for example, the
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段(例えば、図9の角度推定部205)と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。
Based on the reliability calculated by the reliability calculation unit, an angle estimation unit (for example, the
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段(例えば、図10の特徴量抽出部231)とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
A feature amount extraction unit (for example, a feature
本発明の一側面の監視方法は、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップ(例えば、図13のステップS1)と、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップ(例えば、図13のステップS2)と、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップ(例えば、図13のステップS4)と、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップ(例えば、図13のステップS5)と、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップ(例えば、図13のステップS7)と、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップ(例えば、図13のステップS21)と、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップ(例えば、図13のステップS24)と、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ(例えば、図13のステップS25)と、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップ(例えば、図13のステップS28)とを含む。 The monitoring method according to one aspect of the present invention includes an accumulation step of accumulating the face image as an accumulator face image in an accumulator database in the accumulation unit, and an imaging step of capturing an image in the imaging unit (for example, FIG. 13 step S1), and a face image extraction step (for example, step S2 in FIG. 13) for extracting the face image of the person to be collated from the image captured by the image capturing step in the face image extracting means. An organ extracting step (for example, step S4 in FIG. 13) for extracting a part of each organ constituting the face from the face image of the person to be collated in the organ extracting means, and the organ in the reliability calculating means. A reliability calculation step (for example, step S5 in FIG. 13) for calculating the reliability of the organ extracted by the processing of the extraction step; An appropriate determination step for determining whether or not the face image of the person to be collated is appropriate based on the reliability calculated by the process of the reliability calculation step (for example, step S7 in FIG. 13). And an acquisition step (for example, step S21 in FIG. 13) of acquiring the face image of the person to be verified that is determined to be appropriate by the process of the appropriateness determination step in the acquisition unit, and the acquisition in the verification unit A collation step (for example, step S24 in FIG. 13) for calculating and collating the similarity between the face image of the person to be collated acquired by the processing of the step and the face image of the accumulator accumulated in the accumulating unit; The face image of the person to be collated is obtained by comparing the similarity, which is the collation result in the collation process, with a predetermined threshold value in the similarity determination unit. The similarity determination step (for example, step S25 in FIG. 13) for determining whether or not the face image of the accumulator is obtained, and the face image of the person to be collated is processed by the similarity determination step in the notification means. And a notification step (for example, step S28 in FIG. 13) for notifying that the person to be collated is the accumulator when it is determined that the face image is the accumulator.
図1は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。 FIG. 1 is a diagram showing a configuration of an embodiment of a game shop monitoring system according to the present invention.
遊技店1−1乃至1−nは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店1−1乃至1−nは、系列店舗または生体情報管理センタや第3者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店1−1乃至1−nは、生体情報管理バス6および第3者遊技店管理バス7により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網8,9を介して、相互にそれぞれ生体情報、および第3者遊技店管理情報を授受している。尚、以降において、遊技店1−1乃至1−nのそれぞれについて、特に区別する必要がない場合、単に、遊技店1と称するものとし、その他の構成についても同様に称するものとする。
The game stores 1-1 to 1-n are so-called pachinko stores, pachislot stores, or casino stores. These amusement stores 1-1 to 1-n are affiliated stores or member stores of the biometric information management center or the third party amusement store management center, and stores that need to manage a plurality of stores in an integrated manner. It is. The game stores 1-1 to 1-n are connected by a biological information management bus 6 and a third-party game
生体情報管理バス6は、主に各遊技店1の生体情報認識装置21により管理される生体情報を流通させるための伝送路として機能する。また、第3者遊技店管理バス7は、主に各遊技店1の媒体貸出管理装置27により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
The biometric information management bus 6 mainly functions as a transmission path for distributing biometric information managed by the biometric
生体情報管理センタ2は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース(以降、DBとも称するものとする)3で管理されている登録遊技者DB252(図11)を各遊技店1により生成される未登録遊技者DB251(図11)に基づいて更新すると供に、更新した最新の登録遊技者DB252を各遊技店1の生体情報認識装置21に対して配信する。
The biometric
第3者遊技店管理センタ4は、第3者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第3者遊技店管理データベース(DB)5で管理されている媒体貸出管理情報からなるDBを各遊技店1より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店1の媒体貸出管理装置27に対して配信する。
The third-party amusement
生体情報認識装置21は、カメラ38−1乃至38−m、入口カメラ40−1乃至40−p、および店内カメラ41−1乃至41−qにより撮像された画像より画像処理ユニット39−1乃至39−(m+p+q)により抽出されて、生体情報バス31を介して供給されてくる顔画像の情報に基づいて、生体情報データベース22に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末20に通知したり、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などからなる表示部23に表示する。また、生体情報データベース22に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置21は、生体情報管理データベース3にアクセスし、未登録者として未登録遊技者DB251に登録する。
The biometric
遊技店管理装置24は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス30を介して遊技台36−1乃至36−mの動作を監視している。遊技店管理装置24は、遊技台36の出玉もしくはメダルの払い出しの情報、各遊技台36−1乃至36−mの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部25に表示する。遊技店管理装置24は、計数機35、遊技台36−1乃至36−m、および遊技台周辺端末37−1乃至37−mのそれぞれより供給されてくる情報を、それぞれを識別する識別情報(例えば、遊技台番号)とを対応付けて遊技台管理データベース26により管理する。
The game
媒体貸出管理装置27は、精算販売機33、および貸出機34からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース29を用いて管理すると供に、媒体貸出管理データベース29に登録されている媒体貸出管理情報を更新する際、その更新情報を、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4に送る。さらに、媒体貸出管理装置27は、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース29に蓄積させる。
The medium
貸出機34は、遊技者が遊技台36で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機34は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置27に供給する。これにより、媒体貸出管理装置27は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース29に登録する。
The lending
精算販売機33は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機33は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置27に供給する。また、精算販売機33は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機33は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置27に供給する。
The
計数機35は、遊技者が遊技台36により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。 The counter 35 counts the number of game media acquired by the player playing on the game table 36, and outputs the counting result as a magnetic card or a receipt.
遊技台36−1乃至36−mは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。 The game machines 36-1 to 36-m execute a game when a predetermined operation is performed by the player, and pay out a game ball or a medal according to a so-called small hit or big hit.
遊技台周辺端末37−1乃至37−mは、各遊技台36−1乃至36−mに対応して設けられている、いわゆる台間機であり、台間球貸機(原理的には、貸出機34と同様のもの)などが設けられている。また、遊技台周辺端末37は、遊技台36を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報(遊技台番号)と共に生体情報認識装置21に送信する。尚、図1においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ38−1乃至38−mが設けられている例が示されている。
The game console peripheral terminals 37-1 to 37-m are so-called pedestrian machines provided corresponding to the respective game machines 36-1 to 36-m. The same as the lending machine 34) is provided. Further, the gaming machine peripheral terminal 37 acquires biological information such as a face image of the player who plays the
カメラ38−1乃至38−mは、例えば、図2で示されるように、各遊技台36−1乃至36−4のそれぞれの上部に設けられた台表示ランプ61−1乃至61−4の下部に図3で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。 For example, as shown in FIG. 2, the cameras 38-1 to 38-m are arranged below the table display lamps 61-1 to 61-4 provided on the respective upper sides of the game tables 36-1 to 36-4. As shown in FIG. 3, a face image may be taken so that the player can take an image within the reading range δ. Can be used.
また、カメラ38−1乃至38−mは、例えば、図4で示されるように、遊技台周辺端末37−1乃至37−4に凸部71−1乃至71−4を設け、図5で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。 Further, as shown in FIG. 4, the cameras 38-1 to 38-m are provided with convex portions 71-1 to 71-4 on the gaming machine peripheral terminals 37-1 to 37-4, as shown in FIG. As described above, it may be provided so that a player's face image can be captured within the reading range θ.
さらに、カメラ38−1乃至38−mは、例えば、図6で示されるように、遊技台36の中央部(遊技台36の盤面上)に設けるようにして、撮像するようにしてもよい。すなわち、図6の設置部81にカメラ38が設置されることにより、図7で示されるように、読取範囲φ内に遊技者を撮像する。
Further, for example, as shown in FIG. 6, the cameras 38-1 to 38-m may be provided at the center of the game table 36 (on the board surface of the game table 36) to take an image. That is, by installing the
入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、遊技店1の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット39−(m+1)乃至39−(m+p+q)に供給する。
The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are installed at entrances and predetermined places in the store of the
入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、例えば、図8で示されるように設定される。図8は、遊技店1内の入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qの設置例を示している。
The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are set as shown in FIG. 8, for example. FIG. 8 shows an installation example of the entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q in the
すなわち、図8においては、出入口112−1乃至112−3が設けられており、入口カメラ40−1乃至40−3は、それぞれの出入口112より入店してくる遊技者を撮像する。また、店内カメラ41−1乃至41−10は、島設備111−1乃至111−5のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備111は、両面に遊技台36が設置されており、すなわち、図中の島設備111を上下方向に挟むように設置されている。カメラ38、入口カメラ40および店内カメラ41は、いずれにおいてもパンチルトズーム機能を備えているため、図8で示されるように、店内カメラ41−1乃至41−10が配置されることにより、遊技台36で遊技する全遊技者が、店内カメラ41−1乃至41−10のいずれかで撮像できる。
That is, in FIG. 8, entrances 112-1 to 112-3 are provided, and the entrance cameras 40-1 to 40-3 image players who enter the store from each entrance and exit 112. Further, the in-store cameras 41-1 to 41-10 are set at positions at which both surfaces of the island facilities 111-1 to 111-5 can be imaged in a row. The island facilities 111 are provided with
さらに、店内カメラ40−aは、貸出機34の前に設けられており、店内カメラ40−bは、精算販売機33の前に設けられており、店内カメラ41−cは、計数機35の前に設けられており、それぞれ、貸出機34、精算販売機33、および計数機35を利用する遊技者を撮像することができる。
Further, the in-store camera 40-a is provided in front of the
すなわち、図8で示されるように、遊技店1においては、来店する遊技者、遊技台36で遊技する遊技者、並びに、貸出機34、精算販売機33、および計数機35を利用する遊技者といった、遊技店1において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ38、入口カメラ40、および店内カメラ41が設置されている。
That is, as shown in FIG. 8, in the
次に、図9を参照して、画像処理ユニット39の構成例について説明する。
Next, a configuration example of the
画像取得部201は、カメラ38(または、入口カメラ40もしくは店内カメラ41)により撮像された画像を取得し、顔画像抽出部202に供給する。顔画像抽出部202は、画像取得部201より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して器官抽出部203および送信部207に供給する。
The
器官抽出部203は、矩形状の顔画像より顔を構成する器官、すなわち、左右の目、鼻、口、または耳などの器官を抽出し、器官スコア付与部204に供給する。より具体的には、器官抽出部203は、顔画像のうち、これらの器官の輪郭を構成する部位に設定される器官特徴点を抽出し、抽出した器官特徴点の情報を器官毎に分類し、器官の情報として器官スコア付与部204に供給する。この器官特徴点は、器官毎に求めるべき位置と点数が予め設定されている。すなわち、器官特徴点は、器官を構成する輪郭に沿って配置されており、例えば、目の場合、上まぶたの中央位置、下まぶたの中央位置、および目じりといった具合に目という器官の輪郭を構成する所定の位置に、所定の点数だけ特定されている。そして、器官抽出部203は、このように設定された器官特徴点のうち、画像より各器官毎に読み出すことができた器官特徴点の位置と点数の情報を抽出することで、各器官を抽出する。
The
器官スコア付与部204は、器官抽出部203より供給されてくる器官の情報である、器官特徴点の情報に基づいて、各器官毎にスコアを付与し、その情報を角度推定部205に供給する。すなわち、上述したように、器官抽出部203により抽出される器官の情報は、設定された器官特徴点のうち、画像上で特定することができた器官特徴点と、その位置の情報である。このため、器官スコア付与部204は、各器官に設定されている器官特徴点の総合計点数に対する、顔画像から特定することができた器官特徴点の点数の割合に基づいて、各器官毎にスコアを計算し付与する。尚、顔を構成する器官のうち、目、および口については、顔画像を認識する上で適正であるか否かを判断するのに大きな要素となるため、たとえば、目および口については、他の器官よりも高いスコアとなるように重みをつけるようにしても良い。また、計算速度や負荷を低減させるために、器官として、目、および口のみを扱うようにしてもよい。
The organ
角度推定部205は、器官毎に設定されたスコアに基づいて、抽出された顔画像となる顔の正対方向に対する撮像位置の角度を撮像角度として推定し、推定した撮像角度の情報と、器官毎に設定されたスコアの情報を適正判定部206に供給する。
Based on the score set for each organ, the
適正判定部206は、角度推定部205より供給されてくる器官毎に設定されたスコアと撮像角度の情報に基づいて、抽出された顔画像が後段の顔画像の類似度計算処理に用いるのに適正なものであるか否かを判定し、適正であるとき送信部207を制御して、顔画像を後段の生体情報認識装置21に供給する。より具体的には、適正判定部206は、推定された撮像角度が正対方向に近い所定の範囲内であって、かつ、各器官に設定されたスコアの合計スコアが所定値よりも高いか否かに基づいて、顔画像が類似度計算処理に用いるのに適正な顔画像であるか否かを判定する。送信部207は、適正判定部206の判定結果に基づいて、顔画像を生体情報認識装置21に送信する。
The
次に、図10を参照して、生体情報認識装置21の構成例について説明する。
Next, a configuration example of the biological
顔画像取得部221は、画像処理ユニット39より供給される顔画像を取得し、照合部222に供給する。照合部222は、顔画像取得部221により取得された顔画像と、生体情報DB22に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。また、照合部222は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
The face
より詳細には、照合部222の特徴量抽出部231は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部232に供給する。類似度計算部232は、生体情報DB22に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部231より供給されてくる特徴量とを用いて、生体情報DB22に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部221より供給されてきた顔画像、および、類似度が上位3位までの顔画像を類似度判定部233に供給する。より具体的には、類似度計算部232は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
More specifically, the feature
類似度判定部233は、類似度計算部232より供給されてくる類似度を順次バッファ233aに蓄積し、上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、上位3位となる顔画像と類似度の情報を表示部23に供給して、表示させると供に、通信部224に供給する。また、類似度判定部233は、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似していない場合、顔画像取得部221より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
The
未登録遊技者データベース登録部223は、照合部222より未登録であるとみなされて供給されてきた、顔画像を生体情報管理データベース3の未登録遊技者DB251に登録する。
The unregistered player
操作部225は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位3位となる、表示部23に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部224に供給する。通信部224は、モデムなどから構成され、操作部225からの操作信号に基づいて、選択された顔画像を携帯端末20に配信する。
The operation unit 225 includes buttons, a mouse, a keyboard, and the like. The operation unit 225 is operated when any one of the face images displayed on the
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部233は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。
Here, for example, the similarity indicates a higher value as it is closer to the face image registered as a registered player as indicated by the ratio sum, and the similarity is a value higher than a predetermined threshold value. In this case, an example will be described in which it is determined that the face image of the registered player corresponding to the similarity is. However, for example, when the similarity is expressed as a difference sum in each feature amount between the captured face image and the face image registered as the registered player, the
データベース管理部226は、生体情報管理センタ2より新たな登録遊技者データベース252(図11)が配信されてくると、新たな登録遊技者データベース252に基づいて、生体情報DB22を更新する。
When a new registered player database 252 (FIG. 11) is distributed from the biometric
次に、図11を参照して、生体情報管理センタ2の構成例について説明する。
Next, a configuration example of the biological
生体情報管理センタ2は、DB配信部241、DB更新部242、およびDB更新判定部243から構成されており、生体情報管理DB3に格納されている登録遊技者DB252を、未登録遊技者DB251に基づいて、更新する。より具体的には、DB更新判定部243は、時刻情報を発生するRTC(Real Time Clock)243aを内蔵しており、その内蔵されているRTC243aに基づいて、所定期間が経過すると、生体情報管理DB3にアクセスし、未登録遊技者DB251に新たな未登録遊技者が登録されたか否かを判定する。
The biometric
DB更新判定部243は、未登録遊技者DB251に新たに未登録遊技者が登録されていた場合、特徴量抽出部243bを制御して、未登録遊技者DB251に登録されている未登録遊技者の顔画像より特徴量を抽出させ、類似度計算部243cを制御して、未登録遊技者DB251に登録されている未登録遊技者の顔画像のうちの1つを選択し、他の未登録遊技者の顔画像との類似度を計算させる。次に、DB更新判定部243は、類似度判定部243dを制御して、類似度計算部243cにより計算された類似度と所定の閾値との比較に基づいて、他の未登録遊技者の顔画像のそれぞれについて、選択した1つの未登録遊技者の顔画像と類似しているか否かを判定させる。そして、DB更新判定部243は、回数判定部243eを制御して、選択した1つの未登録遊技者の顔画像と類似している、その他の未登録遊技者の顔画像が所定個数以上であるか否かを判定させることにより、類似度が所定の閾値を越えた回数が所定回数以上であるか否かを判定させ、所定回数以上であるとき、その旨をDB更新部242に通知する。DB更新部242は、未登録遊技者DB251にアクセスし、登録されている未登録遊技者のうち、所定回数以上登録されている未登録遊技者を読み出して、登録遊技者DB252に登録して、更新する。さらに、DB更新部242は、登録遊技者DB252を更新すると、更新したことをDB配信部241に通知する。
When an unregistered player is newly registered in the unregistered player DB 251, the DB
DB配信部241は、DB更新部242より登録遊技者DB252が更新されたことを通知されると、生体情報管理DB3にアクセスし、登録遊技者DB252を読み出して、各遊技店1の生体情報認識装置21に配信する。
When notified from the
次に、図12を参照して、携帯端末20の構成例について説明する。
Next, a configuration example of the
通信部271は、モデムなどで構成されており、遊技店1内の無線通信網を介して生体情報認識装置21との間でデータを授受する。また、通信部271は、生体情報認識装置21より配信されてくる、画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部272に供給する。
The
画像処理部272は、通信部271より供給されてくる画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部273に表示する画像を生成すると供に、表示部273に表示させる。
The image processing unit 272 is a display constituted by an LCD or the like based on information indicating that a player with a face image similar to the face image supplied from the
次に、図13のフローチャートを参照して、登録遊技者来店監視処理について説明する。 Next, the registered player visit monitoring process will be described with reference to the flowchart of FIG.
ステップS1において、入口カメラ40は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット39に供給する。画像処理ユニット39の画像取得部201は、供給された画像を取得し、顔画像抽出部202に供給する。
In step S <b> 1, the entrance camera 40 captures an image of the installed range and supplies the captured image to the
ステップS2において、顔画像抽出部202は、供給された画像より遊技者の顔画像を抽出し、器官抽出部203、および送信部207に供給する。より具体的には、顔画像抽出部202は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、器官抽出部203、および送信部207に供給する。
In step S <b> 2, the face
ステップS3において、器官抽出部203は、顔画像抽出部202より顔画像が抽出されてきているか否かを判定し、顔画像が供給されない場合、処理は、ステップS1に戻る。すなわち、顔画像が抽出されるまで、ステップS1乃至S3の処理が繰り返される。そして、ステップS3において、顔画像が抽出された場合、処理は、ステップS4に進む。
In step S3, the
ステップS4において、器官抽出部203は、供給されてきた顔画像より器官を抽出し、抽出した器官の情報を器官スコア付与部204に供給する。より詳細には、器官抽出部203は、例えば、図14の3種類の顔画像のそれぞれの黒点で示されるように、器官特徴点を検出する。すなわち、図14においては、左から図中左を向いた顔画像、下を向いた顔画像、および図中左を向いて、かつ、図中右側の目が髪の毛により隠れている顔画像の例が示されている。図14の中央で示されるように、例えば、目の器官特徴点は、左右それぞれ11点ずつとされている。すなわち、正面を向いている状態であれば、目の器官特徴点は、11点検出される。しかしながら、図14の左部で示されるように、図中左方向を向いている顔画像の場合、左側の目は、顔が図中の左方向を向いたため、目の器官の輪郭を構成する器官特徴点の一部を検出することができず、6点の器官特徴点のみが抽出されている。この場合、器官抽出部203は、抽出した器官特徴点が図中左側の目の右側部分の6点であることを左側の目の器官の情報として抽出する。従って、図14の左部の場合、右側の目は、11点であり、口は10点となる。
In step S <b> 4, the
同様に、図14の中央部においては、左右の目が11点であり、口が4点である。さらに、図14の右部においては、左側の目が6点であり、右側の目が7点であり、口が10点となる。 Similarly, in the central part of FIG. 14, the left and right eyes have 11 points and the mouth has 4 points. Further, in the right part of FIG. 14, the left eye has 6 points, the right eye has 7 points, and the mouth has 10 points.
ステップS5において、器官スコア付与部204は、器官抽出部203より供給されてくる各器官の器官特徴点の抽出位置と点数の情報を、抽出された器官の情報として取得すると、各器官の器官特徴点の抽出点数に基づいて、スコアを付与し、取得した情報と共に角度推定部205に供給する。
In step S5, when the organ
すなわち、例えば、図14の左部の顔画像の場合、左側の目は、器官特徴点の抽出点数は、6点となるので、例えば、各器官毎の満点スコアを100点としたとき、スコアを55(≒100×6/11)に設定する。同様に右側の目のスコアは、100点に設定され、口は、器官特徴点の全点数が12点であるとすれば、スコアは、83(≒100×10/12)に設定される。 That is, for example, in the case of the left face image of FIG. 14, the left eye has 6 extracted organ feature points. For example, when the perfect score for each organ is 100 points, the score Is set to 55 (≈100 × 6/11). Similarly, if the score of the right eye is set to 100 points, and the mouth has a total of 12 organ feature points, the score is set to 83 (≈100 × 10/12).
また、図14の中央部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、100点、100点、および33点に設定される。同様に、図14の右部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、55点、64点、および83点に設定される。 In the case of the face image in the center of FIG. 14, the scores of the left eye, the right eye, and the mouth are set to 100 points, 100 points, and 33 points, respectively. Similarly, in the case of the right face image in FIG. 14, the scores of the left eye, the right eye, and the mouth are set to 55 points, 64 points, and 83 points, respectively.
すなわち、予め設定された器官特徴点は、各器官の輪郭を形成するものであるので、全ての器官特徴点が抽出されれば、正確に器官の輪郭が再現されるものと考えられる。したがって、器官スコア付与部204により付与されるスコアは、予め設定された器官特徴点数に対する抽出点数の割合であることから、顔画像内における各器官の信頼度であるといえる。したがって、スコアが高いほど、各器官が正しく認識され易いと考えることができるため、類似度計算処理には適していると考えることができる。
That is, since the organ feature points set in advance form the contour of each organ, it is considered that the contour of the organ is accurately reproduced if all the organ feature points are extracted. Therefore, since the score given by the organ
ステップS6において、角度推定部205は、顔画像の正対位置からの撮像角度を推定し、推定した撮像角度と、各器官のスコアの情報を適正判定部206に供給する。ここでいう、正対とは、被写体である顔画像に対して正面に対向する位置をいう。すなわち、角度推定部205は、予め撮像角度毎に、各器官の器官特徴点の抽出点数とその分布を記憶しているため、実際に抽出された器官特徴点の抽出点数とその分布から撮像角度を推定する。例えば、図14の左部の顔画像の場合、左側の目の輪郭を構成する器官特徴点のうち、左側の5点が抽出できない状態になっており、右目が全て抽出されており、さらに、口については、左側の2点が抽出できない状態となっている。角度推定部205は、これらの器官特徴点の抽出点数とその分布から撮像角度を推定する。
In step S <b> 6, the
ステップS7において、適正判定部206は、供給されてきた撮像角度と各器官のスコアの情報に基づいて、抽出された顔画像が、後述する類似度計算処理に適した顔画像であるか否かを判定する。より詳細には、適正判定部206は、供給されてきた顔画像の撮像角度が、水平方向、および垂直方向に対して顔画像の人物の顔の正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計スコアが所定の閾値よりも高いとき、適正であるものとみなす。
In step S7, the
ここでは、類似度計算処理に適した顔画像であるか否かは、以下の条件に基づいて判定される。すなわち、器官毎のスコアが高くても、顔画像の撮像角度がある程度正対に近い所定の角度内ではない場合、各器官の形状の画像内での歪が大きいと考えられるため、推定された撮像角度が正対方向近傍の所定の角度内であることが第1の条件とされている。ただし、上述したように、正対方向近傍の角度からずれるほど、器官特徴点の抽出点数は減る傾向にあると考えることができるので、正対方向近傍の角度内でなければ、スコアも低い可能性が高いと考えられる。 Here, whether or not the face image is suitable for similarity calculation processing is determined based on the following conditions. That is, even if the score for each organ is high, if the imaging angle of the face image is not within a predetermined angle that is close to a certain degree, it is considered that there is a large distortion in the image of the shape of each organ. The first condition is that the imaging angle is within a predetermined angle near the facing direction. However, as described above, it can be considered that the number of extracted organ feature points tends to decrease as the angle deviates from the angle near the facing direction, so the score may be low if the angle is not within the angle near the facing direction. It is considered that the nature is high.
さらに、撮像角度が正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計が所定の閾値よりも高いことが第2の条件とされる。すなわち、髪の毛などにより器官の輪郭が隠れたりすると、撮像角度が正対方向の近傍の所定の角度内であっても、各器官の情報の信頼度が低いことになる。 Furthermore, the second condition is that the imaging angle is within a predetermined angle near the facing direction, and the total score for each organ is higher than a predetermined threshold. That is, when the outline of an organ is hidden by hair or the like, the reliability of information on each organ is low even if the imaging angle is within a predetermined angle near the facing direction.
そこで、これらの2つの条件を満たす顔画像について、適正判定部206は、類似度計算処理に対して適正な顔画像であると判定する。
Therefore, the
例えば、図14の左部の顔画像の場合、器官毎のスコアは、左右の目と口のスコアの合計である238(=55+100+83)となる。また、図14の中央部の場合、233(=100+100+33)となる。さらに、図14の右部の場合、152(=55+64+33)となる。したがって、撮像角度が正対方向近傍の所定の角度内であった場合、スコアの閾値が200であるとき、図14の左部、および中央部の顔画像は、適正な顔画像であるものとみなされるが、図14の右部においては、適正な顔画像とみなされないことになる。尚、当然のことながら、閾値の設定は、以上のスコアに限るものではなく、他の閾値であってもよいものである。 For example, in the case of the left face image of FIG. 14, the score for each organ is 238 (= 55 + 100 + 83), which is the sum of the left and right eye and mouth scores. In the case of the central portion of FIG. 14, 233 (= 100 + 100 + 33) is obtained. Furthermore, in the case of the right part of FIG. 14, 152 (= 55 + 64 + 33). Therefore, when the imaging angle is within a predetermined angle in the vicinity of the facing direction, when the threshold value of the score is 200, the left and center face images in FIG. 14 are appropriate face images. Although it is considered, in the right part of FIG. 14, it is not regarded as a proper face image. As a matter of course, the threshold value setting is not limited to the above score, and other threshold values may be used.
ステップS7において、抽出された顔画像が類似度計算処理に対して適正であると判定された場合、ステップS8において、適正判定部206は、送信部207を制御し、顔画像抽出部202より供給されてきた顔画像を生体情報認識装置21に送信する。この際、送信部207は、カメラ38、入口カメラ40、または店内カメラ41のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置21に送信する。
When it is determined in step S7 that the extracted face image is appropriate for the similarity calculation process, in step S8, the
一方、ステップS7において、抽出された顔画像が類似度計算処理に対して適正なものではないと判定された場合、ステップS8の処理がスキップされて、処理は、ステップS1に戻る。 On the other hand, when it is determined in step S7 that the extracted face image is not appropriate for the similarity calculation process, the process of step S8 is skipped, and the process returns to step S1.
すなわち、画像処理ユニット39においては、抽出された顔画像のうち、撮像角度が正対方向近傍の所定の角度の範囲内であって、スコアの合計が所定の閾値よりも大きい顔画像のみが、生体情報認識装置21に供給される。結果として、後述する類似度計算処理における精度を向上させることが可能になると共に、精度の低い顔画像を用いた類似度計算処理をする必要がなくなるので、処理負荷が低減し、処理を高速化することが可能となる。
That is, in the
尚、以上においては、器官抽出として目、および口のみを用いた例について説明してきたが、当然のことながら、他の器官、すなわち、鼻、および耳といった情報を用いるようにしてもよいものである。しかしながら、顔画像を用いた類似度計算処理においては、目、および口の信頼度が他の器官よりも類似度計算処理の精度に対しての影響が大きいため、目、および口以外の器官を用いる場合、目、および口のスコアに対する重みを大きくするようにしてもよい。また、類似度計算処理の精度に対しての影響が大きいため、逆に、計算による負荷を低減させるために、目、および口のみを用いるようにしてもよい。 In the above description, the example using only the eyes and the mouth has been described as the organ extraction. However, as a matter of course, information on other organs, that is, the nose and the ear may be used. is there. However, in similarity calculation processing using facial images, the reliability of the eyes and mouth has a greater effect on the accuracy of the similarity calculation processing than other organs. When used, the weights for the eye and mouth scores may be increased. Further, since the influence on the accuracy of the similarity calculation process is large, conversely, only the eyes and the mouth may be used in order to reduce the calculation load.
ステップS21において、生体情報認識装置21の顔画像取得部221は、顔画像を取得する。ステップS22において、顔画像取得部221は、供給された顔画像のうち、いずれか未処理の1つを抽出し、特徴量抽出部231に供給する。
In step S21, the face
ステップS23において、照合部222の特徴量抽出部231は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部232に供給する。
In step S23, the feature
ステップS24において、類似度計算部232は、類似度計算処理を実行する。
In step S24, the
ここで、図15のフローチャートを参照して、類似度計算処理について説明する。 Here, the similarity calculation processing will be described with reference to the flowchart of FIG.
ステップS51において、類似度計算部232は、生体情報DB22の登録遊技者DB252に登録されている顔画像のうち、未処理の1つの登録遊技者の顔画像を抽出し、処理対象に設定する。
In step S51, the
ステップS52において、類似度計算部232は、処理対象として設定した登録遊技者DB252に登録されている顔画像より、前記特徴量抽出部231より供給されてきた特徴量と同様の特徴量を抽出する。
In step S52, the
ステップS53において、類似度計算部232は、特徴量抽出部231より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、生体情報DB22に登録されている登録遊技者DB252に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップS54において、計算結果である登録遊技者DB252に登録されている顔画像との類似度を類似度判定部233に供給し、バッファ233aに登録させる。
In step S53, the
ステップS55において、類似度計算部232は、生体情報DB22の登録遊技者DB252に未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップS51に戻る。すなわち、登録遊技者DB252の全ての登録遊技者の顔画像との類似度が計算されるまで、ステップS51乃至S55の処理が繰り返される。そして、ステップS55において、登録遊技者DB252に未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。
In step S55, the
ここで、図13のフローチャートの説明に戻る。 Now, the description returns to the flowchart of FIG.
ステップS25において、類似度判定部233は、バッファ233aに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DB252に登録されている顔画像のうちの上位3位までの顔画像と類似度の情報を抽出する。そして、類似度判定部233は、上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部233は、最も類似している登録遊技者(生体情報DB22に登録されている顔画像のうち、顔画像取得部221により取得された顔画像と最も類似している登録遊技者:ここでは、類似度の最も高い登録遊技者)の類似度を所定の閾値と比較する。
In step S25, the
尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。 Note that, as described above, the similarity between the face image of the registered player who is most similar to the captured face image is not necessarily the highest because of the definition of the similarity. And the threshold value may differ from those in this example.
ステップS25において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップS26において、類似度判定部233は、類似度計算部232より供給されてきた上位3位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面301を表示部23を制御して表示させる。
If it is determined in step S25 that the highest similarity is greater than a predetermined threshold, in step S26, the
このとき、例えば、図16で示されるような報知画面301が、表示部23に表示される。
At this time, for example, a
図16の報知画面301においては、カメラ画像表示欄311が、左中段に設けられており、画像処理ユニット39より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第1候補乃至第3候補までの類似度の上位3位の登録遊技者の顔画像表示欄312−1乃至312−3が設けられている。さらに、各登録遊技者の顔画像表示欄312−1乃至312−3の下には、類似度レベル表示欄313−1乃至313−3が設けられており、類似度のレベルが表示されている。図15において、黒で示される領域の横方向の長さが類似度の大きさを示している。
In the
また、類似度レベル表示欄313−1乃至313−3の下には、対応する位置に、ID表示欄314−1乃至314−3が設けられており、各顔画像の生体情報DB22における顔画像を識別するIDが表示されており、図15において、左から「00051」、「00018」および「00022」と表示されている。
Further, ID display fields 314-1 to 314-3 are provided at corresponding positions below the similarity level display fields 313-1 to 313-3, and the face images in the
さらに、ID表示欄314−1乃至314−3の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部225により操作される確定ボタン318−1乃至318−3が設けられている。 Furthermore, below the ID display fields 314-1 to 314-3, confirmation buttons 318-1 to 318-3 operated by the operation unit 225 when each candidate is selected are provided at the corresponding positions. It has been.
また、カメラ画像表示欄311の下には、その顔画像を撮像したカメラを識別するカメラID表示欄315が設けられており、図15においては、カメラ38、入口カメラ40、および店内カメラ41を識別するためのカメラIDとして「カメラ02」が表示されている。さらに、カメラID表示欄315の下には、時刻表示欄316が設けられており、入口カメラ40により撮像された時刻が表示されており、図15においては、「18:23:32」と表示されており、カメラ画像表示欄311の顔画像が18時23分32秒に撮像されていることが示されている。
A camera
さらに、時刻表示欄316の下には、別人ボタン317が設けられており、カメラ画像の顔画像が、第1候補乃至第3候補となる登録遊技者の顔画像表示欄312−1乃至312−3のいずれにも似ていないとみなされたとき、操作部225により操作される。
Furthermore, another person button 317 is provided below the
ステップS27において、通信部224は、操作部225が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図15で示される報知画面301が表示部23に表示されていた場合、確定ボタン318−1乃至318−3のいずれかが操作部225により操作されたか否かを判定する。
In step S27, the communication unit 224 displays on the
ステップS27において、例えば、確定ボタン318−1が操作された場合、第1候補となる顔画像が選択されたとみなされ、ステップS28において、通信部224は、選択された第1候補となる顔画像および入口カメラ40により撮像されたカメラ画像を携帯端末20に送信し、該当する登録遊技者が来店したことを通知する。
In step S27, for example, when the confirm button 318-1 is operated, it is considered that the face image to be the first candidate has been selected, and in step S28, the communication unit 224 has the selected face image to be the first candidate. And the camera image imaged with the entrance camera 40 is transmitted to the
ステップS41において、通信部271は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS41において、ステップS28の処理により、登録遊技者の来店が通知されてきた場合、ステップS42において、通信部271は、生体情報認識装置21より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像および入口カメラ40により撮像されたカメラ画像を画像処理部272に供給する。画像処理部272は、選択された顔画像および入口カメラ40により撮像されたカメラ画像の情報を、表示部273に表示可能な形式の情報に加工して、ステップS43において、表示部273に表示させる。
In step S41, the
以上の処理により、遊技店1内の係員は、携帯端末20を所持していると、登録遊技者の来店を認識することが可能となる。
By the above processing, the staff in the
また、ステップS29において、顔画像取得部221は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップS22に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップS22乃至S30の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップS21に戻る。
In step S29, the face
一方、ステップS27において、いずれの候補となる顔画像も選択されず、例えば、図15の報知画面301における別人ボタン317が押下された場合、または、ステップS25において、類似度計算部232より供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップS30において、類似度判定部233は、画像処理ユニット39より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。未登録遊技者データベース登録部223は、供給されてきた顔画像を生体管理情報バス6及び公衆通信回線網8を介して生体情報管理データベース3にアクセスし、未登録遊技者DB251に登録する。
On the other hand, no candidate face image is selected in step S27. For example, when the other person button 317 on the
以上の処理により、生体情報認識装置21により画像処理ユニット39より供給されてきた顔画像が、生体情報DB22に登録されていないとみなされると、生体情報管理センタ2により管理されている生体情報管理DB3内の未登録遊技者DB251に未登録遊技者の顔画像として登録される。
If the face image supplied from the
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。 Incidentally, the series of monitoring processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
図17は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
FIG. 17 shows a configuration example of a general-purpose personal computer. This personal computer incorporates a CPU (Central Processing Unit) 1001. An input /
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
The input /
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
The
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。 In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
1,1−1乃至1−n 遊技店
2 生体情報管理センタ
3 生体情報管理データベース
4 第3者遊技店管理センタ
5 第3者遊技店管理データベース
6 生体情報管理バス
7 第3者遊技店管理バス
8,9 公衆通信回線網
21 生体情報認識装置
22 生体情報データベース
24 遊技店管理装置
26 遊技台管理データベース
27 媒体貸出管理装置
29 媒体貸出管理データベース
30 遊技店管理情報バス
31 生体情報バス
33 精算機
34 貸出機
35 計数機
36,36−1乃至36−m 遊技台
37,37−1乃至37−m 遊技台周辺端末
38,38−1乃至38−m カメラ
39,39−1乃至39−(m+p+q) 画像処理ユニット
40,40−1乃至40−p 入口カメラ
41,41−1乃至41−q 店内カメラ
1, 1-1 to 1-
Claims (8)
前記顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された各器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された前記各器官の信頼度に基づいて、前記顔画像の前記撮像手段に対する角度を推定する角度推定手段と、
前記信頼度算出手段により算出された各器官の信頼度の合計が所定の閾値より高く、かつ前記角度推定手段により推定された前記顔画像の前記撮像手段に対する角度が所定の角度内である場合、前記顔画像が照合対象として適正であると判定する適正判定手段と、
前記適正判定手段により適正であると判定された前記顔画像と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と
を含む監視装置。 From image captured by an imaging unit, a face image extracting means for extracting a face image,
From the face image, and organ extracting means for extracting a portion of each organ constituting the face,
Reliability calculation means for calculating the reliability of each organ extracted by the organ extraction means;
An angle estimating means for estimating an angle of the face image with respect to the imaging means based on the reliability of each organ calculated by the reliability calculating means;
When the total reliability of each organ calculated by the reliability calculation means is higher than a predetermined threshold, and the angle of the face image estimated by the angle estimation means is within a predetermined angle , and Value determination means for the face image is determined to be appropriate as a comparison target,
It said face image is determined to be appropriate by the proper determination means calculates a similarity between the stored accumulated's face image storing means for storing in the storage's database the face image as the accumulation's face image , Matching means for matching;
Matching the results similarity and a comparison with a predetermined threshold value, the monitoring device including said face image similarity determination means for determining whether a face image of the storage's said collation means.
前記照合手段は、前記顔画像抽出手段により抽出された前記顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記顔画像抽出手段により抽出された前記顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合する
請求項1に記載の監視装置。 A feature amount extraction unit that extracts a feature amount from the face image extracted by the face image extraction unit ;
The comparison means includes the face image extracted by the face image extracting means, using the feature amount to calculate the similarity between the stored registrant's face image in the storage means, by the face image extractor The monitoring apparatus according to claim 1, wherein the extracted face image is collated with a registrant's face image stored in the storage unit.
請求項1または請求項2に記載の監視装置。 3. The organ extracting unit according to claim 1 or 2 , wherein left and right eyes and a mouth are extracted from a part of each organ constituting the face from the face image extracted by the face image extracting unit . Monitoring device.
請求項1から請求項3のいずれか1つに記載の監視装置。 The reliability calculation unit, said among the organs extracted by the organ extracting unit, right or left eye, and the weight of the reliability of the mouth is increased to claims 1 to calculate the reliability of claim 3 1 a monitoring device as claimed in One.
器官抽出手段が、前記顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、
信頼度算出手段が、前記器官抽出ステップの処理により抽出された前記各器官の信頼度を算出する信頼度算出ステップと、
角度推定手段が、前記信頼度算出ステップの処理により算出された前記各器官の信頼度に基づいて、前記顔画像の前記撮像手段に対する角度を推定する角度推定ステップと、
適正判定手段が、前記信頼度算出ステップの処理により算出された前記各器官の信頼度の合計が所定の閾値より高く、かつ前記角度推定ステップの処理により推定された前記顔画像の前記撮像手段に対する角度が所定の角度内である場合、前記顔画像が照合対象として適正であると判定する適正判定ステップと、 照合手段が、前記適正判定ステップの処理により適正であると判定された前記顔画像と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
類似度判定手段が、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと
を含む監視方法。 Facial image extraction means, from the image taken by the imaging means, a face image extraction step of extracting a facial image,
An organ extracting means, from the face image, and the organ extracting a portion of each organ constituting the face,
Is Shin Yoriyukido calculating means, a reliability calculating step of calculating reliability of each organ extracted by the processing of the organ extracting step,
An angle estimating unit that estimates an angle of the face image with respect to the imaging unit based on the reliability of each organ calculated by the process of the reliability calculating step;
Suitable positive determination means, the reliability the calculated by the processing calculation step higher than the total predetermined threshold reliability of each organ, and the angle estimation step of the imaging unit of the estimated the face image by processing If the angle with respect to is within a predetermined angle, and proper determination step of the face image is determined to be appropriate as a comparison target, collation means, said face is determined to be appropriate by the processing of the proper judgment step A collation step of calculating and collating the similarity between the image and the face image of the accumulator accumulated in the accumulator means for accumulating the face image as an accumulator face image in the accumulator database;
S similarity score determination unit, wherein by comparison with the collation result is a similarity with a predetermined threshold value in the process of verification steps, the similarity determination determines whether the facial image is a facial image of the storage's A monitoring method comprising steps and
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010029388A JP5577729B2 (en) | 2010-02-12 | 2010-02-12 | Monitoring device and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010029388A JP5577729B2 (en) | 2010-02-12 | 2010-02-12 | Monitoring device and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011165083A JP2011165083A (en) | 2011-08-25 |
JP5577729B2 true JP5577729B2 (en) | 2014-08-27 |
Family
ID=44595665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010029388A Active JP5577729B2 (en) | 2010-02-12 | 2010-02-12 | Monitoring device and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5577729B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101875966B1 (en) * | 2012-11-29 | 2018-07-06 | 현대자동차주식회사 | A missing point restoration method in face recognition for vehicle occupant |
JP6318775B2 (en) * | 2014-03-31 | 2018-05-09 | オムロン株式会社 | Obstacle determination device and program |
JP6665569B2 (en) * | 2016-02-15 | 2020-03-13 | オムロン株式会社 | Face matching system, player management system and game system |
JP6891633B2 (en) * | 2017-05-29 | 2021-06-18 | 大日本印刷株式会社 | Face recognition device, face recognition method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4553526B2 (en) * | 2001-08-15 | 2010-09-29 | セコム株式会社 | Personal verification device |
JP4696857B2 (en) * | 2005-11-02 | 2011-06-08 | オムロン株式会社 | Face matching device |
JP4924883B2 (en) * | 2007-01-30 | 2012-04-25 | オムロン株式会社 | Monitoring device and method, and program |
JP5153434B2 (en) * | 2008-04-22 | 2013-02-27 | キヤノン株式会社 | Information processing apparatus and information processing method |
-
2010
- 2010-02-12 JP JP2010029388A patent/JP5577729B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011165083A (en) | 2011-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4941124B2 (en) | Monitoring system and method, information processing apparatus, and program | |
JP5617627B2 (en) | Monitoring device and method, and program | |
JP5824806B2 (en) | Facial image management device, facial image management method, and program | |
JP4924883B2 (en) | Monitoring device and method, and program | |
JP5577729B2 (en) | Monitoring device and method, and program | |
JP5560976B2 (en) | Information processing apparatus and method, and program | |
JP4919057B2 (en) | Monitoring device and method, and program | |
JP2008123100A (en) | Information processor, information processing method, and program | |
JP2009086932A (en) | Image processor and image processing method, and program | |
JP2008085584A (en) | Monitoring device and method, monitoring system, and program | |
JP2012014568A (en) | Monitoring apparatus and method, and program | |
JP5338178B2 (en) | Monitoring device and method, and program | |
JP2008040829A (en) | Device and method for processing information, information processing system, and program | |
JP5292982B2 (en) | Human body detection device and method, monitoring device and method, and program | |
JP4877005B2 (en) | Monitoring device and method, and program | |
JP4760717B2 (en) | Monitoring device and method, and program | |
JP2007293741A (en) | Monitoring device and method, registrant collation device, attribute estimation device and method, and program | |
JP5168564B2 (en) | Monitoring device and method, and program | |
JP4807267B2 (en) | Monitoring device and method, and program | |
JP5589421B2 (en) | Image processing apparatus, image processing method, and program | |
JP5294020B2 (en) | Image processing apparatus and method, and program | |
JP5338173B2 (en) | Monitoring device and method, and program | |
JP4807291B2 (en) | Monitoring device and method, monitoring system, and program | |
JP5549418B2 (en) | Information processing apparatus and method, and program | |
JP5724662B2 (en) | Information processing apparatus and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121207 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20131011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5577729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |