[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5577729B2 - Monitoring device and method, and program - Google Patents

Monitoring device and method, and program Download PDF

Info

Publication number
JP5577729B2
JP5577729B2 JP2010029388A JP2010029388A JP5577729B2 JP 5577729 B2 JP5577729 B2 JP 5577729B2 JP 2010029388 A JP2010029388 A JP 2010029388A JP 2010029388 A JP2010029388 A JP 2010029388A JP 5577729 B2 JP5577729 B2 JP 5577729B2
Authority
JP
Japan
Prior art keywords
face image
organ
unit
image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010029388A
Other languages
Japanese (ja)
Other versions
JP2011165083A (en
Inventor
孝光 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2010029388A priority Critical patent/JP5577729B2/en
Publication of JP2011165083A publication Critical patent/JP2011165083A/en
Application granted granted Critical
Publication of JP5577729B2 publication Critical patent/JP5577729B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、監視装置および方法、監視システム並びにプログラムに関し、特に、顔画像による認識率を向上できるようにした監視装置および方法、監視システム、並びにプログラムに関する。   The present invention relates to a monitoring apparatus and method, a monitoring system, and a program, and more particularly, to a monitoring apparatus and method, a monitoring system, and a program that can improve the recognition rate based on facial images.

現在もパチンコ店やパチスロ店に代表される遊技店においては、不審者による遊技媒体の抜き取りなどが発生し、遊技店の経営を圧迫する要因となっている。こうした被害は遊技店業界の喫緊の課題である。   Even at amusement stores such as pachinko and pachislot stores, suspicious people have been pulled out of gaming media, which is a factor that puts pressure on the management of amusement stores. Such damage is an urgent issue in the amusement store industry.

こうした実態を打破すべく、不審者を発見し、遊技を止めてしまうなどの仕組みができてきており、顔画像を用いた不審者入店監視も行われている。   In order to overcome this situation, a mechanism has been established in which a suspicious person is discovered and the game is stopped, and suspicious person entrance monitoring using a face image is also performed.

しかしながら、顔画像認証システムにおいては、認証においてエラーが生じることにより、認識率が100%に近い値となっておらず、信頼性に問題があった。   However, in the face image authentication system, due to an error in authentication, the recognition rate is not close to 100%, and there is a problem in reliability.

より具体的には、顔画像認証システムにおける信頼性の問題としては、取得された顔画像と同一人物の顔画像であるにも関わらず棄却される、いわゆる棄却エラーや、取得された顔画像と同一人物でもない他人の顔画像とを同一人物として受け入れてしまう、いわゆる他人受入エラーなどが挙げられる。   More specifically, as a problem of reliability in the face image authentication system, a so-called rejection error that is rejected even though it is a face image of the same person as the acquired face image, and an acquired face image There is a so-called other person acceptance error that accepts a face image of another person who is not the same person as the same person.

このうち、他人受入エラーについては、不審者でもない人物が不審者として検出されることとなるため、他人受入エラーが発生することで、遊技店の係員に対して不必要に発報してしまうことがあり、結局、係員による目視による確認が必要となることがあった。   Of these, other person acceptance errors are detected as unsuspicious persons as suspicious persons, and therefore, other person acceptance errors occur unnecessarily to an amusement store staff. In some cases, visual confirmation by an attendant was required after all.

このような営業への支障となりうるエラーの発生から、システムへの不信感が高まり、結果として、顔画像認証システムの導入や利用が辞められてしまうといった例もあり、これまでの顔画像認証システムは、有効に効果を発揮できていないのが実態であった。   Due to the occurrence of such an error that could hinder sales, there is an example where the distrust of the system increases, and as a result, the introduction and use of the face image authentication system has been discontinued. However, the actual situation was that it was not effective.

そこで、このような問題に対応すべく、顔の向きや照明へのロバスト性を向上させることで、棄却エラーや他人受入エラーを抑制させる技術が提案されている(特許文献1,2参照)。   Therefore, in order to cope with such a problem, there has been proposed a technique for suppressing a rejection error and a stranger acceptance error by improving the face orientation and the robustness to illumination (see Patent Documents 1 and 2).

特開2009−157767号公報JP 2009-157767 A 特開2001−202516号公報JP 2001-202516 A

しかしながら、上述した棄却エラーや他人受入エラーの要因には、顔の向きや照明以外にも、髪の毛が目にかかることで顔の特徴点が隠れたり、髪の毛が顔の輪郭にかかることで陰影ができてしまうといった問題もあった、すなわち、髪の毛がかかることにより、顔画像の一部を隠したり、陰影に変化を与えることで、実際の顔画像においては、その特徴が類似していない人同士の顔画像でも、類似しているものとして誤認証してしまったり、逆に、本来類似している人同士の顔画像でも、非類似であるものとして誤認証してしまう恐れがあった。   However, in addition to the face orientation and lighting, the cause of the rejection error and other person acceptance error described above may be caused by the fact that the facial feature points are hidden when the hair touches the eyes, or the shadow is caused by the hair hitting the contour of the face. In other words, people who do not have similar characteristics in the actual face image by hiding part of the face image or changing the shadow The face images may be erroneously authenticated as being similar, or conversely, even face images of people who are originally similar may be erroneously authenticated as being dissimilar.

また、本来顔画像が正面から捉えられる場合や、本人が照合しにいく場合には、条件が揃うまで待つこともできるが、特に遊技店の場合、設備にカメラを有することが多く、遊技台上部(台ランプ)もしくは遊技台左隣(サンド)からの撮像となり、顔を正面から捉えるケースが少ないことや、本人は認証されていることに気がつかないため照合条件が揃い難い顔画像のみしか取得できず、認証の失敗や誤認証が生じてしまう恐れがあった。   In addition, when the face image is originally captured from the front or when the person goes to collate, it is possible to wait until the conditions are met. Captures images from the top (table lamp) or the left side of the game table (sand), and only captures face images that are difficult to match because there are few cases of capturing the face from the front and the person is unaware of being authenticated. There is a risk that authentication failure or misauthentication may occur.

本発明はこのような状況に鑑みてなされたものであり、顔画像を用いた認証処理における認証精度を向上できるようにするものである。   The present invention has been made in view of such a situation, and makes it possible to improve authentication accuracy in authentication processing using a face image.

本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む。   The monitoring apparatus according to one aspect of the present invention includes a storage unit that stores a face image as a face image of an accumulator in an accumulator database, an image capturing unit that captures an image, and an image captured by the image capturing unit. A face image extracting means for extracting a person's face image, an organ extracting means for extracting a part of each organ constituting the face from the face image of the person to be collated, and the reliability of the organ extracted by the organ extracting means A reliability calculation unit that calculates the level, a determination unit that determines whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation unit, and the appropriate determination unit The collation means for calculating and collating the similarity between the face image of the person to be collated determined to be appropriate and the face image of the accumulator accumulated in the accumulation means, and the collation result of the collation means Similarity and predetermined Similarity determination means for determining whether or not the face image of the person to be collated is the face image of the accumulator by comparison with a threshold value, and the face image of the person to be collated is stored by the similarity degree determination means. A notification means for notifying that the person to be collated is the accumulator.

前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。   Based on the reliability calculated by the reliability calculation means, an angle estimation means for estimating the angle of the face image with respect to the imaging device, and based on the angle of the face image with respect to the imaging device estimated by the angle estimation means, It can be determined whether or not the face image of the person to be collated is appropriate.

前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。   And a feature amount extracting unit that extracts a feature amount from the face image of the person to be collated, and the collating unit includes a face image of the person to be collated acquired by the acquiring unit, The similarity is calculated using the feature amount with the registrant's face image stored in the storage means, the face image of the person to be collated acquired by the acquisition means, and the registrant's face stored in the storage means A face image can be collated.

前記器官抽出手段には、前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出させるようにすることができる。   The organ extracting means can extract left and right eyes and mouths of the parts of each organ constituting the face from the face image.

前記信頼度算出手段には、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出させるようにすることができる。   The reliability calculation means can calculate the reliability by increasing the weights of the reliability of the left and right eyes and the mouth among the organs extracted by the organ extraction means.

本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置における監視方法であって、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む。   The monitoring method according to one aspect of the present invention includes: an accumulation unit that accumulates a face image as an accumulator's face image in an accumulator database; an imaging unit that captures an image; and an image captured by the imaging unit. A face image extracting means for extracting a person's face image, an organ extracting means for extracting a part of each organ constituting the face from the face image of the person to be collated, and the reliability of the organ extracted by the organ extracting means A reliability calculation unit that calculates the level, a determination unit that determines whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation unit, and the appropriate determination unit The collation means for calculating and collating the similarity between the face image of the person to be collated determined to be appropriate and the face image of the accumulator accumulated in the accumulation means, and the collation result of the collation means Similarity and predetermined Similarity determination means for determining whether or not the face image of the person to be collated is the face image of the accumulator by comparison with a threshold value, and the face image of the person to be collated is stored by the similarity degree determination means. And a notifying means for notifying that the person to be collated is the accumulator, when the face image is determined to be a person's face image, wherein the face image is accumulated in the accumulating means From the accumulation step of accumulating in the accumulator database as a person's face image, the imaging step of capturing an image in the imaging unit, and the image captured by the processing of the imaging step in the face image extracting unit A face image extracting step for extracting a person's face image, and an organ extraction for extracting a part of each organ constituting the face from the face image of the person to be collated in the organ extracting means Calculated by the reliability calculation step of calculating the reliability of the organ extracted by the processing of the organ extraction step in the reliability calculation means, and the reliability calculation step of the appropriateness determination means Based on the reliability, an appropriate determination step for determining whether or not the face image of the verification target person is appropriate, and a verification target person determined to be appropriate by the processing of the appropriateness determination step in the acquisition unit A step of acquiring a facial image of the person, and calculating a similarity between the face image of the person to be collated acquired by the process of the obtaining step in the collating unit and the face image of the accumulating person accumulated in the accumulating unit In comparison between the collation step to be collated and the similarity that is the collation result in the collation step processing in the similarity determination means and a predetermined threshold value Thus, the similarity determination step for determining whether or not the face image of the collation target person is the face image of the accumulator, and the face image of the collation target person by the processing of the similarity determination step in the notification means A notification step of notifying that the person to be collated is the accumulator.

本発明の一側面のプログラムは、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置を制御するコンピュータに、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む処理を実行させる。   The program according to one aspect of the present invention includes: an accumulation unit that accumulates a face image as an accumulator's face image in an accumulator database; an imaging unit that captures an image; and an image captured by the imaging unit, A face image extracting means for extracting a face image of the subject, an organ extracting means for extracting a part of each organ constituting the face from the face image of the person to be collated, and the reliability of the organ extracted by the organ extracting means. A reliability calculation means for calculating, a correctness determination means for determining whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation means, and the appropriateness determination means. The similarity between the face image of the person to be collated determined to be appropriate and the face image of the accumulator accumulated in the accumulating means is calculated and collated, and the similarity that is the collation result of the collating means Degree and place A similarity determination unit that determines whether or not the face image of the person to be collated is the face image of the accumulator by comparison with the threshold value, and the face image of the person to be collated is determined by the similarity degree determination unit. When it is determined that the face image is an accumulator, the face image in the accumulator is accumulated in a computer that controls a monitoring device including a notifying unit that notifies that the person to be collated is the accumulator. From the accumulation step of accumulating in the accumulator database as a person's face image, the imaging step of capturing an image in the imaging unit, and the image captured by the processing of the imaging step in the face image extracting unit A face image extracting step for extracting a person's face image, and an organ extraction unit for extracting a part of each organ constituting the face from the face image of the person to be collated in the organ extracting means. Calculated by the reliability calculation step of calculating the reliability of the organ extracted by the processing of the organ extraction step in the reliability calculation means, and the reliability calculation step of the appropriateness determination means Based on the reliability, an appropriate determination step for determining whether or not the face image of the verification target person is appropriate, and a verification target person determined to be appropriate by the processing of the appropriateness determination step in the acquisition unit A step of acquiring a facial image of the person, and calculating a similarity between the face image of the person to be collated acquired by the process of the obtaining step in the collating unit and the face image of the accumulating person accumulated in the accumulating unit And a comparison between the matching step for matching and the similarity as a matching result in the processing of the matching step in the similarity determination means and a predetermined threshold value The similarity determination step for determining whether or not the face image of the person to be collated is the face image of the accumulator, and the face image of the person to be collated by the processing of the similarity degree determination step in the notification means Is determined to be a face image of the accumulator, a process including a notification step of notifying that the collation target person is the accumulator is executed.

本発明の一側面においては、顔画像が蓄積者の顔画像として蓄積者データベースに蓄積され、画像が撮像され、撮像された画像より、前記照合対象者の顔画像が抽出され、前記照合対象者の顔画像より、顔を構成する各器官の部位が抽出され、抽出された器官の信頼度が算出され、算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かが判定され、適正であると判定された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定され、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることが通知される。   In one aspect of the present invention, a face image is accumulated in the accumulator database as an accumulator face image, an image is captured, and the face image of the person to be collated is extracted from the captured image, and the person to be collated From each face image, the part of each organ constituting the face is extracted, the reliability of the extracted organ is calculated, and based on the calculated reliability, whether or not the face image of the person to be collated is appropriate The similarity between the face image of the person to be verified that has been determined to be appropriate and the face image of the accumulated person that has been accumulated is calculated and collated, and the similarity that is the result of the collation and a predetermined threshold value Is determined whether or not the face image of the person to be collated is the face image of the accumulator, and when it is determined that the face image of the person to be collated is the face image of the accumulator, Notification that the person to be collated is the accumulator

すなわち、本発明の一側面の監視装置における、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段とは、例えば、生体情報DBであり、画像を撮像する撮像手段とは、例えば、カメラであり、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、画像処理ユニットの顔画像抽出部であり、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段とは、器官抽出部であり、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段とは、器官スコア付与部であり、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段とは、適正判定部であり、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段とは、例えば、照合部であり、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とは、類似度判定部であり、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とは、例えば、通信部である。   That is, in the monitoring device according to one aspect of the present invention, the accumulation unit that accumulates a face image as an accumulator's face image in the accumulator database is, for example, a biological information DB, and The face image extraction unit that is a camera and extracts the face image of the person to be collated from the image captured by the image pickup unit is, for example, a face image extraction unit of an image processing unit, and The organ extracting means for extracting the part of each organ constituting the face from the face image is an organ extracting unit, and the reliability calculating means for calculating the reliability of the organ extracted by the organ extracting means is an organ An appropriate determination unit that is a score providing unit and determines whether the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculation unit is an appropriate determination unit. Previous The collating means for calculating and collating the similarity between the face image of the person to be collated determined to be appropriate by the adequacy determining means and the face image of the accumulator accumulated in the accumulating means is, for example, a collating unit What is similarity determination means for determining whether or not the face image of the person to be collated is the face image of the accumulator by comparing the similarity that is the collation result of the collation means and a predetermined threshold value? A similarity determination unit that, when the similarity determination means determines that the face image of the person to be collated is the face image of the accumulator, notifies that the person to be collated is the accumulator The notification means is, for example, a communication unit.

すなわち、器官スコア付与部が、カメラで撮像された画像の顔画像より抽出される器官のそれぞれにスコアを付与する。適正判定部が、器官のそれぞれに付与されたスコアに基づいて、照合対象者の顔画像が、照合部における照合処理に適した顔画像であるか否かを判定する。そして、照合部は、適正判定部により照合に適した照合対象者の顔画像であると判定された顔画像と生体情報DBに蓄積された顔画像とを照合する。   That is, the organ score assigning unit assigns a score to each organ extracted from the face image of the image captured by the camera. The appropriateness determination unit determines whether the face image of the person to be collated is a face image suitable for the collation processing in the collation unit based on the score given to each organ. Then, the collation unit collates the face image determined by the appropriateness determination unit as the face image of the person to be collated suitable for collation with the face image stored in the biometric information DB.

また、抽出される器官においては、特に、左右の目、および口が重要であり、これらのみを抽出するようにしてもよいし、さらにその他の器官をも抽出する場合には、左右の目、および口の信頼度の重みを大きくするようにしても良い。   In the organ to be extracted, the left and right eyes and the mouth are particularly important, and only these may be extracted, and when extracting other organs, the left and right eyes, The weight of the mouth reliability may be increased.

結果として、照合処理に適した顔画像のみが、照合処理に用いられるため、認識率が向上すると共に、照合に適していない顔画像は照合処理に用いられないため、照合処理に要する負荷を低減させ、処理速度を向上させることが可能となる。   As a result, only the face image suitable for the matching process is used for the matching process, so that the recognition rate is improved and the face image not suitable for the matching is not used for the matching process, thereby reducing the load required for the matching process. And the processing speed can be improved.

本発明によれば、顔画像による認証処理における認識率を向上することが可能となる。   According to the present invention, it is possible to improve the recognition rate in authentication processing using a face image.

本発明を適用した監視システムの一実施の形態の構成を示す図である。It is a figure which shows the structure of one Embodiment of the monitoring system to which this invention is applied. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1の入口カメラおよび店内カメラの設置例を示す図である。It is a figure which shows the example of installation of the entrance camera and shop camera of FIG. 図1の画像処理ユニットの構成例を説明する図である。It is a figure explaining the structural example of the image processing unit of FIG. 図1の生体情報認識装置の構成例を説明する図である。It is a figure explaining the structural example of the biometric information recognition apparatus of FIG. 図1の生体情報管理センタおよび生体情報管理DBの構成例を説明する図である。It is a figure explaining the structural example of the biometric information management center and biometric information management DB of FIG. 図1の携帯端末の構成例を説明する図である。It is a figure explaining the structural example of the portable terminal of FIG. 登録遊技者来店監視処理を説明するフローチャートである。It is a flowchart explaining a registered player visit monitoring process. 器官抽出を説明する図である。It is a figure explaining organ extraction. 類似度計算処理を説明するフローチャートである。It is a flowchart explaining a similarity calculation process. 報知画像の表示例を説明する図である。It is a figure explaining the example of a display of an alerting | reporting image. パーソナルコンピュータの構成例を説明する図である。And FIG. 11 is a diagram illustrating a configuration example of a personal computer.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。   Embodiments of the present invention will be described below. Correspondences between the configuration requirements of the present invention and the embodiments described in the detailed description of the present invention are exemplified as follows. This description is to confirm that the embodiments supporting the present invention are described in the detailed description of the invention. Accordingly, although there are embodiments that are described in the detailed description of the invention but are not described here as embodiments corresponding to the constituent elements of the present invention, It does not mean that the embodiment does not correspond to the configuration requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

すなわち、本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段(例えば、図10の生体情報DB22)と、画像を撮像する撮像手段(例えば、図9のカメラ38,40,41)と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段(例えば、図9の顔画像抽出部202)と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段(例えば、図9の器官抽出部203)と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段(例えば、図9の器官スコア付与部204)と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段(例えば、図9の適正判定部206)と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段(例えば、図10の照合部222)と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段(例えば、図10の類似度判定部233)と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段(例えば、図10の通信部224)とを含む。   That is, the monitoring device according to one aspect of the present invention includes an accumulation unit (for example, the biometric information DB 22 in FIG. 10) that accumulates a face image as an accumulator's face image in an accumulator database, and an imaging unit that captures an image (for example, 9, a face image extraction unit (for example, the face image extraction unit 202 in FIG. 9) that extracts the face image of the person to be collated from the images captured by the imaging unit, From the face image of the person to be collated, organ extraction means (for example, the organ extraction unit 203 in FIG. 9) that extracts the parts of each organ constituting the face, and the reliability of the organ extracted by the organ extraction means is calculated. Whether or not the face image of the person to be collated is appropriate based on the reliability calculated by the reliability calculating unit (for example, the organ score assigning unit 204 in FIG. 9) and the reliability calculated by the reliability calculating unit. Appropriate judgment The similarity between the means (for example, the appropriateness determination unit 206 in FIG. 9), the face image of the person to be collated determined to be appropriate by the appropriateness determination means, and the face image of the accumulator accumulated in the accumulation means The face image of the person to be collated is stored in the accumulator by comparing the collation unit (for example, the collation unit 222 in FIG. 10) that compares Similarity determination means (for example, similarity determination unit 233 in FIG. 10) for determining whether or not the face image of the person to be collated is the face image of the accumulator by the similarity determination means. In the case where it is determined that there is, it includes notification means (for example, the communication unit 224 in FIG. 10) for notifying that the person to be collated is the accumulator.

前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段(例えば、図9の角度推定部205)と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。   Based on the reliability calculated by the reliability calculation unit, an angle estimation unit (for example, the angle estimation unit 205 in FIG. 9) that estimates an angle of the face image with respect to the imaging device, and the angle estimation unit estimates the angle. Based on the angle of the face image with respect to the imaging device, it can be determined whether or not the face image of the person to be collated is appropriate.

前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段(例えば、図10の特徴量抽出部231)とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。   A feature amount extraction unit (for example, a feature amount extraction unit 231 in FIG. 10) that extracts a feature amount from the face image of the person to be verified can be further included, and the acquisition unit includes the acquisition unit. The similarity is calculated using the feature amount between the face image of the person to be collated acquired by the above and the face image of the registrant accumulated in the accumulating unit, and the face image of the person to be collated acquired by the acquiring unit And the face image of the registrant stored in the storage means can be collated.

本発明の一側面の監視方法は、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップ(例えば、図13のステップS1)と、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップ(例えば、図13のステップS2)と、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップ(例えば、図13のステップS4)と、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップ(例えば、図13のステップS5)と、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップ(例えば、図13のステップS7)と、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップ(例えば、図13のステップS21)と、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップ(例えば、図13のステップS24)と、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ(例えば、図13のステップS25)と、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップ(例えば、図13のステップS28)とを含む。   The monitoring method according to one aspect of the present invention includes an accumulation step of accumulating the face image as an accumulator face image in an accumulator database in the accumulation unit, and an imaging step of capturing an image in the imaging unit (for example, FIG. 13 step S1), and a face image extraction step (for example, step S2 in FIG. 13) for extracting the face image of the person to be collated from the image captured by the image capturing step in the face image extracting means. An organ extracting step (for example, step S4 in FIG. 13) for extracting a part of each organ constituting the face from the face image of the person to be collated in the organ extracting means, and the organ in the reliability calculating means. A reliability calculation step (for example, step S5 in FIG. 13) for calculating the reliability of the organ extracted by the processing of the extraction step; An appropriate determination step for determining whether or not the face image of the person to be collated is appropriate based on the reliability calculated by the process of the reliability calculation step (for example, step S7 in FIG. 13). And an acquisition step (for example, step S21 in FIG. 13) of acquiring the face image of the person to be verified that is determined to be appropriate by the process of the appropriateness determination step in the acquisition unit, and the acquisition in the verification unit A collation step (for example, step S24 in FIG. 13) for calculating and collating the similarity between the face image of the person to be collated acquired by the processing of the step and the face image of the accumulator accumulated in the accumulating unit; The face image of the person to be collated is obtained by comparing the similarity, which is the collation result in the collation process, with a predetermined threshold value in the similarity determination unit. The similarity determination step (for example, step S25 in FIG. 13) for determining whether or not the face image of the accumulator is obtained, and the face image of the person to be collated is processed by the similarity determination step in the notification means. And a notification step (for example, step S28 in FIG. 13) for notifying that the person to be collated is the accumulator when it is determined that the face image is the accumulator.

図1は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。   FIG. 1 is a diagram showing a configuration of an embodiment of a game shop monitoring system according to the present invention.

遊技店1−1乃至1−nは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店1−1乃至1−nは、系列店舗または生体情報管理センタや第3者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店1−1乃至1−nは、生体情報管理バス6および第3者遊技店管理バス7により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網8,9を介して、相互にそれぞれ生体情報、および第3者遊技店管理情報を授受している。尚、以降において、遊技店1−1乃至1−nのそれぞれについて、特に区別する必要がない場合、単に、遊技店1と称するものとし、その他の構成についても同様に称するものとする。   The game stores 1-1 to 1-n are so-called pachinko stores, pachislot stores, or casino stores. These amusement stores 1-1 to 1-n are affiliated stores or member stores of the biometric information management center or the third party amusement store management center, and stores that need to manage a plurality of stores in an integrated manner. It is. The game stores 1-1 to 1-n are connected by a biological information management bus 6 and a third-party game store management bus 7, and the public communication line networks 8 and 9 represented by the bus and the Internet are used. Via each other, biological information and third-party amusement store management information are exchanged. In the following description, when there is no particular need to distinguish each of the game stores 1-1 to 1-n, the game store 1 is simply referred to, and the other configurations are also referred to in the same manner.

生体情報管理バス6は、主に各遊技店1の生体情報認識装置21により管理される生体情報を流通させるための伝送路として機能する。また、第3者遊技店管理バス7は、主に各遊技店1の媒体貸出管理装置27により管理される媒体貸出管理情報を流通させるための伝送路として機能する。   The biometric information management bus 6 mainly functions as a transmission path for distributing biometric information managed by the biometric information recognition device 21 of each game store 1. The third-party game store management bus 7 functions as a transmission path for distributing medium lending management information managed mainly by the medium lending management device 27 of each amusement store 1.

生体情報管理センタ2は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース(以降、DBとも称するものとする)3で管理されている登録遊技者DB252(図11)を各遊技店1により生成される未登録遊技者DB251(図11)に基づいて更新すると供に、更新した最新の登録遊技者DB252を各遊技店1の生体情報認識装置21に対して配信する。   The biometric information management center 2 is a server used by a business operator who manages and operates the biometric information management center, and is a registered player DB 252 (hereinafter referred to as DB) 3 managed by a biometric information management database (hereinafter also referred to as DB). 11) is updated based on the unregistered player DB 251 (FIG. 11) generated by each gaming store 1, and the updated latest registered player DB 252 is updated to the biometric information recognition device 21 of each gaming store 1. And deliver.

第3者遊技店管理センタ4は、第3者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第3者遊技店管理データベース(DB)5で管理されている媒体貸出管理情報からなるDBを各遊技店1より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店1の媒体貸出管理装置27に対して配信する。   The third-party amusement store management center 4 is a server used by a business operator that manages and operates the third-party amusement store management center, and the medium lending management managed by the third-party amusement store management database (DB) 5 In addition to updating the information DB based on the information supplied from each game store 1, the updated latest medium lending management information is distributed to the medium lending management device 27 of each game store 1.

生体情報認識装置21は、カメラ38−1乃至38−m、入口カメラ40−1乃至40−p、および店内カメラ41−1乃至41−qにより撮像された画像より画像処理ユニット39−1乃至39−(m+p+q)により抽出されて、生体情報バス31を介して供給されてくる顔画像の情報に基づいて、生体情報データベース22に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末20に通知したり、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などからなる表示部23に表示する。また、生体情報データベース22に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置21は、生体情報管理データベース3にアクセスし、未登録者として未登録遊技者DB251に登録する。   The biometric information recognition apparatus 21 includes image processing units 39-1 to 39 based on images captured by the cameras 38-1 to 38-m, the entrance cameras 40-1 to 40-p, and the in-store cameras 41-1 to 41-q. Based on the face image information extracted by − (m + p + q) and supplied via the biometric information bus 31, the face image registered in advance in the biometric information database 22 is collated. The store visitor's visit is notified to the portable terminal 20 or displayed on the display unit 23 such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display). Further, when the face image registered in the biometric information database 22 is collated and does not match, the biometric information recognition device 21 accesses the biometric information management database 3 and registers it in the unregistered player DB 251 as an unregistered person. .

遊技店管理装置24は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス30を介して遊技台36−1乃至36−mの動作を監視している。遊技店管理装置24は、遊技台36の出玉もしくはメダルの払い出しの情報、各遊技台36−1乃至36−mの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部25に表示する。遊技店管理装置24は、計数機35、遊技台36−1乃至36−m、および遊技台周辺端末37−1乃至37−mのそれぞれより供給されてくる情報を、それぞれを識別する識別情報(例えば、遊技台番号)とを対応付けて遊技台管理データベース26により管理する。   The game store management device 24 is a so-called hall computer, and monitors the operations of the game machines 36-1 to 36-m via the game store management information bus 30. The game store management device 24 determines a predetermined amount according to the monitoring status such as information on the payout of the game table 36 or the payout of medals, the call information of the players on the game tables 36-1 to 36-m, or the occurrence of an error. The execution result is executed, and the execution result is displayed on the display unit 25 such as a CRT or LCD. The game store management device 24 identifies information supplied from the counter 35, the game machines 36-1 to 36-m, and the game machine peripheral terminals 37-1 to 37-m, respectively. For example, it is managed by the gaming machine management database 26 in association with the gaming machine number.

媒体貸出管理装置27は、精算販売機33、および貸出機34からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース29を用いて管理すると供に、媒体貸出管理データベース29に登録されている媒体貸出管理情報を更新する際、その更新情報を、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4に送る。さらに、媒体貸出管理装置27は、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース29に蓄積させる。   The medium lending management device 27 manages the medium lending management information of the rented game media using the medium lending management database 29 based on the information from the payment machine 33 and the lending machine 34, and also the medium lending management database. When the medium lending management information registered in 29 is updated, the updated information is sent to the third party amusement store management center 4 via the third party amusement store management bus 7 and the public communication line network 9. Further, the medium lending management device 27 acquires the medium lending management information supplied by the third party amusement store management center 4 via the third party amusement store management bus 7 and the public communication line network 9, and manages the medium lending management. Store in the database 29.

貸出機34は、遊技者が遊技台36で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機34は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置27に供給する。これにより、媒体貸出管理装置27は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース29に登録する。   The lending machine 34 lends a number of game media according to the amount when the player accepts a predetermined amount by cash or a prepaid card when playing on the gaming table 36. At this time, the lending machine 34 supplies information on the number of lent gaming media to the medium lending management device 27 together with information such as the accepted cash and the remaining number of prepaid cards. Thereby, the medium lending management device 27 registers information on the number of lent gaming media in the medium lending management information database 29 together with information such as the received cash and the remaining number of prepaid cards.

精算販売機33は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機33は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置27に供給する。また、精算販売機33は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機33は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置27に供給する。   The checkout machine 33 sells prepaid cards with a frequency for borrowing a ball. At this time, the checkout machine 33 supplies the frequency of the prepaid card sold and the amount paid to the medium lending management device 27. Further, the settlement vending machine 33 settles and pays out cash based on the remaining number of game media lent as a frequency such as a prepaid card. At this time, the checkout machine 33 supplies the remaining number of prepaid cards and the amount of cash refunded to the medium lending management device 27.

計数機35は、遊技者が遊技台36により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。   The counter 35 counts the number of game media acquired by the player playing on the game table 36, and outputs the counting result as a magnetic card or a receipt.

遊技台36−1乃至36−mは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。   The game machines 36-1 to 36-m execute a game when a predetermined operation is performed by the player, and pay out a game ball or a medal according to a so-called small hit or big hit.

遊技台周辺端末37−1乃至37−mは、各遊技台36−1乃至36−mに対応して設けられている、いわゆる台間機であり、台間球貸機(原理的には、貸出機34と同様のもの)などが設けられている。また、遊技台周辺端末37は、遊技台36を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報(遊技台番号)と共に生体情報認識装置21に送信する。尚、図1においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ38−1乃至38−mが設けられている例が示されている。   The game console peripheral terminals 37-1 to 37-m are so-called pedestrian machines provided corresponding to the respective game machines 36-1 to 36-m. The same as the lending machine 34) is provided. Further, the gaming machine peripheral terminal 37 acquires biological information such as a face image of the player who plays the gaming machine 36 and transmits it to the biological information recognition device 21 together with the gaming machine identification information (game machine number). FIG. 1 shows an example in which cameras 38-1 to 38-m that acquire a player's face image are provided as a function of acquiring biometric information.

カメラ38−1乃至38−mは、例えば、図2で示されるように、各遊技台36−1乃至36−4のそれぞれの上部に設けられた台表示ランプ61−1乃至61−4の下部に図3で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。   For example, as shown in FIG. 2, the cameras 38-1 to 38-m are arranged below the table display lamps 61-1 to 61-4 provided on the respective upper sides of the game tables 36-1 to 36-4. As shown in FIG. 3, a face image may be taken so that the player can take an image within the reading range δ. Can be used.

また、カメラ38−1乃至38−mは、例えば、図4で示されるように、遊技台周辺端末37−1乃至37−4に凸部71−1乃至71−4を設け、図5で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。   Further, as shown in FIG. 4, the cameras 38-1 to 38-m are provided with convex portions 71-1 to 71-4 on the gaming machine peripheral terminals 37-1 to 37-4, as shown in FIG. As described above, it may be provided so that a player's face image can be captured within the reading range θ.

さらに、カメラ38−1乃至38−mは、例えば、図6で示されるように、遊技台36の中央部(遊技台36の盤面上)に設けるようにして、撮像するようにしてもよい。すなわち、図6の設置部81にカメラ38が設置されることにより、図7で示されるように、読取範囲φ内に遊技者を撮像する。   Further, for example, as shown in FIG. 6, the cameras 38-1 to 38-m may be provided at the center of the game table 36 (on the board surface of the game table 36) to take an image. That is, by installing the camera 38 in the installation unit 81 of FIG. 6, the player is imaged within the reading range φ as shown in FIG.

入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、遊技店1の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット39−(m+1)乃至39−(m+p+q)に供給する。   The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are installed at entrances and predetermined places in the store of the amusement store 1, and imaged units 39- (m + 1) to 39- (m + p + q).

入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、例えば、図8で示されるように設定される。図8は、遊技店1内の入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qの設置例を示している。   The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are set as shown in FIG. 8, for example. FIG. 8 shows an installation example of the entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q in the game store 1.

すなわち、図8においては、出入口112−1乃至112−3が設けられており、入口カメラ40−1乃至40−3は、それぞれの出入口112より入店してくる遊技者を撮像する。また、店内カメラ41−1乃至41−10は、島設備111−1乃至111−5のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備111は、両面に遊技台36が設置されており、すなわち、図中の島設備111を上下方向に挟むように設置されている。カメラ38、入口カメラ40および店内カメラ41は、いずれにおいてもパンチルトズーム機能を備えているため、図8で示されるように、店内カメラ41−1乃至41−10が配置されることにより、遊技台36で遊技する全遊技者が、店内カメラ41−1乃至41−10のいずれかで撮像できる。   That is, in FIG. 8, entrances 112-1 to 112-3 are provided, and the entrance cameras 40-1 to 40-3 image players who enter the store from each entrance and exit 112. Further, the in-store cameras 41-1 to 41-10 are set at positions at which both surfaces of the island facilities 111-1 to 111-5 can be imaged in a row. The island facilities 111 are provided with game machines 36 on both sides, that is, so as to sandwich the island facilities 111 in the vertical direction in the figure. Since the camera 38, the entrance camera 40, and the in-store camera 41 all have a pan / tilt / zoom function, the in-store cameras 41-1 to 41-10 are arranged as shown in FIG. All players who play at 36 can take an image with any of the in-store cameras 41-1 to 41-10.

さらに、店内カメラ40−aは、貸出機34の前に設けられており、店内カメラ40−bは、精算販売機33の前に設けられており、店内カメラ41−cは、計数機35の前に設けられており、それぞれ、貸出機34、精算販売機33、および計数機35を利用する遊技者を撮像することができる。   Further, the in-store camera 40-a is provided in front of the lending machine 34, the in-store camera 40-b is provided in front of the checkout machine 33, and the in-store camera 41-c is the counter of the counter 35. It is provided in front, and a player who uses the rental machine 34, the checkout machine 33, and the counter 35 can be imaged.

すなわち、図8で示されるように、遊技店1においては、来店する遊技者、遊技台36で遊技する遊技者、並びに、貸出機34、精算販売機33、および計数機35を利用する遊技者といった、遊技店1において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ38、入口カメラ40、および店内カメラ41が設置されている。   That is, as shown in FIG. 8, in the game store 1, a player who visits the store, a player who plays on the game stand 36, and a player who uses the lending machine 34, the checkout machine 33, and the counter 35. The camera 38, the entrance camera 40, and the in-store camera 41 are installed so that almost all of the actions that the player is supposed to take in the gaming store 1 can be monitored.

次に、図9を参照して、画像処理ユニット39の構成例について説明する。   Next, a configuration example of the image processing unit 39 will be described with reference to FIG.

画像取得部201は、カメラ38(または、入口カメラ40もしくは店内カメラ41)により撮像された画像を取得し、顔画像抽出部202に供給する。顔画像抽出部202は、画像取得部201より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して器官抽出部203および送信部207に供給する。   The image acquisition unit 201 acquires an image captured by the camera 38 (or the entrance camera 40 or the in-store camera 41) and supplies it to the face image extraction unit 202. The face image extraction unit 202 extracts a rectangular image composed of the face image from the image supplied from the image acquisition unit 201 using a pattern such as the arrangement of the parts constituting the face, and sends it to the organ extraction unit 203 and the transmission unit 207. Supply.

器官抽出部203は、矩形状の顔画像より顔を構成する器官、すなわち、左右の目、鼻、口、または耳などの器官を抽出し、器官スコア付与部204に供給する。より具体的には、器官抽出部203は、顔画像のうち、これらの器官の輪郭を構成する部位に設定される器官特徴点を抽出し、抽出した器官特徴点の情報を器官毎に分類し、器官の情報として器官スコア付与部204に供給する。この器官特徴点は、器官毎に求めるべき位置と点数が予め設定されている。すなわち、器官特徴点は、器官を構成する輪郭に沿って配置されており、例えば、目の場合、上まぶたの中央位置、下まぶたの中央位置、および目じりといった具合に目という器官の輪郭を構成する所定の位置に、所定の点数だけ特定されている。そして、器官抽出部203は、このように設定された器官特徴点のうち、画像より各器官毎に読み出すことができた器官特徴点の位置と点数の情報を抽出することで、各器官を抽出する。   The organ extraction unit 203 extracts organs constituting the face from the rectangular face image, that is, organs such as left and right eyes, nose, mouth, and ears, and supplies them to the organ score assigning unit 204. More specifically, the organ extraction unit 203 extracts organ feature points set in parts constituting the outline of these organs from the face image, and classifies the extracted organ feature point information for each organ. , And supplied to the organ score assigning unit 204 as organ information. As for the organ feature points, positions and points to be obtained for each organ are set in advance. In other words, organ feature points are arranged along the contours that make up the organ. For example, in the case of the eye, the central feature of the eye is configured such as the center position of the upper eyelid, the center position of the lower eyelid, and the eyelid. A predetermined number of points are specified at a predetermined position. Then, the organ extracting unit 203 extracts each organ by extracting information on the position and the number of organ feature points that can be read for each organ from the image among the organ feature points set in this way. To do.

器官スコア付与部204は、器官抽出部203より供給されてくる器官の情報である、器官特徴点の情報に基づいて、各器官毎にスコアを付与し、その情報を角度推定部205に供給する。すなわち、上述したように、器官抽出部203により抽出される器官の情報は、設定された器官特徴点のうち、画像上で特定することができた器官特徴点と、その位置の情報である。このため、器官スコア付与部204は、各器官に設定されている器官特徴点の総合計点数に対する、顔画像から特定することができた器官特徴点の点数の割合に基づいて、各器官毎にスコアを計算し付与する。尚、顔を構成する器官のうち、目、および口については、顔画像を認識する上で適正であるか否かを判断するのに大きな要素となるため、たとえば、目および口については、他の器官よりも高いスコアとなるように重みをつけるようにしても良い。また、計算速度や負荷を低減させるために、器官として、目、および口のみを扱うようにしてもよい。   The organ score assigning unit 204 assigns a score to each organ based on the organ feature point information, which is information on the organ supplied from the organ extracting unit 203, and supplies the information to the angle estimating unit 205. . That is, as described above, the organ information extracted by the organ extraction unit 203 is information on the organ feature points that can be specified on the image among the set organ feature points and the positions thereof. For this reason, the organ score assigning unit 204 is based on the ratio of the number of organ feature points that can be specified from the face image to the total number of organ feature points set for each organ. Calculate and assign a score. Of the organs that make up the face, the eyes and mouth are a major factor in determining whether they are appropriate for recognizing the face image. The weight may be set so that the score is higher than that of the organ. In order to reduce the calculation speed and load, only the eyes and mouth may be handled as organs.

角度推定部205は、器官毎に設定されたスコアに基づいて、抽出された顔画像となる顔の正対方向に対する撮像位置の角度を撮像角度として推定し、推定した撮像角度の情報と、器官毎に設定されたスコアの情報を適正判定部206に供給する。   Based on the score set for each organ, the angle estimation unit 205 estimates the angle of the imaging position with respect to the face-to-face direction as the extracted face image as the imaging angle, and information on the estimated imaging angle and the organ Information on the score set for each time is supplied to the appropriateness determination unit 206.

適正判定部206は、角度推定部205より供給されてくる器官毎に設定されたスコアと撮像角度の情報に基づいて、抽出された顔画像が後段の顔画像の類似度計算処理に用いるのに適正なものであるか否かを判定し、適正であるとき送信部207を制御して、顔画像を後段の生体情報認識装置21に供給する。より具体的には、適正判定部206は、推定された撮像角度が正対方向に近い所定の範囲内であって、かつ、各器官に設定されたスコアの合計スコアが所定値よりも高いか否かに基づいて、顔画像が類似度計算処理に用いるのに適正な顔画像であるか否かを判定する。送信部207は、適正判定部206の判定結果に基づいて、顔画像を生体情報認識装置21に送信する。   The appropriateness determination unit 206 uses the extracted face image for the similarity calculation processing of the subsequent face image based on the score and imaging angle information set for each organ supplied from the angle estimation unit 205. It is determined whether or not it is appropriate, and when it is appropriate, the transmission unit 207 is controlled to supply the face image to the biological information recognition apparatus 21 at the subsequent stage. More specifically, the appropriateness determination unit 206 determines whether the estimated imaging angle is within a predetermined range close to the facing direction and the total score set for each organ is higher than a predetermined value. Whether or not the face image is an appropriate face image to be used for the similarity calculation processing is determined based on whether or not the face image is used. The transmission unit 207 transmits the face image to the biological information recognition device 21 based on the determination result of the appropriateness determination unit 206.

次に、図10を参照して、生体情報認識装置21の構成例について説明する。   Next, a configuration example of the biological information recognition device 21 will be described with reference to FIG.

顔画像取得部221は、画像処理ユニット39より供給される顔画像を取得し、照合部222に供給する。照合部222は、顔画像取得部221により取得された顔画像と、生体情報DB22に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。また、照合部222は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。   The face image acquisition unit 221 acquires the face image supplied from the image processing unit 39 and supplies it to the collation unit 222. The collation unit 222 collates the face image acquired by the face image acquisition unit 221 with the registered player's face image registered in advance in the biometric information DB 22, and if there is a face image that is a candidate with a high degree of similarity. The face images up to the third candidate are displayed on the display unit 23 as the matching result. Further, the collation unit 222 supplies the supplied face image to the unregistered player database registration unit 223 when there is no face image that is a candidate with high similarity.

より詳細には、照合部222の特徴量抽出部231は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部232に供給する。類似度計算部232は、生体情報DB22に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部231より供給されてくる特徴量とを用いて、生体情報DB22に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部221より供給されてきた顔画像、および、類似度が上位3位までの顔画像を類似度判定部233に供給する。より具体的には、類似度計算部232は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。   More specifically, the feature amount extraction unit 231 of the matching unit 222 extracts a feature amount for identifying a face image, and supplies the feature amount together with the face image to the similarity calculation unit 232. The similarity calculation unit 232 extracts the feature amount of the registered player's face image registered in the biometric information DB 22 and uses the feature amount supplied from the feature amount extraction unit 231 to use the biometric information DB 22. The degree of similarity with the face images of all registered players registered in the face image is obtained, and the face images supplied from the face image acquisition unit 221 and the face images with the third highest degree of similarity are determined by the similarity degree determination unit. 233. More specifically, the similarity calculation unit 232, for example, based on various facial feature amounts such as the ratio between the distance between the eyes, the distance from the chin to the forehead, and the length from the chin to the nose, Each difference sum, average ratio, or ratio sum is obtained as the similarity.

類似度判定部233は、類似度計算部232より供給されてくる類似度を順次バッファ233aに蓄積し、上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、上位3位となる顔画像と類似度の情報を表示部23に供給して、表示させると供に、通信部224に供給する。また、類似度判定部233は、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似していない場合、顔画像取得部221より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。   The similarity determination unit 233 sequentially accumulates the similarities supplied from the similarity calculation unit 232 in the buffer 233a, and with respect to each of the similarities of the top three face images, When the similarity is compared with a predetermined threshold, and the registered face image that is ranked first is similar to the face image supplied from the face image acquisition unit 221 based on the comparison result (similarity When the similarity is higher than the predetermined threshold in the case of similarity indicating that the similarity is higher, or when the similarity is lower than the predetermined threshold in the case of similarity indicating that the similarity is lower as the similarity is lower. Information on the similarity between the face image and the top three is supplied to the display unit 23, and is supplied to the communication unit 224 when displayed. In addition, the similarity determination unit 233 compares the similarity between the face image ranked first and a predetermined threshold value, and the registered face image ranked first is compared with the face image acquisition unit 221 based on the comparison result. When the face image supplied is not similar, the face image supplied from the face image acquisition unit 221 is supplied to the unregistered player database registration unit 223.

未登録遊技者データベース登録部223は、照合部222より未登録であるとみなされて供給されてきた、顔画像を生体情報管理データベース3の未登録遊技者DB251に登録する。   The unregistered player database registration unit 223 registers the face image, which has been supplied as being unregistered by the verification unit 222, in the unregistered player DB 251 of the biometric information management database 3.

操作部225は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位3位となる、表示部23に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部224に供給する。通信部224は、モデムなどから構成され、操作部225からの操作信号に基づいて、選択された顔画像を携帯端末20に配信する。   The operation unit 225 includes buttons, a mouse, a keyboard, and the like. The operation unit 225 is operated when any one of the face images displayed on the display unit 23 with the above-mentioned similarity ranked in the top three is selected. Is supplied to the communication unit 224. The communication unit 224 includes a modem or the like, and distributes the selected face image to the mobile terminal 20 based on an operation signal from the operation unit 225.

尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部233は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。   Here, for example, the similarity indicates a higher value as it is closer to the face image registered as a registered player as indicated by the ratio sum, and the similarity is a value higher than a predetermined threshold value. In this case, an example will be described in which it is determined that the face image of the registered player corresponding to the similarity is. However, for example, when the similarity is expressed as a difference sum in each feature amount between the captured face image and the face image registered as the registered player, the similarity determination unit 233 determines that the similarity is a threshold value. If it is smaller than that, the captured face image is regarded as a registered player's face image, or in the case of an average ratio or the like, it is greater than or equal to a predetermined value in the range of 0 to 1 and close to 1. If it is a value, it can be considered that they are the same person.

データベース管理部226は、生体情報管理センタ2より新たな登録遊技者データベース252(図11)が配信されてくると、新たな登録遊技者データベース252に基づいて、生体情報DB22を更新する。   When a new registered player database 252 (FIG. 11) is distributed from the biometric information management center 2, the database management unit 226 updates the biometric information DB 22 based on the new registered player database 252.

次に、図11を参照して、生体情報管理センタ2の構成例について説明する。   Next, a configuration example of the biological information management center 2 will be described with reference to FIG.

生体情報管理センタ2は、DB配信部241、DB更新部242、およびDB更新判定部243から構成されており、生体情報管理DB3に格納されている登録遊技者DB252を、未登録遊技者DB251に基づいて、更新する。より具体的には、DB更新判定部243は、時刻情報を発生するRTC(Real Time Clock)243aを内蔵しており、その内蔵されているRTC243aに基づいて、所定期間が経過すると、生体情報管理DB3にアクセスし、未登録遊技者DB251に新たな未登録遊技者が登録されたか否かを判定する。   The biometric information management center 2 includes a DB distribution unit 241, a DB update unit 242, and a DB update determination unit 243. The registered player DB 252 stored in the biometric information management DB 3 is transferred to the unregistered player DB 251. Update based on. More specifically, the DB update determination unit 243 has a built-in RTC (Real Time Clock) 243a that generates time information, and when a predetermined period has passed based on the built-in RTC 243a, the biological information management DB3 is accessed and it is determined whether or not a new unregistered player is registered in the unregistered player DB 251.

DB更新判定部243は、未登録遊技者DB251に新たに未登録遊技者が登録されていた場合、特徴量抽出部243bを制御して、未登録遊技者DB251に登録されている未登録遊技者の顔画像より特徴量を抽出させ、類似度計算部243cを制御して、未登録遊技者DB251に登録されている未登録遊技者の顔画像のうちの1つを選択し、他の未登録遊技者の顔画像との類似度を計算させる。次に、DB更新判定部243は、類似度判定部243dを制御して、類似度計算部243cにより計算された類似度と所定の閾値との比較に基づいて、他の未登録遊技者の顔画像のそれぞれについて、選択した1つの未登録遊技者の顔画像と類似しているか否かを判定させる。そして、DB更新判定部243は、回数判定部243eを制御して、選択した1つの未登録遊技者の顔画像と類似している、その他の未登録遊技者の顔画像が所定個数以上であるか否かを判定させることにより、類似度が所定の閾値を越えた回数が所定回数以上であるか否かを判定させ、所定回数以上であるとき、その旨をDB更新部242に通知する。DB更新部242は、未登録遊技者DB251にアクセスし、登録されている未登録遊技者のうち、所定回数以上登録されている未登録遊技者を読み出して、登録遊技者DB252に登録して、更新する。さらに、DB更新部242は、登録遊技者DB252を更新すると、更新したことをDB配信部241に通知する。   When an unregistered player is newly registered in the unregistered player DB 251, the DB update determination unit 243 controls the feature amount extraction unit 243 b to register the unregistered player registered in the unregistered player DB 251. The feature amount is extracted from the face image of the player, and the similarity calculation unit 243c is controlled to select one of the face images of the unregistered player registered in the unregistered player DB 251 and other unregistered players. The similarity with the player's face image is calculated. Next, the DB update determination unit 243 controls the similarity determination unit 243d, and based on the comparison between the similarity calculated by the similarity calculation unit 243c and a predetermined threshold, the face of another unregistered player It is determined whether each of the images is similar to the face image of the selected one unregistered player. Then, the DB update determination unit 243 controls the number determination unit 243e so that the number of other unregistered player face images that are similar to the selected one unregistered player face image is equal to or greater than a predetermined number. By determining whether or not the number of times that the degree of similarity has exceeded a predetermined threshold is equal to or greater than a predetermined number of times, if it is equal to or greater than the predetermined number of times, the DB update unit 242 is notified accordingly. The DB update unit 242 accesses the unregistered player DB 251, reads out unregistered players who have been registered a predetermined number of times or more, and registers them in the registered player DB 252. Update. Further, when the registered player DB 252 is updated, the DB update unit 242 notifies the DB distribution unit 241 that it has been updated.

DB配信部241は、DB更新部242より登録遊技者DB252が更新されたことを通知されると、生体情報管理DB3にアクセスし、登録遊技者DB252を読み出して、各遊技店1の生体情報認識装置21に配信する。   When notified from the DB update unit 242 that the registered player DB 252 has been updated, the DB distribution unit 241 accesses the biometric information management DB 3 and reads the registered player DB 252 to recognize the biometric information of each gaming store 1. Delivered to the device 21.

次に、図12を参照して、携帯端末20の構成例について説明する。   Next, a configuration example of the mobile terminal 20 will be described with reference to FIG.

通信部271は、モデムなどで構成されており、遊技店1内の無線通信網を介して生体情報認識装置21との間でデータを授受する。また、通信部271は、生体情報認識装置21より配信されてくる、画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部272に供給する。   The communication unit 271 is configured by a modem or the like, and exchanges data with the biometric information recognition device 21 via a wireless communication network in the game store 1. In addition, the communication unit 271 acquires information indicating that a player with a facial image similar to the facial image supplied from the image processing unit 39, which is distributed from the biometric information recognition device 21, has visited the store. 272.

画像処理部272は、通信部271より供給されてくる画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部273に表示する画像を生成すると供に、表示部273に表示させる。   The image processing unit 272 is a display constituted by an LCD or the like based on information indicating that a player with a face image similar to the face image supplied from the image processing unit 39 supplied from the communication unit 271 has visited the store. In addition to generating an image to be displayed on the unit 273, the image is displayed on the display unit 273.

次に、図13のフローチャートを参照して、登録遊技者来店監視処理について説明する。   Next, the registered player visit monitoring process will be described with reference to the flowchart of FIG.

ステップS1において、入口カメラ40は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット39に供給する。画像処理ユニット39の画像取得部201は、供給された画像を取得し、顔画像抽出部202に供給する。   In step S <b> 1, the entrance camera 40 captures an image of the installed range and supplies the captured image to the image processing unit 39. The image acquisition unit 201 of the image processing unit 39 acquires the supplied image and supplies it to the face image extraction unit 202.

ステップS2において、顔画像抽出部202は、供給された画像より遊技者の顔画像を抽出し、器官抽出部203、および送信部207に供給する。より具体的には、顔画像抽出部202は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、器官抽出部203、および送信部207に供給する。   In step S <b> 2, the face image extraction unit 202 extracts a player's face image from the supplied image and supplies it to the organ extraction unit 203 and the transmission unit 207. More specifically, the face image extraction unit 202 extracts a face image from, for example, an arrangement of a characteristic part such as an eye or a nose, where the skin is exposed from the color of the captured image. To the organ extracting unit 203 and the transmitting unit 207.

ステップS3において、器官抽出部203は、顔画像抽出部202より顔画像が抽出されてきているか否かを判定し、顔画像が供給されない場合、処理は、ステップS1に戻る。すなわち、顔画像が抽出されるまで、ステップS1乃至S3の処理が繰り返される。そして、ステップS3において、顔画像が抽出された場合、処理は、ステップS4に進む。   In step S3, the organ extraction unit 203 determines whether or not a face image has been extracted from the face image extraction unit 202. If no face image is supplied, the process returns to step S1. That is, the processes in steps S1 to S3 are repeated until a face image is extracted. If a face image is extracted in step S3, the process proceeds to step S4.

ステップS4において、器官抽出部203は、供給されてきた顔画像より器官を抽出し、抽出した器官の情報を器官スコア付与部204に供給する。より詳細には、器官抽出部203は、例えば、図14の3種類の顔画像のそれぞれの黒点で示されるように、器官特徴点を検出する。すなわち、図14においては、左から図中左を向いた顔画像、下を向いた顔画像、および図中左を向いて、かつ、図中右側の目が髪の毛により隠れている顔画像の例が示されている。図14の中央で示されるように、例えば、目の器官特徴点は、左右それぞれ11点ずつとされている。すなわち、正面を向いている状態であれば、目の器官特徴点は、11点検出される。しかしながら、図14の左部で示されるように、図中左方向を向いている顔画像の場合、左側の目は、顔が図中の左方向を向いたため、目の器官の輪郭を構成する器官特徴点の一部を検出することができず、6点の器官特徴点のみが抽出されている。この場合、器官抽出部203は、抽出した器官特徴点が図中左側の目の右側部分の6点であることを左側の目の器官の情報として抽出する。従って、図14の左部の場合、右側の目は、11点であり、口は10点となる。   In step S <b> 4, the organ extracting unit 203 extracts an organ from the supplied face image, and supplies the extracted organ information to the organ score assigning unit 204. More specifically, the organ extraction unit 203 detects organ feature points as indicated by the black dots of the three types of face images in FIG. 14, for example. That is, in FIG. 14, examples of a face image facing from the left to the left in the figure, a face image facing down in the figure, and a face image facing from the left in the figure and the right eye in the figure being hidden by the hair. It is shown. As shown in the center of FIG. 14, for example, there are 11 organ feature points on the left and right. In other words, if the face is facing the front, eleven organ feature points are detected. However, as shown in the left part of FIG. 14, in the case of a face image facing in the left direction in the figure, the left eye constitutes the outline of the organ of the eye because the face is directed in the left direction in the figure. Some of the organ feature points cannot be detected, and only 6 organ feature points are extracted. In this case, the organ extraction unit 203 extracts, as information on the left eye organ, that the extracted organ feature points are six points in the right part of the left eye in the figure. Therefore, in the case of the left part of FIG. 14, the right eye has 11 points and the mouth has 10 points.

同様に、図14の中央部においては、左右の目が11点であり、口が4点である。さらに、図14の右部においては、左側の目が6点であり、右側の目が7点であり、口が10点となる。   Similarly, in the central part of FIG. 14, the left and right eyes have 11 points and the mouth has 4 points. Further, in the right part of FIG. 14, the left eye has 6 points, the right eye has 7 points, and the mouth has 10 points.

ステップS5において、器官スコア付与部204は、器官抽出部203より供給されてくる各器官の器官特徴点の抽出位置と点数の情報を、抽出された器官の情報として取得すると、各器官の器官特徴点の抽出点数に基づいて、スコアを付与し、取得した情報と共に角度推定部205に供給する。   In step S5, when the organ score assigning unit 204 acquires the extracted information of the organ feature point and the score of each organ supplied from the organ extracting unit 203 as the extracted organ information, the organ feature of each organ is acquired. Based on the number of extracted points, a score is assigned and supplied to the angle estimation unit 205 together with the acquired information.

すなわち、例えば、図14の左部の顔画像の場合、左側の目は、器官特徴点の抽出点数は、6点となるので、例えば、各器官毎の満点スコアを100点としたとき、スコアを55(≒100×6/11)に設定する。同様に右側の目のスコアは、100点に設定され、口は、器官特徴点の全点数が12点であるとすれば、スコアは、83(≒100×10/12)に設定される。   That is, for example, in the case of the left face image of FIG. 14, the left eye has 6 extracted organ feature points. For example, when the perfect score for each organ is 100 points, the score Is set to 55 (≈100 × 6/11). Similarly, if the score of the right eye is set to 100 points, and the mouth has a total of 12 organ feature points, the score is set to 83 (≈100 × 10/12).

また、図14の中央部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、100点、100点、および33点に設定される。同様に、図14の右部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、55点、64点、および83点に設定される。   In the case of the face image in the center of FIG. 14, the scores of the left eye, the right eye, and the mouth are set to 100 points, 100 points, and 33 points, respectively. Similarly, in the case of the right face image in FIG. 14, the scores of the left eye, the right eye, and the mouth are set to 55 points, 64 points, and 83 points, respectively.

すなわち、予め設定された器官特徴点は、各器官の輪郭を形成するものであるので、全ての器官特徴点が抽出されれば、正確に器官の輪郭が再現されるものと考えられる。したがって、器官スコア付与部204により付与されるスコアは、予め設定された器官特徴点数に対する抽出点数の割合であることから、顔画像内における各器官の信頼度であるといえる。したがって、スコアが高いほど、各器官が正しく認識され易いと考えることができるため、類似度計算処理には適していると考えることができる。   That is, since the organ feature points set in advance form the contour of each organ, it is considered that the contour of the organ is accurately reproduced if all the organ feature points are extracted. Therefore, since the score given by the organ score assigning unit 204 is the ratio of the number of extracted points to the preset number of organ feature points, it can be said that the score is the reliability of each organ in the face image. Therefore, it can be considered that the higher the score is, the easier it is for each organ to be recognized correctly, so that it can be considered suitable for the similarity calculation process.

ステップS6において、角度推定部205は、顔画像の正対位置からの撮像角度を推定し、推定した撮像角度と、各器官のスコアの情報を適正判定部206に供給する。ここでいう、正対とは、被写体である顔画像に対して正面に対向する位置をいう。すなわち、角度推定部205は、予め撮像角度毎に、各器官の器官特徴点の抽出点数とその分布を記憶しているため、実際に抽出された器官特徴点の抽出点数とその分布から撮像角度を推定する。例えば、図14の左部の顔画像の場合、左側の目の輪郭を構成する器官特徴点のうち、左側の5点が抽出できない状態になっており、右目が全て抽出されており、さらに、口については、左側の2点が抽出できない状態となっている。角度推定部205は、これらの器官特徴点の抽出点数とその分布から撮像角度を推定する。   In step S <b> 6, the angle estimation unit 205 estimates the imaging angle from the face-to-face position of the face image, and supplies the estimated imaging angle and information on the score of each organ to the appropriateness determination unit 206. As used herein, the term “facing” refers to the position facing the front of the face image that is the subject. That is, since the angle estimation unit 205 stores in advance the number of extracted organ feature points of each organ and its distribution for each imaging angle, the imaging angle is calculated from the number of extracted organ feature points and their distribution. Is estimated. For example, in the case of the left face image of FIG. 14, among the organ feature points constituting the left eye contour, the left five points cannot be extracted, and the right eye is all extracted, For the mouth, the two points on the left cannot be extracted. The angle estimation unit 205 estimates the imaging angle from the number of extracted organ feature points and the distribution thereof.

ステップS7において、適正判定部206は、供給されてきた撮像角度と各器官のスコアの情報に基づいて、抽出された顔画像が、後述する類似度計算処理に適した顔画像であるか否かを判定する。より詳細には、適正判定部206は、供給されてきた顔画像の撮像角度が、水平方向、および垂直方向に対して顔画像の人物の顔の正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計スコアが所定の閾値よりも高いとき、適正であるものとみなす。   In step S7, the appropriateness determination unit 206 determines whether or not the extracted face image is a face image suitable for similarity calculation processing described later based on the supplied imaging angle and score information of each organ. Determine. More specifically, the appropriateness determination unit 206 determines that the imaging angle of the supplied face image is within a predetermined angle in the vicinity of the face-to-face direction of the human face of the face image with respect to the horizontal direction and the vertical direction. And, when the total score of the scores for each organ is higher than a predetermined threshold value, it is regarded as appropriate.

ここでは、類似度計算処理に適した顔画像であるか否かは、以下の条件に基づいて判定される。すなわち、器官毎のスコアが高くても、顔画像の撮像角度がある程度正対に近い所定の角度内ではない場合、各器官の形状の画像内での歪が大きいと考えられるため、推定された撮像角度が正対方向近傍の所定の角度内であることが第1の条件とされている。ただし、上述したように、正対方向近傍の角度からずれるほど、器官特徴点の抽出点数は減る傾向にあると考えることができるので、正対方向近傍の角度内でなければ、スコアも低い可能性が高いと考えられる。   Here, whether or not the face image is suitable for similarity calculation processing is determined based on the following conditions. That is, even if the score for each organ is high, if the imaging angle of the face image is not within a predetermined angle that is close to a certain degree, it is considered that there is a large distortion in the image of the shape of each organ. The first condition is that the imaging angle is within a predetermined angle near the facing direction. However, as described above, it can be considered that the number of extracted organ feature points tends to decrease as the angle deviates from the angle near the facing direction, so the score may be low if the angle is not within the angle near the facing direction. It is considered that the nature is high.

さらに、撮像角度が正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計が所定の閾値よりも高いことが第2の条件とされる。すなわち、髪の毛などにより器官の輪郭が隠れたりすると、撮像角度が正対方向の近傍の所定の角度内であっても、各器官の情報の信頼度が低いことになる。   Furthermore, the second condition is that the imaging angle is within a predetermined angle near the facing direction, and the total score for each organ is higher than a predetermined threshold. That is, when the outline of an organ is hidden by hair or the like, the reliability of information on each organ is low even if the imaging angle is within a predetermined angle near the facing direction.

そこで、これらの2つの条件を満たす顔画像について、適正判定部206は、類似度計算処理に対して適正な顔画像であると判定する。   Therefore, the appropriateness determination unit 206 determines that the face image satisfying these two conditions is an appropriate face image for the similarity calculation process.

例えば、図14の左部の顔画像の場合、器官毎のスコアは、左右の目と口のスコアの合計である238(=55+100+83)となる。また、図14の中央部の場合、233(=100+100+33)となる。さらに、図14の右部の場合、152(=55+64+33)となる。したがって、撮像角度が正対方向近傍の所定の角度内であった場合、スコアの閾値が200であるとき、図14の左部、および中央部の顔画像は、適正な顔画像であるものとみなされるが、図14の右部においては、適正な顔画像とみなされないことになる。尚、当然のことながら、閾値の設定は、以上のスコアに限るものではなく、他の閾値であってもよいものである。   For example, in the case of the left face image of FIG. 14, the score for each organ is 238 (= 55 + 100 + 83), which is the sum of the left and right eye and mouth scores. In the case of the central portion of FIG. 14, 233 (= 100 + 100 + 33) is obtained. Furthermore, in the case of the right part of FIG. 14, 152 (= 55 + 64 + 33). Therefore, when the imaging angle is within a predetermined angle in the vicinity of the facing direction, when the threshold value of the score is 200, the left and center face images in FIG. 14 are appropriate face images. Although it is considered, in the right part of FIG. 14, it is not regarded as a proper face image. As a matter of course, the threshold value setting is not limited to the above score, and other threshold values may be used.

ステップS7において、抽出された顔画像が類似度計算処理に対して適正であると判定された場合、ステップS8において、適正判定部206は、送信部207を制御し、顔画像抽出部202より供給されてきた顔画像を生体情報認識装置21に送信する。この際、送信部207は、カメラ38、入口カメラ40、または店内カメラ41のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置21に送信する。   When it is determined in step S7 that the extracted face image is appropriate for the similarity calculation process, in step S8, the appropriateness determination unit 206 controls the transmission unit 207 to be supplied from the face image extraction unit 202. The face image thus transmitted is transmitted to the biometric information recognition device 21. At this time, the transmitting unit 207 adds information such as a camera ID for identifying each of the camera 38, the entrance camera 40, or the in-store camera 41 and information on transmission time to the face image and transmits it to the biological information recognition apparatus 21. .

一方、ステップS7において、抽出された顔画像が類似度計算処理に対して適正なものではないと判定された場合、ステップS8の処理がスキップされて、処理は、ステップS1に戻る。   On the other hand, when it is determined in step S7 that the extracted face image is not appropriate for the similarity calculation process, the process of step S8 is skipped, and the process returns to step S1.

すなわち、画像処理ユニット39においては、抽出された顔画像のうち、撮像角度が正対方向近傍の所定の角度の範囲内であって、スコアの合計が所定の閾値よりも大きい顔画像のみが、生体情報認識装置21に供給される。結果として、後述する類似度計算処理における精度を向上させることが可能になると共に、精度の低い顔画像を用いた類似度計算処理をする必要がなくなるので、処理負荷が低減し、処理を高速化することが可能となる。   That is, in the image processing unit 39, among the extracted face images, only the face images whose imaging angle is within a predetermined angle range in the vicinity of the facing direction and whose total score is larger than a predetermined threshold value, The biometric information recognition device 21 is supplied. As a result, it is possible to improve accuracy in similarity calculation processing described later, and it is not necessary to perform similarity calculation processing using a face image with low accuracy, thereby reducing processing load and speeding up processing. It becomes possible to do.

尚、以上においては、器官抽出として目、および口のみを用いた例について説明してきたが、当然のことながら、他の器官、すなわち、鼻、および耳といった情報を用いるようにしてもよいものである。しかしながら、顔画像を用いた類似度計算処理においては、目、および口の信頼度が他の器官よりも類似度計算処理の精度に対しての影響が大きいため、目、および口以外の器官を用いる場合、目、および口のスコアに対する重みを大きくするようにしてもよい。また、類似度計算処理の精度に対しての影響が大きいため、逆に、計算による負荷を低減させるために、目、および口のみを用いるようにしてもよい。   In the above description, the example using only the eyes and the mouth has been described as the organ extraction. However, as a matter of course, information on other organs, that is, the nose and the ear may be used. is there. However, in similarity calculation processing using facial images, the reliability of the eyes and mouth has a greater effect on the accuracy of the similarity calculation processing than other organs. When used, the weights for the eye and mouth scores may be increased. Further, since the influence on the accuracy of the similarity calculation process is large, conversely, only the eyes and the mouth may be used in order to reduce the calculation load.

ステップS21において、生体情報認識装置21の顔画像取得部221は、顔画像を取得する。ステップS22において、顔画像取得部221は、供給された顔画像のうち、いずれか未処理の1つを抽出し、特徴量抽出部231に供給する。   In step S21, the face image acquisition unit 221 of the biological information recognition apparatus 21 acquires a face image. In step S <b> 22, the face image acquisition unit 221 extracts any unprocessed one of the supplied face images and supplies the extracted unprocessed one to the feature amount extraction unit 231.

ステップS23において、照合部222の特徴量抽出部231は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部232に供給する。   In step S23, the feature amount extraction unit 231 of the collation unit 222 extracts the feature amount from the supplied face image, and supplies the feature amount together with the face image to the similarity calculation unit 232.

ステップS24において、類似度計算部232は、類似度計算処理を実行する。   In step S24, the similarity calculation unit 232 executes similarity calculation processing.

ここで、図15のフローチャートを参照して、類似度計算処理について説明する。   Here, the similarity calculation processing will be described with reference to the flowchart of FIG.

ステップS51において、類似度計算部232は、生体情報DB22の登録遊技者DB252に登録されている顔画像のうち、未処理の1つの登録遊技者の顔画像を抽出し、処理対象に設定する。   In step S51, the similarity calculation unit 232 extracts a face image of one unprocessed registered player from the face images registered in the registered player DB 252 of the biometric information DB 22, and sets it as a processing target.

ステップS52において、類似度計算部232は、処理対象として設定した登録遊技者DB252に登録されている顔画像より、前記特徴量抽出部231より供給されてきた特徴量と同様の特徴量を抽出する。   In step S52, the similarity calculation unit 232 extracts a feature amount similar to the feature amount supplied from the feature amount extraction unit 231 from the face image registered in the registered player DB 252 set as the processing target. .

ステップS53において、類似度計算部232は、特徴量抽出部231より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、生体情報DB22に登録されている登録遊技者DB252に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップS54において、計算結果である登録遊技者DB252に登録されている顔画像との類似度を類似度判定部233に供給し、バッファ233aに登録させる。   In step S53, the similarity calculation unit 232 determines the ratio of the eye-to-eye spacing, the length from the chin to the forehead, and the length from the chin to the nose for the face image supplied from the feature amount extraction unit 231. Using the various feature values of the face and the similar feature values in the face image registered in the registered player DB 252 registered in the biometric information DB 22, the difference sum, the average ratio, the ratio sum, etc. Is calculated as the similarity, and in step S54, the similarity with the face image registered in the registered player DB 252 as the calculation result is supplied to the similarity determination unit 233 and registered in the buffer 233a.

ステップS55において、類似度計算部232は、生体情報DB22の登録遊技者DB252に未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップS51に戻る。すなわち、登録遊技者DB252の全ての登録遊技者の顔画像との類似度が計算されるまで、ステップS51乃至S55の処理が繰り返される。そして、ステップS55において、登録遊技者DB252に未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。   In step S55, the similarity calculation unit 232 determines whether or not an unprocessed registered player face image exists in the registered player DB 252 of the biometric information DB 22, and an unprocessed registered player face image exists. If so, the process returns to step S51. That is, the processes in steps S51 to S55 are repeated until the similarity with the face images of all registered players in the registered player DB 252 is calculated. If it is determined in step S55 that there is no unprocessed registered player face image in the registered player DB 252, the similarity calculation process ends.

ここで、図13のフローチャートの説明に戻る。   Now, the description returns to the flowchart of FIG.

ステップS25において、類似度判定部233は、バッファ233aに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DB252に登録されている顔画像のうちの上位3位までの顔画像と類似度の情報を抽出する。そして、類似度判定部233は、上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部233は、最も類似している登録遊技者(生体情報DB22に登録されている顔画像のうち、顔画像取得部221により取得された顔画像と最も類似している登録遊技者:ここでは、類似度の最も高い登録遊技者)の類似度を所定の閾値と比較する。   In step S25, the similarity determination unit 233 obtains a rank based on the calculation result of the similarity registered in the buffer 233a, and the top three faces among the face images registered in the registered player DB 252. Extract information about image and similarity. Then, the similarity determination unit 233 determines whether or not the highest similarity is greater than a predetermined threshold based on the top three face images and similarity information. That is, the similarity determination unit 233 is a registered player who is most similar (a registered game that is most similar to the facial image acquired by the facial image acquisition unit 221 among facial images registered in the biometric information DB 22). In this case, the similarity of the registered player having the highest similarity is compared with a predetermined threshold.

尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。   Note that, as described above, the similarity between the face image of the registered player who is most similar to the captured face image is not necessarily the highest because of the definition of the similarity. And the threshold value may differ from those in this example.

ステップS25において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップS26において、類似度判定部233は、類似度計算部232より供給されてきた上位3位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面301を表示部23を制御して表示させる。   If it is determined in step S25 that the highest similarity is greater than a predetermined threshold, in step S26, the similarity determination unit 233 determines that the top third facial image supplied from the similarity calculation unit 232 is the top three. A notification screen 301 indicating that it is a candidate for a registered player's face image is displayed by controlling the display unit 23.

このとき、例えば、図16で示されるような報知画面301が、表示部23に表示される。   At this time, for example, a notification screen 301 as shown in FIG. 16 is displayed on the display unit 23.

図16の報知画面301においては、カメラ画像表示欄311が、左中段に設けられており、画像処理ユニット39より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第1候補乃至第3候補までの類似度の上位3位の登録遊技者の顔画像表示欄312−1乃至312−3が設けられている。さらに、各登録遊技者の顔画像表示欄312−1乃至312−3の下には、類似度レベル表示欄313−1乃至313−3が設けられており、類似度のレベルが表示されている。図15において、黒で示される領域の横方向の長さが類似度の大きさを示している。   In the notification screen 301 of FIG. 16, a camera image display field 311 is provided in the middle left, and the face image supplied from the image processing unit 39 is displayed. Also, on the right side, face image display fields 312-1 to 312-3 of registered players of the top three in the similarity from the first candidate to the third candidate are provided in descending order of similarity. Further, similarity level display fields 313-1 to 313-3 are provided below the face image display fields 312-1 to 312-3 of each registered player, and the level of similarity is displayed. . In FIG. 15, the horizontal length of the area shown in black indicates the magnitude of the similarity.

また、類似度レベル表示欄313−1乃至313−3の下には、対応する位置に、ID表示欄314−1乃至314−3が設けられており、各顔画像の生体情報DB22における顔画像を識別するIDが表示されており、図15において、左から「00051」、「00018」および「00022」と表示されている。   Further, ID display fields 314-1 to 314-3 are provided at corresponding positions below the similarity level display fields 313-1 to 313-3, and the face images in the biological information DB 22 of each face image. In FIG. 15, “00051”, “00018”, and “00022” are displayed from the left in FIG.

さらに、ID表示欄314−1乃至314−3の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部225により操作される確定ボタン318−1乃至318−3が設けられている。   Furthermore, below the ID display fields 314-1 to 314-3, confirmation buttons 318-1 to 318-3 operated by the operation unit 225 when each candidate is selected are provided at the corresponding positions. It has been.

また、カメラ画像表示欄311の下には、その顔画像を撮像したカメラを識別するカメラID表示欄315が設けられており、図15においては、カメラ38、入口カメラ40、および店内カメラ41を識別するためのカメラIDとして「カメラ02」が表示されている。さらに、カメラID表示欄315の下には、時刻表示欄316が設けられており、入口カメラ40により撮像された時刻が表示されており、図15においては、「18:23:32」と表示されており、カメラ画像表示欄311の顔画像が18時23分32秒に撮像されていることが示されている。   A camera ID display field 315 for identifying the camera that captured the face image is provided under the camera image display field 311. In FIG. 15, the camera 38, the entrance camera 40, and the in-store camera 41 are displayed. “Camera 02” is displayed as a camera ID for identification. Further, a time display field 316 is provided below the camera ID display field 315, and the time taken by the entrance camera 40 is displayed. In FIG. 15, “18:23:32” is displayed. It is shown that the face image in the camera image display field 311 is captured at 18:23:32.

さらに、時刻表示欄316の下には、別人ボタン317が設けられており、カメラ画像の顔画像が、第1候補乃至第3候補となる登録遊技者の顔画像表示欄312−1乃至312−3のいずれにも似ていないとみなされたとき、操作部225により操作される。   Furthermore, another person button 317 is provided below the time display field 316, and the face image display fields 312-1 to 312- of the registered player whose face images of the camera image are the first to third candidates. 3 is operated by the operation unit 225 when it is regarded as not similar to any of 3.

ステップS27において、通信部224は、操作部225が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図15で示される報知画面301が表示部23に表示されていた場合、確定ボタン318−1乃至318−3のいずれかが操作部225により操作されたか否かを判定する。   In step S27, the communication unit 224 displays on the display unit 23 whether or not any of the candidate face images has been selected by operating the operation unit 225, for example, the notification screen 301 shown in FIG. If it has been determined, it is determined whether any of the confirmation buttons 318-1 to 318-3 has been operated by the operation unit 225.

ステップS27において、例えば、確定ボタン318−1が操作された場合、第1候補となる顔画像が選択されたとみなされ、ステップS28において、通信部224は、選択された第1候補となる顔画像および入口カメラ40により撮像されたカメラ画像を携帯端末20に送信し、該当する登録遊技者が来店したことを通知する。   In step S27, for example, when the confirm button 318-1 is operated, it is considered that the face image to be the first candidate has been selected, and in step S28, the communication unit 224 has the selected face image to be the first candidate. And the camera image imaged with the entrance camera 40 is transmitted to the portable terminal 20, and it notifies that the corresponding registered player came to the store.

ステップS41において、通信部271は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS41において、ステップS28の処理により、登録遊技者の来店が通知されてきた場合、ステップS42において、通信部271は、生体情報認識装置21より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像および入口カメラ40により撮像されたカメラ画像を画像処理部272に供給する。画像処理部272は、選択された顔画像および入口カメラ40により撮像されたカメラ画像の情報を、表示部273に表示可能な形式の情報に加工して、ステップS43において、表示部273に表示させる。   In step S41, the communication unit 271 determines whether or not the registered player has been notified of the store visit, and repeats the process until the notification is received. For example, if a registered player's visit is notified in step S41 by the process in step S28, the communication unit 271 notifies the registered player's visit sent from the biometric information recognition device 21 in step S42. , The face image of the registered player and the camera image captured by the entrance camera 40 transmitted together with the notification are supplied to the image processing unit 272. The image processing unit 272 processes information on the selected face image and the camera image captured by the entrance camera 40 into information in a format that can be displayed on the display unit 273, and displays the information on the display unit 273 in step S43. .

以上の処理により、遊技店1内の係員は、携帯端末20を所持していると、登録遊技者の来店を認識することが可能となる。   By the above processing, the staff in the game store 1 can recognize the registered player's visit if the portable terminal 20 is possessed.

また、ステップS29において、顔画像取得部221は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップS22に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップS22乃至S30の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップS21に戻る。   In step S29, the face image acquisition unit 221 determines whether or not all of the supplied face images have been processed. If there is an unprocessed face image, the process returns to step S22. That is, the processes in steps S22 to S30 are repeated until the process is performed on all face images. If it is determined that the process has been completed for all face images, the process returns to step S21.

一方、ステップS27において、いずれの候補となる顔画像も選択されず、例えば、図15の報知画面301における別人ボタン317が押下された場合、または、ステップS25において、類似度計算部232より供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップS30において、類似度判定部233は、画像処理ユニット39より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。未登録遊技者データベース登録部223は、供給されてきた顔画像を生体管理情報バス6及び公衆通信回線網8を介して生体情報管理データベース3にアクセスし、未登録遊技者DB251に登録する。   On the other hand, no candidate face image is selected in step S27. For example, when the other person button 317 on the notification screen 301 in FIG. 15 is pressed, or in step S25, the similarity calculation unit 232 supplies the face image. Based on the information of the top three face images and the similarity, the highest similarity is not greater than a predetermined threshold, that is, even the face image of the most similar registered player If the similarity is less than the predetermined threshold, the similarity determination unit 233 supplies the face image supplied from the image processing unit 39 to the unregistered player database registration unit 223 in step S30. The unregistered player database registration unit 223 accesses the biometric information management database 3 through the biometric management information bus 6 and the public communication line network 8 to register the supplied face image in the unregistered player DB 251.

以上の処理により、生体情報認識装置21により画像処理ユニット39より供給されてきた顔画像が、生体情報DB22に登録されていないとみなされると、生体情報管理センタ2により管理されている生体情報管理DB3内の未登録遊技者DB251に未登録遊技者の顔画像として登録される。   If the face image supplied from the image processing unit 39 by the biometric information recognition device 21 is not registered in the biometric information DB 22 by the above processing, the biometric information management managed by the biometric information management center 2 is performed. The face image of the unregistered player is registered in the unregistered player DB 251 in DB3.

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。   Incidentally, the series of monitoring processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

図17は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。   FIG. 17 shows a configuration example of a general-purpose personal computer. This personal computer incorporates a CPU (Central Processing Unit) 1001. An input / output interface 1005 is connected to the CPU 1001 via the bus 1004. A ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.

入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。   The input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, a program and various data. A storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like, and a communication unit 1009 for performing communication processing via a network represented by the Internet are connected. Also, a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor A drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.

CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。   The CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program. The RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。   In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

1,1−1乃至1−n 遊技店
2 生体情報管理センタ
3 生体情報管理データベース
4 第3者遊技店管理センタ
5 第3者遊技店管理データベース
6 生体情報管理バス
7 第3者遊技店管理バス
8,9 公衆通信回線網
21 生体情報認識装置
22 生体情報データベース
24 遊技店管理装置
26 遊技台管理データベース
27 媒体貸出管理装置
29 媒体貸出管理データベース
30 遊技店管理情報バス
31 生体情報バス
33 精算機
34 貸出機
35 計数機
36,36−1乃至36−m 遊技台
37,37−1乃至37−m 遊技台周辺端末
38,38−1乃至38−m カメラ
39,39−1乃至39−(m+p+q) 画像処理ユニット
40,40−1乃至40−p 入口カメラ
41,41−1乃至41−q 店内カメラ
1, 1-1 to 1-n amusement store 2 biometric information management center 3 biometric information management database 4 third party amusement store management center 5 third party amusement store management database 6 biometric information management bus 7 third party amusement store management bus 8, 9 Public communication network 21 Biometric information recognition device 22 Biometric information database 24 Game store management device 26 Game table management database 27 Medium lending management device 29 Medium lending management database 30 Amusement store management information bus 31 Biometric information bus 33 Settling machine 34 Lending machine 35 Counter 36,36-1 thru 36-m Game stand 37,37-1 thru 37-m Game stand peripheral terminal 38,38-1 thru 38-m Camera 39,39-1 thru 39- (m + p + q) Image processing unit 40, 40-1 to 40-p Entrance camera 41, 41-1 to 41-q In-store camera

Claims (8)

像手段により撮像された画像より顔画像を抽出する顔画像抽出手段と、
前記顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された前記各器官の信頼度に基づいて、前記顔画像の前記撮像手段に対する角度を推定する角度推定手段と、
前記信頼度算出手段により算出された各器官の信頼度の合計が所定の閾値より高く、かつ前記角度推定手段により推定された前記顔画像の前記撮像手段に対する角度が所定の角度内である場合、前記顔画像が照合対象として適正である判定する適正判定手段と、
前記適正判定手段により適正であると判定された前記顔画像と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と
を含む監視装置。
From image captured by an imaging unit, a face image extracting means for extracting a face image,
From the face image, and organ extracting means for extracting a portion of each organ constituting the face,
Reliability calculation means for calculating the reliability of each organ extracted by the organ extraction means;
An angle estimating means for estimating an angle of the face image with respect to the imaging means based on the reliability of each organ calculated by the reliability calculating means;
When the total reliability of each organ calculated by the reliability calculation means is higher than a predetermined threshold, and the angle of the face image estimated by the angle estimation means is within a predetermined angle , and Value determination means for the face image is determined to be appropriate as a comparison target,
It said face image is determined to be appropriate by the proper determination means calculates a similarity between the stored accumulated's face image storing means for storing in the storage's database the face image as the accumulation's face image , Matching means for matching;
Matching the results similarity and a comparison with a predetermined threshold value, the monitoring device including said face image similarity determination means for determining whether a face image of the storage's said collation means.
前記顔画像抽出手段により抽出された前記顔画像より特徴量を抽出する特徴量抽出手段とをさらに含み、
前記照合手段は、前記顔画像抽出手段により抽出された前記顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記顔画像抽出手段により抽出された前記顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合する
請求項1に記載の監視装置。
A feature amount extraction unit that extracts a feature amount from the face image extracted by the face image extraction unit ;
The comparison means includes the face image extracted by the face image extracting means, using the feature amount to calculate the similarity between the stored registrant's face image in the storage means, by the face image extractor The monitoring apparatus according to claim 1, wherein the extracted face image is collated with a registrant's face image stored in the storage unit.
前記器官抽出手段は、前記顔画像抽出手段により抽出された前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出する
請求項1または請求項2に記載の監視装置。
3. The organ extracting unit according to claim 1 or 2 , wherein left and right eyes and a mouth are extracted from a part of each organ constituting the face from the face image extracted by the face image extracting unit . Monitoring device.
前記信頼度算出手段は、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出する
請求項1から請求項3のいずれか1つに記載の監視装置。
The reliability calculation unit, said among the organs extracted by the organ extracting unit, right or left eye, and the weight of the reliability of the mouth is increased to claims 1 to calculate the reliability of claim 3 1 a monitoring device as claimed in One.
前記類似度判定手段により前記顔画像が前記蓄積者の顔画像であると判定された場合、前記顔画像抽出手段により抽出された前記顔画像が前記蓄積者の顔画像であることを通知する通知手段をさらに備える、請求項1から請求項4のいずれか1つに記載の監視装置。 A notification for notifying that the face image extracted by the face image extracting means is the face image of the accumulator when the similarity determination means determines that the face image is the face image of the accumulator The monitoring apparatus according to any one of claims 1 to 4, further comprising means. 請求項1から請求項5のいずれか1つに記載の監視装置としてコンピュータを機能させるためのプログラム。The program for functioning a computer as a monitoring apparatus as described in any one of Claims 1-5. 画像抽出手段撮像手段により撮像された画像より顔画像を抽出する顔画像抽出ステップと、
官抽出手段前記顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、
頼度算出手段、前記器官抽出ステップの処理により抽出された前記各器官の信頼度を算出する信頼度算出ステップと、
角度推定手段が、前記信頼度算出ステップの処理により算出された前記各器官の信頼度に基づいて、前記顔画像の前記撮像手段に対する角度を推定する角度推定ステップと、
正判定手段、前記信頼度算出ステップの処理により算出された前記各器官の信頼度の合計が所定の閾値より高く、かつ前記角度推定ステップの処理により推定された前記顔画像の前記撮像手段に対する角度が所定の角度内である場合、前記顔画像が照合対象として適正である判定する適正判定ステップと、 合手段前記適正判定ステップの処理により適正であると判定された前記顔画像と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
似度判定手段、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと
を含む監視方法。
Facial image extraction means, from the image taken by the imaging means, a face image extraction step of extracting a facial image,
An organ extracting means, from the face image, and the organ extracting a portion of each organ constituting the face,
Is Shin Yoriyukido calculating means, a reliability calculating step of calculating reliability of each organ extracted by the processing of the organ extracting step,
An angle estimating unit that estimates an angle of the face image with respect to the imaging unit based on the reliability of each organ calculated by the process of the reliability calculating step;
Suitable positive determination means, the reliability the calculated by the processing calculation step higher than the total predetermined threshold reliability of each organ, and the angle estimation step of the imaging unit of the estimated the face image by processing If the angle with respect to is within a predetermined angle, and proper determination step of the face image is determined to be appropriate as a comparison target, collation means, said face is determined to be appropriate by the processing of the proper judgment step A collation step of calculating and collating the similarity between the image and the face image of the accumulator accumulated in the accumulator means for accumulating the face image as an accumulator face image in the accumulator database;
S similarity score determination unit, wherein by comparison with the collation result is a similarity with a predetermined threshold value in the process of verification steps, the similarity determination determines whether the facial image is a facial image of the storage's A monitoring method comprising steps and
通知手段が、前記類似度判定ステップの処理により前記顔画像が前記蓄積者の顔画像であると判定された場合、前記顔画像抽出ステップの処理により抽出された前記顔画像が前記蓄積者の顔画像であることを通知する通知ステップをさらに含む、請求項7に記載の監視方法。When the notification means determines that the face image is the face image of the accumulator by the processing of the similarity determination step, the face image extracted by the processing of the face image extraction step is the face of the accumulator The monitoring method according to claim 7, further comprising a notification step of notifying that the image is displayed.
JP2010029388A 2010-02-12 2010-02-12 Monitoring device and method, and program Active JP5577729B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010029388A JP5577729B2 (en) 2010-02-12 2010-02-12 Monitoring device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010029388A JP5577729B2 (en) 2010-02-12 2010-02-12 Monitoring device and method, and program

Publications (2)

Publication Number Publication Date
JP2011165083A JP2011165083A (en) 2011-08-25
JP5577729B2 true JP5577729B2 (en) 2014-08-27

Family

ID=44595665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010029388A Active JP5577729B2 (en) 2010-02-12 2010-02-12 Monitoring device and method, and program

Country Status (1)

Country Link
JP (1) JP5577729B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875966B1 (en) * 2012-11-29 2018-07-06 현대자동차주식회사 A missing point restoration method in face recognition for vehicle occupant
JP6318775B2 (en) * 2014-03-31 2018-05-09 オムロン株式会社 Obstacle determination device and program
JP6665569B2 (en) * 2016-02-15 2020-03-13 オムロン株式会社 Face matching system, player management system and game system
JP6891633B2 (en) * 2017-05-29 2021-06-18 大日本印刷株式会社 Face recognition device, face recognition method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553526B2 (en) * 2001-08-15 2010-09-29 セコム株式会社 Personal verification device
JP4696857B2 (en) * 2005-11-02 2011-06-08 オムロン株式会社 Face matching device
JP4924883B2 (en) * 2007-01-30 2012-04-25 オムロン株式会社 Monitoring device and method, and program
JP5153434B2 (en) * 2008-04-22 2013-02-27 キヤノン株式会社 Information processing apparatus and information processing method

Also Published As

Publication number Publication date
JP2011165083A (en) 2011-08-25

Similar Documents

Publication Publication Date Title
JP4941124B2 (en) Monitoring system and method, information processing apparatus, and program
JP5617627B2 (en) Monitoring device and method, and program
JP5824806B2 (en) Facial image management device, facial image management method, and program
JP4924883B2 (en) Monitoring device and method, and program
JP5577729B2 (en) Monitoring device and method, and program
JP5560976B2 (en) Information processing apparatus and method, and program
JP4919057B2 (en) Monitoring device and method, and program
JP2008123100A (en) Information processor, information processing method, and program
JP2009086932A (en) Image processor and image processing method, and program
JP2008085584A (en) Monitoring device and method, monitoring system, and program
JP2012014568A (en) Monitoring apparatus and method, and program
JP5338178B2 (en) Monitoring device and method, and program
JP2008040829A (en) Device and method for processing information, information processing system, and program
JP5292982B2 (en) Human body detection device and method, monitoring device and method, and program
JP4877005B2 (en) Monitoring device and method, and program
JP4760717B2 (en) Monitoring device and method, and program
JP2007293741A (en) Monitoring device and method, registrant collation device, attribute estimation device and method, and program
JP5168564B2 (en) Monitoring device and method, and program
JP4807267B2 (en) Monitoring device and method, and program
JP5589421B2 (en) Image processing apparatus, image processing method, and program
JP5294020B2 (en) Image processing apparatus and method, and program
JP5338173B2 (en) Monitoring device and method, and program
JP4807291B2 (en) Monitoring device and method, monitoring system, and program
JP5549418B2 (en) Information processing apparatus and method, and program
JP5724662B2 (en) Information processing apparatus and method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121207

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20131011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

R150 Certificate of patent or registration of utility model

Ref document number: 5577729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250