[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017212967A1 - 照合装置及び照合方法 - Google Patents

照合装置及び照合方法 Download PDF

Info

Publication number
WO2017212967A1
WO2017212967A1 PCT/JP2017/019865 JP2017019865W WO2017212967A1 WO 2017212967 A1 WO2017212967 A1 WO 2017212967A1 JP 2017019865 W JP2017019865 W JP 2017019865W WO 2017212967 A1 WO2017212967 A1 WO 2017212967A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
person
shielding object
local
captured
Prior art date
Application number
PCT/JP2017/019865
Other languages
English (en)
French (fr)
Inventor
洋佑 野末
一樹 前野
宏明 由雄
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP17810146.5A priority Critical patent/EP3471055B1/en
Priority to CN201780033939.XA priority patent/CN109196517B/zh
Priority to US16/306,198 priority patent/US11367308B2/en
Priority to JP2018522428A priority patent/JP6574988B2/ja
Publication of WO2017212967A1 publication Critical patent/WO2017212967A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present disclosure relates to a collation device and a collation method for collating a captured face image with a registered face image.
  • identity verification is performed by collating the face image registered in the passport with the face image of the person taken by the camera.
  • this type of collation device detects the feature amount of the registered face image and the feature amount of the captured face image, calculates a score indicating the similarity between the feature amounts, and is the person based on the score.
  • Patent Document 1 discloses a technique for detecting that an imaged person is wearing a mask or other shielding object.
  • Patent Document 1 simply detects a shielding object based on a captured face image, and stops a financial transaction when the shielding object is detected. It was n’t. In other words, regardless of the registered face image, if a shielding object is detected in the captured face image, the processing will be stopped.
  • Patent Document 1 If the technique of Patent Document 1 is to be applied to a collation device, the collation process will be immediately stopped if the person to be collated wears an obstacle such as glasses or a mask. However, it is often the case that the person being verified wears a shield such as glasses or a mask, and it is inconvenient to immediately stop the verification process in such a case.
  • One aspect of the present disclosure provides a collation device and a collation method that can appropriately prompt the person to be collated to remove the shielding object.
  • the collation device includes a processor and a storage unit.
  • the processor compares the captured face image obtained by capturing the face of the person to be verified with the registered face image of the person to be verified registered in the storage unit.
  • the collation method according to an aspect of the present disclosure is a collation method that collates a captured face image obtained by capturing a person to be collated with a registered face image.
  • the collation method is to collate the captured face image with the registered face image.
  • FIG. 1 is a block diagram showing an overall configuration of a collation apparatus according to an embodiment.
  • FIG. 2 is a flowchart showing the matching process.
  • FIG. 3 is a flowchart showing the face registration process.
  • FIG. 4 is a flowchart showing the face authentication process.
  • FIG. 5 is a flowchart showing the feature amount calculation processing.
  • FIG. 6 is a diagram for explaining a face part (local region).
  • FIG. 7 is a diagram for explaining a face part (local region).
  • FIG. 8 is a flowchart showing the shielding object detection process.
  • FIG. 9 is a diagram illustrating an example of a correspondence relationship between a shielding object and a local region hidden by the shielding object.
  • FIG. 10 is a flowchart showing the shield removal determination process.
  • FIG. 10 is a flowchart showing the shield removal determination process.
  • FIG. 11A is a diagram illustrating an example of a high shielding score and a high local score.
  • FIG. 11B is a diagram illustrating an example in which the shield score is high but the local score is low.
  • FIG. 12 is a flowchart illustrating the shielding object highlighting process.
  • FIG. 13 is a diagram for explaining the highlight display.
  • FIG. 14 is a diagram illustrating an example of the degree of highlighting based on the shield score and the local score.
  • FIG. 1 is a block diagram showing an overall configuration of a collation apparatus according to an embodiment.
  • the verification device 100 is applied to, for example, an airport gate opening / closing system.
  • the gate opening / closing system verifies whether the person to be verified who is going to pass through the gate is the person registered in the passport by the verification device 100, and when the person is authenticated, opens the gate and is not authenticated. In case you close the gate.
  • a processor 101 In the verification device 100, a processor 101, a storage unit 102, a wireless communication unit 103, an imaging unit 104, an input unit 105, and a display unit 106 are connected via a bus 110.
  • the storage unit 102 stores registered images.
  • the registered image is stored in the storage unit 102 via the input unit 105.
  • the input unit 105 is a scanner, for example, and reads a face image registered in a passport.
  • the imaging unit 104 includes a camera and captures a face image of the person to be verified who is in front of the gate.
  • the display unit 106 displays the face image of the person to be verified that has been captured by the imaging unit 104 and that has not yet been captured.
  • an instruction regarding imaging is displayed on the display unit 106.
  • the instruction regarding imaging includes a display that prompts the person to be verified to remove the shield. This instruction regarding imaging will be described in detail later.
  • the wireless communication unit 103 wirelessly receives the detection result of the human sensor of the gate opening / closing system.
  • the collation device 100 controls the display timing on the display unit 106, the imaging timing of the imaging unit 104, and the like based on the detection result of the human sensor. Further, when the verification apparatus 100 authenticates that the person to be verified is the registered person, the wireless communication unit 103 wirelessly transmits this to the gate opening / closing control unit. As a result, the gate is controlled to open.
  • the processor 101 is responsible for the overall processing of the verification device 100 including face authentication processing by the verification device 100 and display processing on the display unit 106.
  • FIG. 2 is a flowchart showing the matching process performed by the matching device 100.
  • the face registration processing is performed in step S1, and the face authentication processing is performed in step S2.
  • the face registration process in step S ⁇ b> 1 is performed by inputting, for example, a passport face image via the input unit 105 and storing the face image in the storage unit 102.
  • the processor 101 calculates a score indicating the degree of similarity between the face image captured by the image capturing unit 104 and the face image registered in the storage unit 102 in step S1, and uses this score as a threshold value. It is done by judging.
  • step S3 if the overall score is equal to or greater than the threshold Th1, the processor 101 determines that the user is the person himself (step S3; YES). If the processor 101 determines that the user is the person in step S3, the process proceeds to step S4. In step S4, the processor 101 displays an authentication success message (that is, that the captured face image belongs to the same person as the registered face image) on the display unit 106. On the other hand, in step S3, if the overall score is less than the threshold Th1 (step S3; NO), the processor 101 moves to step S5.
  • step S5 the processor 101 determines whether or not the overall score is greater than or equal to a threshold value Th2.
  • the threshold Th2 is smaller than the threshold Th1, that is, Th2 ⁇ Th1.
  • the process moves from step S5 to step S6, and the authentication failure message (that is, the face in which the captured face image is registered) is displayed on the display unit 106. The image is of a different person from the image).
  • the processor 101 determines that there is a possibility of the principal, and immediately proceeds to step S7 without displaying an authentication failure message.
  • Th2 when Th2 ⁇ total score ⁇ Th1 (when the total score is high but did not reach Th1), it is not immediately determined that the authentication has failed.
  • the reason for this is that if the overall score is high but it does not reach Th1, there is a possibility that the score has been lowered due to some reason, such as the presence of a shielding object, despite the identity of the person.
  • the processor 101 calculates the certainty of whether or not the person to be verified wears the shielding object by performing the shielding object detection process in step S7.
  • the processor 101 determines whether or not to present to the person to be verified that the shield to be worn should be removed by performing the shield removal / determination determination process in step S8.
  • step S ⁇ b> 9 the processor 101 determines whether or not to remove the shielding object based on the determination result of the shielding object attachment / detachment determination process in step S ⁇ b> 8. If the processor 101 determines in step S9 that the shielding object should be removed, the processor 101 moves to step S10 and performs a shielding object highlighting display process to prompt the person to be verified to remove the shielding object. On the other hand, if it is not determined in step S9 that the shielding object should be removed, the process proceeds to step S6 and an authentication failure message is displayed on the display unit 106.
  • FIG. 3 is a flowchart showing the processing contents of the face registration processing performed in step S1 of FIG.
  • the collation apparatus 100 receives a face image to be registered via the input unit 105 in step S ⁇ b> 11 and stores the registered face image in the storage unit 102.
  • the processor 101 calculates the feature amount of the registered face image.
  • FIG. 4 is a flowchart showing the contents of the face authentication process performed in step S2 of FIG.
  • the collation apparatus 100 first receives the captured face image captured by the imaging unit 104 in step S ⁇ b> 21.
  • the processor 101 calculates the feature amount of the captured face image. This feature quantity is the same type of feature quantity as the feature quantity used in step S12.
  • the right eye feature obtained from the registered face image is Dreye regist
  • the right eye feature obtained from the captured face image If the quantity is Dreye verify , it can be obtained by the normalized correlation of the following equation.
  • the processor 101 obtains the overall score by calculation using the local score.
  • the overall score can be obtained by, for example, an average of local scores of the forehead, right eye, left eye, nose, and mouth, or a total of local scores. For example, if the local region P, and similarity of the local region p and S p, the overall score S all can be determined by averaging as follows.
  • FIG. 5 is a flowchart showing the processing content of the feature amount calculation processing performed in step S12 of FIG. 3 and step S22 of FIG.
  • the processor 101 detects a face area from the image.
  • the face region can be detected by using, for example, a Haar-like feature and a boosting learning algorithm.
  • a local area is detected from the face area detected in step S121.
  • a technique for detecting a local area from a face area a known technique can be used.
  • a local region is detected from a face region using Random-Forest regression.
  • the method for detecting a local region from a face region is not limited to Random-Forest regression, and other regression methods, machine learning, or the like may be used.
  • the local area is an element constituting a face such as a left eye area, a right eye area, a nose area, a mouth area, and a forehead area.
  • the right eye region is a rectangular region having a radius R with the right eye coordinate being (x reye, y reye).
  • a feature amount is calculated for each local region. An example of a feature amount calculation method will be described. For example, an arbitrary N point in the right eye region is selected.
  • the score N is N ⁇ 1 and N ⁇ 4R 2 + 4R + 1.
  • a 128-dimensional SIFT feature value is extracted from each point, and is used as the feature value D reye of the right eye region. Therefore, the dimension number of the feature D reye of the right eye region is N ⁇ 128.
  • FIG. 8 is a flowchart showing the contents of the shielding object detection process performed in step S7 of FIG.
  • the collation device 100 first receives the captured face image captured by the imaging unit 104 in step S ⁇ b> 71.
  • the processor 101 detects a face area from the captured face image, and in step S73, the processor 101 detects a local area.
  • the processor 101 calculates a feature amount of a local area that may be hidden by the shielding object for each shielding object.
  • An example of the feature amount here is a Haar-like feature.
  • FIG. 9 is a diagram illustrating an example of a correspondence relationship between a shielding object and a local region hidden by the shielding object.
  • the processor 101 obtains an obstruction score by calculation using the feature amount obtained in step S74.
  • the shield score is the probability that a specific shield is present in the face image, and is defined for each type of shield.
  • the shielding object score is obtained by inputting the feature amount for each shielding object obtained in step S74 into an SVM (Support Vector Machine) that has learned the presence or absence of the shielding object.
  • SVM Serial Vector Machine
  • the processor 101 has an SVM function.
  • FIG. 10 is a flowchart showing the processing contents of the shielding object attachment / detachment determination process performed in step S8 of FIG.
  • step S ⁇ b> 81 it is determined whether or not the shield score obtained by the processor 101 in step S ⁇ b> 75 is greater than or equal to a predetermined threshold Th ⁇ b> 3.
  • Th3 a predetermined threshold
  • step S82 it is determined whether or not the local score of the position of the shielding object is equal to or less than a predetermined threshold Th4. Specifically, using the feature amount of the local region (FIG. 9) hidden by the shielding object in the registered face image and the local region feature amount at the position of the shielding object in the captured face image, the local region of the local area hidden by the shielding object is detected. A score is calculated and this local score is compared with a threshold Th4. For example, the local score of the local area hidden by the glasses is an average of the local score of the right eye area and the local score of the left eye area. That the local score of the position of the shielding object is equal to or less than the predetermined threshold Th4 means that the local score is greatly reduced by the shielding object.
  • a low local score at the position of the shield means that the registered face image and the captured face image are not similar in the local region.
  • step S74 It has been confirmed in step S74 that there is a high possibility that an obstruction exists in the local region.
  • (1) According to the situation shown in (2), it is presumed that the registered face image and the captured face image are not similar in the local region due to the influence of the shielding object.
  • the shielding object score is equal to or higher than the threshold Th3 and the shielding object is detected, but the local score by the shielding object is not determined. It is determined that it is necessary to remove the shielding object only when the decrease in the resistance is large. Accordingly, it is possible to avoid unnecessarily urging the person to be verified to remove the shield, and it is possible to avoid unnecessary inconvenience for the person to be verified.
  • the situation other than when the local score is greatly reduced by the shielding object includes, for example, a situation where the person to be collated of the captured face image wears the shielding object and has a high degree of similarity with the registered face image. In situations other than when the local score is greatly reduced by the shielding object, if the person to be verified is prompted to remove the shielding object, the accuracy of the matching may be lowered.
  • FIG. 11A and FIG. 11B show an example of a shield score and a local score according to the present embodiment.
  • FIG. 11A shows an example where the shield score is high and the local score is high
  • FIG. 11B shows an example where the shield score is high but the local score is low.
  • the shield score is high.
  • the local score is not greatly reduced by the glasses.
  • the local score will be higher.
  • the person to be verified wears sunglasses, and since this sunglasses is detected the shielding object score is high, and since the masking area of the face image by sunglasses is large, the local score is greatly reduced by the sunglasses, and the local score is Get smaller.
  • Case 1 The spectacle detection score is Th3 or higher, and the local score of the local area hidden by the spectacle is Th4 or higher ⁇ There are spectacles, but there is little influence and the eye score is high. Therefore, it is not necessary to remove the glasses.
  • Case 2 The spectacle detection score is Th3 or more, and the local score of the local area hidden by the spectacles is Th4 or less ⁇ Since there is spectacles, the influence is large and the eye score is low. Therefore, it is necessary to remove the glasses.
  • Case 3 The eyeglass detection score is Th3 or less, and the local score of the local area hidden by the glasses is Th4 or more. ⁇ No eyeglasses and the eye score is high. Therefore, it is not necessary to remove the glasses.
  • Case 4 The eyeglass detection score is Th3 or less, and the local score of the local area hidden by the glasses is Th4 or less. ⁇ There is no glasses and the eye score is low. Therefore, it is not necessary to remove the glasses.
  • FIG. 12 is a flowchart showing the processing contents of the shielding object highlighting process performed in step S10 of FIG.
  • the processor 101 calculates the degree of highlighting based on the shielding object score and the local score.
  • Highlighting refers to a display that prompts the person to be verified to remove the shield. For example, as shown in FIG. 13, if a “x” mark is displayed together with a template image with glasses, the person to be verified can be prompted to remove the glasses. At this time, it is possible to perform stronger highlighting by enclosing the image with a frame line and making the frame line thicker or making the frame line more conspicuous.
  • the method of highlighting is not limited to this, and the degree of highlighting may be changed depending on the display size, for example.
  • FIG. 14 shows an example of the degree of highlighting based on the shield score and the local score.
  • step S102 the processor 101 displays on the display unit 106 the image of the degree of enhancement calculated in step S101. Thereby, it is possible to prompt the person to be verified to properly remove the shielding object.
  • the determination result of the presence or absence of the shielding in the captured face image Based on the above, information indicating that the shield should be removed is presented to the person being verified.
  • an authentication step for determining whether or not the person to be verified is the person of the registered face image by comparing the captured face image with the registered face image, and in the captured face image
  • a shielding object detection step for determining the presence or absence of the shielding object
  • a local score calculation step for calculating a local similarity score between the captured face image and the registered face image in the local region corresponding to the shielding object.
  • a prompting step for prompting the removal of the shield based on the local similarity score calculated in the local score calculating step (step S82).
  • the present embodiment does not prompt the person to be verified to remove the shielding object immediately because the shielding object is detected, but the shielding object is removed only when the local score is greatly reduced by the shielding object.
  • the collation device and the collation method of the present disclosure are applied to the gate opening / closing system has been described.
  • the registered face image is not limited to a passport image.
  • the case where the person to be verified is prompted to remove the shield by display is not limited to this, but may be presented by voice or light, for example.
  • the collation device includes a processor and a storage unit, and the processor captures a face image obtained by capturing the face of the person to be collated, and a registered face image of the person to be collated registered in the storage unit. As a result of the comparison, if it is determined that the person being imaged in the captured face image is not the person of the registered face image, the determination result of the presence or absence of an obstacle in the captured face image Based on this, information indicating that the shield should be removed is presented to the person to be verified.
  • the information indicating that the shield should be removed from the verification target is that the similarity score as a result of the verification is equal to or lower than the first threshold Th1 and the second threshold This is performed when Th2 or more.
  • Th1 the first threshold
  • Th2 the second threshold
  • the processor further calculates a local similarity score between the captured face image and the registered face image in a local region corresponding to the shielding object, and whether or not the shielding object is present. Based on the determination result and the local similarity score, information indicating that the shield should be removed is presented to the person to be verified. Thereby, for example, only when the determination result that the local similarity score between the captured image and the registered image is low and the presence of the shielding object is obtained, information indicating that the shielding object should be removed can be presented. It is possible to more accurately detect the presence of an obstruction that hinders the verification process, and to prompt the person to be verified to remove the occlusion.
  • the strength of presentation of information indicating that the shielding object should be removed is changed based on the local similarity score. This means that the lower the local similarity score (that is, the more likely it is that there is an occlusion), the greater the intensity of presenting information that the occlusion should be removed, so there may be an occlusion. The higher the property, the stronger the user can be prompted to remove the shield.
  • the shield when it is determined that there is a shield in the captured face image, the shield should be removed from the person to be collated by highlighting the template image with the shield. Present information to that effect. Thereby, the person to be verified can easily recognize which shield should be removed.
  • the degree of highlighting is changed based on a local similarity score between the captured face image and the registered face image in a local region corresponding to the shield. This means that the lower the local similarity score (that is, the more likely it is that there is an occlusion), the greater the intensity of presenting information that the occlusion should be removed, so there may be an occlusion. The higher the property, the stronger the user can be prompted to remove the shield.
  • the collation method of the present disclosure is a collation method that collates a captured face image obtained by imaging a person to be collated with a registered face image, and collates the captured face image with a registered face image, and the result of the collation , If it is determined that the person being imaged in the captured face image is not the person of the registered face image, based on the determination result of the presence or absence of an obstacle in the imaged face image, Information to remove the shield.
  • the present disclosure is suitable for a collation device and a collation method that collate a captured face image and a registered face image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

撮像顔画像と登録顔画像とを照合することで被照合者が登録顔画像の本人か否かを判定するステップ（Ｓ３）と、撮像顔画像中の遮蔽物の有無を判定するステップ（Ｓ７）と、遮蔽物に対応する局所領域における撮像顔画像と登録顔画像との局所的類似度スコアを算出することで遮蔽物の脱着の要否を判定するステップ（Ｓ８）と、局所的類似度スコアに基づいて、遮蔽物を取り除くことを催促するステップ（Ｓ１０）と、を含む照合装置及び照合方法。

Description

照合装置及び照合方法
　本開示は、撮像された顔画像と、登録された顔画像とを照合する照合装置及び照合方法に関する。
　例えば空港などに設けられる照合装置においては、パスポートに登録された顔画像と、カメラによって撮像した本人の顔画像とを照合することで、本人確認を行うようになっている。実際上、この種の照合装置は、登録顔画像の特徴量と、撮像顔画像の特徴量とを検出し、それら特徴量の類似度を示すスコアを算出し、このスコアに基づいて本人であるかを認証する。
　ところで、カメラによって撮像される被照合者が眼鏡、マスクなどの遮蔽物を付けていた場合、本人であるにも拘わらず、本人ではないといった認証結果が得られるおそれがあり、不都合である。
　ここで、撮像された人物がマスクなどの遮蔽物を付けていることを検出する技術が特許文献１に記載されている。
特開２０００－２５１０７７号公報
　ところで、特許文献１に記載された技術は、単に、撮像された顔画像に基づいて遮蔽物を検出し、遮蔽物が検出された場合には金融取引を中止するものであり、照合を目的としたものではない。つまり、登録顔画像に関係なく、撮像された顔画像に遮蔽物が検出されれば、処理を中止してしまおうと言うものである。
　特許文献１の技術を照合装置に適用しようとした場合には、被照合者が眼鏡、マスクなどの遮蔽物を付けていると、直ちに照合処理を中止することとなる。しかし、被照合者が眼鏡、マスクなどの遮蔽物を付けていることはよくあることであり、このような場合に直ちに照合処理を中止するのは、はなはだ不都合である。
　本開示の一態様は、被照合者に対して当該遮蔽物を外すことを適切に促すことができる照合装置及び照合方法を提供する。
　本開示の一態様に係る照合装置は、プロセッサと、記憶部とを有する。
　前記プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている前記被照合者の登録顔画像とを照合する。
　前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。
　本開示の一態様に係る照合方法は、被照合者を撮像した撮像顔画像と、登録顔画像と、を照合する照合方法である。
　照合方法は、撮像顔画像と、登録顔画像と、を照合する。
　前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。
　本開示の一態様によれば、被照合者に対して当該遮蔽物を外すことを適切に促すことができる。
　本開示の一態様における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。 図２は、照合処理を示すフローチャートである。 図３は、顔登録処理を示すフローチャートである。 図４は、顔認証処理を示すフローチャートである。 図５は、特徴量計算処理を示すフローチャートである。 図６は、顔パーツ（局所領域）の説明に供する図である。 図７は、顔パーツ（局所領域）の説明に供する図である。 図８は、遮蔽物検出処理を示すフローチャートである。 図９は、遮蔽物と、その遮蔽物により隠れる局所領域との対応関係の例を示す図である。 図１０は、遮蔽物脱着判定処理を示すフローチャートである。 図１１Ａは、遮蔽物スコアが高くかつ局所スコアが高い例を示す図である。 図１１Ｂは、遮蔽物スコアは高いが局所スコアが低い例を示す図である。 図１２は、遮蔽物強調表示処理を示すフローチャートである。 図１３は、強調表示の説明に供する図である。 図１４は、遮蔽物スコアと局所スコアとに基づく強調表示の度合いの例を示す図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。
　図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。照合装置１００は、例えば空港のゲート開閉システムに適用される。ゲート開閉システムは、照合装置１００によってゲートを通過しようとする被照合者がパスポートに登録された本人であるかを照合し、本人であると認証された場合にはゲートを開き、認証されなかった場合にはゲートを閉じる。
　照合装置１００は、プロセッサ１０１、記憶部１０２、無線通信部１０３、撮像部１０４、入力部１０５及び表示部１０６が、バス１１０を介して接続されている。
　記憶部１０２には、登録画像が記憶される。記憶部１０２への登録画像の記憶は、入力部１０５を介して行われる。入力部１０５は、例えばスキャナであり、パスポートに登録されている顔画像を読み込む。
　撮像部１０４は、カメラを含んで構成されており、ゲートの前にいる被照合者の顔画像を撮像する。
　表示部１０６には、撮像部１０４に撮像された及び撮像される前の被照合者の顔画像が表示される。また、表示部１０６には、撮像に関する指示が表示される。撮像に関する指示は、被照合者に遮蔽物を外すことを促す表示を含む。この撮像に関する指示については後で詳述する。
　無線通信部１０３は、ゲート開閉システムの人感センサの検知結果を無線受信する。照合装置１００は、人感センサの検知結果に基づいて、表示部１０６への表示タイミング及び撮像部１０４の撮像タイミングなどを制御する。また、無線通信部１０３は、照合装置１００によって被照合者が登録された本人であると認証されると、そのことをゲート開閉制御部に無線送信する。これにより、ゲートが開制御される。
　プロセッサ１０１は、照合装置１００による顔認証処理、表示部１０６への表示処理を含む照合装置１００の全体的な処理を担う。
　図２は、照合装置１００による照合処理を示すフローチャートである。
　照合装置１００は、照合処理を開始すると、ステップＳ１で顔登録処理を行い、ステップＳ２で顔認証処理を行う。ステップＳ１の顔登録処理は、入力部１０５を介して例えばパスポートの顔画像を入力され、この顔画像を記憶部１０２に記憶することにより行われる。ステップＳ２の顔認証処理は、プロセッサ１０１によって、撮像部１０４で撮像された顔画像と、ステップＳ１で記憶部１０２に登録された顔画像との類似度を示すスコアを算出し、このスコアを閾値判定することで行われる。
　ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１以上ならば本人であると判断する（ステップＳ３；ＹＥＳ）。プロセッサ１０１がステップＳ３において本人であると判断すると、処理がステップＳ４に移る。ステップＳ４において、プロセッサ１０１は表示部１０６に認証成功メッセージ（つまり撮像された顔画像が登録された顔画像と同一人物のものであること）を表示する。これに対して、ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１未満ならば（ステップＳ３；ＮＯ）、ステップＳ５に移る。
　ステップＳ５において、プロセッサ１０１は全体スコアが閾値Ｔｈ２以上か否かを判断する。ここで閾値Ｔｈ２は閾値Ｔｈ１よりも小さい値、つまりＴｈ２＜Ｔｈ１である。プロセッサ１０１は全体スコアが閾値Ｔｈ２未満であると判断した場合（ステップＳ５；ＮＯ）、ステップＳ５からステップＳ６に移って、表示部１０６に認証失敗メッセージ（つまり撮像された顔画像が登録された顔画像と異なる人物のものであること）を表示する。これに対して、プロセッサ１０１は、全体スコアが閾値Ｔｈ２以上ならば本人の可能性が有ると判断し、直ちに認証失敗メッセージを表示することなく、ステップＳ７に移る。つまり、Ｔｈ２≦全体スコア＜Ｔｈ１の場合（全体スコアが惜しくもＴｈ１に届かなかった場合）には、直ちに認証が失敗したとは判定しない。その理由は、全体スコアが惜しくもＴｈ１に届かなかった場合には遮蔽物が存在するなどの何らかの原因によって、本人であるにもかかわらずスコア低下がおきてしまった可能性があるためである。
　プロセッサ１０１は、ステップＳ７で遮蔽物検出処理を行うことで、被照合者が遮蔽物を着用しているか否かの確からしさを算出する。プロセッサ１０１は、続くステップＳ８で遮蔽物脱着判定処理を行うことで、被照合者に対して着用している遮蔽物を外すべき旨の提示を行うか否かを決定する。プロセッサ１０１は、ステップＳ９において、ステップＳ８の遮蔽物脱着判定処理の判定結果に基づいて遮蔽物を外すべきか否か判断する。プロセッサ１０１は、ステップＳ９で遮蔽物を外すべきと判断した場合、ステップＳ１０に移って、遮蔽物強調表示処理を行うことにより、被照合者に遮蔽物を外すことを促す。これに対して、ステップＳ９で遮蔽物を外すべきと判断しなかった場合には、ステップＳ６に移って、表示部１０６に認証失敗メッセージを表示する。
　図３は、図２のステップＳ１で行われる顔登録処理の処理内容を示すフローチャートである。図３に示すように、顔登録処理（ステップＳ１）では、照合装置１００は、ステップＳ１１において、入力部１０５を介して登録しようとする顔画像を入力され、この登録顔画像を記憶部１０２に記憶する。ステップＳ１２では、プロセッサ１０１が登録顔画像の特徴量を計算する。
　図４は、図２のステップＳ２で行われる顔認証処理の処理内容を示すフローチャートである。図４に示すように、顔認証処理（ステップＳ２）では、照合装置１００は、先ず、ステップＳ２１において、撮像部１０４によって撮像された撮像顔画像を入力される。ステップＳ２２において、プロセッサ１０１が撮像顔画像の特徴量を計算する。この特徴量はステップＳ１２で用いられた特徴量と同じ種類の特徴量である。ステップＳ２３では、プロセッサ１０１が局所スコア（局所ごとの類似度）を計算により取得する。具体的には、登録顔画像の局所領域の特徴量と、撮像顔画像の局所領域の特徴量とから、正規化相関等を用いて、局所領域ごとの類似度(＝局所スコア)を算出する。例えば、局所領域ごとの類似度の一例として右目の類似度（＝右目の局所スコア）Sreyeは、登録顔画像から得られた右目の特徴量をDreyeregist、撮像顔画像から得られた右目の特徴量をDreyeverifyとすると、次式の正規化相関により求めることができる。
Figure JPOXMLDOC01-appb-M000001
　続くステップＳ２４において、プロセッサ１０１は、局所スコアを用いて、全体スコアを計算により取得する。全体スコアは、例えば、額、右目、左目、鼻、口の局所スコアの平均や、局所スコアの合計により求めることができる。例えば、局所領域をＰ、局所領域ｐの類似度をSpとすると、全体スコアSallは、次式のような平均により求めることができる。
Figure JPOXMLDOC01-appb-M000002
　図５は、図３のステップＳ１２及び図４のステップＳ２２で行われる特徴量計算処理の処理内容を示すフローチャートである。特徴量計算処理では、ステップＳ１２１において、プロセッサ１０１が画像から顔領域を検出する。このとき、例えばHaar-like特徴とboostingによる学習アルゴリズムとを用いることで顔領域を検出できる。ステップＳ１２２では、ステップＳ１２１で検出した顔領域から局所領域を検出する。顔領域から局所領域を検出する手法の一例としては、既知の手法を用いることができる。本実施の形態ではＲａｎｄｏｍ－Ｆｏｒｅｓｔ回帰を用いて顔領域から局所領域を検出した。顔領域から局所領域を検出する方法はＲａｎｄｏｍ－Ｆｏｒｅｓｔ回帰に限られず、他の回帰手法や機械学習などを用いてもよい。図６に示すように、局所領域とは、左目領域、右目領域、鼻領域、口領域、額領域などの顔を構成する要素である。図７に示すように、例えば右目領域とは、右目の座標を(x reye,y reye)としたとき、そこを中心とした半径Ｒの矩形の領域である。ステップＳ１２３では、局所領域ごとに特徴量を計算する。特徴量の計算方法の一例を説明する。例えば、右目領域の任意のＮ点を選択する。点数Ｎは、Ｎ≧１かつＮ≦４Ｒ２＋４Ｒ＋１である。各点から、１２８次元のＳＩＦＴ特徴量を抽出し、それを右目領域の特徴量D reyeとする。よって、右目領域の特徴D reyeの次元数はＮ×１２８となる。
　図８は、図２のステップＳ７で行われる遮蔽物検出処理の処理内容を示すフローチャートである。図８に示すように、遮蔽物検出処理（ステップＳ７）では、照合装置１００は、先ず、ステップＳ７１において、撮像部１０４によって撮像された撮像顔画像を入力される。ステップＳ７２において、プロセッサ１０１が撮像顔画像から顔領域を検出し、ステップＳ７３において、プロセッサ１０１が局所領域を検出する。続く、ステップＳ７４において、プロセッサ１０１は、遮蔽物により隠される可能性のある局所領域の特徴量を、遮蔽物ごとに計算する。ここでの特徴量の一例としては、Haar-like特徴が挙げられる。図９は、遮蔽物と、その遮蔽物により隠れる局所領域との対応関係の例を示す図である。例えば、眼鏡により隠される可能性のある局所領域の特徴量を算出するには、図９に示されるように右目領域の特徴量と左目領域の特徴量との平均を求めればよい。ステップＳ７５において、プロセッサ１０１はステップＳ７４で求めた特徴量を用いて遮蔽物スコアを計算により取得する。遮蔽物スコアとは顔画像に特定の遮蔽物が存在することの確からしさであり、遮蔽物の種類ごとに定義される。遮蔽物スコアは、ステップＳ７４で求めた遮蔽物ごとの特徴量を、遮蔽物の有無に関して学習を施したＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）に入力することで得られる。つまり、プロセッサ１０１はＳＶＭの機能を有している。特定の遮蔽物に関する遮蔽物スコアが高いほど、被照合者が当該遮蔽物を付けている可能性が高い。例えば、眼鏡に関する遮蔽物スコアが高ければ被照合者は眼鏡を付けている可能性が高く、サングラスに関する遮蔽物スコアが高ければ被照合者はサングラスを付けている可能性が高い。
　図１０は、図２のステップＳ８で行われる遮蔽物脱着判定処理の処理内容を示すフローチャートである。図１０に示すように、遮蔽物脱着判定処理（ステップＳ８）では、ステップＳ８１において、プロセッサ１０１がステップＳ７５で求めた遮蔽物スコアが所定の閾値Ｔｈ３以上か否かを判断する。遮蔽物スコアが所定の閾値Ｔｈ３未満と判断した場合（ステップＳ８１；ＮＯ）、このことは遮蔽物が存在する可能性が小さいことを意味するので、ステップＳ８３に移って、遮蔽物を外す旨を提示することは不要と判断する。これに対して、遮蔽物スコアが所定の閾値Ｔｈ３以上と判断した場合（ステップＳ８１；ＹＥＳ）、このことは遮蔽物が存在する可能性が大きいことを意味し、ステップＳ８２に移る。
　ステップＳ８２では、遮蔽物の位置の局所スコアが所定の閾値Ｔｈ４以下か否か判断する。具体的には、登録顔画像における遮蔽物により隠れる局所領域（図９）の特徴量と、撮像顔画像における遮蔽物の位置の局所領域の特徴量を用いて、遮蔽物により隠れる局所領域の局所スコアを算出し、この局所スコアを閾値Ｔｈ４と比較する。例えば眼鏡により隠れる局所領域の局所スコアは右目領域の局所スコアと左目領域の局所スコアとの平均となる。遮蔽物の位置の局所スコアが所定の閾値Ｔｈ４以下であるということは、遮蔽物による局所スコアの低下が大きいということを意味する。（１）遮蔽物の位置の局所スコアが低いということは当該局所領域において登録顔画像と撮像顔画像が類似していないことを意味する。（２）当該局所領域には遮蔽物が存在する可能性が高いことがステップＳ７４で確認されている。（１）（２）に示す状況によれば、遮蔽物の影響で当該局所領域において登録顔画像と撮像顔画像が類似していないことが推認される。
　このように、本実施の形態においては、遮蔽物スコアが閾値Ｔｈ３以上となり遮蔽物が検出されたからといって直ちに遮蔽物を外すことが必要であると判定するのではなく、遮蔽物による局所スコアの低下が大きいときのみ遮蔽物を外すことが必要であると判定する。これにより、被照合者に不必要に遮蔽物を外すことを促すのを回避でき、被照合者に無駄な煩わしさを与えずに済む。遮蔽物による局所スコアの低下が大きいとき以外の状況とは例えば、撮像顔画像の被照合者が遮蔽物を着用していても、登録顔画像との類似度が高い状況などが挙げられる。遮蔽物による局所スコアの低下が大きいとき以外の状況において、被照合者に遮蔽物を外すように促すと、かえって照合の精度が低下するおそれがある。
　図１１Ａおよび図１１Ｂは、本実施の形態による、遮蔽物スコアと局所スコアの一例を示す。図１１Ａは遮蔽物スコアが高くかつ局所スコアが高い例を示し、図１１Ｂは遮蔽物スコアは高いが局所スコアが低い例を示す。図１１Ａは、被照合者が眼鏡をかけており、この眼鏡が検出されるので遮蔽物スコアは高くなるが、眼鏡による顔画像の遮蔽面積は小さいので眼鏡によって局所スコアが大きく低下することはなく、局所スコアは高くなる。図１１Ｂは、被照合者がサングラスをかけており、このサングラスが検出されるので遮蔽物スコアは高くなり、サングラスによる顔画像の遮蔽面積は大きいのでサングラスによって局所スコアが大きく低下し、局所スコアは小さくなる。
　本実施の形態の遮蔽物の脱着要否判定を行えば、図１１Ａのような場合には照合に対する影響は小さいので被照合者に眼鏡を外すことは要求せずに、図１１Ｂのような場合には照合に対する影響が大きいので被照合者にサングラスを外すことを要求する、といった処理を行うことが可能となる。
　以下に遮蔽物が眼鏡である場合の判定処理の例を示す。
　Case1：眼鏡検出スコアがＴｈ３以上で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以上　→　眼鏡があるが、影響が少なく目のスコアが高い。よって、眼鏡を脱着する必要がない。
　Case2：眼鏡検出スコアがＴｈ３以上で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以下　→　眼鏡があるため、影響が大きく目のスコアが低い。よって、眼鏡を脱着する必要がある。
　Case3：眼鏡検出スコアがＴｈ３以下で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以上　→　眼鏡がなく、目のスコアが高い。よって、眼鏡を脱着する必要がない。
　Case4：眼鏡検出スコアがＴｈ３以下で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以下　→　眼鏡がなく、目のスコアが低い。よって、眼鏡を脱着する必要がない。
　図１２は、図２のステップＳ１０で行われる遮蔽物強調表示処理の処理内容を示すフローチャートである。図１２に示すように、遮蔽物強調表示処理（ステップＳ１０）では、ステップＳ１０１において、プロセッサ１０１が遮蔽物スコアと局所スコアとに基づいて強調表示の度合いを計算する。
　強調表示とは、被照合者に遮蔽物を外すことを促すための表示のことを言う。例えば図１３に示すように、眼鏡を付けたテンプレート画像と共に「×」印を表示すれば、被照合者に眼鏡を外すことを促すことができる。このとき、画像を枠線で囲み、枠線の太さをより太くしたり、枠線の色をより目立つ色にすることにより、より強い強調表示を行うことができる。なお、強調表示の仕方は、これに限らず、例えば表示サイズの大小により強調の度合いを変えてもよい。
　図１４は、遮蔽物スコアと局所スコアとに基づく強調表示の度合いの例を示したものである。遮蔽物図１４における眼鏡検出スコア（眼鏡に関する遮蔽物スコア）が高くなるほど、及び、図１４における左目、右目スコア（眼鏡により隠れる局所領域の局所スコア）が低くなるほど、強調表示の度合いを強くする。
　ステップＳ１０２において、プロセッサ１０１は、表示部１０６に、ステップＳ１０１で算出した強調度合いの画像を表示する。これにより、被照合者に適切に遮蔽物を外すことを促すことができる。
　以上説明したように、本実施の形態によれば、撮像顔画像に撮像されている被照合者が登録顔画像の本人でないと判定した場合に、撮像顔画像中の遮蔽物の有無の判定結果に基づいて、被照合者に対して遮蔽物を外すべき旨の情報を提示するようにした。
　また、本実施の形態によれば、撮像顔画像と登録顔画像とを照合することで被照合者が登録顔画像の本人か否かを判定する認証ステップ（ステップＳ３）と、撮像顔画像中の遮蔽物の有無を判定する遮蔽物検出ステップ（ステップＳ７５）と、遮蔽物に対応する局所領域における撮像顔画像と登録顔画像との局所的類似度スコアを算出する局所スコア算出ステップ（ステップＳ８２）と、局所スコア算出ステップ（ステップＳ８２）で算出された局所的類似度スコアに基づいて、遮蔽物を取り除くことを催促する催促ステップ（ステップＳ１０）と、を含むようにした。
　これにより、被照合者が照合処理の障害となるような遮蔽物を付けていることを的確に検出できるとともに、被照合者に対して当該遮蔽物を外すことを適切に促すことができるようになる。
　また、本実施の形態によれば、遮蔽物が検出されたからといって被照合者に直ちに遮蔽物を外すことを促すのではなく、遮蔽物による局所スコアの低下が大きいときのみ遮蔽物を外すことを促すようにしたことにより、被照合者に不必要に遮蔽物を外すことを促すのを回避でき、被照合者に無駄な煩わしさを与えずに済む。
　以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
　上述の実施の形態では、本開示の照合装置及び照合方法をゲート開閉システムに適用した場合について述べたが、勿論、ゲート開閉システム以外にも適用可能である。また、登録顔画像は、勿論、パスポートの画像に限らない。
　また上述の実施の形態では、被照合者に対して遮蔽物を外すことを表示によって促した場合について述べたが、これに限らず、例えば音声や光によって提示して促してもよい。
　＜まとめ＞
　本開示の照合装置は、プロセッサと、記憶部とを有し、前記プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている前記被照合者の登録顔画像とを照合し、前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。
　また本開示の照合装置において、前記被照合者に対して遮蔽物を外すべき旨の情報の提示は、前記照合の結果である類似度スコアが第１の閾値Ｔｈ１以下でありかつ第２の閾値Ｔｈ２以上の場合に行われる。これにより、全体スコアが惜しくも閾値Ｔｈ１に届かなかった場合にのみ、遮蔽物を外すべき旨の情報の提示を行うことができるようになり、被照合者に無駄な煩わしさを与えずに済む。
　また、本開示の照合装置において、前記プロセッサは、さらに、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアを算出し、前記遮蔽物の有無の判定結果と、前記局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。これにより、例えば、撮像画像と登録画像との局所的類似度スコアが低く、かつ、遮蔽物が有るといった判定結果が得られた場合にのみ、遮蔽物を外すべき旨の情報を提示できるので、照合処理の障害となるような遮蔽物の存在をより的確に検出でき、被照合者に該遮蔽物を外すことをより適切に促すことができる。
　また本開示の照合装置において、前記局所的類似度スコアに基づいて、前記遮蔽物を外すべき旨の情報の提示の強度を変える。これにより、局所的類似度スコアがより低いほど（つまり遮蔽物が有る可能性がより高いほど）、遮蔽物を外すべき旨の情報の提示の強度をより高くできるので、遮蔽物が存在する可能性がより高いほど、被照合者に遮蔽物を外すことを強く促すことができるようになる。
　また本開示の照合装置において、前記撮像顔画像中に遮蔽物が有ると判定した場合、当該遮蔽物を付けたテンプレート画像を強調表示することで、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。これにより、被照合者は、どの遮蔽物を外すべきかを容易に認識できるようになる。
　また本開示の照合装置において、前記強調表示の度合いを、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアに基づいて、変更する。これにより、局所的類似度スコアがより低いほど（つまり遮蔽物が有る可能性がより高いほど）、遮蔽物を外すべき旨の情報の提示の強度をより高くできるので、遮蔽物が存在する可能性がより高いほど、被照合者に遮蔽物を外すことを強く促すことができるようになる。
　本開示の照合方法は、被照合者を撮像した撮像顔画像と、登録顔画像と、を照合する照合方法であって、撮像顔画像と、登録顔画像と、を照合し、前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。
　本開示は、撮像顔画像と登録顔画像とを照合する照合装置及び照合方法に好適である。
　１００　照合装置
　１０１　プロセッサ
　１０２　記憶部
　１０３　無線通信部
　１０４　撮像部
　１０５　入力部
　１０６　表示部

Claims (12)

  1. 　プロセッサと、記憶部とを有し、
    　前記プロセッサは、
    　被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている前記被照合者の登録顔画像とを照合し、
    　前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、
    　前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
    　照合装置。
  2. 　前記被照合者に対して遮蔽物を外すべき旨の情報の提示は、
    　前記照合の結果である類似度スコアが第１の閾値Ｔｈ１以下でありかつ第２の閾値Ｔｈ２以上の場合に行われる、
    　請求項１に記載の照合装置。
  3. 　前記プロセッサは、
    　さらに、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアを算出し、
    　前記遮蔽物の有無の判定結果と、前記局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
    　請求項１又は請求項２に記載の照合装置。
  4. 　前記局所的類似度スコアに基づいて、前記遮蔽物を外すべき旨の情報の提示の強度を変える、
    　請求項３に記載の照合装置。
  5. 　前記撮像顔画像中に遮蔽物が有ると判定した場合、当該遮蔽物を付けたテンプレート画像を強調表示することで、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
    　請求項１に記載の照合装置。
  6. 　前記強調表示の度合いを、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアに基づいて、変更する、
    　請求項５に記載の照合装置。
  7. 　被照合者を撮像した撮像顔画像と、登録顔画像と、を照合する照合方法であって、
    　撮像顔画像と、登録顔画像と、を照合し、
    　前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、
    　前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
    　照合方法。
  8. 　前記撮像顔画像と前記登録顔画像との局所的類似度スコアが、第１の閾値Ｔｈ１以下であり、かつ、第２の閾値Ｔｈ２以上の場合に、
    　前記撮像顔画像中の遮蔽物の有無の判定処理、及び、この判定処理に基づく前記被照合者に対して遮蔽物を外すべき旨の情報を提示する処理を行う、
    　請求項７に記載の照合方法。
  9. 　さらに、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアを算出し、
    　前記遮蔽物の有無の判定結果と、前記局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
    　請求項７又は請求項８に記載の照合方法。
  10. 　前記撮像顔画像と前記登録顔画像との局所的類似度スコアに応じて、催促の強度を変える、
    　請求項９に記載の照合方法。
  11. 　前記撮像顔画像中に遮蔽物が有ると判定した場合、当該遮蔽物を付けたテンプレート画像を強調表示することで、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
    　請求項７に記載の照合方法。
  12. 　前記強調表示の度合いを、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアに基づいて、変更する、
    　請求項１１に記載の照合方法。
PCT/JP2017/019865 2016-06-08 2017-05-29 照合装置及び照合方法 WO2017212967A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17810146.5A EP3471055B1 (en) 2016-06-08 2017-05-29 Comparison device and comparison method
CN201780033939.XA CN109196517B (zh) 2016-06-08 2017-05-29 对照装置和对照方法
US16/306,198 US11367308B2 (en) 2016-06-08 2017-05-29 Comparison device and comparison method
JP2018522428A JP6574988B2 (ja) 2016-06-08 2017-05-29 照合装置及び照合方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-114480 2016-06-08
JP2016114480 2016-06-08

Publications (1)

Publication Number Publication Date
WO2017212967A1 true WO2017212967A1 (ja) 2017-12-14

Family

ID=60577839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019865 WO2017212967A1 (ja) 2016-06-08 2017-05-29 照合装置及び照合方法

Country Status (5)

Country Link
US (1) US11367308B2 (ja)
EP (1) EP3471055B1 (ja)
JP (1) JP6574988B2 (ja)
CN (1) CN109196517B (ja)
WO (1) WO2017212967A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022003863A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 情報処理システム、情報処理方法、プログラム
JP2023525378A (ja) * 2020-05-15 2023-06-15 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 温度を測定するための方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
WO2023166693A1 (ja) * 2022-03-04 2023-09-07 富士通株式会社 補正装置、補正方法、及び補正プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748983B2 (en) * 2018-05-21 2023-09-05 3M Innovative Properties Company Image-based personal protective equipment fit system using worker-specific fit test image data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005071009A (ja) * 2003-08-22 2005-03-17 Matsushita Electric Ind Co Ltd 画像入力装置およびそれを用いた認証装置
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法
JP2016081212A (ja) * 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3590285B2 (ja) * 1999-01-27 2004-11-17 株式会社東芝 生体情報認識装置およびその方法
JP2000251077A (ja) 1999-02-24 2000-09-14 Chonho Computer Co Ltd 銀行取引システムの取引者顔面認識方法
JP2008097499A (ja) * 2006-10-16 2008-04-24 Murata Mach Ltd 個人認証装置
US20090185746A1 (en) * 2008-01-22 2009-07-23 The University Of Western Australia Image recognition
JP4384240B2 (ja) * 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
US8224042B2 (en) * 2009-03-12 2012-07-17 Seiko Epson Corporation Automatic face recognition
JP5480532B2 (ja) * 2009-04-30 2014-04-23 グローリー株式会社 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
TWI401963B (zh) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
CN103871174B (zh) * 2014-03-16 2016-02-10 王美金 一种基于三方面部识别的自助柜员机
CN104091156A (zh) 2014-07-10 2014-10-08 深圳市中控生物识别技术有限公司 一种身份识别方法及装置
US20160275518A1 (en) * 2015-03-19 2016-09-22 ecoATM, Inc. Device recycling systems with facial recognition
US10198624B2 (en) * 2016-02-18 2019-02-05 Pinscreen, Inc. Segmentation-guided real-time facial performance capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005071009A (ja) * 2003-08-22 2005-03-17 Matsushita Electric Ind Co Ltd 画像入力装置およびそれを用いた認証装置
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法
JP2016081212A (ja) * 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3471055A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023525378A (ja) * 2020-05-15 2023-06-15 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 温度を測定するための方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
WO2022003863A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 情報処理システム、情報処理方法、プログラム
JPWO2022003863A1 (ja) * 2020-07-01 2022-01-06
US11915511B2 (en) 2020-07-01 2024-02-27 Nec Corporation Information processing system, information processing method, and program
JP7574849B2 (ja) 2020-07-01 2024-10-29 日本電気株式会社 情報処理システム、情報処理方法、プログラム
WO2023166693A1 (ja) * 2022-03-04 2023-09-07 富士通株式会社 補正装置、補正方法、及び補正プログラム

Also Published As

Publication number Publication date
JPWO2017212967A1 (ja) 2019-01-10
US11367308B2 (en) 2022-06-21
CN109196517A (zh) 2019-01-11
CN109196517B (zh) 2022-06-21
EP3471055B1 (en) 2022-10-05
US20210224521A1 (en) 2021-07-22
EP3471055A1 (en) 2019-04-17
EP3471055A4 (en) 2019-04-17
JP6574988B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
JP5359266B2 (ja) 顔認識装置、顔認識方法及び顔認識プログラム
US8787629B2 (en) Image processing based on line-of-sight of a person
US8422746B2 (en) Face authentication system and authentication method thereof
JP6574988B2 (ja) 照合装置及び照合方法
JP6148064B2 (ja) 顔認証システム
JP5061563B2 (ja) 検出装置、生体判定方法、およびプログラム
JP2019053675A (ja) 照合システム
JP5730044B2 (ja) 顔画像認証装置
US20220292883A1 (en) Judgement method, judgement device, and judgement program
US20160171323A1 (en) Apparatus for recognizing iris and operating method thereof
US8971592B2 (en) Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference
JP6150509B2 (ja) 顔認証装置
JP2007300185A (ja) 画像監視装置
JP6544404B2 (ja) 照合システム
JP2011089784A (ja) 物体方向推定装置
JP2019194875A (ja) 照合システム
JP6150491B2 (ja) 顔認証装置
JP2012181629A (ja) 顔検出方法および顔検出装置、ならびに、プログラム
JP6960572B2 (ja) 照合装置及び照合方法
KR101280439B1 (ko) 현금인출기 카메라에서 취득된 얼굴 영상에 대한 얼굴 인식 가능성 판단 방법
JP5871764B2 (ja) 顔認証装置
CN109800618A (zh) 一种检测是否佩戴美瞳的设备及其方法
WO2019151116A1 (ja) 情報処理装置
JP2010003232A (ja) 眼検出装置
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018522428

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810146

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017810146

Country of ref document: EP

Effective date: 20190108