[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6998568B2 - 顔認証システムおよび顔認証方法 - Google Patents

顔認証システムおよび顔認証方法 Download PDF

Info

Publication number
JP6998568B2
JP6998568B2 JP2019038646A JP2019038646A JP6998568B2 JP 6998568 B2 JP6998568 B2 JP 6998568B2 JP 2019038646 A JP2019038646 A JP 2019038646A JP 2019038646 A JP2019038646 A JP 2019038646A JP 6998568 B2 JP6998568 B2 JP 6998568B2
Authority
JP
Japan
Prior art keywords
face
user
face recognition
information
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019038646A
Other languages
English (en)
Other versions
JP2020144443A5 (ja
JP2020144443A (ja
Inventor
正司 大園
佳史 米本
邦夫 古田
隆夫 注連
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019038646A priority Critical patent/JP6998568B2/ja
Priority to US17/433,820 priority patent/US12002046B2/en
Priority to PCT/JP2020/004328 priority patent/WO2020179333A1/ja
Priority to CN202080017568.8A priority patent/CN113519013B/zh
Publication of JP2020144443A publication Critical patent/JP2020144443A/ja
Priority to JP2021197962A priority patent/JP7266185B2/ja
Publication of JP2020144443A5 publication Critical patent/JP2020144443A5/ja
Application granted granted Critical
Publication of JP6998568B2 publication Critical patent/JP6998568B2/ja
Priority to JP2023058520A priority patent/JP7474957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G07C9/00904Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses for hotels, motels, office buildings or the like
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/10Movable barriers with registering means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F7/00Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/02Access control comprising means for the enrolment of users

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本開示は、対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムおよび顔認証方法に関する。
従来、対象者の顔認証をその対象者が通過するゲートの開閉制御に適用したシステムが開発されている。例えば、利用者が所持する無線タグ(遠隔型ICカード)から送信された識別子を受信する読み取り部と、その無線タグから受信した識別子に対応して登録されている顔特徴量を取得する取得部と、利用者を撮像する撮像部と、その撮像部で撮像した画像データから顔の特徴量を抽出する抽出部と、その抽出部で抽出された顔の特徴量と、その取得部で取得された顔特徴量とが一致するかを照合する顔照合部と、その顔照合部での照合の結果に応じて、ゲートの出口を開状態または閉状態とする開閉制御部と、を備えた顔認証システムが知られている(特許文献1参照)。
国際公開第WO2018/181968号公報
ところで、上記従来技術では、利用者の無線タグから送信された識別子によって顔認証の対象者(すなわち、登録されている顔特徴量)を絞り込むことが可能となるが、ゲートを通過する利用者は、ICカードを常に携帯する必要があるため、当該ICカードに含まれる個人情報(すなわち、特定の個人を識別できる情報)を安全に管理することは難しくなる。また、上記従来技術では、顔画像データとその特徴量データの両方のデータをクラウドサーバなどに置いて、それらのデータを安全に管理する仕組みについては、何ら配慮されていない。
さらに、施設では、利用者によるゲートの通過のみならず、施設内における利用者の行為によって様々なイベント(例えば、施設内で受けたサービスや購入品等の対価の支払いなど)が生じ得る。しかしながら、上記従来技術では、他の様々なイベントに対する顔認証の適用については、何ら配慮されていない。
そこで、本開示は、施設を利用する利用者の個人情報を安全に管理しつつ、施設内で発生し得るイベントごとの利用者の顔認証を簡易に実行することができる顔認証システムおよび顔認証方法を提供することを主な目的とする。
本開示の顔認証システムは、施設の利用者の顔画像を登録し、前記施設内における前記利用者の行為によって発生するイベントごとに顔認証を実行する顔認証システムであって、前記施設に設置され、前記利用者の登録用の顔画像およびその顔画像以外の情報であって前記利用者の特定に用いられる特定情報を取得する登録装置と、前記イベントの発生時に撮影された前記利用者の認証用の顔画像を取得する前記イベントの発生場所に対応して設けられた顔認証機と、前記登録装置とネットワークを介して接続され、前記登録用の顔画像および前記特定情報を関連付けて蓄積する顔管理サーバと、前記登録用の顔画像および前記認証用の顔画像から顔特徴量データをそれぞれ生成すると共に、前記顔特徴量データ同士の照合処理を実行する1以上の顔照合サーバと、を備え、前記顔管理サーバは、利用者が属する照合グループを設定し、前記顔認証機と前記照合グループとの間の関連付け情報と、前記顔照合サーバと前記照合グループとの間の関連付け情報とを生成して管理する構成とする。
また、本開示の顔認証方法は、施設の利用者の顔画像を登録し、前記施設内における前記利用者の行為によって発生するイベントごとに顔認証を実行する顔認証方法であって、前記施設において、前記利用者の登録用の顔画像およびその顔画像以外の情報であって前記利用者の特定に用いられる特定情報を取得し、前記イベントの発生時に撮影された前記利用者の認証用の顔画像を前記イベントの発生場所に対応して設けられた顔認証機より取得し、前記登録用の顔画像および前記特定情報を関連付けて顔管理サーバに蓄積し、前記登録用の顔画像および前記認証用の顔画像から顔特徴量データをそれぞれ生成すると共に、前記顔特徴量データ同士の照合処理を1以上の顔照合サーバによって実行し、前記顔管理サーバが、利用者が属する照合グループを設定し、前記顔認証機と前記照合グループとの間の関連付け情報と、前記顔照合サーバと前記照合グループとの間の関連付け情報とを生成して管理する構成とする。
本開示によれば、施設を利用する利用者の個人情報を安全に管理しつつ、施設内で発生し得るイベントごとの利用者の顔認証を簡易に実行することができる。
本実施形態に係る顔認証システムの全体構成図 施設において発生するイベントの例を示す説明図 照合グループの概要を示す説明図 顔認証機1で行われる顔照合の問合せの概要を示す説明図 顔照合ユニットの概要を示す説明図 顔認証機1の概略構成を示すブロック図 管理端末2の概略構成を示すブロック図 登録装置4の概略構成を示すブロック図 顔管理サーバ5の概略構成を示すブロック図 顔照合サーバ6の概略構成を示すブロック図 外部装置の概略構成を示すブロック図 顔画像抽出処理の概要を示す説明図 照合グループ情報による顔認証の問合せの概要を示す説明図 登録装置4に表示される登録画面の一例を示す説明図 利用者に関する登録処理の手順を示すシーケンス図 利用者に関する顔認証の処理の第1の例を示すシーケンス図 利用者に関する顔認証の処理の第2の例を示すシーケンス図 顔認証機1に表示される認証画面の一例を示す説明図 利用者に関する顔認証の処理の第3の例を示すシーケンス図 管理端末2に表示されるログイン画面を示す説明図 顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末2に表示される画面 顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末2に表示される画面 管理端末2に表示される利用者の管理用画面の一例を示す説明図 管理端末2に表示される会議室検索画面の一例を示す説明図 管理端末2に表示される出席者表示画面の一例を示す説明図 管理端末2に表示される人脈検索画面の一例を示す説明図
前記課題を解決するためになされた第1の発明は、施設の利用者の顔画像を登録し、前記施設内における前記利用者の行為によって発生するイベントごとに顔認証を実行する顔認証システムであって、前記施設に設置され、前記利用者の登録用の顔画像およびその顔画像以外の情報であって前記利用者の特定に用いられる特定情報を取得する登録装置と、前記イベントの発生時に撮影された前記利用者の認証用の顔画像を取得する前記イベントの発生場所に対応して設けられた顔認証機と、前記登録装置とネットワークを介して接続され、前記登録用の顔画像および前記特定情報を関連付けて蓄積する顔管理サーバと、前記登録用の顔画像および前記認証用の顔画像から顔特徴量データをそれぞれ生成すると共に、前記顔特徴量データ同士の照合処理を実行する1以上の顔照合サーバと、を備え、前記顔管理サーバは、利用者が属する照合グループを設定し、前記顔認証機と前記照合グループとの間の関連付け情報と、前記顔照合サーバと前記照合グループとの間の関連付け情報とを生成して管理する構成とする。
これによると、施設において利用者の登録用の顔画像および特定情報を取得し、それらを関連付けて顔管理サーバに蓄積し、イベントの発生時には、その蓄積した登録用の顔画像を用いて照合処理を顔照合サーバによって実行する構成としたため、施設を利用する利用者の個人情報を安全に管理しつつ、施設内で発生し得るイベントごとの利用者の顔認証を簡易に実行することが可能となる。
また、第2の発明は、前記イベントの1つは、前記施設内での通行を管理するゲート装置を前記利用者が通過する行為によって発生し、前記顔認証機の少なくとも1つは、前記ゲート装置と連携する構成とする。
これによると、利用者が施設内のゲート装置を通過する際に、当該利用者の顔認証を簡易に実行することが可能となる。
また、第3の発明は、前記イベントの1つは、前記施設内における所定の部屋への入室を管理するドアを前記利用者が通過する行為によって発生し、前記顔認証機の少なくとも1つは、前記ドアのロック装置と連携する構成とする。
これによると、利用者が施設内の所定の部屋(例えば、会議室や一定時間滞在する部屋)に入室する際に、当該利用者の顔認証を簡易に実行することが可能となる。
また、第4の発明は、前記イベントは、前記施設で使用される決済端末装置を介した前記利用者の支払いの行為によって発生し、前記顔認証機の少なくとも1つは、前記決済端末装置と連携する構成とする。
これによると、利用者が施設内で支払いの手続きを行う際に、当該利用者の顔認証を簡易に実行することが可能となる。
また、第5の発明は、前記登録装置は、前記利用者が所持する名刺に表示された情報を、前記特定情報として取得する構成とする。
これによると、利用者の顔画像の情報および利用者の名刺に表示された情報が関連付けられて蓄積されるため、顔認証の対象となる利用者の特定に用いられる情報を簡易に取得することが可能となる。
また、第6の発明は、前記登録装置は、前記利用者が所持する決済用のカードに表示された情報を、前記特定情報として取得する構成とする。
これによると、利用者の顔画像の情報および利用者の決済用のカード(例えば、クレジットカード)に表示された情報が関連付けられて蓄積されるため、顔認証の対象となる利用者の特定に用いられる情報を簡易に取得することが可能となる。
また、第7の発明は、前記登録装置は、前記施設内における前記利用者の滞在場所を示す情報を、前記特定情報として取得する構成とする。
これによると、利用者の顔画像の情報および施設内における利用者の滞在場所(例えば、部屋番号やエリア番号)を示す情報が関連付けられて蓄積されるため、顔認証の対象となる利用者の特定に用いられる情報を簡易に取得することが可能となる。
また、第8の発明は、施設の利用者の顔画像を登録し、前記施設内における前記利用者の行為によって発生するイベントごとに顔認証を実行する顔認証方法であって、前記施設において、前記利用者の登録用の顔画像およびその顔画像以外の情報であって前記利用者の特定に用いられる特定情報を取得し、前記イベントの発生時に撮影された前記利用者の認証用の顔画像を前記イベントの発生場所に対応して設けられた顔認証機より取得し、前記登録用の顔画像および前記特定情報を関連付けて顔管理サーバに蓄積し、前記登録用の顔画像および前記認証用の顔画像から顔特徴量データをそれぞれ生成すると共に、前記顔特徴量データ同士の照合処理を1以上の顔照合サーバによって実行し、前記顔管理サーバが、利用者が属する照合グループを設定し、前記顔認証機と前記照合グループとの間の関連付け情報と、前記顔照合サーバと前記照合グループとの間の関連付け情報とを生成して管理する構成とする。
これによると、施設において利用者の登録用の顔画像および特定情報を取得し、それらを関連付けて顔管理サーバに蓄積し、イベントの発生時には、その蓄積した登録用の顔画像を用いて照合処理を顔照合サーバによって実行する構成としたため、施設を利用する利用者の個人情報を安全に管理しつつ、施設内で発生し得るイベントごとの利用者の顔認証を簡易に実行することが可能となる。
以下、本開示の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る顔認証システムの全体構成図である。
この顔認証システムは、顔認証機1と、管理端末2と、顔認証サーバ3(クラウドサーバ)と、登録装置4(顔認証登録装置)を備えている。顔認証サーバ3は、顔管理サーバ5(顔認証管理サーバ)と、顔照合サーバ6と、を備えている。
顔認証機1と管理端末2と登録装置4と顔管理サーバ5と顔照合サーバ6とは、インターネットなどのネットワークを介して接続されている。顔認証システムは、顔認証サービスの提供者(事業者)ごとに構築される。顔認証機1は、建物の出入口や部屋の出入口など、顔認証が必要とされる場所ごとに複数設置される。登録装置4は、施設の来訪者等の受付を行う受付カウンタなどに配置される。顔照合サーバ6は、顔認証機1の台数などに応じて所要の数が設けられる。
顔認証機1は、カメラ11を備えており、このカメラ11により、利用者(施設の来訪者や、施設内の会社や店舗等における勤務者など)が写る撮影画像を取得する。また、顔認証機1は、ディスプレイ12を有しており、このディスプレイ12により、顔照合サーバ6から取得した顔認証結果を表示して、顔認証結果を利用者に通知する。
管理端末2は、顔認証システムの管理者が操作するものであり、PCで構成され、顔認証機1、登録装置4、顔管理サーバ5および顔照合サーバ6の動作を管理する管理アプリケーションがインストールされている。この管理アプリケーションにより、管理者が種々の管理業務を行うことができる。なお、管理アプリケーションはWebアプリケーションとして実装される。なお、管理者については、顔認証システムにおける各情報に対して異なるアクセス権限を有する複数の管理者グループが設定されている。
登録装置4は、利用者の顔認証の処理に用いられる情報(以下、認証用情報という。)を取得する。認証用情報には、各利用者の登録用の顔画像のみならず、その顔画像以外の情報であって利用者の特定に用いられる特定情報が含まれ得る。
特定情報としては、利用者の名刺に表示された情報、利用者が所持する決済用のカード(例えば、クレジットカードやキャッシュカード)に表示された情報、及び施設内における利用者の滞在場所を示す情報などを用いることができる。なお、特定情報には、利用者の氏名のように永続的に利用者を特定可能な情報が含まれ得る。ただし、特定情報は、例えば、施設の利用者に付与される利用者番号や、施設内で利用者が使用する会議室(面談が可能な任意のスペースを含む)の番号や、宿泊施設等で利用者が滞在する部屋の番号のように、利用者を一時的に特定可能な情報であってもよい。
顔管理サーバ5は、利用者の情報(個人情報を含む)を一元管理する。具体的には、顔管理サーバ5は、各利用者について、登録用の顔画像のデータおよび特定情報を関連付けて蓄積し、それらを管理する。顔管理サーバ5は、登録用の顔画像および特定情報を、利用者の登録時に登録装置4から取得する。また、顔管理サーバ5は、登録用の顔画像および特定情報に含まれる少なくとも一部の情報を管理端末2(すなわち、管理者)から取得してもよい。
顔照合サーバ6は、顔認証時に、顔認証の対象者の認証用の顔画像のデータを顔認証機1から取得して、その顔画像のデータから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者(登録済みの利用者)の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。
また、顔照合サーバ6は、顔認証に先だって、利用者の登録時に、利用者の登録用の顔画像のデータを顔管理サーバ5(または登録装置4)から取得して、その顔画像のデータから利用者の顔特徴量データを生成して、自装置に保管する。場合によっては、顔照合サーバ6は、利用者の撮影画像を管理端末2(すなわち、管理者)から取得して、その撮影画像から顔画像のデータを取得することもできる。
なお、本実施形態では、顔管理サーバ5(顔画像管理部)と顔照合サーバ6(顔画像照合部)とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、単一の情報処理装置内に存在するものとしてもよい。
また、本実施形態では、管理端末2と顔管理サーバ5とを設けるようにしたが、管理端末2と顔管理サーバ5とを単一の情報処理装置で構成することができる。例えば顔管理サーバ5に管理アプリケーションをインストールすることで、顔管理サーバ5が管理端末2を兼用することができる。また、顔認証システムの情報へのアクセス権限が限定された管理者(例えば、施設内の会社や店舗等における勤務者など)は、自身の情報処理端末(PCやタブレットなど)から顔管理サーバ5にアクセスし、利用者の個人情報に比べて秘匿の必要性が低い情報(例えば、後述する利用者が出席した会議に関する情報や、利用者の人脈に関する情報など)を参照することが可能である。
また、本実施形態では、顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。
次に、顔認証システムを適用した施設の利用者の行為によって発生するイベントの例について説明する。図2は、施設において発生するイベントの例を示す説明図である。
図2に示すように、施設の利用者10は、受付に配置された登録装置4により、施設の利用者としての登録(すなわち、顔照合の処理に用いられる情報の登録)の操作を行うことができる。なお、所定期間内に施設を再訪した登録済みの利用者については、登録装置4による登録を省略することができる。
施設では、施設内での人物(登録された利用者を含む)の行為によって発生する様々なイベント(図2中の2点鎖線内を参照)ごとに顔認証が実行される。
例えば、登録された利用者10は、施設内での利用者10の通行を管理するセキュリティゲート前で顔認証を受けることにより、当該セキュリティゲートを通過することが可能となる。セキュリティゲートには、ゲート装置16と連携する(すなわち、扉部の開閉状態を制御する)顔認証機1を設置することができる。
また例えば、登録された利用者10は、施設内の会議室前において顔認証を受けることにより、当該会議室の入室が可能となる。会議室前には、会議室のドアを施錠するロック装置と連携する(すなわち、ドアの施錠またはその解除を制御する)顔認証機1を配置することができる。なお、例えばホテルなどの宿泊施設では、会議室の代わりに、利用者が宿泊する部屋のドアのロック装置と連携する顔認証機1を設置することができる。
また例えば、登録された利用者10は、施設内のレストラン内において顔認証を受けることにより、当該レストランの利用料金の自動決済が可能となる。レストランには、利用者10の顔を撮影可能なカメラ11が設置され、顔認証機1は、レストランでの利用料金の支払いに用いられる決済端末装置(または決済システム)と連携する。
また例えば、登録された利用者10は、施設内のジムにおいて顔認証を受けることにより、当該ジムの利用料金の自動決済が可能となる。ジムには、利用者の顔を撮影可能なカメラ11が設置され、顔認証機1は、ジムでの利用料金の支払いに用いられる決済端末装置(または決済システム)と連携する。
なお、施設内で発生するイベントには、上述の例に限らず、例えば、施設の駐車場における利用料金の決済や、施設内のランドリーサービスの利用料金の決済や、施設内の浴場の利用料金の決済などの種々の事象が含まれ得る。
また、例えば、施設内でサービスを提供する会社の従業員等が利用者として登録された場合、施設のバックヤード(例えば、倉庫、作業場など)の出入口に顔認証機1を配置することにより、バックヤードにおけるセキュリティを確保することが可能となる。
次に、照合グループについて説明する。図3は、照合グループの概要を示す説明図である。
本実施形態では、利用者が顔認証を受ける顔認証機1の設置場所などに応じて、利用者をグループ分けして各利用者に照合グループを設定する。また、利用者と同様に、顔認証機1の設置場所などに応じて、顔認証機1をグループ分けして、各顔認証機1に照合グループを設定する。さらに、顔認証機1に対応する顔照合サーバ6、すなわち、顔認証機1から顔照合の問合せ(リクエスト)を受け付ける顔照合サーバ6を、顔認証機1と同様にグループ分けして、各顔照合サーバ6に照合グループを設定する。
例えば、複数の会社が入居しているマルチテナントの建物の玄関に設置された顔認証機1では、複数の会社に所属する利用者が顔認証を受ける。一方、所属する組織が異なる利用者の情報を、同一のデータベースで管理することができない。そこで、このような場合には、複数の会社ごとの照合グループを形成して、照合グループ単位で利用者の登録情報を保管し、顔認証機1では、会社ごとの照合グループの顔照合サーバ6に対して顔照合の問合せを行う。
利用者は、自身が属する照合グループに対応する顔認証機1でのみ、認証を受けることができる。したがって、登録済みの利用者でも、自分の照合グループに属さない顔認証機1、例えば自分の入館が許可されていない建物の顔認証機1では、認証を受けることができない。例えば、ある事業所に勤務している利用者が、別の事業所に出向いた場合、その事業所の顔認証機1では認証を受けることができない。
次に、顔認証機1から顔照合サーバ6に対する顔照合の問合せについて説明する。図4は、顔認証機1で行われる顔照合の問合せの概要を示す説明図である。
顔認証機1では、自装置と同じ照合グループに属する顔照合サーバ6に対して顔照合の問合せを行い、問合せ先(要求先)となる顔照合サーバ6に顔照合のリクエスト(顔認証の処理要求)を送る。また、顔認証機1には、照合グループ情報として、顔照合サーバ6のネットワークアドレス(IPアドレス)を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ6に顔照合の問合せを行う。
この顔認証の問合せ方法には、図4(A)に示す一斉問合せと、図4(B)に示すランダム問合せと、図4(C)に示す順次問合せ(問合せ先切り替え)とがある。
図4(A)に示すように、一斉問合せの場合、顔認証機1は、複数の照合グループの各々に対応した顔照合サーバ6に対して一斉に顔照合の問合せを行う。例えば、顔認証機1が、マルチテナントの建物の玄関に設置され、複数の照合グループの利用者が顔認証を受ける場合、顔認証機1は、各グループの顔照合サーバ6に対して一斉に顔照合のリクエストを送る。
なお、1つの顔照合サーバ6の負荷を軽減するため、1つの照合グループに属する利用者の顔特徴量データを複数の顔照合サーバ6に分割して保管することも可能である。この場合にも、顔認証機1は、自身と同じ照合グループ内で互いに登録内容が異なる全ての顔照合サーバ6に対して一斉に顔照合の問合せを行う。
図4(B)に示すように、ランダム問合せの場合、顔認証機1は、自身と同じ照合グループ内の複数の顔照合サーバ6の中から、顔照合の問合せ先となる顔照合サーバ6をランダムに選択する。複数の顔照合サーバ6は登録内容が同一である。すなわち、同一の利用者を照合対象とし、同一の利用者の顔特徴量データを保管している。このような問合せ方法では、顔認証機1からの問合せが各顔照合サーバ6に振り分けられるため、各顔照合サーバ6の負荷を軽減することができ、負荷分散を図ることができる。
図4(C)に示すように、順次問合せの場合、顔認証機1は、自身と同じ照合グループ内の複数の顔照合サーバ6の中から、顔照合の問合せ先を順次選択する。具体的には、顔照合サーバ6に順番(優先順位)を付与して、顔認証機1は、その順番にしたがって顔照合サーバ6を選択し、順位の高い顔照合サーバ6から応答がない場合には、送信先を顔照合サーバ6に切り替える。すなわち、顔認証機1は、照合グループ内の第1順位の顔照合サーバ6を選択して、その顔照合サーバ6に対して顔認証を要求する。そして、顔認証機1は、顔照合サーバ6から応答がない場合には、同じ照合グループ内の次順位の別の顔照合サーバ6を選択して、その顔照合サーバ6に対して顔認証を要求する。このような制御により冗長化(バックアップ)を図ることができる。
次に、顔照合ユニットについて説明する。図5は、顔照合ユニットの概要を示す説明図である。
顔照合サーバ6には、顔照合を行う顔照合ユニットを複数設けることができる。この顔照合ユニットは、顔照合プログラムを実行する顔照合プロセスと、顔照合の比較対象となる利用者の情報(顔特徴量データ)が登録された顔照合データベースとを有している。
この顔照合ユニットは、照合グループごとに設けられており、照合グループに属する顔認証機1からの顔照合のリクエストに応じて顔照合を行う。したがって、1つの顔照合サーバ6で、複数の照合グループに対応することができる。
ここで、顔認証機1は、照合グループ情報として、顔照合サーバ6のネットワークアドレス(IPアドレス)を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ6に顔照合の問合せを行うことができる。さらに、本実施形態では、顔認証機1は、顔照合ユニット単位のネットワークアドレス(IPアドレス)を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合ユニットに顔照合の問合せを行うことができる。
また、顔照合データベースは、照合グループごとに設けられるため、利用者の顔特徴量データを照合グループ単位で保管することができる。顔照合プロセスは、グループ単位で保管されている顔特徴量データと、同一のグループの顔認証機1から取得した顔画像データから生成した顔特徴量データとの照合処理を実行する。
ここで、顔認証機1と顔照合ユニットとの対応関係には種々の態様がある。
図5(A)に示す例は、顔照合サーバ6に、顔認証機1が属する照合グループの顔照合ユニットが1つ設けられており、顔認証機1と顔照合サーバ6とが1対1で対応している。
図5(B)に示す例は、顔認証機1と顔照合サーバ6とが1対1で対応するが、顔照合サーバ6に、顔認証機1が属する照合グループの顔照合ユニットが2つ設けられている。
この場合、マルチテナントの建物の玄関に設置された顔認証機1の場合に、所属する組織が異なる利用者の情報(例えば、利用者A、利用者B)を、異なる照合データベースで管理することができる。
図5(C)に示す例は、顔認証機1と顔照合サーバ6とが1対2で対応し、顔認証機1が、2つの顔照合サーバ6に対して顔照合の問合せ(利用者の照合リクエスト)を行う。この場合、異なる顔照合サーバ6に、同一の顔照合ユニット、すなわち、同一の利用者の顔特徴量データで顔照合を行う顔照合ユニットを2つ以上設けることで、顔照合サーバ6の負荷分散や死活対応を図ることができる。
次に、顔認証機1の概略構成について説明する。図6は、顔認証機1の概略構成を示すブロック図である。
顔認証機1は、カメラ11(顔画像取得部)と、ディスプレイ12(表示部)と、通信部13(送信部、受信部)と、記憶部14と、制御部15と、制御信号送信部17と、を備えている。
カメラ11は、所定の撮影エリアを常時撮影し、撮影エリアに人物が入るとその人物が撮影され、顔認証の対象者(登録済みの利用者を含む)の撮影画像を取得することができる。なお、省電力化のため、人感センサ(図示せず)を設けて、人の到来を検知してカメラ11が起動するようにしてもよい。
ディスプレイ12は、顔認証の進行状況や顔認証結果を表示し、顔認証を受ける人物は、それらを確認することができる。なお、対象者の認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。また、ディスプレイ12は、顔認証機1の設置場所によっては(例えば、セキュリティゲートに顔認証機1を設置する場合)、省略することができる。
通信部13は、ネットワークを介して顔照合サーバ6と通信を行う。本実施形態では、顔画像データを顔照合サーバ6に送信する。また、顔照合サーバ6から利用者の認証結果を受信する。また、通信部13は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、顔管理サーバ5から照合グループ情報などを受信する。
記憶部14は、利用者の撮影画像(顔画像)のデータ、照合グループ情報、制御部15を構成するプロセッサで実行される制御プログラムなどを記憶する。
制御部15は、起動処理部21と、顔画像抽出部22と、顔照合要求部23と、認証結果通知部24と、認証結果調整部25(履歴情報生成部)と、稼働状況監視部26と、を備えている。この制御部15は、プロセッサで構成され、制御部15の各部は、記憶部14に記憶されたプログラムをプロセッサで実行することで実現される。
起動処理部21は、顔認証機1の起動時に、顔管理サーバ5から照合グループ情報を取得して、記憶部14に記憶する。なお、照合グループ情報の取得は、これに限らず、照合グループ情報の更新などに伴って、顔管理サーバ5から照合グループ情報を対象の顔認証機1へ配信するようにしても良い。
顔画像抽出部22は、カメラ11から顔認証の対象者の撮影画像を取得して(カメラ画像キャプチャ)、その撮影画像から人物の顔を検知して(顔検知)、検知した顔のサイズが適正であるかを判定し(顔サイズチェック)、撮影画像から顔領域を切り出して(顔切出し)、対象者の顔画像(認証用の顔画像)のデータを取得することができる。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像(所定の撮影エリアの画像)のデータと、その撮影画像のデータ上の顔領域の位置情報(顔枠情報)との組み合わせとしてもよい。
顔照合要求部23は、自装置と照合グループが一致する顔照合サーバ6に顔照合のリクエストを通信部13によって送信する。
認証結果通知部24は、通信部13によって顔照合サーバ6から取得した顔認証結果をディスプレイ12に表示することにより、顔認証結果を利用者に通知する。
認証結果調整部25は、顔照合サーバ6から取得した利用者の顔照合結果に基づき外部装置16と連携するための制御を行う。外部装置16としては、例えば、施設における利用者の通行を管理するゲート装置(図2参照)、施設における会議室や所定エリアへの入退室を管理するドアのロック装置、及び利用者が施設内で受けたサービスや購入品等に対する支払いを行うための決済端末装置などを用いることができる。また、認証結果調整部25は、会議室のドアのロック装置と連携する場合には、会議室に入室した複数の利用者を関連づけた入室履歴の情報を生成することができる。
顔認証機1と外部装置16とは、通信ケーブル等によって直接接続されるか、公知のネットワークを介して通信可能に接続される。認証結果調整部25は、接続アプリケーションで構成されることにより、利用者の顔照合結果を、外部装置16を含む外部システムのサーバ等に通知することができる。
稼働状況監視部26は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ5に通知する。
制御信号送信部17は、外部装置16に対し、その動作を制御するめの制御信号を送信する。
次に、管理端末2について説明する。図7は、管理端末2の概略構成を示すブロック図である。
管理端末2は、通信部31と、ディスプレイ32(表示部)と、入力デバイス33(操作部)と、記憶部34と、制御部35と、を備えている。
通信部31は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、顔管理サーバ5から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ5に送信する。
ディスプレイ32は、各種の画面を表示する。入力デバイス33は、マウスやキーボードなどであり、ディスプレイ32に表示された画面の操作を行う。
記憶部34は、制御部35を構成するプロセッサで実行されるプログラム(管理アプリケーション)などを記憶する。
制御部35は、GUI制御部38を備えている。この制御部35は、プロセッサで構成され、制御部35の各部は、記憶部34に記憶されたプログラム(管理アプリケーション)をプロセッサで実行することで実現される。
GUI制御部38は、顔管理サーバ5から配信される各種の操作画面をディスプレイ32に表示する。また、入力デバイス33を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、GUI制御部38は、ログインに関連する画面、具体的にはログイン画面に関する表示入力制御を行う。また、GUI制御部38は、利用者の管理に関連する画面、具体的には、利用者の情報に関する登録(個別登録、一括登録)、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、GUI制御部38は、照合グループ管理に関連する画面、具体的には、照合グループに関する登録(個別登録、一括登録)、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、GUI制御部38は、認証機管理に関連する画面、具体的には、認証機と照合グループとの間の関連付けに関する登録、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、GUI制御部38は、認証ログ(顔認証の履歴情報)の参照画面に関する表示入力制御を行う。
次に、登録装置4の概略構成について説明する。図8は、登録装置4の概略構成を示すブロック図である。
登録装置4は、顔撮影用のカメラ41Aおよび情報取得用のカメラ41B(個人情報取得部)と、ディスプレイ42(表示部)と、通信部43と、記憶部44と、制御部45と、を備えている。
顔撮影用のカメラ41Aは、例えば施設の受付に立ち寄った利用者の顔を撮影することにより、利用者の撮影画像を取得することができる。
情報取得用のカメラ41Bは、利用者が提示した名刺を撮影することにより、名刺の撮影画像を取得することができる。ただし、情報取得用のカメラ41Bは、名刺に限らず、利用者を特定可能な情報が表示された利用者の所持品(例えば、利用者の決済用のカード、利用者の滞在先の情報が記載されたカードなど)を撮影し、その撮影画像を取得することもできる。登録装置4には、情報取得用のカメラ41Bの撮影を確実に行うために、カメラ41Bの撮影エリア内に利用者が名刺等を簡易に配置できる載置台(載置面)116(図14(C)参照)を設けることができる。
なお、登録装置4では、1つのカメラにより顔撮影用および情報取得用のカメラ41A、41Bを構成してもよい。また、顔撮影用のカメラ41Aおよび情報取得用のカメラ41Bの撮影タイミングについては、登録装置4における利用者の操作(例えば、撮影ボタンの押下)によって決定することができる。或いは、施設の受付担当者が、撮影タイミングを決定してもよい。
さらに、登録装置4には、利用者が所持する情報記録媒体(例えば、RFIDタグ)から利用者の特定情報を無線通信によって読み取り可能な情報読取装置(例えば、RFIDリーダ)を設けることも可能である。
ディスプレイ42は、利用者に対して認証用情報(利用者の個人情報を含む)の登録手順(図14(A)-(F)参照)を表示することができる。また、ディスプレイ42にスピーカーを付設することにより、登録手順等を利用者に音声で案内するようにしてもよい。また、ディスプレイ42をタッチパネルにより構成することで、利用者がタッチ操作により入力した情報を取得することが可能となる。
通信部43は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、顔画像データおよび特定情報を顔管理サーバ5に送信する。
記憶部44は、利用者の撮影画像(顔画像)のデータ、利用者の特定情報、及び制御部45を構成するプロセッサで実行される制御プログラムなどを記憶する。
制御部45は、顔画像抽出部46と、特定情報取得部47と、登録要求部48と、GUI制御部49と、稼働状況監視部50と、を備えている。この制御部45は、プロセッサで構成され、制御部45の各部は、記憶部44に記憶されたプログラムをプロセッサで実行することで実現される。
顔画像抽出部46は、顔撮影用のカメラ41Aから顔認証の対象者の撮影画像を取得し、その撮影画像から人物の顔を検知し、利用者の顔画像が適切に取得されたか否かを判定することができる。また、取得された顔画像が適切でない場合には、顔画像抽出部46は、利用者に再撮影を促すメッセージをディスプレイ42に表示させることができる。なお、顔画像抽出部46は、上述の顔認証機1の顔画像抽出部22と同様に、カメラ画像キャプチャ、顔検知、顔サイズチェック、及び顔切出しの機能を有してもよい。
特定情報取得部47は、OCR(光学文字認識)機能を備え、情報取得用のカメラ41Bの撮影画像から抽出された文字や記号などから、特定情報(ここでは、名刺記載情報)を生成する。
登録要求部48は、顔管理サーバ5に対し、利用者の登録のリクエストを通信部43によって送信する。
GUI制御部49は、顔管理サーバ5から配信される利用者に対する各種の案内画面をディスプレイ42に表示する。また、ディスプレイ42(ここでは、タッチパネル)の入力機能を用いた利用者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。
稼働状況監視部50は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ5に通知する。
次に、顔管理サーバ5の概略構成について説明する。図9は、顔管理サーバ5の概略構成を示すブロック図である。
顔管理サーバ5は、通信部51と、記憶部52と、制御部53と、を備えている。
通信部51は、ネットワークを介して管理端末2と通信を行う。また、通信部51は、ネットワークを介して顔認証機1と通信を行う。また、通信部51は、登録装置4と通信を行う。また、通信部51は、顔照合サーバ6と通信を行う。
記憶部52は、顔情報データベース、顔認証機1と照合グループとの間の関連付け情報に関するデータベース、顔照合サーバ6と照合グループとの間の関連付け情報に関するデータベース、管理者アクセスログ、制御部53を構成するプロセッサで実行される制御プログラムなどを記憶する。
顔情報データベースには、登録された各利用者に関する情報として、登録用の顔画像が蓄積される。また、顔情報データベースには、各利用者の特定情報が登録用の顔画像に関連付けられて蓄積される。また、顔情報データベースには、照合グループなどが登録される。なお、利用者の顔画像および特定情報は、プライバシー保護のために暗号化された状態で記憶してもよい。さらに、顔情報データベースには、利用者の顔画像および特定情報の一部を、匿名化した情報で置き換えた状態で記憶してもよい。
制御部53は、管理者アクセス管理部61と、利用者管理部62と、照合グループ管理部63と、機器管理部64と、顔照合サーバ管理部65と、顔情報管理部66と、データベース管理部67と、稼働状況監視部68と、認証ログ提示部69と、暗号化部70と、匿名化情報生成部80と、画像生成部90と、を備えている。この制御部53は、プロセッサで構成され、制御部53の各部は、記憶部52に記憶されたプログラムをプロセッサで実行することで実現される。制御部53の各部は、WebAPI(Web Application Programming Interface)として構成される。
管理者アクセス管理部61は、管理端末2から自装置にアクセスする管理者のアクセス権限に応じて、管理者のアクセス(ログイン)を許可または拒否する。管理者アクセス管理部61は、顔管理サーバ5および顔照合サーバ6に対する管理端末2からのアクセス(ログイン)の状況を監視し、管理端末2からのアクセスを検知すると、そのアクセスに関する情報(アクセスした管理者や日時など)を管理者アクセスログ(履歴情報)として記録する。これにより、顔管理サーバ5は、管理端末2からの管理者アクセスログの参照の要求に応じて、管理端末2に管理者アクセスログを提供し、管理者が管理者アクセスログを閲覧することができる。
また、管理者アクセス管理部61は、自装置に対する管理端末2からのアクセスを管理し、管理者が管理端末2を操作して自装置にアクセスすると、そのときの情報を管理者アクセスログ(履歴情報)として記憶部52に蓄積する。また、管理端末2からの参照要求に応じて、管理者アクセスログを管理端末2に提示する。
利用者管理部62は、登録用の顔画像および特定情報などの利用者に関する情報を管理し、管理端末2からの要求に応じて、利用者に関する必要な処理を行う。本実施形態では、管理端末2から、利用者に関する登録、参照、更新および削除の要求が行われ、利用者管理部62は、その要求に応じて必要な処理を行う。また、利用者管理部62は、利用者が出席した会議に関する情報や、利用者の人脈に関する情報を管理する。
照合グループ管理部63は、照合グループに関する情報を管理し、管理端末2からの要求に応じて、照合グループに関する必要な処理を行う。本実施形態では、管理端末2から、照合グループに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。また、照合グループ情報、すなわち、顔認証機1が自分の照合グループと一致した顔照合サーバ6に顔認証を要求するために必要となる情報を顔認証機1ごとに生成して、その照合グループ情報を顔認証機1に提供する。
機器管理部64は、顔認証機1および登録装置4に関する情報を管理し、管理端末2からの要求に応じて、顔認証機1および登録装置4に関する必要な処理を行う。本実施形態では、管理端末2から、顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
顔照合サーバ管理部65は、顔照合サーバ6に関する情報を管理し、管理端末2からの要求に応じて、顔照合サーバ6に関する必要な処理を行う。本実施形態では、管理端末2から、顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照および削除の要求が行われ、その要求に応じて必要な処理を行う。
顔情報管理部66は、自装置に保管された利用者の顔情報(顔画像、特定情報など)と、顔照合サーバ6に保管された利用者の顔情報(利用者の顔特徴量データ)とが整合した状態に維持されるように、顔情報の同期を行う。また、顔情報管理部66は、顔情報(利用者の顔特徴量データ)のコピーを行う。
データベース管理部67は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
稼働状況監視部68は、自装置の稼働状況を監視し、また、顔認証機1、登録装置4および顔照合サーバ6からの稼働状況の通知を受け取り、管理端末2での管理者の操作に応じて、顔認証機1、登録装置4、自装置(顔管理サーバ5)、および顔照合サーバ6の稼働状況を管理端末2に画面表示する。
認証ログ提示部69は、管理端末2からの参照要求に応じて、顔照合サーバ6から認証ログを取得して、認証ログを管理端末2に提示する。
暗号化部70は、利用者の顔画像および特定情報の少なくとも一部を暗号化処理することができる。暗号化された情報は、記憶部52に記憶される。なお、顔管理サーバ5では、暗号化部70によって暗号化された情報に対応するオリジナルの情報(暗号化処理前の情報)を記憶部52から削除してもよい。
匿名化情報生成部80は、利用者の顔画像および特定情報の少なくとも一部を匿名化する処理を行うことができる。匿名化情報生成部80は、匿名化の処理として、例えば、利用者の顔画像および特定情報の一部をダミー情報で置き換えることができる。また、匿名化の処理では、利用者の顔画像および特定情報において欠落している情報(例えば、利用者から提供を拒否された情報)にダミー情報を用いてもよい。匿名化された情報は、記憶部52に記憶される。なお、暗号化部70は、匿名化情報生成部80によって匿名化された情報に対応するオリジナルの情報(匿名化処理前の情報)のみを暗号化してもよい。
画像生成部90は、利用者管理部62および機器管理部64による情報の管理状態を管理者が確認または変更するための管理用画面を生成する。管理用画面は、管理端末2等に対して配信される。
次に、顔照合サーバ6の概略構成について説明する。図10は、顔照合サーバ6の概略構成を示すブロック図である。
顔照合サーバ6は、通信部71と、記憶部72と、制御部73と、を備えている。
通信部71は、ネットワークを介して顔認証機1と通信を行う。本実施形態では、顔認証機1から顔画像データなどを受信する。また、利用者の認証結果などを顔認証機1に送信する。また、通信部71は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ5から受信し、それに応じたレスポンスなどを顔管理サーバ5に送信する。
記憶部72は、顔照合データベース、利用者と特徴量との間の関連付け情報、自装置の照合グループに関する情報、認証ログ、制御部73を構成するプロセッサで実行される制御プログラムなどを記憶する。
顔照合データベースには、登録された各利用者に関する情報として、利用者の顔特徴量データなどが登録される。また、顔照合データベースは、照合グループごとに設けられ、利用者の顔特徴量データをグループ単位で保管する。ここで、登録された利用者の顔特徴量データは、予期しない顔照合データベースからの消失に備えて、顔照合サーバ6内に設けられたHDDやSSD等の不揮発性メモリへバックアップ保存してもよい。
制御部73は、照合グループ管理部81と、画像品質チェック部82と、顔画像抽出部83と、顔特徴量生成部84と、顔特徴量管理部85と、顔特徴量照合部86と、認証ログ管理部87と、データベース管理部88と、稼働状況監視部89と、を備えている。この制御部73は、プロセッサで構成され、制御部73の各部は、記憶部72に記憶されたプログラムをプロセッサで実行することで実現される。制御部73の各部は、WebAPIとして構成される。
照合グループ管理部81は、自装置が属する照合グループを管理し、顔管理サーバ5からの要求に応じて、照合グループに関する登録や削除の処理を行う。
画像品質チェック部82は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度(顔の向きや表情による評価値)を算出する。
顔画像抽出部83は、利用者登録時に、登録装置4によって取得された利用者の撮影画像から顔画像を抽出する。このとき必要に応じて、顔画像抽出部83は、撮影画像から人物の顔を検知し(顔検知)、検知した顔のサイズが適正であるかを判定し(顔サイズチェック)、撮影画像から顔領域を切り出して(顔切出し)、人物の顔画像を取得する。なお、顔画像抽出部83は、顔認証時に、顔認証機1によって取得された対象者の撮影画像から顔画像を抽出することもできる。
顔特徴量生成部84は、利用者登録時および顔認証時に、登録用の顔画像および認証用の顔画像のデータから顔特徴点を検出して顔特徴量データをそれぞれ生成する。
顔特徴量管理部85は、利用者登録時に、顔特徴量生成部84で生成した利用者の顔特徴量データを、利用者の照合グループに対応した顔照合データベースに登録する。また、更新や削除の際に、顔管理サーバ5からの要求に応じて、顔照合データベースに登録された顔特徴量データを削除する。また、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われた場合に、顔管理サーバ5からの要求に応じて、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。
顔特徴量照合部86は、顔認証時に、顔認証機1から取得した認証用の顔画像のデータから生成した対象者の顔特徴量データと、自装置に保管された登録者(登録済みの利用者)の顔特徴量データとを比較して、対象者が登録者か否かを判定する。この顔特徴量照合部86は、自装置に関連付けされた照合グループに対応したものであり、自装置に複数の照合グループが関連付けられている場合には、照合グループごとの複数の顔特徴量照合部86を有する。この顔特徴量照合部86(顔照合プロセス)は、顔照合データベースと組み合わせて顔照合ユニットを構成する。
なお、顔特徴量照合部86では、対象者と登録者との類似度(照合スコア)を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機1に通知する他に、類似度の高い登録者に関する人物IDや類似度を照合結果として顔認証機1に通知するようにしてもよい。
認証ログ管理部87は、顔認証機1から自装置に顔認証の要求が行われると、そのときの情報、すなわち、顔認証の要求元の顔認証機1の機器ID、顔照合結果などの情報を、認証ログとして記憶部72に蓄積する。また、顔管理サーバ5からの要求に応じて、認証ログを顔管理サーバ5に提供する。
データベース管理部88は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
稼働状況監視部89は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ5に通知する。
なお、本実施形態では、顔照合サーバ6の主たる機能として、顔画像抽出、顔特徴量生成、および顔特徴量照合の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。
次に、外部装置16の概略構成について説明する。図11は、外部装置16の概略構成を示すブロック図である。
外部装置16は、制御信号受信部91と、駆動部92と、電源部93と、制御部94と、を備えている。
制御信号受信部91は、顔認証機1の制御信号送信部17から送信された制御信号(外部装置16と連携する顔認証機1からの動作指令)を受信する。
駆動部92は、顔認証機1からの制御信号に基づき、制御部94によって制御される。例えば、外部装置16がゲート装置である場合、駆動部92は、ゲート装置の扉部を開放(または閉鎖)するための動力を供給する。また、外部装置16がドアのロック装置である場合、駆動部92は、ロック装置の施錠(または施錠を解除)するための動力を供給する。なお、外部装置16が駆動される部位を備えない装置(例えば、決済端末装置)である場合には、駆動部92を省略することが可能である。
電源部93は、外部装置16の各部に電力を供給する。また、電源部93は、顔認証機1の給電部97に電気的に接続され、当該給電部97に対しても電力を供給することが可能である。給電部97は、顔認証機1の各部に電力を供給する。また、LANケーブルを介して顔認証機1の給電部97と接続されることにより、PoE給電によって給電部97に電力を供給することができる。
また、電源部93は、施設内全般の電力供給ラインとは独立した無停電電源装置(または非常用電源)から電力供給を受けることが可能である。これにより、例えば外部装置16としてのゲート装置は、施設内で停電が発生した場合でも、通常の動作を行うことが可能となり、施設のセキュリティを維持できるという利点がある。
制御部94は、外部装置16の各部の動作を制御する。また、制御部94は、外部装置16として必要な処理を実行することができる。制御部94は、プロセッサで構成され、図示しない記憶部(メモリ)に記憶されたプログラムをプロセッサで実行することで実現される。
次に、顔画像抽出処理について説明する。図12は、顔画像抽出処理の概要を示す説明図である。
前記のように、顔認証機1の顔画像抽出部22において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われるが、この顔画像抽出処理は、顔照合サーバ6の顔画像抽出部83でも同様に行われる。
利用者登録時には、登録装置4から顔管理サーバ5を介して顔照合サーバ6に利用者の撮影画像のデータが送られることで、顔照合サーバ6の顔画像抽出部83で顔画像抽出処理を行う。場合によっては、管理端末2から顔管理サーバ5を介して顔照合サーバ6に利用者の撮影画像のデータが送られるようにしてもよい。
一方、顔認証時には、顔認証機1でのみ顔画像抽出処理を行い、顔照合サーバ6では顔画像抽出処理を行わないようにするとよい。この場合、顔認証機1に高精度な顔検知の機能を与える。また、顔認証機1ではカメラ11で撮影エリアを常時撮影し、顔が検知されたタイミングで顔画像情報(撮影画像データと顔枠情報)を顔照合サーバ6に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機1に分散され、顔照合サーバ6の負荷を軽減することができる。また、通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。
すなわち、利用者の顔認証処理を顔認証機1と顔照合サーバ6とで分担することにより、従来のように利用者の顔認証処理の全てを顔認証機1へ集中させた高価な認証機を多数設ける必要がない。また、顔特徴量データの更新などが発生しても、大規模な認証機のメンテナンス作業を必要とせず、顔照合サーバ6での作業で済む。したがって、本実施形態によれば、安価な構成、かつ、作業性に優れた顔認証システムを構築することができる。
ただし、顔認証機1が顔画像抽出の機能を備えない構成、すなわち、顔認証機1に顔画像抽出部22を設けないようにしてもよい。
図13は、照合グループ情報による顔認証の問合せの概要を示す説明図である。
顔管理サーバ5は、利用者が属する照合グループに関する情報と、顔認証機1と照合グループとの間の関連付け情報と、顔照合サーバ6と照合グループとの間の関連付け情報と、を保持する。また、顔管理サーバ5の照合グループ管理部63では、顔認証機1と照合グループとの間の関連付け情報と、顔照合サーバ6と照合グループとの間の関連付け情報とに基づいて、顔認証機1ごとの照合グループ情報を生成する。
この照合グループ情報は、顔認証機1が自分の照合グループと一致した顔照合サーバ6に顔認証を要求するために必要となる情報である。この照合グループ情報には、顔認証機1が属する照合グループの識別情報(グループ番号)と、その顔認証機1から顔認証を要求する顔照合サーバ6、すなわち、顔認証機1との照合グループに対応する顔照合サーバ6の宛先情報とが含まれる。ここで、宛先情報は、具体的には、顔照合サーバ6のネットワークアドレス(例えばIPアドレス)であり、この宛先情報により、顔認証の要求先となる顔照合サーバ6が特定され、顔認証機1と、その顔認証の要求先となる顔照合サーバ6とが関連付けられる。なお、顔認証機1が複数の照合グループに所属する場合には、対応する複数の顔照合サーバ6ごとのアドレス(IPアドレス)が照合グループ情報に含まれる。
顔認証機1では、起動時などに、起動処理部21が動作設定情報として顔管理サーバ5から照合グループ情報を取得して自装置に記憶する。顔認証機1では、人物の顔を検知すると、自装置が属する照合グループと一致する顔照合サーバ6に対して顔照合のリクエストを送る。この顔照合のリクエストには、自装置が属する照合グループの情報などを含む。
なお、顔認証機1において、照合グループ情報などに関する設定情報を顔管理サーバ5から取得するタイミングは、起動時の他、所定のタイミングでまたは所定間隔で定期的に行うようにしてもよく、または、顔管理サーバ5から照合グループ情報を配信する構成を採用することもできる。
顔照合サーバ6では、自装置の顔照合プロセスと照合グループとの間の関連付け情報を保持する。顔照合サーバ6では、顔認証機1からの顔認証のリクエストを受け取ると、照合グループと顔認証プロセスとの間の関連付け情報と、顔認証機1から取得した照合グループとに基づいて、顔認証機1に対応する顔認証プロセスを特定して、その顔認証プロセスに顔照合を行わせる。これにより、指定された照合グループに対応した顔認証プロセスで顔照合処理が行われる。
ところで、本実施形態では、顔照合サーバ6において、照合グループごとに顔照合データベースを設けて、照合グループ単位で顔特徴量データを保管する。このため、顔照合時には、顔認証機1の照合グループに対応する顔照合データベースに登録された顔特徴量データを対象にして顔照合を行えばよい。一方、顔照合サーバ6において、顔認証機1の照合グループに関係なく照合を行った上で、照合結果に対してフィルタをかけるようにしてもよい。すなわち、顔照合サーバ6に保管された全ての利用者の顔特徴量データを対象にして顔照合を行った上で、顔認証機1の照合グループに属する利用者との照合結果のみを抽出するようにしてもよい。この場合、照合グループごとに顔照合データベースを分けて設けないようにしてもよい。
次に、登録装置4における利用者による登録操作について説明する。図14は、登録装置4に表示される登録画面の一例を示す説明図である。
利用者は、施設の利用を開始するにあたり(あるいは、登録後の所定期間内に施設を再訪しなかった場合に)、登録装置4によって認証用の登録操作を行うことができる。本実施形態では、利用者は、登録装置4のディスプレイ42(ここでは、タッチパネル)に表示された案内画面にしたがって、登録操作を行うことができる。なお、以下で説明する認証用の登録操作の一部(ボタンの押下など)については、利用者の同意を得た受付者が行ってもよい。
登録装置4のディスプレイ42には、登録開始ボタン101が表示された初期画面が表示される(図14(A)参照)。そこで、利用者が登録開始ボタン101を押下(タッチ)すると、顔認証システムにおける個人情報の取扱いに関する説明と、その同意を利用者に求める画面が表示される(図14(B)参照)。
利用者は、図14(B)の画面において、同意ボタン102を押下することにより、顔認証システムにおける個人情報の取扱いに同意することができる。これにより、登録装置4では、当該利用者の認証用情報の取得が開始される。そこで、ディスプレイ42には、利用者の特定に用いられる特定情報を取得する方法を示す画面(第1の画面)が表示される(図14(C)参照)。なお、利用者は、中止ボタン103を押下することにより、登録操作を中止することができる。なお、同意を利用者に求める画面は、利用者によって同意が必要でない場合があり、省略することができる。また、後述の撮影ボタン104、撮影ボタン107、登録ボタン111の操作をもって同意に代えてもよい。また、登録装置4の利用前の所定の手続きをもって同意を得るようにしてもよい。
図14(C)に示す例では、利用者の名刺を撮影する方法(ここでは、情報取得用カメラ41Bの撮影エリア内に利用者の名刺を載置させるための案内)を示す画面(第1の画面)が表示される。そこで、利用者が、登録装置4の載置台116に名刺を載置して撮影ボタン104を押下すると、登録装置4による名刺の撮影が実行される。なお、利用者は、中止ボタン105を押下することにより、名刺の撮影を中止することができる。
名刺の撮影が終了すると、続いて、登録装置4には、利用者の登録用の顔画像を撮影する方法(顔撮影用カメラ41Aの撮影エリア内に利用者の顔を位置させるための案内)を示す画面(第1の画面)が表示される(図14(D)参照)。このとき、登録装置4では、撮影エリアに対応する撮影枠106を点滅させることにより、利用者に顔の位置合わせを促すことができる。撮影枠106内には、顔撮影用カメラ41Aによって撮影されたライブ画像(リアルタイムの動画像)が表示される。そこで、利用者が、自身の顔を撮影枠内に位置させて撮影ボタン107を押下すると、登録装置4による利用者の顔の撮影が実行される。このとき、登録装置4では、撮影ボタン107の押下時にシャッター音を発生させることができる。なお、利用者は、中止ボタン108を押下することにより、顔の撮影を中止することができる。
顔の撮影が終了すると、続いて、登録装置4には、撮影された顔画像を利用者が確認するための画面(第1の画面)が表示される(図14(E)参照)。この画面には、撮影された顔画像(静止画像)が表示されており、利用者は、撮影された顔画像に問題がないと判断した場合には、登録ボタン111を押下する。一方、利用者は、撮影された顔画像に問題があると判断した場合には、再撮影ボタン112を押下することができる。これにより、登録装置4には、図14(D)に示した画面が表示され、顔の再撮影が可能となる。なお、利用者は、中止ボタン113を押下することにより、顔の撮影を中止することができる。
顔の撮影が終了すると、取得された顔画像および特定情報(ここでは、名刺画像およびOCRによって名刺画像から抽出された名刺記載情報を含む)が顔管理サーバ5に送信される。この場合、顔画像および名刺画像の両方の提供を望まない利用者に対しては、顔管理サーバ5に対し、顔画像および名刺画像の少なくとも一方が送信されればよい。これにより、顔管理サーバ5では、利用者に関する登録処理(図15参照)が実行される。顔管理サーバ5の登録処理が正常に終了すると、登録装置4には、登録が終了した旨を示す画面(第2の画面)が表示される(図14(F)および図15中の「処理結果を画面表示」を参照)。そこで、利用者が終了ボタン115を押下することにより、登録装置4における登録操作が終了する。なお、顔画像および名刺画像の取得の順序は、逆であっても良い。
登録操作が終了した後は、登録装置4は、記憶部44に記憶した顔画像や特定情報を削除することができる。これにより、不特定の者が利用する登録装置4に個人情報が長期的に保存されることが回避され、利用者の個人情報をより安全に管理することが可能となる。
なお、上述の登録装置4による利用者の登録に代えて、管理者は、利用者の登録用の顔画像のファイルを予め準備した上で、管理端末2を用いて利用者に関する登録を行うことができる。また、管理者は、登録装置4による登録を補完するために、登録装置4によって登録された認証用情報の修正や新たな情報の追加を管理端末2から行うこともできる。
次に、上述の利用者の登録操作に応じて実行される利用者に関する登録処理について説明する。図15は、利用者に関する登録処理の手順を示すシーケンス図である。
顔管理サーバ5では、上述のように登録装置4において利用者の登録操作が行われると、図15に示すように、当該利用者に関する登録処理を開始する。このとき、顔管理サーバ5は、登録装置4から利用者の操作情報とともに顔の撮影画像や特定情報を受け取る。この登録処理では、まず、顔管理サーバ5は、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔画像抽出のリクエストを送る。このリクエストには、登録装置4から取得した利用者の顔の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、1つの顔照合サーバ6を選択して、その1つの顔照合サーバ6に顔画像抽出のリクエストを送る。
顔照合サーバ6では、顔管理サーバ5からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ5から取得した利用者の顔の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ5に送る。このレスポンスには、利用者の顔画像が含まれる。
顔管理サーバ5では、顔画像抽出のレスポンスを顔照合サーバ6から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ6から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、特定の顔照合サーバ6から取得した利用者の顔画像が含めて、全て(図15では2つ)の顔照合サーバ6に顔登録のリクエストを送る。
なお、顔管理サーバ5では、上述の顔照合サーバ6に対する顔画像抽出のリクエストを省略し、登録装置4から操作情報とともに取得した利用者の顔の撮影画像を顔照合サーバ6に対する顔登録のリクエストに付加してもよい。
顔照合サーバ6では、顔管理サーバ5からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録IDを付与する。そして、顔登録のレスポンスを顔管理サーバ5に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録IDとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、顔照合サーバ6における利用者の顔画像は削除される。また、顔特徴量のデータは、顔照合サーバ6の顔照合DBとは別管理のHDDやSSD等の不揮発性メモリへバックアップ保存してもよい。
顔管理サーバ5では、顔登録のレスポンスを顔照合サーバ6から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、登録装置4から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ5では、顔照合サーバ6から取得した利用者の特定情報を顔画像と関連付けて顔情報データベースに登録する。また、顔管理サーバ5では、顔照合サーバ6で発行された顔登録IDを利用者の情報として顔情報データベースに登録する。
次に、顔認証機1における利用者の顔認証の処理について説明する。図16は、利用者に関する顔認証の処理の第1の例を示す。ここでは、顔認証機1と連携する外部装置16として、利用者の通行を管理するゲート装置(セキュリティゲート)を用いる例を示している。
顔認証機1では、カメラ11の撮影画像から人物の顔を検知して顔画像を取得すると、顔照合のリクエストを顔照合サーバ6に送信する。この顔照合のリクエストには、要求元の顔認証機1の機器IDと、顔認証機1の照合グループと、顔認証の対象者の撮影画像(認証用の顔画像)のデータと、顔枠情報と、照合条件とが含まれる。
顔照合サーバ6は、その顔照合のリクエストを受信すると、まず、顔特徴量生成部84によって、顔認証機1から取得した対象者の顔画像から対象者の顔特徴量を生成する。次に、顔認証機1の照合グループに対応する顔認証ユニットの顔特徴量照合部86において、対象者の顔特徴量と、顔認証データベースに登録された利用者の顔特徴量とを照合する。このとき、要求元の顔認証機1と照合グループが一致する顔認証プロセスで顔照合処理が行われる。顔照合処理が終了すると、顔照合サーバ6は、顔照合のレスポンスを要求元の顔認証機1に送信する。この顔照合のレスポンスには、照合結果(成功、失敗)と、照合スコアと、利用者コードとが含まれる。
顔特徴量照合部86では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。
なお、顔照合サーバ6で行われる顔照合の処理条件(顔照合のパラメータ)を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ6で行われる顔照合の処理内容を顔認証機1から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。
また、顔照合サーバ6では、顔照合が終了すると、認証ログ管理部87において、顔照合で取得した照合結果などの情報を認証ログ(顔認証の履歴情報)としてデータベースに保存する。このとき、顔認証の結果(成功、失敗)のみを認証ログとして保存する他、照合スコアを認証ログに含めるようにしてもよい。また、顔認証機1から取得した対象者の顔画像を認証ログに含めるようにしてもよい。この場合、対象者の顔画像を暗号化して保存するとよい。
なお、照合スコアが閾値を超えた有効な照合結果が多数得られた場合には、照合スコアの高い方から所定数の照合結果に絞り込んで認証ログとして保存するようにしてもよい。また、顔照合が正常に終了しなかった場合や、照合スコアが閾値を超えた有効な照合結果が得られなかった場合には、顔認証機1からのリクエストに含まれる情報のみを認証ログとして保存するようにしてもよい。
また、顔認証機1は、顔照合サーバ6から顔認証の成功を示す顔照合のレスポンスを受信すると、連携するゲート装置に対し、その扉部の開閉制御信号を送信する。つまり、顔認証機1は、顔照合のレスポンスを扉部の開閉制御信号に変換し、これにより、連携するゲート装置の扉部の動作を制御する制御装置(ゲート開閉制御装置)として機能する。これにより、ゲート装置は、駆動部92によって扉部を開放(すなわち、利用者の通行を許可)する動作を行う。なお、顔認証機1は、制御信号(開閉制御信号)の送信の完了にともない、記憶部14に記憶した利用者の顔画像を削除する。ここで、顔照合のレスポンスを扉部の開閉制御信号に変換する構成としたが、外部システムとして構築された入退管理システムによってゲート装置の扉部の開閉制御が行われている場合には、その入退管理システムに対して顔認証結果がゲート装置の開閉制御に反映されるように制御信号を送信する。
図17は、利用者に関する顔認証の処理の第2の例を示す。図18は、顔認証機1に表示される認証画面(認証時の画面)の一例を示す説明図である。ここでは、顔認証機1と連携する外部装置16として、会議室のドアに設けられたロック装置を用いる例を示している。なお、顔認証処理の第2の例に関し、上述の第1の例と同様の事項については詳細な説明を省略する。
顔認証機1は、例えば、会議室に面した廊下の壁等に設置される。顔認証機1は、人感センサ等によって人の接近を感知(すなわち、利用者を検知)すると、ディスプレイ12に認証画面の待機画面(初期画面)を表示する(図18(A)参照)。ここで、ディスプレイ12に表示される認証画面(通知画面)は、カメラ11による所定の撮影エリアを撮影したライブ画像(リアルタイムの動画像)を表示する画像表示エリア121と、顔認証処理の進行状況を示す情報を表示する情報表示エリア122とを含む。
その後、顔認証機1は、カメラ11の撮影画像から人物の顔を検知して顔画像を取得すると、顔照合のリクエストを顔照合サーバ6に送信する。このとき、情報表示エリア122には、利用者の認証が進行中であることを示す文字123および図形124が表示される(図18(B)参照)。なお、情報表示エリア122では、文字123および図形124の一方の表示を省略してもよい。また、表示ディスプレイを持たないような顔認証機1の場合には、例えば、LEDランプを用い、認証中はLEDを点滅させ、認証の成功時にLEDを点灯するようにして、顔認証の進行状況を通知するようにしても良い。また、LEDの表示色で顔認証の進行状況を通知するようにしても良い。また、利用者の顔認証の成否によってLEDの表示色を変更するようにしても良い。
顔照合サーバ6は、その顔照合のリクエストを受信すると、上述の第1の例と同様に、顔特徴量を生成し、顔照合処理を実行する。顔照合処理が終了すると、顔照合サーバ6は、顔照合のレスポンスを要求元の顔認証機1に送信する。
また、顔認証機1は、顔照合サーバ6から顔認証の成功を示す顔照合のレスポンスを受信すると、認証画面の情報表示エリア122に、利用者の認証が完了したことを示す文字127および図形128を表示する(図18(C)参照)。これと同時に、顔認証機1は、連携するドアのロック装置に対し、制御信号(ドアのロックを解除する命令)を送信する。つまり、顔認証機1は、連携するロック装置の動作を制御する制御装置として機能する。これにより、ロック装置は、ロックを解除(すなわち、利用者の入室を許可)する動作を行う。なお、顔認証機1は、制御信号の送信の完了にともない、記憶部14に記憶した利用者の顔画像を削除する。
顔認証機1は、上述のゲート装置やドアのロック装置のように機械的動作をともなうことなく、情報処理のみを行う外部装置と連携させることも可能である。図19は、利用者に関する顔認証の処理の第3の例を示す。
ここでは、顔認証機1と連携する外部装置16として、決済端末装置を用いる例を示している。なお、顔認証の処理の第3の例に関し、上述の第1または第2の例と同様の事項については詳細な説明を省略する。
この顔認証の処理の第3の例では、顔認証機1は、顔照合サーバ6から顔認証の成功を示す顔照合のレスポンスを受信すると、連携する決済端末装置(または決済システム)に対し、制御信号を送信する。これにより、決済端末装置では、該当する利用者が利用したサービス(例えば、レストランでの食事の提供)に対する利用料金のデータと認証された利用者とを紐付ける処理を実行し、その結果、当該利用料金が当該利用者に対する施設での費用請求データに加算される。
次に、顔認証システムの管理者による管理業務について説明する。図20は、管理端末2に表示されるログイン画面を示す説明図である。
管理端末2では、管理者が管理アプリケーションを起動して顔管理サーバ5にアクセスすると、ログイン画面が表示される。このログイン画面では、管理者が自分のユーザIDとパスワードとを入力することができる。このログイン画面で管理者がユーザIDおよびパスワードを入力してログインボタンを操作すると、顔管理サーバ5において、ユーザ認証が行われる。ログインに成功した場合、種々の管理用画面を表示することが可能となる。ログインに失敗した場合、エラーを表示する。
次に、本システムにおける顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除について説明する。図21および図22は、顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末2に表示される管理用画面を示す説明図である。
管理端末2では、顔管理サーバ5にログインすると、顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図21(A)に示す参照画面、図21(B)に示す登録画面、および図22に示す削除画面を表示させることができる。
図21(A)に示す参照画面は、登録済みの顔認証機1と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
この参照画面には、一覧表示部211と顔認証機指定部212とが設けられている。一覧表示部211では、各認証機の機器IDと、各認証機に関連付けられた照合グループ(番号)と、照合グループに関する説明とが表示される。顔認証機指定部212では、プルダウンメニューにより、対象となる顔認証機1(機器ID)を選択することができる。これにより、一覧表示部211の表示内容を特定の顔認証機1に絞り込むことができ、一覧表示部211に、特定の顔認証機1に関連付けられた照合グループのみが表示される。なお、顔認証機指定部212で顔認証機1を指定しない場合には、一覧表示部211に、全ての顔認証機1に関する情報が表示される。
また、この参照画面では、項目(機器ID、顔認証機1、説明)を指定してソートを実行することができる。なお、一覧表示部211の表示件数(顔認証機1の台数)や、顔照合サーバ6や照合グループの表示範囲を指定できるようにしてもよい。また、各項目(機器ID、顔認証機1、説明)に関する検索条件を指定して検索できるようにしてもよい。
なお、図21(A)に示した例では、顔認証機1が設置された場所(例えば事業所の所在地)で顔認証機1がグループ分けされている。
図21(B)に示す登録画面は、顔認証機1と照合グループとの関連付け設定を行わせるものである。認証機に照合グループを関連付ける情報を登録することができる。
この登録画面には、認証機指定部213と照合グループ指定部214と登録ボタン215とが設けられている。認証機指定部213では、プルダウンメニューにより、対象となる顔認証機1(機器ID)を選択することができる。照合グループ指定部214では、プルダウンメニューにより、対象となる顔認証機1の照合グループを選択することができる。このプルダウンメニューには、既に登録された照合グループが表示される。この登録画面で顔認証機1および照合グループを入力した上で登録ボタン215を操作すると、入力内容で照合グループ情報を登録する処理が顔管理サーバ5で行われる。
なお、1つの顔認証機1に複数の照合グループを関連付ける場合があるが、この場合には、登録画面で1つの顔認証機1に1つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部214を複数設けるようにしてもよい。
図22に示す削除画面は、顔認証機1と照合グループとの関連付け設定を削除するものである。
この削除画面には、一覧表示部216と顔認証機指定部217と削除ボタン218とが設けられている。一覧表示部216では、各認証機の機器IDと、各顔認証機1に関連付けられた照合グループ(番号)と、照合グループに関する説明とが表示される。また、この一覧表示部216には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン218を操作すると、選択した登録事項を削除する処理が顔管理サーバ5で行われる。顔認証機指定部217では、プルダウンメニューにより顔認証機1を選択することができる。これにより、特定の顔認証機1に絞り込んだ状態で一覧表示部216の表示内容が更新される。
ここで、メニュー画面(図示せず)において参照を選択することで、図21(A)に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図21(B)に示す登録画面に遷移する。また、メニュー画面において削除を選択することで、図22に示す削除画面に遷移する。また、メニュー画面において更新を選択することで、更新画面(図示せず)に遷移する。また、参照画面において、管理者が、顔認証機1と照合グループとの関連付けを選択すると、更新画面(図示せず)に遷移する。
なお、図22に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面で削除ができるようにしてもよい。また、更新画面(図示せず)は、登録画面(図21(B))と同様である。
図23は、管理端末2に表示される利用者の管理用画面の一例を示す説明図である。
管理端末2では、利用者に関する情報の管理の際に、図23に示す利用者の管理用画面が表示される。
図23に示す利用者の管理用画面は、利用者に関する顔画像および特定情報(ここでは、名刺の情報)の登録、参照、更新、削除および検索の操作を管理者が行うためのものである。利用者の管理用画面に入力された情報(画像を含む)には、登録装置4によって取得された情報が含まれる。
利用者の管理用画面には、操作選択エリア131、利用者情報エリア132、及び名刺情報エリア133が含まれる。
操作選択エリア131において、管理者は、実行する項目(情報の登録、参照、更新、削除、および検索など)を選択することができる。図23では、実行する項目として名刺登録が選択されている。これにより、管理者は、利用者の管理用画面に表示された名刺記載情報について、新たに入力することが可能である。
利用者情報エリア132には、利用者の顔画像および姓名や、顔認証に使用される情報が含まれる。ここでは、利用者情報エリア132には、顔画像表示部141、姓名入力部142、利用者ID入力部143、識別ID入力部144、照合グループ入力部145、アクセス許可グループ入力部146、付加情報入力部147、有効化日入力部148、及び無効化日入力部149が含まれる。
顔画像表示部141には、利用者の顔画像が表示される。管理者は、削除ボタン151を押下することにより、顔画像表示部141の顔画像を削除することが可能である。管理者は、登録装置4によって顔画像を取得できなかった場合に、画像選択ボタン152を押下することにより、準備した顔画像(画像ファイル)を表示対象として選択することができる。或いは、管理者は、画像選択ボタン152によって選択した顔画像を、登録装置4によって取得された顔画像に代えて顔画像表示部141に表示させることもできる。管理者が準備する顔画像は、利用者の実際の顔画像に限らず、ダミー画像(例えば、利用者のアバター画像)であってもよい。
姓名入力部142には、利用者の姓名が入力される。利用者ID入力部143には、利用者ID(例えば、社員番号など)が入力される。識別ID入力部144では、利用者を識別可能なID(例えば、利用者の登録順に割り当てられる一連かつ一意の番号)が入力される。照合グループ入力部145には、照合グループが入力される。アクセス許可グループ入力部146には、利用者の情報にアクセスすることができる管理者グループを示すアクセス許可グループが入力される。付加情報入力部147では、付加情報を入力することができる。有効化日入力部148には、当該人物の顔照合を有効にすることができる日付が入力される。無効化日入力部149には、顔照合を無効にすることができる日付が入力される。これら有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。
名刺情報エリア133には、登録装置4で登録された名刺の撮影画像や、名刺の撮影画像から抽出された情報が含まれる。ここでは、名刺情報エリア133には、名刺画像表示部161、所属情報入力部162、有効化日入力部163、及び無効化日入力部164が含まれる。
名刺画像表示部161には、利用者の名刺画像が表示される。管理者は、上述の顔画像の場合と同様に、削除ボタン171や、画像選択ボタン172を押下することにより、名刺画像の削除や、準備した名刺画像(画像ファイル)の選択が可能となる。
所属情報入力部162には、利用者が所属する会社名、利用者の部署名、役職名、電話番号、FAX番号、Eメール、郵便番号、及び住所などが入力される。有効化日入力部163には、当該人物の名刺に関する情報を有効にすることができる日付が入力される。無効化日入力部164には、当該人物の名刺に関する情報を無効にすることができる日付が入力される。
管理者が、所望の入力部への入力を終えた後に登録ボタン167を押下すると、それらの入力(追加または変更)された情報が有効となる。
なお、利用者の管理用画面では、名刺記載情報とともに、或いは名刺記載情報に代えて、他の特定情報(例えば、決済用のカードに表示された情報や、施設内における利用者の滞在場所を示す情報)の管理を行うこともできる。
また、管理者は、利用者の管理用画面の操作選択エリア131において、検索タブ(例えば、照合グループ検索)を選択することにより、必要な情報を検索することができる。そのような情報の検索画面では、上述の利用者の管理用画面における各入力部は空欄として表示される。例えば、管理者は、検索したい照合グループを空欄の照合グループ入力部145に入力することで、その入力した照合グループに属する利用者を検索することができる。
管理者が、検索画面において、必要な項目で検索条件を入力して検索ボタン(図示せず)を押下すると、検索結果が反映された一覧表示画面(例えば、抽出された利用者の一覧を示す画面)に遷移する。
次に、利用者に関する情報の利用について説明する。図24は、管理端末2等に管理用画面として表示される会議室検索画面(会議検索画面)の一例を示す説明図である。図25は、管理端末2に管理用画面として表示される出席者表示画面の一例を示す説明図である。
図24に示す会議室検索画面は、顔認証の処理において取得された会議に関する情報を管理者が利用(参照)するためのものである。なお、管理者は、管理端末2から顔管理サーバ5にアクセスすることにより、施設で開催された会議に関し、顔認証機1によって取得できない情報を適宜追加することができる。
会議室検索画面には、施設の会議室において過去に実施された会議に関し、開催日、時間、部屋番号(会議室No.)などの情報が表示される。会議室検索画面の生成には、会議室のドアのロック装置と連携する顔認証機1が取得した入室履歴の情報を利用することができる。管理者が、所望の会議を選択(図24では、最上位に示された会議のチェック欄をクリック)し、選択ボタン173を押下すると、検索結果が反映された検索結果表示画面に遷移する。
検索結果表示画面としては、例えば、図25に示すように、出席者リストを含む出席者表示画面が管理端末2に表示される。
出席者リストには、出席者情報エリア175および応対者情報エリア176が含まれる。出席者情報エリア175には、会議の出席者の顔画像や特定情報(ここでは、利用者が所属する会社名および利用者の氏名)が表示される。また、応対者情報エリア176には、当該出席者に応対した人物(例えば、施設に入居する会社の勤務者)に関する情報(ここでは、所属部署および氏名)が表示される。
図26は、管理端末2に管理用画面として表示される人脈検索画面の一例を示す説明図である。
図26に示す人脈検索画面は、顔認証の処理において取得された利用者10の人脈に関する情報(ここでは、会議の出席者の情報から推定された人のつながりに関する情報)を管理者が利用(参照)するためのものである。管理者は、管理端末2から顔管理サーバ5にアクセスすることにより、利用者の人脈に関し、必要な情報を適宜追加することができる。
人脈検索画面には、相関図表示エリア181および一覧表示エリア182が含まれる。相関図表示エリア181には、管理者が選択した人物に関する人脈を可視化した図が表示される。また、一覧表示エリア182には、管理者が選択した人物(利用者10)に関する人脈リスト185が表示される。この人脈リスト185には、人物の顔画像、所属情報(会社名、部署等)、人脈の強さを示す数値(人脈強度)などが表示される。
このような人脈検索画面は、例えば、図25の出席者表示画面において、所望の出席者のエリアを管理者が選択(クリック)することによって表示されるようにしてもよい。
なお、上述の会議室検索画面や人脈検索画面の利用は、管理端末2を介したものに限定される必要はない。例えば、施設の利用者(例えば、施設に入居する会社の勤務者)に管理者としてのアクセス権を付与することにより、利用者が所有する情報処理端末(PCやタブレットなど)から会議室検索画面や人脈検索画面を参照できるようにしてもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber-Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジデバイスと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジデバイスとクラウドサーバに搭載されたプロセッサにより、顔認証の処理を分散して処理することが可能である。この顔認証の処理においては、エッジデバイスとして、認証機のカメラにより撮影された利用者の顔画像データを取得する。次に、クラウドサーバは、ネットワークを介してエッジデバイスより受信した顔画像データから特徴量データを生成する処理を実行し、予め登録された利用者の特徴量データと照合して、利用者の認証処理を実行し、その認証処理にかかる認証結果を顔認証アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジデバイスまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたWebアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。
本開示に係る顔認証システムおよび顔認証方法は、施設を利用する利用者の個人情報を安全に管理しつつ、施設内で発生し得るイベントごとの利用者の顔認証を簡易に実行することができる効果を有し、対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムおよび顔認証方法などとして有用である。
1 :顔認証機
2 :管理端末
3 :顔認証サーバ
4 :登録装置
5 :顔管理サーバ
6 :顔照合サーバ
10 :利用者
11 :カメラ(顔画像取得部)
12 :ディスプレイ(表示部)
15 :制御部(プロセッサ)
16 :外部装置
25 :認証結果調整部(履歴情報生成部)
41A :顔撮影用カメラ(個人情報取得部)
41B :情報取得用カメラ(個人情報取得部)
42 :ディスプレイ(表示部)
45 :制御部(プロセッサ)
62 :利用者管理部
64 :機器管理部
90 :画像生成部

Claims (8)

  1. 施設の利用者の顔画像を登録し、前記施設内における前記利用者の行為によって発生するイベントごとに顔認証を実行する顔認証システムであって、
    前記施設に設置され、前記利用者の登録用の顔画像およびその顔画像以外の情報であって前記利用者の特定に用いられる特定情報を取得する登録装置と、
    前記イベントの発生時に撮影された前記利用者の認証用の顔画像を取得する前記イベントの発生場所に対応して設けられた顔認証機と、
    前記登録装置とネットワークを介して接続され、前記登録用の顔画像および前記特定情報を関連付けて蓄積する顔管理サーバと、
    前記登録用の顔画像および前記認証用の顔画像から顔特徴量データをそれぞれ生成する
    と共に、前記顔特徴量データ同士の照合処理を実行する1以上の顔照合サーバと、を備え、
    前記顔管理サーバは、
    利用者が属する照合グループを設定し、前記顔認証機と前記照合グループとの間の関連付け情報と、前記顔照合サーバと前記照合グループとの間の関連付け情報とを生成して管理することを特徴とする顔認証システム。
  2. 前記イベントの1つは、前記施設内での通行を管理するゲート装置を前記利用者が通過する行為によって発生し、
    前記顔認証機の少なくとも1つは、前記ゲート装置と連携することを特徴とする請求項1に記載の顔認証システム。
  3. 前記イベントの1つは、前記施設内における所定の部屋への入室を管理するドアを前記利用者が通過する行為によって発生し、
    前記顔認証機の少なくとも1つは、前記ドアのロック装置と連携することを特徴とする請求項1または請求項2に記載の顔認証システム。
  4. 前記イベントは、前記施設で使用される決済端末装置を介した前記利用者の支払いの行為によって発生し、
    前記顔認証機の少なくとも1つは、前記決済端末装置と連携することを特徴とする請求項1から請求項3のいずれかに記載の顔認証システム。
  5. 前記登録装置は、前記利用者が所持する名刺に表示された情報を、前記特定情報として取得することを特徴とする請求項1から請求項4のいずれかに記載の顔認証システム。
  6. 前記登録装置は、前記利用者が所持する決済用のカードに表示された情報を、前記特定情報として取得することを特徴とする請求項1から請求項4のいずれかに記載の顔認証システム。
  7. 前記登録装置は、前記施設内における前記利用者の滞在場所を示す情報を、前記特定情報として取得することを特徴とする請求項1から請求項4のいずれかに記載の顔認証システム。
  8. 施設の利用者の顔画像を登録し、前記施設内における前記利用者の行為によって発生するイベントごとに顔認証を実行する顔認証方法であって、
    前記施設において、前記利用者の登録用の顔画像およびその顔画像以外の情報であって前記利用者の特定に用いられる特定情報を取得し、
    前記イベントの発生時に撮影された前記利用者の認証用の顔画像を前記イベントの発生場所に対応して設けられた顔認証機より取得し、
    前記登録用の顔画像および前記特定情報を関連付けて顔管理サーバに蓄積し、
    前記登録用の顔画像および前記認証用の顔画像から顔特徴量データをそれぞれ生成すると共に、前記顔特徴量データ同士の照合処理を1以上の顔照合サーバによって実行し、
    前記顔管理サーバが、利用者が属する照合グループを設定し、前記顔認証機と前記照合グループとの間の関連付け情報と、前記顔照合サーバと前記照合グループとの間の関連付け情報とを生成して管理することを特徴とする顔認証方法。
JP2019038646A 2019-03-04 2019-03-04 顔認証システムおよび顔認証方法 Active JP6998568B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019038646A JP6998568B2 (ja) 2019-03-04 2019-03-04 顔認証システムおよび顔認証方法
US17/433,820 US12002046B2 (en) 2019-03-04 2020-02-05 Face authentication system and face authentication method
PCT/JP2020/004328 WO2020179333A1 (ja) 2019-03-04 2020-02-05 顔認証システムおよび顔認証方法
CN202080017568.8A CN113519013B (zh) 2019-03-04 2020-02-05 面部认证系统以及面部认证方法
JP2021197962A JP7266185B2 (ja) 2019-03-04 2021-12-06 顔認証システムおよび顔認証方法
JP2023058520A JP7474957B2 (ja) 2019-03-04 2023-03-31 顔認証システムおよび顔認証方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019038646A JP6998568B2 (ja) 2019-03-04 2019-03-04 顔認証システムおよび顔認証方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021197962A Division JP7266185B2 (ja) 2019-03-04 2021-12-06 顔認証システムおよび顔認証方法

Publications (3)

Publication Number Publication Date
JP2020144443A JP2020144443A (ja) 2020-09-10
JP2020144443A5 JP2020144443A5 (ja) 2021-12-09
JP6998568B2 true JP6998568B2 (ja) 2022-01-18

Family

ID=72338294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019038646A Active JP6998568B2 (ja) 2019-03-04 2019-03-04 顔認証システムおよび顔認証方法

Country Status (4)

Country Link
US (1) US12002046B2 (ja)
JP (1) JP6998568B2 (ja)
CN (1) CN113519013B (ja)
WO (1) WO2020179333A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7108873B2 (ja) * 2019-03-04 2022-07-29 パナソニックIpマネジメント株式会社 顔認証管理サーバおよび顔認証管理方法
JP6998568B2 (ja) * 2019-03-04 2022-01-18 パナソニックIpマネジメント株式会社 顔認証システムおよび顔認証方法
JP7509198B2 (ja) * 2020-04-24 2024-07-02 日本電気株式会社 認証サーバ、認証システムおよび認証サーバの制御方法
US20230316840A1 (en) * 2020-09-18 2023-10-05 Nec Corporation History management apparatus, history management system, history management method, and non-transitory computer-readable medium
WO2022176342A1 (ja) * 2021-02-17 2022-08-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
WO2023073921A1 (ja) * 2021-10-29 2023-05-04 日本電気株式会社 情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JPWO2023157679A1 (ja) * 2022-02-16 2023-08-24

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093371A (ja) 2007-10-05 2009-04-30 Toshiba Corp 生体照合装置の監視装置、通行制御装置の監視装置、生体照合システム、通行制御システム、生体照合装置の監視方法および通行制御装置の監視方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004197535A (ja) 2002-10-21 2004-07-15 Nomura Building Management Co Ltd 入退域セキュリティ管理システム
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP2004348571A (ja) * 2003-05-23 2004-12-09 Toshiba Corp 入退場等管理システム
JP2005242775A (ja) * 2004-02-27 2005-09-08 Omron Corp ゲートシステム
JP2006085289A (ja) * 2004-09-14 2006-03-30 Fuji Photo Film Co Ltd 顔認証システムおよび顔認証方法
WO2006088042A1 (ja) * 2005-02-16 2006-08-24 Matsushita Electric Industrial Co., Ltd. 生体判別装置および認証装置ならびに生体判別方法
CN101167080B (zh) * 2005-03-23 2012-01-04 株式会社Ihc 验证系统
US20070012760A1 (en) * 2005-07-14 2007-01-18 Errato Robert M ID confirmation unit
US8442221B2 (en) * 2005-09-30 2013-05-14 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for image encryption and embedding and related applications
JP2007226741A (ja) * 2006-02-27 2007-09-06 Mitsubishi Electric Corp 顔照合システム
JP2008123277A (ja) * 2006-11-13 2008-05-29 Nippon Steel Corp 入退室管理装置、入退出管理方法及びプログラム
JP2010086152A (ja) * 2008-09-30 2010-04-15 Brother Ind Ltd 入退場管理装置、入退場管理方法、入退場管理プログラム
JP4849116B2 (ja) * 2008-11-10 2012-01-11 大日本印刷株式会社 端末装置、プログラム、及び記録媒体
JP5495603B2 (ja) * 2009-04-06 2014-05-21 三菱電機株式会社 認証装置
JP2012067458A (ja) * 2010-09-21 2012-04-05 Dainippon Printing Co Ltd 通行管理システム及び通行管理方法
JP4893855B1 (ja) * 2010-12-21 2012-03-07 オムロン株式会社 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
US20160012248A1 (en) * 2012-08-31 2016-01-14 Nec Casio Mobile Communications, Ltd. Access permission system and access permission determination method
US10783615B2 (en) * 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US9349238B2 (en) * 2013-03-13 2016-05-24 Pantry Retail, Inc. Vending kit and method
US10304045B2 (en) * 2014-02-12 2019-05-28 Mastercard International Incorporated Biometric solution enabling high throughput fare payments and system access
JP5808847B1 (ja) * 2014-09-05 2015-11-10 日本マイクロシステムズ株式会社 シェア型顔認証システムおよびシェア型顔認証プログラム
JP2016066241A (ja) * 2014-09-25 2016-04-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US11055513B2 (en) * 2016-02-26 2021-07-06 Nec Corporation Face recognition system, face recognition method, and storage medium
WO2018174824A1 (en) * 2017-03-23 2018-09-27 Jewel Paymentech Pte Ltd Systems and methods for user identity authentication
WO2018181968A1 (ja) 2017-03-31 2018-10-04 日本電気株式会社 顔認証システム、装置、方法、プログラム
JP6970373B2 (ja) * 2017-07-31 2021-11-24 京セラドキュメントソリューションズ株式会社 ログインログアウトシステム、電子機器およびログインログアウトプログラム
JP6427248B2 (ja) * 2017-10-26 2018-11-21 綜合警備保障株式会社 認証データベース管理方法、認証データベース管理装置及び認証データベース管理プログラム
JP6593466B2 (ja) * 2018-01-12 2019-10-23 日本電気株式会社 顔認証装置
US11100498B2 (en) * 2018-06-03 2021-08-24 Apple Inc. User interfaces for transfer accounts
JP6998568B2 (ja) * 2019-03-04 2022-01-18 パナソニックIpマネジメント株式会社 顔認証システムおよび顔認証方法
CN111859086A (zh) * 2020-07-20 2020-10-30 四川预多宝科技股份有限公司 分期预售合同的在线生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093371A (ja) 2007-10-05 2009-04-30 Toshiba Corp 生体照合装置の監視装置、通行制御装置の監視装置、生体照合システム、通行制御システム、生体照合装置の監視方法および通行制御装置の監視方法

Also Published As

Publication number Publication date
US20220147994A1 (en) 2022-05-12
WO2020179333A1 (ja) 2020-09-10
US12002046B2 (en) 2024-06-04
JP2020144443A (ja) 2020-09-10
CN113519013A (zh) 2021-10-19
CN113519013B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
JP7038293B2 (ja) ゲート開閉制御装置およびゲート開閉制御方法
JP6998568B2 (ja) 顔認証システムおよび顔認証方法
JP7026341B2 (ja) 顔認証機および顔認証方法
JP7108873B2 (ja) 顔認証管理サーバおよび顔認証管理方法
CN110148232B (zh) 访客管理系统、方法、设备及存储介质
JP2022091805A (ja) 顔認証登録装置および顔認証登録方法
JP7266185B2 (ja) 顔認証システムおよび顔認証方法
JP7296607B2 (ja) 顔認証機および顔認証方法
JP7535706B2 (ja) ゲート開閉制御用の顔認証機および顔認証方法
JP2022084586A (ja) 入室制御装置および入室制御方法
JP7108881B2 (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP7108882B2 (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP2023101822A (ja) 顔認証機および顔認証方法
JP2022132322A (ja) 顔認証システム、顔認証機、顔認証方法および顔認証プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211027

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R151 Written notification of patent or utility model registration

Ref document number: 6998568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151