[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2015001790A - 顔認証システム - Google Patents

顔認証システム Download PDF

Info

Publication number
JP2015001790A
JP2015001790A JP2013125111A JP2013125111A JP2015001790A JP 2015001790 A JP2015001790 A JP 2015001790A JP 2013125111 A JP2013125111 A JP 2013125111A JP 2013125111 A JP2013125111 A JP 2013125111A JP 2015001790 A JP2015001790 A JP 2015001790A
Authority
JP
Japan
Prior art keywords
person
face
image
area
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013125111A
Other languages
English (en)
Other versions
JP6151582B2 (ja
Inventor
長谷川 隆
Takashi Hasegawa
長谷川  隆
秀行 青木
Hideyuki Aoki
秀行 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2013125111A priority Critical patent/JP6151582B2/ja
Publication of JP2015001790A publication Critical patent/JP2015001790A/ja
Application granted granted Critical
Publication of JP6151582B2 publication Critical patent/JP6151582B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Lock And Its Accessories (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】簡易な構成で、ウォークスルー顔認証の利便性を維持しながら、未認証者の不正通行を防止可能とする。
【解決手段】認証領域を通行する人物を顔認証して当該人物の通行許否を判定する顔認証システムにおいて、認証領域を撮影して入力画像を順次取得する画像取得手段と、予め登録された利用者の登録顔画像を記憶する記憶手段と、入力画像から抽出された人物の顔画像と登録顔画像とを照合し、当該人物が前記利用者であることを認証する顔照合手段と、入力画像における認証された人物を示す領域の大きさが所定以上のとき、当該人物の通行を許可する認可手段と、を備え、顔認証により正規利用者と認証されたとしても、その認証者がカメラから離れた位置にいる場合は通行許可せず、認証者のカメラ側への接近を検出した時点で通行を許可する。
【選択図】図5

Description

本発明は、歩行している人物が予め登録された利用者であるか顔画像を用いて認証する顔認証システムに関する。
近年、オフィスビルの出入管理システム等において、人物の顔の特徴を用いて本人認証する顔認証装置が利用されている。顔認証装置は、人物を撮影して得た画像から人物の顔領域を抽出し、予め登録してある利用者の顔画像と照合することでその人物が利用者本人であるか否か判定する。そして、正規の利用者として認証すると、ゲートを開放制御したり、扉に設けた電気錠を解錠し、その人物の通行を許容する。
また、歩行中の人物を撮影して顔認証を行うことで、特別な操作を必要とすることなく、人物がゲートやカメラの前で立ち止まらず認証可能な、所謂ウォークスルー型の顔認証システムの実現も期待されている。
このようなウォークスルー型の顔認証システムは、カメラからある程度離れた位置でも人物を認証可能であり、ゲートに到達する以前に認証処理を終えることができるため、認証遅延が生じ難く利便性が高いことが一つの特徴である。しかし、認証された時点で通行を許可しゲートを開放してしまうと、この人物がゲートから遠くに位置する場合、未だ認証が済んでいない他の人物の通行まで許容してしまうことになる。また、認証された人物にそもそも通行意思がなくゲートに向かわない可能性もあり、セキュリティ性に問題があった。
特開2007−303239号公報
上述の課題に対し、先行技術文献1では、人物を認証した時点ではドアを開錠せず、認証済みの人物がドアの前にきた時点でドアを開錠し、通行を許容する認証システムが開示されている。この認証システムは、認証用カメラによる撮影画像を用いて顔認証を行うとともに、別途、認証領域を俯瞰する追尾用カメラを天井に設置し、認証領域にいる人物の位置を追跡する。認証用カメラによる撮影画像と追尾用カメラによる撮影画像との間で同一の被写体を対応付けるための対応関係を予め設定しておき、認証した人物が追跡中のどの人物かを特定し、顔認証による認証結果を追跡中の人物に対応付ける。そして、認証済みの人物がドアの近傍に移動した時点でドアを開錠制御する。
しかしながら、従来の認証システムの構成では、認証用カメラとは別に追尾用カメラが必要なためコストアップとなるほか、2種のカメラの対応関係は設置環境により様々であり、設置環境に応じて対応関係を定義することは容易ではない。
そこで、本発明の目的は、追尾用カメラ等の特段の追加構成を付加することなく、複数の人物が混在している状況でも認証者に限定して通行を許容し、未認証者による通行を抑制可能な顔認証システムを実現することにある。
上記目的を達成するために本発明は、認証領域を通行する人物を顔認証して当該人物の通行許否を判定する顔認証システムにおいて、前記認証領域を撮影して入力画像を順次取得する画像取得手段と、予め登録された利用者の登録顔画像を記憶する記憶手段と、前記入力画像から抽出された人物の顔画像と前記登録顔画像とを照合し、当該人物が前記利用者であることを認証する顔照合手段と、前記入力画像における前記認証された人物を示す領域の大きさが所定以上のとき、当該人物の通行を許可する認可手段と、を備えることを特徴とする。
この顔認証システムでは、入力画像から抽出された人物について顔認証により正規の利用者であると認証されたとしても、カメラから離れた位置にいる場合は認証時点では通行が許可されない。そして、認証者がカメラ側に接近して入力画像における人物を示す像が大きくなると、その時点で通行が許可され、例えば電気錠やゲートによる規制が開放される。
また、上記構成において、さらに、前記顔照合手段による認証結果と対応付けて、順次取得される前記入力画像から抽出した同一の人物を追跡する追跡手段を有し、前記認可手段は、前記入力画像における人物を示す領域の大きさが所定以上であり、且つ、当該人物が利用者として認証済みであるとき、当該人物の通行を許可する。
また、上記構成において、前記認可手段は、前記認証された人物の顔領域の大きさが所定の判定基準値以上であることを条件に通行を許可する。
また、上記構成において、前記認可手段は、前記入力画像における前記顔領域の位置に応じて前記判定基準値を異ならせる。特に、前記認可手段は、前記入力画像の上下方向における前記顔領域の位置に応じて前記判定基準値を異ならせ、前記入力画像上の基準位置または基準領域から上下方向に離れた位置または領域ほど前記判定基準値を小さく設定する。
このように、認証者の画像上の顔の位置に基づいてその認証者が通行意思を持つか否かの判定基準を異ならせることで、認証者ごとに通行許可するタイミングを適切に調整することができる。これにより、例えば通行許可時にゲートを開放する場合には、近づいてきた認証者に限定してゲートを開放することができ、同時に認証領域にいる未認証者の通行を許容するリスクを低減できる。
本発明によれば、特別な構成を設けず簡易な構成にて、認証者ごとに適切なタイミングで通行を許可することができる。このため、複数の人物が混在している状況でも未認証者による通行を許容するリスクを低減できる。
本実施形態の顔認証システムの運用イメージを示す模式図である。 本実施形態の顔認証システムの運用イメージを示す模式図である。 顔認証システムの概略構成を示す図である。 画像上の位置と判定基準値との関係を示す模式図である。 認証装置における認証処理を示すフローチャートである。 変形例1の顔認証システムの運用イメージを示す模式図である。 変形例1における、画像上の位置と判定基準値との関係を示す模式図である。
以下、本発明を出入管理用途に適用した場合の一実施形態である顔認証システムとして、図を参照しながら説明する。
この顔認証システムは、例えばオフィスビルの通用口における入場者判定に利用され、管理区域であるオフィスエリア内へ進入しようとする人物を撮影して顔認証を行い、予め登録された利用者であると認証された場合に管理区域への入場を許可する。
図1は、本実施形態の顔認証システムの運用イメージを示す模式図である。図1のように、通用エリアと管理区域との間には管理区域への通行を物理的に規制する手段であるゲート20が設けられ、管理区域側から通用エリアを撮影可能なようにカメラ10が設置される。カメラ10は、通用エリアを撮影領域とするように、ゲート20付近の壁面または天井等に撮影方向をやや下向きにした状態で取り付けられ、通用エリアを斜め上方から俯瞰する。また、カメラ10近傍にはカメラ10の撮影画像を表示するモニタ40が設置される。
顔認証システムは、カメラ10で撮影された入力画像において人間の顔らしい領域を探索し、認証領域(例えばゲート20から5m程度までの範囲)にいる人物について、予め登録された利用者であるか顔認証を行う。顔と特徴が一致する利用者が登録されていれば、その人物を登録利用者として認証する。
ここで、本実施形態の顔認証システムでは、人物を登録利用者として認証した時点(地点aの人物100)ではゲート20を開放せず、認証済みの人物(以下、認証者という)がゲート20近傍の認可領域(例えばゲート20から1m程度までの範囲)に到達した時点(地点bの人物100)でゲート20を開放する。顔認証システムは、入力画像上の人物を示す領域の大きさに基づいて、人物のカメラ10への接近、すなわちゲート20への接近を検出する。そして、入力画像上の人物を認証結果と対応付けて追跡し、顔領域の大きさが所定の基準値以上であり、且つ、その人物が認証者である場合に、管理区域への通行を許可する。本実施形態では、特に、人物の顔領域の大きさを基準値と比較することで人物が認可領域内にいるか否か識別する。
このように、ゲート20から離れた位置で人物を認証した場合、その認証者がゲート20に接近するまではゲート20は閉鎖状態に維持されるため、未だ認証されていない第三者の管理区域への進入を抑制することができる。仮に認証者がゲート20に向かわず立ち去った場合でも、未認証の第三者の進入は防止される。一方、顔認証処理はゲート20から離れた位置でも実施されるため、正規の利用者の通行を認証遅延によって妨げず、ウォークスルー型の顔認証システムとしての高い利便性を維持できる。また、認証用のカメラ10とは別にゲート20への接近を判定するための追加構成(追跡用カメラ等)を持つことなく、簡易な構成で上記効果を奏することができる。
さらに、この顔認証システムでは、顔領域の大きさによる接近判定の際、入力画像における顔領域の位置に応じて判定基準を異ならせる。これは、同じ位置に立っている場合でも、人物の背の高さによって画像上での顔領域の大きさが異なるためである。
例えば、図2の模式図に示されるように、カメラ10が比較的高い位置(例えば2m以上の高さ)に設置されている場合、背が高い人物ほど頭部とカメラ10との距離が短いため、地点dにいる人物110の顔領域は、同じ位置に立つ比較的背が高い人物120の顔領域よりも画像上では小さく写る。この現象は、カメラ10の至近距離の被写体ほど顕著であり、カメラ10から離れるほど背の高さによる影響は小さくなる。つまり、カメラ10から離れた地点cにおいては、人物110および人物120のカメラ10からの距離差はほぼ生じないため、顔領域の大きさも略同等である。したがって、認可範囲にいるかの判定基準を一律にすると、人によってゲート20が開放されるタイミングに誤差が生じてしまう。
そこで本実施形態の顔認証システムは、近距離で撮影された画像では背が高い人物ほど画像上の上側に顔が現れ、背が低い人物ほど画像上の下側に顔が現れることを利用し、接近判定に用いる顔領域の大きさ判定基準値を、画像上の顔の位置ごとに異ならせる。位置ごとの判定基準値は、背の高さと画像上の顔の位置、背の高さと近距離での顔領域の大きさ、の関係を考慮して設定される。これらの関係は、カメラ10の設置高や視野方向によって異なるものであり、設置環境に応じて変わる。図2に示された設置環境では、認可領域では背が低いほど顔領域が小さく写るため、画像上の上側の領域より下側の領域の判定基準値の方が低く設定される。これにより、背の高さが違っていても通行許可される認可範囲を略同等とすることができ、利用者ごとに使用感の差が生じることを低減できる。
以下、図2乃至5を参照し、本実施形態の顔認証システムの構成および動作について詳細に説明する。
図3は、顔認証システムの概略構成を示す図である。本実施形態の顔認証システムは、カメラ10、ゲート制御装置30、モニタ40、認証装置50を主たる構成とする。
カメラ10は、CCDイメージセンサ、CMOSイメージセンサ等から構成される撮影手段であり、所定の撮影領域を撮影する。カメラ10は、通用エリアからゲート20に向かう方向(以下、通行方向という)に歩行する人物の顔を順次撮影できるように、ゲート20近傍の通行方向の略正面に、撮影方向を通用エリアへ向けて設置する。本実施形態では、図2に示されるように、人物よりやや高い位置(2m程度の高さ)に斜め下方へ向けて設置する。
カメラ10は、所定の時間間隔(例えば、200ms)ごとに撮影を実行し、グレースケールまたはカラーの多階調の画像を取得する。取得した画像は、有線または無線で接続された認証装置50に送信する。
ゲート制御装置30は、管理区域への通行を物理的に規制するゲート20に接続され、ゲート20の開閉動作や電気錠の施解錠を制御する。ゲート制御装置30は、常時はゲート20を閉状態(或いは電気錠を施錠状態)に維持して通行を規制させ、認証装置50から通行許可信号を受信すると、一時的にゲート20を開状態(或いは電気錠を解錠状態)にして通行を許容する。
モニタ40は、薄型液晶ディスプレイ等から構成される表示手段であり、認証装置50による制御に基づき、認証装置50から受信した画像や各種の情報を表示する。モニタ40にはカメラ10で撮影された画像がリアルタイムで表示され、さらに、各人物の認証状況に関する情報が表示される。また、モニタ40にはスピーカー等の音声出力手段が併設され、認証装置50の制御に基づき所定の音声ガイダンスやブザー音を出力する。
認証装置50は、カメラ10、ゲート制御装置30、モニタ40と有線または無線で接続され、カメラ10から出力された画像を入力し、画像上に写る人物が予め登録された利用者であるか否か判定する認証処理を実行する。そして、認証結果に応じてゲート制御装置30およびモニタ40を制御する。
認証装置50は、CPU、MPU等のプロセッサやメモリ等の記録媒体からなるいわゆるコンピュータにより構成され、主として、記憶部60、出力部70、処理部80を備える。
記憶部60は、ROM、RAM等の半導体メモリやハードディスク等の磁気記録媒体であり、人間の標準的な顔の形状や特徴をモデル化した顔形状モデルが記憶されるほか、認証装置50の動作に必要なプログラム及び各種パラメータなどが記憶される。また記憶部60には、ゲート20への接近判定に用いられる、画像上の位置と判定基準値との関係を示す基準値情報が記憶される。基準値情報の詳細については後述する。
さらに記憶部60には、登録者データ62、追跡データ64、認証履歴データ66が更新可能に記憶される。
登録者データ62は、予め登録された、管理区域への入場が許可されている人物(利用者)に関する情報であり、人物の氏名、利用者ID、利用者の顔を撮影して得られた顔画像(以下、登録顔画像という)を含む。なお、顔画像に代えて、顔画像から抽出された特徴点からなる顔特徴情報を記憶させてもよい。
追跡データ64は、順次取得される入力画像において同一人物を追跡するための情報である。追跡データ64には、追跡対象の人物について付した追跡番号、撮影時刻、人物の位置情報、人物の顔画像、認証候補者の利用者IDおよびその類似度、認証結果などが含まれる。
認証履歴データ66は、追跡対象の人物についての最終的な認証処理の結果を表すログ情報である。認証履歴データ66は、追跡対象の人物ごとに、通行の有無、認証結果、特定された利用者ID、人物の顔画像などが含まれる。
出力部70は、外部接続機器であるゲート制御装置30、モニタ40等と接続するインタフェース部である。出力部70を介して、ゲート制御装置30に通行許可信号が出力され、また、カメラ10による撮影画像や教示画像がモニタ40へ出力される。
処理部80は、カメラ10からの入力画像に対して記憶部60を参照しながら認証処理を実行し、出力部70を介してその結果を外部へ出力する。処理部80は、記憶部60の制御プログラムおよびプロセッサにより実現される機能モジュールとして、人物追跡手段81、顔抽出手段82、顔照合手段83、認可手段84、表示制御手段85を有する。
以下、処理部80の各手段について詳細に説明する。
人物追跡手段81は、カメラ10から順次入力される入力画像に対し、人物の領域を示す人物領域画像の抽出処理を実行する。人物追跡手段81は、過去に撮影した画像と処理対象の入力画像との比較により差分抽出された変化領域の大きさや縦横比等に基づき、人物が写っている領域を抽出する。また、複数の入力画像に写る人物について、人物領域の位置や形状の類似性に基づき同一の人物か判定して追跡する。そして、追跡された人物ごとに追跡データ64を作成・更新して記憶部60に記憶させる。なお、人物領域の抽出処理および追跡処理は上記に限られず、公知の種々の技術を選択できる。
人物追跡手段81は、初めて抽出した人物に対しては追跡中の人物を識別するための追跡番号を付与するとともに、その人物に関する新たな追跡データ64を作成し、入力画像の撮影時刻、画像上の人物領域の位置情報(重心座標)、人物領域画像を記録する。抽出した人物が既に追跡中の人物のときは、その人物に関する追跡データ64を更新する。
顔抽出手段82は、人物領域画像から人物の顔を示す顔領域を検出する。そして、顔領域を含む矩形状の領域を顔画像として切り出し、この顔画像を追跡対象の人物に関する追跡データ64に記録する。
顔抽出手段82は、記憶部60に記憶された顔形状モデルを用い、人物領域画像上で顔領域を探索する。具体的には、人物領域画像に対しエッジ処理を施して頭部の輪郭形状と近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。認証に用いる顔画像は顔の特徴が把握できる程度の解像度が要求されるため、所定の抽出基準以上の大きさである楕円領域を抽出対象とする。楕円領域の大きさを示す指標には、例えば、楕円領域の面積、横軸/縦軸の長さなどを用いる。
なお、楕円領域に含まれる眼、鼻、口といった顔を構成する部位の形状と近似するエッジ分布を検出し、楕円領域における眼、鼻、口の大まかな位置関係が顔形状モデルと類似することを条件に顔領域を抽出してもよい。この場合、両眼間の距離、眼と鼻との距離、鼻と口との距離など部位間の距離(ピクセル数)を顔領域の抽出基準に用い、一定以上の大きさを持つ顔を抽出する。
顔照合手段83は、対象の人物が予め登録された利用者であるか否かを判定する照合処理を実行する。顔照合手段83は、登録者データ62を参照して、処理対象の顔画像をすべての登録顔画像と照合してそれぞれ類似度を算出し、最大の類似度を得た登録顔画像の利用者IDおよびその類似度を、追跡対象の人物に関する追跡データ64に記録する。類似度の算出方法には、例えば、入力顔画像と登録顔画像とをマッチング処理し、両画像の顔領域の一致度合いを求める方法、或いは、顔画像の顔領域から眼や鼻などの複数の特徴点を抽出し、両画像間で対応する特徴点同士の位置関係の一致度合いを求める方法などがある。
顔照合手段83は、一定期間分の照合履歴に基づいて追跡対象の人物の顔が特定の利用者の顔と同一であるか否か判定する。具体的には、処理対象の人物に関する追跡データ64を参照し、過去一定期間の入力画像において、認証候補者に同一の利用者IDが所定割合以上あり、且つ、その利用者IDと照合したときの類似度が所定の照合基準値以上である場合、追跡対象の人物をその利用者IDに対応する利用者として認証する。例えば、過去10フレームにおける照合のうち、同一の利用者IDが7回以上あり、その利用者IDとの類似度の平均値が照合基準値以上であることを認証条件とする。
また、顔照合手段83は、認証結果を対象人物の追跡データ64に記録する。何れかの登録利用者と一致判定した場合、追跡データ64の認証結果を「認証済み」に更新し、その人物に対しては以降照合処理を行わない。一方、何れの登録利用者とも一致しないと判定した場合には、認証結果を「未認証」に維持し、次フレーム以降もその人物に対する照合処理を継続する。なお、同一の追跡対象の人物について一定時間継続して「未認証」と判定し続けた場合、その人物に対する照合処理を終了させてもよい。
認可手段84は、人物の顔領域の大きさに基づいてゲート20への人物の接近判定を行い、また、顔照合手段83による認証結果と接近判定の結果により、ゲート20近傍の認可領域内に認証者がいるか否かを判定する。認証者が認可領域内にいる場合、出力部70を介してゲート制御装置30へ通行許可信号を出力する。
認証者の通行を許可すると、認可手段84は、その人物に関する追跡データ64を用いて認証履歴データ66を更新する。認証履歴データ66には、利用者IDに対応付けて、通行許可した旨の情報および通行時刻、最も高い類似度を得たときの顔画像を記録する。
接近判定にかかる顔領域の大きさ指標には、顔抽出手段82で抽出された顔領域の面積、または横軸/縦軸の長さを用いる。或いは、切り出した顔画像の面積や横軸/縦軸の長さを指標としてもよい。また、特徴抽出した両眼間の距離、眼と鼻との距離、鼻と口との距離など顔の部位間の距離(ピクセル数)を指標とすることもできる。顔抽出手段82による顔抽出処理と同じ指標を用いる場合は、認可手段84による顔領域の大きさ算出処理を省略できる。
認可手段84は、入力画像における顔領域の位置に対応する判定基準値を用いて、当該顔領域の大きさが基準値以上であるか否か判定する。顔領域の大きさが判定基準値以上の場合、その人物は認可領域内にいるとみなす。
ここで、顔の位置と判定基準値との関係を示す基準値情報について説明する。図4は画像上の位置と判定基準値との対応関係を示す模式図である。本実施形態の顔認証システムでは、カメラ10が比較的高い位置に設けられているため、背が高い人物ほど画像の上側に大きく顔領域が現れる。このため、画像の上端側から下端側へいくほど判定基準値を小さく設定し、顔領域が小さくても認可領域内にいると判定され易くする。図4(a)に示す基準値情報の例では、画像を上下方向に3つの領域に区分けし、上段領域を基準領域とし、中段領域、下段領域の順に判定基準値が小さくなるように設定されている。また、図4(b)は画像を領域分けしない例であり、画像の上端を基準位置とし、下端側へ離れるほど判定基準値が小さくなるように設定されている。なお、画像上の位置に応じた判定基準値の設定方法はこれらの例に限定されるものではない。
認可手段84は、顔領域の画像上における位置を求め、その位置に対応する判定基準値を用いて顔領域が所定の大きさ以上であるか否か判定する。顔領域の位置は、例えば、顔領域の重心の座標、または、切り出された顔画像の重心の座標とする。或いは、鼻の特徴点を構成する座標を顔領域の位置としてもよい。認可手段84は、求めた顔領域の位置が図4(a)の何れの領域に属するかにより、判定に用いる基準値を設定する。なお、区分けした領域ごとに判定基準値が設定される場合、顔領域が含まれる面積が最も大きい区分領域を判定し、その領域に対応する判定基準値を用いてもよい。
表示制御手段85は、出力部70を介して、カメラ10で撮影された入力画像を順次モニタ40へ出力する。また表示制御手段85は、追跡データを参照し、認証結果が認証済みの追跡人物に対し、認証済みであることを示す教示情報を付加してモニタ40に表示させる。例えば、人物の顔領域に対して矩形枠を重畳した教示画像を生成し、これを表示する。認証者は教示画像をモニタ40で確認することで、ゲート20が開放されていない状態でも自身が認証済みであることを認識できる。なお、認証されたタイミングで認証済みであることを教示するのではなく、通行許可した時点でその旨を示す教示情報を付加して表示する構成としてもよい。
次に、顔認証システムの動作について説明する。図5は、処理部80による認証処理の流れを示すフローチャートである。処理部80は、入力画像から抽出された顔画像ごとに以下の認証処理を実行する。1フレームの入力画像から複数の顔画像が抽出された場合は、それぞれの顔画像について認証処理を行う。
認証処理を開始すると、まず、追跡データ64を参照して認証結果が「認証済み」であるか判定し(S500)、「認証済み」の場合は照合処理を省略してステップS510へ進む。認証結果が「未認証」の場合、登録者データ62の各顔画像と照合して類似度を算出し(S502)、所定の一致基準を満たすか否か判定する(S504)。照合基準を満たす場合、追跡データ64の認証結果を「認証済み」に設定し(S506)、照合基準を満たさない場合は、認証結果を「未認証」に維持したまま、その人物に対する認証処理を終了する(S508)。
ステップS510では、認証済みの人物について、入力画像上での顔領域の位置を特定する。そして、顔位置に対応して設定された判定基準値を読み出し(S512)、顔領域の大きさが判定基準値以上であるか否か判定する(S514)。顔領域の大きさが判定基準値以上であれば、その認証者は認可領域内にいると認識して通行を許可し(S516)、ゲート制御装置30へ通行許可信号を出力する(S518)。一方、顔領域の大きさが判定基準値に満たなければ、その認証者はまだ認可領域に到達していないとみなし、通行を許可せず認証処理を終了する。
以上に説明したように、本実施形態の顔認証システムによれば、ゲート20から離れた位置で人物を認証した場合でも、その認証者がゲート20に接近したときに限って通行を許可するため、正規の利用者の通行を認証遅延により妨げることなく、且つ、未認証の第三者の不正通行を防止できる。また、認証用のカメラ10とは別にゲート20への接近を判定するための追加構成(追跡用カメラ等)を持つことなく、簡易な構成で上記効果を奏することができる。
また、接近判定に用いる顔領域の大きさ判定基準値を画像上の顔の位置に応じて異ならせることで、背の高さの違いに起因して認可範囲に誤差が発生することを抑制できる。
なお、上記実施形態の顔認証システムでは、歩行中の認証者が管理区域側に接近を検出した時点で通行許可し、ゲート20による物理的な通行規制を解除する構成としたが、通行規制手段を設けずに利用者の出入を記録するだけの構成としてもよい。この場合、管理区域側への認証者の接近を検出した時点、すなわち認可領域への認証者の進入を検出した時点で、その人物が管理区域へ入場したことを記録する。このように、物理的な通行規制を行わず、通行者の履歴を記録するだけの出入管理システムにも適用できる。
また、顔領域の位置ごとに大きさ判定基準値を可変しない構成とすることもできる。この場合、記憶部60には単一の判定基準値が記憶され、認可手段84は顔位置によらずこの判定基準値を用いて接近判定を行う。図5のフローチャートにおいて、ステップS510及びS512は省略される。
また、上記実施形態の顔認証システムでは、図2に示されるように、カメラ10を人物より高い位置に設置した環境での構成・動作を説明したが、他の設置環境においても本発明の顔認証システムは適用可能である。以下、他の設置環境に適用した場合の変形例について説明する。
(変形例1)人物の顔を正面から撮影するように、平均的な人物の顔の高さ(例えば1.5m程度)にカメラを設置した環境への適用例を説明する。
図6の模式図に示した運用状況では、カメラ10は人物130の顔を水平正面から撮影する高さにある。この人物130が認可領域外の地点cから認可領域内の地点dへ移動すると、画像上では、人物130の顔領域は入力画像上の中段に位置した状態で徐々に大きくなっていく。これに対し、人物130より背が高い人物140は、カメラ10から離れた地点cでは人物130と同様に画像の中段に顔領域が現れるが、カメラ10への接近に伴い顔領域は画像の上側に移動し、カメラ近傍の地点dでは画像の上段に写る。また、同一の地点dに立つ人物130よりもカメラ10と顔の距離が長くなるため、人物140の顔領域の大きさは人物130の顔領域より画像上では小さく写る。
したがって、この設置環境における画像上の位置と判定基準値との関係は、上記実施形態とは異なり、画像の中段を大きな判定基準値とし、画像の上端側、下端側にいくほど判定基準値を小さく設定して、顔領域が小さくても認可領域内にいると判定され易くする。
図7は、変形例1における、画像上の位置と判定基準値との関係を示す模式図である。図7(a)に示す基準値情報の例では、画像を上下方向に3つの領域に区分けし、中段領域を基準領域とし、上段領域、下段領域の判定基準値は中段領域より小さく設定されている。また、図7(b)は画像を領域分けしない例であり、画像の上下方向の中央を基準位置とし、上端側または下端側へ離れるほど判定基準値が小さくなるように設定されている。
(変形例2)また、他の設置環境として、カメラを人物の顔位置より低い位置(例えば1m程度)とした場合には、近距離では背が低い人物の方が同位置に立つ背が高い人物よりカメラと顔との距離が短くなる。したがって、画像上では、背が低い人物の顔領域は下側に大きく写り、背が高い人物の顔領域は上側に小さく写る。この設置環境においては、画像上の位置と判定基準値との関係は、例えば、画像の下段領域を基準領域とし、中段領域、上段領域の順に判定基準値が小さくなるように設定すればよい。或いは、画像の下端を基準位置とし、上端側へいくほど判定基準値が小さくなるように設定してもよい。
(変形例3)上記実施形態の顔認証システムでは、画像上の上下方向の位置に応じて通行許可するための判定基準値を異ならせる構成としたが、他の実施形態として、画像上の左右方向の位置に応じて顔領域の大きさ判定基準値を異ならせ、通行許可のタイミングを制御する構成としてもよい。この実施形態における顔認証システムでは、例えば、画像を左右方向に3つの領域に区分けして、中央領域を基準領域とし、右領域、左領域の判定基準値を中央領域の判定基準値より大きく設定して通行許可され難くする。これにより、ゲートを通過せずゲート側方の通路に逸れる認証者に対して誤ってゲートを開放してしまうことが防止される。また、複数のゲートを並列配置したシステム構成に適用することで、隣のゲートに向かう認証者に対し誤ってゲート開放することを防止可能である。
(変形例4)また、他の実施形態として、画像上の上下方向の位置および左右方向の位置の両方を考慮し、顔領域の位置に応じた判定基準値を設定する構成としてもよい。例えば、高い位置にカメラが設置され、カメラの視野方向に対して右側に隣のゲートが存在するような設置環境に適用する場合、判定基準値は、画像の上側ほど大きく、かつ、画像の右側ほど大きくなるように設定される。これにより、背の高さによる通行許可範囲の誤差を抑制できるとともに、隣のゲートに向かう認証者に対して誤ってゲートを開放してしまうことが防止される。
10 カメラ、20 ゲート、30 ゲート制御装置、40 モニタ、50 認証装置


Claims (5)

  1. 認証領域を通行する人物を顔認証して当該人物の通行許否を判定する顔認証システムにおいて、
    前記認証領域を撮影して入力画像を順次取得する画像取得手段と、
    予め登録された利用者の登録顔画像を記憶する記憶手段と、
    前記入力画像から抽出された人物の顔画像と前記登録顔画像とを照合し、当該人物が前記利用者であることを認証する顔照合手段と、
    前記入力画像における前記認証された人物を示す領域の大きさが所定以上のとき、当該人物の通行を許可する認可手段と、
    を備えることを特徴とする顔認証システム。
  2. さらに、前記顔照合手段による認証結果と対応付けて、順次取得される前記入力画像から抽出した同一の人物を追跡する追跡手段を有し、
    前記認可手段は、前記入力画像における人物を示す領域の大きさが所定以上であり、且つ、当該人物が利用者として認証済みであるとき、当該人物の通行を許可する、請求項1に記載の顔認証システム。
  3. 前記認可手段は、前記認証された人物の顔領域の大きさが所定の判定基準値以上であることを条件に通行を許可する、請求項1又は2に記載の顔認証システム。
  4. 前記認可手段は、前記入力画像における前記顔領域の位置に応じて前記判定基準値を異ならせる、請求項3に記載の顔認証システム。
  5. 前記認可手段は、前記入力画像の上下方向における前記顔領域の位置に応じて前記判定基準値を異ならせ、前記入力画像上の基準位置または基準領域から上下方向に離れた位置または領域ほど前記判定基準値を小さく設定する、請求項4に記載の顔認証システム。


JP2013125111A 2013-06-14 2013-06-14 顔認証システム Active JP6151582B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013125111A JP6151582B2 (ja) 2013-06-14 2013-06-14 顔認証システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013125111A JP6151582B2 (ja) 2013-06-14 2013-06-14 顔認証システム

Publications (2)

Publication Number Publication Date
JP2015001790A true JP2015001790A (ja) 2015-01-05
JP6151582B2 JP6151582B2 (ja) 2017-06-21

Family

ID=52296298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013125111A Active JP6151582B2 (ja) 2013-06-14 2013-06-14 顔認証システム

Country Status (1)

Country Link
JP (1) JP6151582B2 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296950A (zh) * 2016-09-30 2017-01-04 深圳市商汤科技有限公司 一种基于人脸识别的门禁系统
JP6409929B1 (ja) * 2017-09-19 2018-10-24 日本電気株式会社 照合システム
WO2018229873A1 (ja) * 2017-06-13 2018-12-20 三菱電機株式会社 入退室管理装置
WO2019058800A1 (ja) 2017-09-19 2019-03-28 日本電気株式会社 照合システム
CN109754496A (zh) * 2017-11-06 2019-05-14 中国电信股份有限公司 门禁方法和系统
JP2019133364A (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
WO2019151116A1 (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
JP2019194875A (ja) * 2017-09-19 2019-11-07 日本電気株式会社 照合システム
JP2019219721A (ja) * 2018-06-15 2019-12-26 パナソニック株式会社 入退室認証システムおよび入退室認証方法
JP2020063659A (ja) * 2018-01-31 2020-04-23 日本電気株式会社 情報処理システム
JP2020077399A (ja) * 2019-10-10 2020-05-21 日本電気株式会社 情報処理装置
JP2020154765A (ja) * 2019-03-20 2020-09-24 株式会社デンソーウェーブ 認証システム
JPWO2021059537A1 (ja) * 2019-09-27 2021-04-01
WO2021206014A1 (en) * 2020-04-07 2021-10-14 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP2021193268A (ja) * 2019-12-10 2021-12-23 日本電気株式会社 情報処理システム
WO2022003853A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 認証制御装置、認証制御システム、認証制御方法及び非一時的なコンピュータ可読媒体
JP2022008339A (ja) * 2017-09-19 2022-01-13 日本電気株式会社 照合システム
JP2022043277A (ja) * 2019-10-10 2022-03-15 日本電気株式会社 情報処理装置
WO2022124089A1 (ja) * 2020-12-07 2022-06-16 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、及び、通過管理方法
WO2022149376A1 (ja) * 2021-01-05 2022-07-14 日本電気株式会社 生体認証制御ユニット、システム、生体認証制御ユニットの制御方法及び記録媒体
WO2022208640A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 ゲート装置、生体認証制御ユニット、システム、ゲート装置の制御方法及び記憶媒体
US20220335766A1 (en) * 2019-10-04 2022-10-20 Nec Corporation Information processing apparatus, information processing method, and storage medium
WO2022219933A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 情報処理装置、及び、情報処理方法
WO2022234613A1 (ja) * 2021-05-06 2022-11-10 日本電気株式会社 システム、ゲート装置、ゲート装置の制御方法及び記憶媒体
WO2023248384A1 (ja) * 2022-06-22 2023-12-28 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び記録媒体
WO2024127955A1 (ja) * 2022-12-16 2024-06-20 パナソニックIpマネジメント株式会社 管理装置、管理システム及び管理方法
US12087118B2 (en) 2020-03-18 2024-09-10 Nec Corporation Gate device, authentication system, gate control method, and storage medium
WO2024195121A1 (ja) * 2023-03-23 2024-09-26 日本電気株式会社 認証システム、認証方法及び記録媒体
WO2024218943A1 (ja) * 2023-04-20 2024-10-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US12148257B2 (en) 2021-04-02 2024-11-19 Nec Corporation Information processing apparatus, information processing method, and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967731A (zh) * 2017-07-10 2018-04-27 常州信息职业技术学院 基于二维码扫描解锁的门锁系统
EP4092619A4 (en) * 2020-01-16 2023-01-25 NEC Corporation FACE AUTHENTICATION DEVICE, CONTROL METHOD AND PROGRAM THEREOF, AND FACE AUTHENTICATION GATE DEVICE, CONTROL METHOD AND PROGRAM THEREOF

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151978A (ja) * 2002-10-30 2004-05-27 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2005135271A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 顔照合装置および通行制御装置
JP2006177086A (ja) * 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 入退室管理装置
JP2006236260A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置、顔認証方法および入退場管理装置
JP2007213369A (ja) * 2006-02-10 2007-08-23 Matsushita Electric Ind Co Ltd 生体認証装置および生体認証方法
JP2007303239A (ja) * 2006-05-15 2007-11-22 Konica Minolta Holdings Inc 認証装置、認証装置の制御方法、および認証装置の制御プログラム
JP2013065118A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認識装置、及び顔認識方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151978A (ja) * 2002-10-30 2004-05-27 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2005135271A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 顔照合装置および通行制御装置
JP2006177086A (ja) * 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 入退室管理装置
JP2006236260A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置、顔認証方法および入退場管理装置
JP2007213369A (ja) * 2006-02-10 2007-08-23 Matsushita Electric Ind Co Ltd 生体認証装置および生体認証方法
JP2007303239A (ja) * 2006-05-15 2007-11-22 Konica Minolta Holdings Inc 認証装置、認証装置の制御方法、および認証装置の制御プログラム
JP2013065118A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認識装置、及び顔認識方法

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296950A (zh) * 2016-09-30 2017-01-04 深圳市商汤科技有限公司 一种基于人脸识别的门禁系统
JPWO2018229873A1 (ja) * 2017-06-13 2019-11-07 三菱電機株式会社 入退室管理装置
WO2018229873A1 (ja) * 2017-06-13 2018-12-20 三菱電機株式会社 入退室管理装置
WO2019058801A1 (ja) 2017-09-19 2019-03-28 日本電気株式会社 照合システム
JP2019194875A (ja) * 2017-09-19 2019-11-07 日本電気株式会社 照合システム
JP2019053674A (ja) * 2017-09-19 2019-04-04 日本電気株式会社 照合システム
JP2019053675A (ja) * 2017-09-19 2019-04-04 日本電気株式会社 照合システム
US11210496B2 (en) 2017-09-19 2021-12-28 Nec Corporation Collation system
US12080097B2 (en) 2017-09-19 2024-09-03 Nec Corporation Collation system
US11978295B2 (en) 2017-09-19 2024-05-07 Nec Corporation Collation system
US11704932B2 (en) 2017-09-19 2023-07-18 Nec Corporation Collation system
JP7298658B2 (ja) 2017-09-19 2023-06-27 日本電気株式会社 照合システム
WO2019058800A1 (ja) 2017-09-19 2019-03-28 日本電気株式会社 照合システム
AU2018338030B2 (en) * 2017-09-19 2021-10-07 Nec Corporation Collation system
JP6409929B1 (ja) * 2017-09-19 2018-10-24 日本電気株式会社 照合システム
US11295116B2 (en) 2017-09-19 2022-04-05 Nec Corporation Collation system
JP2022008339A (ja) * 2017-09-19 2022-01-13 日本電気株式会社 照合システム
CN109754496A (zh) * 2017-11-06 2019-05-14 中国电信股份有限公司 门禁方法和系统
US11335125B2 (en) 2018-01-31 2022-05-17 Nec Corporation Information processing device
JP2020063659A (ja) * 2018-01-31 2020-04-23 日本電気株式会社 情報処理システム
JP2019133364A (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
WO2019151117A1 (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
US11727723B2 (en) 2018-01-31 2023-08-15 Nec Corporation Information processing device
WO2019151116A1 (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
JP2019132019A (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
JP2019219721A (ja) * 2018-06-15 2019-12-26 パナソニック株式会社 入退室認証システムおよび入退室認証方法
JP7167790B2 (ja) 2019-03-20 2022-11-09 株式会社デンソーウェーブ 認証システム
JP2020154765A (ja) * 2019-03-20 2020-09-24 株式会社デンソーウェーブ 認証システム
JPWO2021059537A1 (ja) * 2019-09-27 2021-04-01
WO2021059537A1 (ja) 2019-09-27 2021-04-01 日本電気株式会社 情報処理装置、端末装置、情報処理システム、情報処理方法及び記録媒体
EP4038584A4 (en) * 2019-10-04 2022-11-23 NEC Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
US20220335766A1 (en) * 2019-10-04 2022-10-20 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP7006668B2 (ja) 2019-10-10 2022-01-24 日本電気株式会社 情報処理装置
JP2020077399A (ja) * 2019-10-10 2020-05-21 日本電気株式会社 情報処理装置
JP7480885B2 (ja) 2019-10-10 2024-05-10 日本電気株式会社 情報処理装置
JP7279774B2 (ja) 2019-10-10 2023-05-23 日本電気株式会社 情報処理装置
JP2022043277A (ja) * 2019-10-10 2022-03-15 日本電気株式会社 情報処理装置
JP2021193268A (ja) * 2019-12-10 2021-12-23 日本電気株式会社 情報処理システム
US12087118B2 (en) 2020-03-18 2024-09-10 Nec Corporation Gate device, authentication system, gate control method, and storage medium
JP2023520575A (ja) * 2020-04-07 2023-05-17 日本電気株式会社 情報処理装置、情報処理方法、および記憶媒体
WO2021206014A1 (en) * 2020-04-07 2021-10-14 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP7338801B2 (ja) 2020-04-07 2023-09-05 日本電気株式会社 情報処理装置、情報処理方法、および記憶媒体
WO2022003853A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 認証制御装置、認証制御システム、認証制御方法及び非一時的なコンピュータ可読媒体
JP2022090301A (ja) * 2020-12-07 2022-06-17 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、及び、通過管理方法
WO2022124089A1 (ja) * 2020-12-07 2022-06-16 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、及び、通過管理方法
WO2022149376A1 (ja) * 2021-01-05 2022-07-14 日本電気株式会社 生体認証制御ユニット、システム、生体認証制御ユニットの制御方法及び記録媒体
WO2022208640A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 ゲート装置、生体認証制御ユニット、システム、ゲート装置の制御方法及び記憶媒体
JP7525056B2 (ja) 2021-03-30 2024-07-30 日本電気株式会社 ゲート装置、生体認証制御ユニット、システム、ゲート装置の制御方法及びコンピュータプログラム
US12148257B2 (en) 2021-04-02 2024-11-19 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP2022164310A (ja) * 2021-04-16 2022-10-27 パナソニックIpマネジメント株式会社 情報処理装置、及び、情報処理方法
WO2022219933A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 情報処理装置、及び、情報処理方法
JP7249555B2 (ja) 2021-04-16 2023-03-31 パナソニックIpマネジメント株式会社 情報処理装置、及び、情報処理方法
WO2022234613A1 (ja) * 2021-05-06 2022-11-10 日本電気株式会社 システム、ゲート装置、ゲート装置の制御方法及び記憶媒体
WO2023248384A1 (ja) * 2022-06-22 2023-12-28 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び記録媒体
WO2024127955A1 (ja) * 2022-12-16 2024-06-20 パナソニックIpマネジメント株式会社 管理装置、管理システム及び管理方法
WO2024195121A1 (ja) * 2023-03-23 2024-09-26 日本電気株式会社 認証システム、認証方法及び記録媒体
WO2024218943A1 (ja) * 2023-04-20 2024-10-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
JP6151582B2 (ja) 2017-06-21

Similar Documents

Publication Publication Date Title
JP6151582B2 (ja) 顔認証システム
JP6148065B2 (ja) 顔認証システム
JP6148064B2 (ja) 顔認証システム
JP5012247B2 (ja) 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、認証処理方法およびプログラム
WO2015136938A1 (ja) 情報処理方法および情報処理システム
JP2009104599A (ja) 顔認証装置、顔認証方法、及び顔認証システム
JP2010152552A (ja) 監視システム及び共連れ侵入監視方法
KR20190136349A (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
JP7075702B2 (ja) 入退室認証システムおよび入退室認証方法
JP2013109779A (ja) 監視システム及び共連れ侵入監視方法
JP6947202B2 (ja) 照合システム
CN105931327A (zh) 一种门禁监控方法及系统
JP2017044778A (ja) 認証装置
JP5955056B2 (ja) 顔画像認証装置
JP2003233816A (ja) アクセスコントロールシステム
JP2007156974A (ja) 個人認証・識別システム
JP2022111124A (ja) 情報処理システム
KR20110006971A (ko) 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법
JP2004118359A (ja) 人物認識装置、人物認識方法および通行制御装置
KR101011272B1 (ko) 출입통제시스템의 복수 사용자 출입 제한 방법
JP2006177086A (ja) 入退室管理装置
JP5955057B2 (ja) 顔画像認証装置
JP2003036442A (ja) 個人認証装置
US20220028197A1 (en) Access control solution for a passage device
US20230222193A1 (en) Information processing device, permission determination method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170525

R150 Certificate of patent or registration of utility model

Ref document number: 6151582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250