JP2004284344A - Ｉｄカード作成装置、ｉｄカード、顔認証端末装置、顔認証装置およびシステム - Google Patents

Abstract

【課題】 偽造がより困難な顔写真付きのＩＤカードを作成する。
【解決手段】 ＩＣチップを備えた顔写真付きのＩＤカード１０を作成する。ＩＤカード１０の顔写真部を撮影して顔写真データＦ１を得、これをコード情報Ｃ０に変換し、個人情報Ｉ０とともにＩＣチップに記憶する。認証時には、認証を行おうとする人物の顔を撮影して顔撮影データＦ２を得、これをコード情報Ｃ２に変換するとともに、その人物が所持するＩＤカード１０のＩＣチップ１２から個人情報Ｉ０およびコード情報Ｃ０を読み出し、個人情報Ｉ０およびコード情報Ｃ０が登録サーバ７１に登録されているか否かを判定する。さらに、コード情報Ｃ２がコード情報Ｃ０に対応するコード情報と一致しているか否かを判定し、双方の判定が肯定された場合にのみ、その人物の認証を行う。
【選択図】 図１

Description

本発明は、個人情報が記憶された顔写真付きのＩＤカードを作成するＩＤカード作成装置、ＩＤカード、顔認証端末装置、顔認証装置および顔認証システムに関するものである。

従来より、個人を特定するために顔写真を付与したＩＤカードが用いられている（特許文献１参照）。また、ＩＤカードに個人を特定するための個人情報を記憶し、機密エリアへの入退室時や情報システムのアクセス時に、ＩＤカードから個人情報を読み出し、予め登録された個人情報と比較することにより個人を認証することが行われている。このように個人情報を記憶するＩＤカードとしては、磁気テープを付与してそこに個人情報を記憶するものが用いられていたが、半導体チップを付与して半導体チップに個人情報を記憶するようにしたいわゆるＩＣカードも提案されている。

また近年、指紋、光彩、声紋および顔等の個人に固有の生体情報を用いて個人の認証を行うバイオメトリクス技術が提案されている。このバイオメトリクス技術を用いた本人認証技術は、予め登録した指紋、光彩、声紋、顔等の生体情報と、提示された生体情報とを信号処理により自動照合して、提示した人物が本人であるか他人であるかを認証するものである。とくに顔認証技術として、Ｇａｂｏｒフィルタを用いた方法が提案されている（非特許文献１参照）。

非特許文献１に記載されたＧａｂｏｒフィルタを用いた方法は、顔画像上に目、鼻および口などの顔器官の特徴点を配置し、各特徴点において解像度と方位とを変化させたＧａｂｏｒフィルタを畳み込むことにより、その特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取り出し、その特徴点間の空間的位置情報と、各特徴点の特徴量とを統合して弾性的な位置関係を持つ顔グラフを生成し、顔グラフを用いて顔の位置を検出し、さらに顔器官の特徴点を検出し、その特徴点周辺の特徴量の類似度を、登録してある顔の特徴量と比較することにより、本人か他人であるかの認証を行っている。

また、非特許文献１には、ＩＣカードに個人情報とともに生体情報を記憶し、個人情報によりカード自体の認証を行うとともに、生体情報を用いたバイオメトリクス技術により個人の認証を行う方法も提案されている。また、生体情報として顔を用いることについても非特許文献１に記載されている。このように、個人情報および生体情報の双方を用いることにより、二重のセキュリティを確保することができる。また、このように個人情報および生体情報を記憶したＩＣカードに顔写真を付与して顔写真付きのＩＤカードを作成すれば、顔を目視することによる確認も行うことができるため、よりセキュリティが向上する。
特開平６−１９９０８０号公報 （社）日本自動認識システム協会、「これでわかったバイオメトリクス」、オーム社、平成１３年９月１０日、ｐ５９−７１、１２０−１２６

ところで、上記非特許文献１に記載されたシステムは、ＩＣカードの所持者から認証時に取得した生体情報と、ＩＣカードに記憶した生体情報とを比較しているため、ＩＣカードの生体情報と所持者の生体情報が一致していれば認証がなされてしまう。このため、顔の撮影を行って顔写真データを得、これから生体情報を生成してＩＣカードに記憶するとともに、その顔写真データをＩＣカードに付与すれば、認証可能なＩＣカードを偽造することは可能である。

本発明は上記事情に鑑みなされたものであり、偽造がより困難な顔写真付きのＩＤカードを作成することを目的とする。

また、本発明は、作成されたＩＤカードを用いてよりセキュリティの高い認証を行えるようにすることを目的とする。

本発明によるＩＤカード作成装置は、所定の規格を有する顔写真が付与されてなる顔写真部と、該顔写真の人物の個人情報を含む各種情報を記憶する情報記憶部とを備えたＩＤカードにおける前記顔写真部を撮影して、前記所定の規格を有する前記顔写真部を表す顔写真データを取得する撮影手段と、
前記顔写真データをコード情報に変換するコード変換手段と、
該コード情報を前記情報記憶部に記憶するコード情報記憶手段とを備えたことを特徴とするものである。

「所定の規格」としては、予め定められた顔のサイズ、顔の上下左右の領域のサイズ、予め定められた領域の長さと顔の長さの比率等を用いることができる。また、「所定の規格」としては、一定サイズの顔写真内の決められた位置に、一定サイズの顔が含まれるとともに、頭頂部、顎の先端部および左右の耳等の顔の縁部から顔写真の縁部までの距離が一定サイズとなるものを用いてもよい。なお、顔写真のサイズ、顔写真内の顔のサイズおよび顔の縁部から顔写真の縁部までのサイズは許容される範囲内の多少の誤差を持っていてもよい。

「個人情報」としては、顔写真の人物の氏名、住所、電話番号の他、会社の従業員である場合の社員番号、学生である場合の学籍番号、何らかの会員である場合の会員番号、ＩＤカードがキャッシュカードやクレジットカードである場合のカード番号等、顔写真の人物が指定することができない情報を含む。

「コード情報」とは、顔写真データを変換することにより得られるものであり、顔写真データと１対１に対応付けられてなるものである。コード情報としては、顔写真データにより表される顔画像上の、目、鼻、口等の器官の位置を表す特徴量、顔写真データを主成分分析することにより得られる固有ベクトル、各器官に対して主成分分析を施すことにより得られる各器官の固有ベクトル、ニューラルネットワークを用いて目および鼻の側面、口、眉、頬等の濃淡コントラストのある領域を顔特徴量として抽出し、数値化および正規化することにより得られた値等を用いることができる。

なお、本発明によるＩＤカード作成装置においては、前記顔写真部に付与された顔写真を、前記ＩＤカードを作成する人物の顔を撮影して該顔を含む原画像を表す原画像データを取得する撮影手段と、
前記原画像における顔の目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔写真を表す顔画像データを取得する切り出し手段とを備えた顔抽出装置により取得されたものとしてもよい。

また、本発明によるＩＤカード作成装置においては、前記撮影手段を、前記顔写真部を撮影することにより取得された原画像データにより表される原画像における顔の目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔写真データを取得する切り出し手段とを備えてなるものとしてもよい。

本発明によるＩＤカードは、所定の規格を有する顔写真が付与されてなる顔写真部と、該顔写真の人物の個人情報を含む各種情報を記憶する情報記憶部とを備え、該情報記憶部に、前記顔写真部を撮影して得た、前記所定の規格を有する前記顔写真部を表す顔写真データを変換して得たコード情報が記憶されてなることを特徴とするものである。

なお、本発明によるＩＤカードにおいては、前記顔写真部に付与された前記顔写真を、前記ＩＤカードを作成する人物の顔を撮影して該顔を含む原画像を表す原画像データを取得する撮影手段と、
前記原画像における顔の目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔写真を表す顔画像データを取得する切り出し手段とを備えた顔抽出装置により取得されたものとしてもよい。

本発明による顔認証端末装置は、本発明によるＩＤカードの所持者の顔を撮影して、前記所定の規格を有する前記所持者の顔画像を表す顔撮影データを取得する撮影手段と、
前記情報記憶部から前記個人情報および前記コード情報を読み出す情報読み出し手段とを備えたことを特徴とするものである。

なお、本発明による顔認証端末装置においては、前記顔撮影データを含む各種情報を表示する表示手段をさらに備えるものとしてもよい。

また、本発明による顔認証端末装置においては、多数の人物についての個人情報およびコード情報を登録した登録手段と、
前記読み出した個人情報に対応する対応個人情報および前記読み出したコード情報に対応する対応コード情報が前記登録手段に登録されているか否かを判定する情報判定手段と、
前記顔撮影データをコード情報に変換するコード変換手段と、
該コード変換手段が変換したコード情報と前記対応コード情報とが略一致しているか否かを判定するコード判定手段と、
前記情報判定手段および前記コード判定手段による判定が双方ともに肯定された場合に、前記所持者が認証されたことを表す認証情報を出力する認証情報出力手段とをさらに備えるものとしてもよい。

また、本発明による顔認証端末装置においては、前記撮影手段を、前記ＩＤカードの所持者の顔を撮影することにより取得された原画像データにより表される原画像における顔の目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔撮影データを取得する切り出し手段とを備えてなるものとしてもよい。

本発明による顔認証装置は、本発明による顔認証端末装置が取得した前記顔撮影データ、前記個人情報および前記コード情報を取得する情報取得手段と、
多数の人物についての個人情報およびコード情報を登録した登録手段と、
前記取得した個人情報に対応する対応個人情報および前記取得したコード情報に対応する対応コード情報が前記登録手段に登録されているか否かを判定する情報判定手段と、
前記顔撮影データをコード情報に変換するコード変換手段と、
該コード変換手段が変換したコード情報と前記対応コード情報とが略一致しているか否かを判定するコード判定手段と、
前記情報判定手段および前記コード判定手段による判定が双方ともに肯定された場合に、前記所持者が認証されたことを表す認証情報を出力する認証情報出力手段とを備えたことを特徴とするものである。

本発明による顔認証システムは、本発明による顔認証端末装置と、
本発明による顔認証装置とが各種情報を送受信可能に接続されてなることを特徴とするものである。

なお、本発明による顔認証システムにおいては、本発明によるＩＤカード作成装置をさらに備えるものとしてもよい。

ここで、本発明によるＩＤカード作成装置、ＩＤカードおよび顔認証端末装置において、所定の規格を有する顔写真を表す顔画像データ、顔写真部を表す顔写真データおよびＩＤカードの所持者の顔画像を表す顔撮影データ（以下顔写真等とする）を得るための顔抽出装置および撮影手段においては、前記目位置検出手段を、前記目の中心位置の識別に用いる少なくとも１つの特徴量を前記原画像から算出する特徴量算出手段と、
顔であることが分かっている、前記目の中心位置および／または位置関係が正規化された複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記少なくとも１つの特徴量をマシンラーニングの手法によりあらかじめ学習することにより得られた、前記少なくとも１つの特徴量と該少なくとも１つの特徴量の各々に対応する識別条件とをあらかじめ規定する参照データを、前記原画像から算出された少なくとも１つの特徴量に基づいて参照して、前記原画像に含まれる顔の目の中心位置の識別を行う識別手段とを備えるものとしてもよい。

「特徴量」とは、画像の特徴を表すパラメータを指し、その画像における各画素の濃度勾配を表す勾配ベクトル、各画素の色情報（色相、彩度）、濃度、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。

「識別条件」とは、特徴量を指標とした、目の中心位置を識別する条件を指す。

「マシンラーニング（machine learning）の手法」としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。

本発明のＩＤカード作成装置は、所定の規格を有する顔写真が付与されたＩＤカードにおける顔写真部を撮影して、所定の規格を有する顔写真を表す顔写真データを取得する。そして、顔写真データをコード情報に変換し、コード情報をＩＤカードの情報記憶部に記憶してＩＤカードを作成する。作成されたＩＤカードは本発明のＩＤカードとなる。このため、顔写真データを変換して得られたコード情報を登録しておけば、ＩＤカードの顔写真を偽造したり、偽造した人物の顔写真データから得られたコード情報を情報記憶部に記憶しても、情報記憶部に記憶したコード情報と登録したコード情報とは一致しないため、認証がなされないこととなる。また、本発明のＩＤカードの顔写真部のみを入れ替えてＩＤカードを偽造したとしても、ＩＤカードの顔写真部を撮影して顔写真データを得てこれを変換することにより得られたコード情報は、たとえそれが本人であっても情報記憶部に記憶したコード情報または登録したコード情報と完全には一致しないため、ＩＤカードが偽造されたものであることが容易に認識できる。したがって、本発明によれば、容易に偽造できないＩＤカードを作成することができる。

また、顔写真データを変換することにより得たコード情報を情報記憶部に記憶しているため、顔写真データそのものを情報記憶部に記憶する場合と比較して、情報記憶部の容量が小さくて済む。したがって、大容量の情報記憶部を使用することによりＩＤカードが高価になることを防止できる。

本発明による顔認証端末装置は、本発明によるＩＤカードの所持者の顔を撮影して、ＩＤカードを作成した顔画像データと同様の所定の規格を有する所持者の顔を含む顔画像を表す顔撮影データを取得し、情報記憶部から個人情報およびコード情報を読み出す。このため、本発明によるＩＤカードの所持者を認証する際に必要な全ての情報を取得することができる。

また、請求項８の顔認証端末装置は、読み出した個人情報に対応する対応個人情報および読み出したコード情報に対応する対応コード情報が、多数の人物についての個人情報およびコード情報を登録した登録手段に登録されているか否かを判定する。一方、顔撮影データをコード情報に変換し、このコード情報と対応コード情報とが略一致しているか否かを判定する。そして、双方の判定が肯定された場合にのみ認証情報を出力する。このように、個人情報およびコード情報による認証とともに、ＩＤカードを所持する所持者の顔の認証も行っているため、よりセキュリティを向上できる。

本発明の顔認証装置は、本発明の顔認証端末装置から取得した個人情報に対応する対応個人情報および取得したコード情報に対応する対応コード情報が、多数の人物についての個人情報およびコード情報を登録した登録手段に登録されているか否かを判定する。一方、取得した顔撮影データをコード情報に変換し、このコード情報と対応コード情報とが略一致しているか否かを判定する。そして、双方の判定が肯定された場合にのみ認証情報を出力する。このように、個人情報およびコード情報による認証とともに、ＩＤカードを所持する所持者の顔の認証も行っているため、よりセキュリティを向上できる。

また、ＩＤカードの顔写真、顔写真データにより表される顔写真部および顔撮影データにより表されるカード所持者の顔を含む顔画像を所定の規格を有するものとすることにより、コード変換手段が変換したコード情報と対応コード情報とが略一致しているか否かの判定の精度を向上できる。

とくに、ＩＤカードを作成しようとする人物、ＩＤカードの所持者の顔およびＩＤカードの顔写真部を撮影することにより取得された原画像データにより表される原画像において、両目の中心位置間の距離が所定値となるように規格化した後に、規格化原画像における両目の中心位置間の距離を基準とした所定の規格を有する画像を規格化後の原画像から切り出して所定の規格を有する顔写真等とすることにより、人物の撮影位置に拘わらず常に所定の規格を有する顔写真を表す顔写真データあるいは顔画像を表す顔撮影データを得ることができる。また、ＩＤカードにおける顔写真部を撮影する際に、ＩＤカードを正確に位置決めしなくても、常に所定の規格を有する顔写真部を表す顔写真データを得ることができる。したがって、撮影時において人物の撮影場所が変わったり、ＩＤカードの顔写真部を撮影する際にＩＤカードを位置決めする場所が変わることにより、撮影により取得された原画像に含まれる顔のサイズや位置が原画像毎に異なっていても、精度よく所定の規格を有する顔写真等を得ることができ、これにより、撮影時に人物の撮影位置やＩＤカードの位置を正確に定める煩わしさをなくすことができる。

なお、原画像から少なくとも１つの特徴量を算出し、顔原像から算出された少なくとも１つの特徴量に基づいて参照データを参照して、原画像に含まれる顔の目の中心位置の識別を行うようにしてもよい。ここで、参照データを得る際の学習に用いられる顔であることが分かっているサンプル画像は、目の中心位置および／または位置関係が正規化されているため、原画像における顔の位置が特定されれば、その顔における目の中心位置は、サンプル画像における目の中心位置に対応したものとなる。また、原画像における顔の目が前髪に隠れている等して不鮮明であっても、原画像には顔の特徴を表す特徴量が含まれているため、原画像に含まれる顔の位置さらには目の中心位置を識別できる。したがって、原画像から少なくとも１つの特徴量を算出し、顔原像から算出された少なくとも１つの特徴量に基づいて参照データを参照して、原画像に含まれる顔の目の中心位置の識別を行うことにより、原画像における目の中心位置を精度よく識別することができる。

また、参照データをマシンラーニングの手法によりあらかじめ学習して得ることにより、目の中心位置の識別性能をより向上させることができる。

以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による顔認証システムの構成を示す概略ブロック図である。図１に示すように、本発明による顔認証システム１は、ＩＤカード１０を作成するＩＤカード作成装置５と、ＩＤカードの所持者の撮影やＩＤカードからの情報の読み取りを行う顔認証端末装置６と、顔認証端末装置６と接続されて顔の認証を行う顔認証装置７とを備える。

ＩＤカード作成装置５はインターネット３に接続され、ユーザＵ０のパソコン２からインターネット３を通じてＩＤカードの注文を受け付けて、ＩＤカードを作成するためのものであり、インターネット３に接続されて注文を受け付けるカード製作サーバ５１と、各種情報を記憶可能なＩＣチップが付与されたＩＤカードの原版に顔写真をプリントするカードプリンタ５２とを有する。

図２は、ＩＤカード１０の構成を示す平面図である。図２に示すようにＩＤカード１０は、顔画像がプリントされた顔写真部１１とＩＣチップ１２とを有する。

ユーザＵ０は、パソコン２からＩＤカード作成装置５のカード製作サーバ５１にアクセスして、ＩＤカードの注文を行う。この際、パソコン２からユーザＵ０の氏名、住所、電話番号等の個人情報および顔を撮影することにより取得された顔画像データＦ０を入力してＩＤカード作成装置５に送信する。

なお、顔画像データＦ０はユーザＵ０が自身をデジタルカメラやカメラ付き携帯電話により撮影したものや、パソコン２に付属のカメラにより撮影したもの等を用いることができる。図１には携帯電話により撮影した顔画像データＦ０をパソコン２に入力する態様を示している。ここで、顔画像データＦ０により表される顔写真を所定の規格を有するものとするアルゴリズムがデジタルカメラやカメラ付き携帯電話またはパソコン２にインストールされており、そのアルゴリズムにしたがって、ユーザＵ０の顔を表す顔画像データＦ０を作成する。

以下、このアルゴリズムについて説明する。まず、撮影により取得した原画像データＳ０により表される原画像（以下原画像についても同様の参照符号Ｓ０を用いる）Ｓ０から顔領域を抽出する。顔領域の抽出は、図３（ａ）に示すように、原画像Ｓ０から人物の上半身が写されている領域２１を特定し、この領域から肌色の領域を抽出することにより行う。なお、原画像Ｓ０を撮影する際には背景の色を例えば青とするようにユーザＵ０に撮影を行わせることが好ましい。

肌色の領域の抽出方法としては、例えば、ある画素の色調および階調が顔の肌色とみなすことができる所定の範囲の色調および階調に入っているかどうかを判定し、顔の肌色と判定されると、その画素に隣接する画素についても同様の判定を行い、これを順次繰り返し判定して肌色の領域を拡張していくことにより、顔の領域を抽出する方法を用いることができる。

また、肌色の領域の抽出後、抽出した領域の大きさや形によって、顔以外の肌色の領域を排除するようにすれば、顔の領域を正確に抽出することができる。

そして、顔の領域が抽出されると、その領域を基準にして、原画像Ｓ０からトリミングする顔領域のトリミング範囲２２を決定する。例えば、図３（ｂ）に示すように、顔の上端から情報に一定のマージンＵを取り、同様に顔の下端から下方に一定のマージンＤを取る。これらのマージンＵ，Ｄは、顔の縦の長さをＬとし、このＬに予め定めた比率を乗算した値とそれぞれのマージンとすることができる。このようにして、顔の上下方向のトリミング範囲を決める。

一方、顔の左右方向のトリミング範囲は、ＩＤカード１０に付与する顔写真部１１のアスペクト比と顔の中心とに基づいて定める。例えば、顔写真部１１のサイズが３０×２０ｍｍである場合、縦横のアスペクト比は３：２であるため、上記のようにして求めた顔領域の縦方向の長さ（＝Ｌ＋Ｕ＋Ｄ）に２／３を乗算した値によって、顔領域の横方向の長さを決定することができ、さらに顔の中心から左右方向の長さが同一となるように左右方向のトリミング範囲２２を決定する。

そしてこのように決定したトリミング範囲２２により原画像Ｓ０をトリミングして、顔画像データＦ０を作成する。

なお、顔写真を所定の規格を有するものとするアルゴリズムとしては、上述したものの他、原画像に含まれる顔における頭頂部および両眼の位置を検出し、あごの先端の位置を推定してトリミングの範囲を定める方法（特開２００２−１５２４９２号公報参照）、原画像に含まれる顔の頭部とあごを検出してトリミングを行う方法（特開２００１−３１１９９６号公報参照）等を適用できる。

また、ＩＤカード作成装置５は、ＩＤカード１０の顔写真部１１を撮影し、顔画像データＦ０を得た場合と同様のアルゴリズムにより所定の規格を有する顔写真を表す顔写真データＦ１を取得するカメラ５３と、顔写真データＦ１をコード情報Ｃ０に変換するコード変換部５４と、ユーザＵ０が送信した個人情報Ｉ０およびコード情報Ｃ０をＩＣチップ１２に記憶する記憶部５５と、個人情報Ｉ０およびコード情報Ｃ０を顔認証装置７に送信する通信部５６とを備える。

コード変換部５４は、顔写真データＦ１に対して主成分分析を施すことにより、顔写真データＦ１を顔写真データＦ１により表される顔写真に固有のベクトル（固有ベクトル）に変換する。この固有ベクトルがコード情報Ｃ０となる。

なお、コード情報Ｃ０としてはこれに限定されるものではなく、顔写真データＦ１により表される顔画像上の、目、鼻、口等の器官の位置を表す特徴量、器官に対して主成分分析を施すことにより得られる各器官の固有ベクトル等をコード情報Ｃ０として用いてもよい。また、ニューラルネットワークを用いて目および鼻の側面、口、眉、頬等の濃淡コントラストのある領域を顔特徴量として抽出し、数値化および正規化することにより得られた値をコード情報Ｃ０として用いてもよい。

ここで、記憶部５５は個人情報Ｉ０をＩＣチップ１２に記憶するが、ユーザＵ０が指定できない会員番号等を個人情報Ｉ０に含めてもよい。

なお、顔写真部１１がプリントされ、個人情報Ｉ０およびコード情報Ｃ０がＩＣチップ１２に記憶されたＩＤカード１０は、ユーザＵ０に渡される。この際、ＩＤカード１０の顔写真部１１とユーザＵ０の顔とを比較して、本人であることを確認した上でＩＤカード１０がユーザＵ０に渡される。

顔認証端末装置６は、ＩＤカード１０の所持者である認証を行おうとする人物が所持するＩＤカード１０のＩＣチップ１２から個人情報Ｉ０およびコード情報Ｃ０を非接触により読み出す読み出し部６１と、人物の顔を撮影し、さらに顔画像データＦ０を得た場合と同様のアルゴリズムにより所定の規格を有する人物の顔を含む顔画像を表す顔撮影データＦ２を取得するカメラ６２と、個人情報Ｉ０、コード情報Ｃ０および顔撮影データＦ２を顔認証装置７に送信する通信部６３と、顔撮影データＦ２を含む各種情報を表示するモニタ６４とを備える。

読み出し部６１は、ＩＣチップ１２に記憶された個人情報Ｉ０およびコード情報Ｃ０を、電磁誘導等の既知の方式により非接触で読み出す。

カメラ６２は、顔画像データＦ０を作成するアルゴリズムと同様のアルゴリズムにより撮影により取得した画像をトリミングして、認証を行おうとする人物の顔を含む顔画像を表す顔撮影データＦ２を取得する。

図４は、顔認証端末装置６の外観図である。図４に示すように、読み出し部６１には「ＩＣ」の文字が付与されており、ここにＩＣチップ１２を近接させることにより、ＩＤカード１０のＩＣチップ１２から、個人情報Ｉ０およびコード情報Ｃ０を読み取る。なお、カメラ６２は顔認証端末装置６の左上角部に配設される。

顔認証装置７は、多数の人物についての個人情報Ｉ０およびコード情報Ｃ０を登録した登録サーバ７１と、顔認証端末装置６が送信した個人情報Ｉ０に対応する対応個人情報Ｉ１およびコード情報Ｃ０に対応する対応コード情報Ｃ１が登録サーバ７１に登録されているか否かを判定する情報判定部７２と、ＩＤカード作成装置５のコード変換部５４と同様に顔撮影データＦ２をコード情報Ｃ２に変換するコード変換部７３と、コード情報Ｃ２と対応コード情報Ｃ１とが一致するか否かを判定するコード判定部７４と、情報判定部７２およびコード判定部７４による判定結果が双方とも肯定された場合に、顔認証端末装置６により認証を行っている人物が認証されたことを表す認証情報を生成する認証部７５と、ＩＤカード作成装置５および顔認証端末装置６と各種情報の送受信を行う通信部７６とを備える。

コード判定部７４は、コード情報Ｃ２すなわち、顔撮影データＦ２の固有ベクトルＶ２と、対応コード情報Ｃ１に対応する固有ベクトルＶ１とが一致しているか否かを判定する。具体的には、固有ベクトルＶ２の方向および大きさが、固有ベクトルＶ１の方向および大きさの例えば±１０％以内にあるか否かを判定し、±１０％以内にある場合に、コード情報Ｃ２は対応コード情報Ｃ１に一致すると判定する。なお、対応コード情報Ｃ１に代えてコード情報Ｃ０とコード情報Ｃ２とが一致するか否かを判定してもよい。

次いで、本実施形態において行われる処理について説明する。図５はＩＤカード作成装置５において行われる処理を示すフローチャートである。なお、ユーザＵ０はパソコン２からＩＤカード１０の注文を行い、カード製作サーバ５１には、ユーザＵ０の顔画像データＦ０および個人情報Ｉ０が送信されているものとする。

まず、カード製作サーバ５１はカードプリンタ５２に顔画像データＦ０を入力する（ステップＳ１）。カードプリンタ５２は、ＩＤカード１０の原盤に顔画像データＦ０をプリントする。（ステップＳ２）。続いて、カメラ５３がＩＤカード１０の顔写真部１１を撮影して、顔写真データＦ１を取得する（ステップＳ３）。なお、ＩＤカード１０のカメラ５３の前への移動は、ＩＤカード作成装置５のオペレータが手動で行ってもよく、自動で搬送するように行ってもよい。

続いて、コード変換部５４が顔写真データＦ１を変換してコード情報Ｃ０を取得する（ステップＳ４）。そして記憶部５５が個人情報Ｉ０およびコード情報Ｃ０をＩＣチップ１２に記憶し（ステップＳ５）、通信部５６が個人情報Ｉ０およびコード情報Ｃ０を顔認証装置７に送信し（ステップＳ６）、ＩＤカード１０の作成を終了する。このように作成されたＩＤカード１０は、ユーザＵ０に渡される。

図６は認証時に行われる処理を示すフローチャートである。なお、ここでは、セキュリティエリアへの扉を開場する際の認証について説明する。

まず、読み出し部６１は、常時ＩＤカード１０が近接されたか否かを監視しており（ステップＳ１１）、ＩＤカード１０の所持者である認証を行おうとする人物が顔認証端末装置６の前に立ってＩＤカード１０を読み出し部６１にかざすことによりステップＳ１１が肯定されると、ＩＤカード１０のＩＣチップ１２から個人情報Ｉ０およびコード情報Ｃ０を読み出す（ステップＳ１２）。また、これとともにカメラ６２が認証を行おうとする人物の顔を撮影して顔撮影データＦ２を取得する（ステップＳ１３）。この際、音声などにより撮影が行われる旨を認証を行おうとする人物に伝えるようにしてもよい。また、顔撮影データＦ２をモニタ６４に表示してもよい。そして、通信部６３が、個人情報Ｉ０、コード情報Ｃ０および顔撮影データＦ２を顔認証装置７に送信する（ステップＳ１４）。

顔認証装置７は個人情報Ｉ０、コード情報Ｃ０および顔撮影データＦ２を受信し（ステップＳ１５）、情報判定部７２が、受信した個人情報Ｉ０およびコード情報Ｃ０にそれぞれ対応する対応個人情報Ｉ１および対応コード情報Ｃ１が登録サーバ７１に登録されているか否かを判定する（ステップＳ１６）。続いて、コード変換部７３が顔撮影データＦ２をコード情報Ｃ２に変換し（ステップＳ１７）、コード判定部７４がコード情報Ｃ２と対応コード情報Ｃ１とが一致するか否かを判定する（ステップＳ１８）。

そして、認証部７５が情報判定部７２の判定およびコード判定部７４の判定の双方が肯定されたか否かを判定し（ステップＳ１９）、ステップＳ１９が肯定されると認証を行おうとする人物が認証された旨を表す認証情報を生成する（ステップＳ２０）。一方、ステップＳ１９が否定されると、認証を行おうとする人物が認証されない旨を表す非認証情報を生成する（ステップＳ２１）。そして、通信部７６が認証情報または非認証情報を顔認証端末装置６に送信する（ステップＳ２２）。

顔認証端末装置６の通信部６３は認証情報または非認証情報を受信し（ステップＳ２３）、モニタ６４に認証された旨または認証されなかった旨の表示を行う（ステップＳ２４）。なお、表示に代えて、音声により認証された旨または認証されなかった旨を知らせるようにしてもよい。そして、認証されているか否かを判定し（ステップＳ２５）、ステップＳ２５が肯定されると扉を開錠し（ステップＳ２６）、処理を終了する。なお、ステップＳ２５が否定されると処理を終了する。

このように、本実施形態においては、ＩＤカード１０の顔写真部１１を撮影することにより顔写真データＦ１を得、これを変換することにより取得したコード情報Ｃ０をＩＣチップ１２に記憶するとともに、顔認証装置７の登録サーバ７１に登録するようにしたものである。このため、ＩＤカード１０の顔写真部１１を偽造したり、偽造した人物の顔写真データから得られたコード情報をＩＣチップ１２に記憶しても、ＩＣチップ１２に記憶したコード情報と顔認証装置７の登録サーバ７１に登録したコード情報とは一致しないため、認証がなされないこととなる。また、ＩＤカード１０の顔写真部１１のみを入れ替えてＩＤカード１０を偽造したとしても、ＩＤカード１０の顔写真部１１を撮影して得たコード情報は、たとえそれが本人であったとしても、ＩＣチップ１２に記憶されたコード情報Ｃ０および登録サーバ７１に登録したコード情報とは完全には一致しないため、ＩＤカード１０が偽造されたものであることが容易に認識できる。したがって、本実施形態によれば、容易に偽造できないＩＤカード１０を作成することができる。

また、本実施形態の顔認証装置７は、個人情報Ｉ０およびコード情報Ｃ０による認証とともに、認証を行おうとする人物の顔を撮影することによりその人物自身の認証をも行っているため、よりセキュリティを向上できる。

また、顔画像データＦ０により表される画像、顔写真部１１を撮影することにより得た顔写真データＦ１により表される画像および顔撮影データＦ２により表される認証を行おうとする人物の顔画像を所定の規格を有するものとすることにより、コード変換部７３が変換したコード情報Ｃ２と対応コード情報Ｃ１とが略一致しているか否かの判定の精度を向上できる。

なお、上記実施形態においては、顔認証端末装置６と顔認証装置７とを別の場所に設けているが、図７に示すように、顔認証端末装置６に登録サーバ７１、情報判定部７２、コード変換部７３、コード判定部７４および認証部７５を設け、顔認証端末装置６のみで認証を行うようにしてもよい。

また、上記実施形態において、対応コード情報Ｃ１から、対応コード情報Ｃ１を得た顔画像データを再現し、図８に示すように、再現した顔画像データを顔認証端末装置６のモニタ６４に顔撮影データＦ２と並べて表示してもよい。また、ここにコード判定部７４における固有ベクトルＶ１と固有ベクトルＶ２との方向および大きさがどの程度一致しているかを認証率として表示してもよい。この場合、再現した顔画像データは、元の顔画像データを完全には復元できないが、ある程度の比較は可能であるため、顔認証端末装置６を用いての目視での認証を行うことが可能であり、これにより顔認証システム１のセキュリティを一層向上できる。また、この場合に、顔認証端末装置６をセキュリティルームのモニタ９と接続しておき、セキュリティルームにおいて目視によるチェックを行うようにしてもよい。

また、上記実施形態においては、本実施形態によるＩＤカードをセキュリティエリアへの扉を開場する際の認証に用いる場合について説明しているが、本実施形態によるＩＤカードをクレジットカードに適用し、クレジットカード利用時の本人の確認に利用することも可能である。従来のクレジットカードでは盗難されると他人にクレジットカードを利用されてしまっていたが、本実施形態のＩＤカードのように、クレジットカードにＩＣチップ１２を付与し、ここにコード情報Ｃ０を記憶してクレジットカードの利用者の顔を撮影して上記実施形態と同様に判定を行えば、クレジットカードの利用者が本人であるか否かを確実に認証できるため、クレジットカードが盗難されても、他人に利用されてしまうことを防止できる。

また、本実施形態によるＩＤカードを、病院における手術前の患者の確認に利用することも可能である。従来手術前の患者の確認は、コードタグ的な番号のみで名前、Ｘ線画像等の手術の際に必要な情報を管理していたため、慎重に対処しないと、患者を取り違えてしまうおそれがあった。このため、患者を確認するためのＩＤカードにＩＣチップ１２を付与し、ここにコード情報Ｃ０を手術の際に必要な情報と関連付けて記憶し、手術を行う患者の顔を撮影して上記実施形態と同様に判定を行えば、患者を確実に認証できるため、患者の取り違えを防止できる。

また、上記実施形態においては、ＩＤカード１０にＩＣチップ１２を設け、ここに個人情報Ｉ０およびコード情報Ｃ０を記憶しているが、ＩＣチップ１２に代えて、磁気テープを付与したＩＤカード１０を使用し、磁気テープに個人情報Ｉ０およびコード情報Ｃ０を記憶してもよい。

また、上記実施形態においては、顔画像データＦ０、顔写真データＦ１および顔撮影データＦ２により表される画像を所定の規格を有するものとするアルゴリズムとして、図３に示すように、原画像から肌色の領域を抽出し、その領域を基準として顔領域のトリミング範囲を決定する方法を用いているが、両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムを適用することも可能である。以下、両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムについて説明する。なお、ここでは、原画像Ｓ０から顔画像データＦ０により表される画像（以下これを顔画像とし、顔画像についても同様の参照符号を用いる）Ｆ０を切り出す場合を例に挙げて説明する。

図９は、両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムにより原画像Ｓ０から所定の規格を有する顔画像Ｆ０を切り出す顔抽出装置の構成を示す概略ブロック図である。

図９に示すように顔抽出装置１０１は、原画像Ｓ０に含まれる顔の目の中心位置を検出する目位置検出部１２１、検出した両目の中心位置間の距離が所定値となるように原画像Ｓ０を規格化して規格化原画像Ｓ１を得る規格化部１２２、および規格化原画像Ｓ１における両目の中心位置間の距離を基準として所定の規格を有する顔画像Ｆ０を原画像Ｓ０から切り出す切り出し部１２３を備える。

なお、カメラ５３，６２が顔抽出装置１０１と同様に、目位置検出部１２１、規格化部１２２および切り出し部１２３を備えることにより、顔写真データＦ１および顔撮影データＦ２によりそれぞれ表される画像を所定の規格を有するものとすることができる。

図１０は目位置検出部１２１の構成を示す概略ブロック図である。図２に示すように目位置検出部１２１は、原画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部１３１、後述する参照データＲ１が格納されているメモリ１３２、特徴量算出部１３１が算出した特徴量Ｃ０とメモリ１３２内の参照データＲ１とに基づいて、原画像Ｓ０に含まれる顔における目の中心位置を識別する識別部１３３、識別部１３３による識別結果を出力する出力部１３４とを備える。

なお、本実施形態において目の中心位置とは、顔における目尻から目頭の間の中心位置であり、図１１（ａ）に示すように正面を向いた目の場合においては瞳の位置（図中×で示す）となる。一方、図１１（ｂ）に示すように右を向いた目の場合は瞳の位置ではなく、白目部分が目の中心位置となる。

特徴量算出部１３１は、目の中心位置の識別に用いる特徴量Ｃ０を原画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち原画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部１３１は、原画像Ｓ０に対して図１２（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して原画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部１３１は、原画像Ｓ０に対して図１２（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して原画像Ｓ０における垂直方向のエッジを検出する。そして、原画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図１３に示すように、各画素における勾配ベクトルＫを算出する。なお、特徴量算出部１３１は、後述するように原画像Ｓ０の変形の各段階において特徴量Ｃ０を算出する。

なお、このようにして算出された勾配ベクトルＫは、図１４（ａ）に示すような人物の顔の場合、図１４（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫの大きさは口よりも目の方が大きくなる。

そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図１３におけるｘ方向）を基準とした０から３５９度の値となる。

ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、原画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が原画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図１５（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図１５（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図１５（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図１５（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

メモリ１３２内に格納されている参照データＲ１は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

参照データＲ１中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

なお、本実施形態においては、参照データＲ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１６に示すように両目の中心間の距離が１０画素のものを用いるものとする。ここで、すべてのサンプル画像において目の中心位置は同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。そして、参照データＲ１の学習に用いられるサンプル画像における目の中心位置を、本実施形態において識別する目の中心位置とする。

また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

以下、図１７のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。

学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ３１）。

次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（ステップＳ３２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。

図１８を参照しながらある識別器の作成について説明する。図１８の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）⁴通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。

組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９⁴通りとなるため、特徴量Ｃ０のデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１８の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ３２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（ステップＳ３３）。すなわち、最初のステップＳ３３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ３５において各サンプル画像の重みが更新された後の２回目のステップＳ３３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ３４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ３６へと進む。

ステップＳ３６では、直近のステップＳ３３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（ステップＳ３５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３３からＳ３６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ３４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（ステップＳ３７）、これにより参照データＲ１の学習を終了する。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１８の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

識別部１３３は、原画像Ｓ０上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＲ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の中心位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。

ここで、原画像Ｓ０に含まれる顔のサイズは３０×３０画素のサンプル画像に含まれる顔とは異なり、各種サイズを有するものとなっている。また、平面上における顔の回転角度が０度であるとは限らない。このため、識別部１３３は、図１９に示すように、原画像Ｓ０を縦または横のサイズが３０画素（必要であればそれ以下）となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１９においては縮小する状態を示す）、各段階において拡大縮小された原画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された原画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像における目の中心位置の識別を行う。

なお、特徴量算出部１３１は、顔画像の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。

そして、本実施形態では、抽出された顔画像の変形の全段階においてすべての識別ポイントを加算し、加算値が最も大きい変形の段階における３０×３０画素のマスクＭ内にサンプル画像に適合するサイズの顔が含まれると識別し、マスクＭ内の画像に左上隅を原点とする座標を設定し、サンプル画像における目の中心位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の原画像Ｓ０におけるこの位置に対応する位置を目の中心位置と識別する。この両目の中心位置の座標を（ｘ３，ｙ３）（原画像Ｓ０に含まれる顔の右目）、（ｘ４，ｙ４）（左目）とする。なお、ｙ３＝ｙ４である。

出力部１３４は、識別部１３３が識別した目の中心位置を表す座標値（ｘ３，ｙ３）、（ｘ４，ｙ４）を出力する。

規格化部１２２は、目位置検出部１２１が検出した両目の中心位置の座標（ｘ３，ｙ３）、（ｘ４，ｙ４）に基づいて、原画像Ｓ０から検出された両目の中心位置間の距離Ｄ０を算出し、この距離Ｄ０があらかじめ定められた所定値Ｄ１となるように、原画像Ｓ０を拡大縮小することにより原画像Ｓ０を規格化して規格化原画像Ｓ１を得る。ここで、ｙ３＝ｙ４であることから原画像Ｓ０における両目の中心間の画素数はｘ４−ｘ３となる。なお、所定値Ｄ１は後述する規格サイズの入力認証用画像Ｓ２が得られるような画素数に定められる。また、規格化原画像Ｓ１においては、両目の中心間距離はＤ１となる。また、拡大縮小時の拡大率に応じて、規格化原画像Ｓ１上における両目の中心位置を算出することが可能であり、規格化原画像Ｓ１における両目の中心位置の座標を（ｘ５，ｙ５）（規格化原画像Ｓ１に含まれる顔の右目）、（ｘ６，ｙ６）（左目）とする。なお、ｙ５＝ｙ６であることから規格化原画像Ｓ１における両目の中心間の画素数はｘ５−ｘ６となる。

切り出し部１２３は、所定解像度のプリンタによりプリント出力したり、所定解像度のモニタに表示した際に、図２０に示すように顔の長さ（すなわち顔の頭頂部から顎の先端部までの距離）が２７±２ｍｍ、頭頂部からトリミング枠上辺までの距離が７±２ｍｍ、横方向の長さが３５ｍｍ、縦方向の長さが４５ｍｍとなる所定の規格を有する顔画像Ｆ０を、規格化原画像Ｓ１から切り出す。具体的には下記のようにして規格化原画像Ｓ１から顔画像Ｆ０を切り出す。図２１は顔画像Ｆ０の切り出しを説明するための図である。図２１に示すように、切り出し部１２３は、規格化原画像Ｓ１上において、両目の中心位置間の距離Ｄ１の垂直二等分線Ｌを設定する。ここで、切り出し部１２３は、トリミング枠の左辺および右辺の位置を定めるパラメータＳｘを保管しており、垂直二等分線Ｌから左右にそれぞれ距離１／２Ｄ１×Ｓｘの位置にトリミング枠の左辺および右辺の位置を定める。

また、切り出し部１２３は、トリミング枠の上辺および下辺の位置を定めるパラメータＳｙ１，Ｓｙ２を保管しており、各目の中心位置のｙ座標ｙ５，ｙ６を基準として上方向に距離Ｄ１×Ｓｙ１の位置にトリミング枠の上辺の位置を、下方向に距離Ｄ１×Ｓｙ２の位置にトリミング枠の下辺の位置を定める。

ここで、パラメータＳｘは、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図２０に示す所定の規格を有する画像を得ることが可能なサイズを有する多数のサンプル画像について、両目の中心位置間の距離Ｄ１の垂直二等分線Ｌからのサンプル画像の左辺および右辺までの距離Ｄ１０，Ｄ１１を求め、すべてのサンプル画像について、Ｄ１０＋Ｄ１１とＤ１×Ｓｘとの誤差が最小となるようにＳｘの値を定めることにより求められる。

また、パラメータＳｙ１は、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図２０に示す所定の規格を有する画像を得ることが可能なサイズを有する多数のサンプル画像上について、両目の中心位置のｙ座標の位置からサンプル画像の上辺までの距離Ｄ１２を求め、すべてのサンプル画像について、Ｄ１２とＤ１×Ｓｙ１との誤差が最小となるようにＳｙ１の値を定めることにより求められる。

また、パラメータＳｙ２は、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図２０に示す所定の規格を有する画像を得ることが可能なサイズを有する多数のサンプル画像上について、両目の中心位置のｙ座標の位置からサンプル画像の下辺までの距離Ｄ１３を求め、すべてのサンプル画像について、Ｄ１３とＤ１×Ｓｙ２との誤差が最小となるようにＳｙ１の値を定めることにより求められる。

なお、具体的には、各パラメータの比率がＳｘ：Ｓｙ１：Ｓｙ２＝５．０４：３．０１：３．４７となるようなパラメータＳｘ，Ｓｙ１，Ｓｙ２を用いる。

次いで両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムにより行われる処理について説明する。図２２は両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムにより行われる処理を示すフローチャートである。まず、目位置検出部１２１における特徴量算出部１３１が原画像Ｓ０の拡大縮小および回転の各段階において、原画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（ステップＳ４１）。そして、識別部１３３がメモリ１３２から参照データＲ１を読み出し（ステップＳ４２）、原画像Ｓ０における目の中心位置を識別する（ステップＳ４３）。次いで、出力部１３４が目の中心位置の座標値を出力する（ステップＳ４４）。

続いて、規格化部１２２が両目の中心位置間の距離Ｄ０がＤ１となるように原画像Ｓ０を規格化して規格化原画像Ｓ１を得る（ステップＳ４５）。そして、切り出し部１２３が規格化原画像Ｓ１における両目の中心位置間の距離Ｄ１を基準として、規格化原画像Ｓ１から図２１に示す所定の規格を有する顔画像Ｆ０を切り出し（ステップＳ４６）、処理を終了する。

このように、両目の中心位置間の距離が所定値となるように原画像Ｓ０を規格化した後に、規格化原画像Ｓ１における両目の中心位置間の距離Ｄ１を基準とした所定の規格を有する顔画像Ｆ０を規格化原画像Ｓ１から切り出すことにより、認証を行おうとする人物の撮影位置に拘わらず常に同一規格サイズの顔画像Ｆ０を得ることができる。例えば、図２３（ａ）に示すように、原画像Ｓ０上において顔が中心になくても、図２３（ｂ）に示すように原画像Ｓ０の一杯に顔が含まれている場合でも、常に所定の規格を有する画像を再生可能な顔画像Ｆ０を得ることができる。また、ＩＤカード１０の所持者を撮影することにより得られた顔撮影データＦ２により表される顔画像も常に所定の規格を有するものとすることができる。また、カメラ５３によりＩＤカード１０の顔写真部１１を撮影する際に、ＩＤカード１０を正確に位置決めしなくても、常に所定の規格を有する顔写真部を表す顔写真データＦ１を得ることができる。したがって、原画像Ｓ０に含まれる顔のサイズや位置が顔画像毎に異なっていても、同一人物の画像を異なる人物であると認証することがなくなり、これにより、人物の撮影時に撮影位置を正確に定めたり、ＩＤカード１０の撮影時にＩＤカード１０を正確に位置決めする煩わしさをなくすことができる。

なお、マシンラーニングの手法による学習結果を用いて目の中心位置を検出しているが、目の形状のテンプレートを用いたテンプレートマッチング等、目の中心位置を検出することが可能な任意の手法を用いることができる。

また、所定の規格として図２０に示す規格の顔画像が得られるものを用いているが、これに限定されるものではなく、任意の規格を用いることができる。この場合、図２１に示したトリミング枠を定めるパラメータＳｘ，Ｓｙ１，Ｓｙ２の値は、規格に応じて定めればよい。

本発明の実施形態による顔認証システムの構成を示す概略ブロック図 ＩＤカードの平面図 顔画像データの作成のアルゴリズムを説明するための図 顔認証端末装置の外観図 ＩＤカード作成装置において行われる処理を示すフローチャート 認証時に行われる処理を示すフローチャート 本発明の他の実施形態による顔認証端末装置の構成を示す概略ブロック図 画像が表示された顔認証端末装置の外観図 両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムにより原画像から所定の規格を有する顔画像を切り出す顔抽出装置の構成を示す概略ブロック図 目位置検出部の構成を示す概略ブロック図 目の中心位置を説明するための図であり、（ａ）は目が正面を向いた図、（ｂ）は目が右を向いた図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 顔画像の段階的な変形を説明するための図 所定の規格を示す図 顔画像の切り出しを説明するための図 両目の中心位置を基準として顔を含む領域を切り出すアルゴリズムにより行われる処理を示すフローチャート 様々な顔画像の例を示す図

符号の説明

１ 顔認証システム
２ パソコン
３ インターネット
５ ＩＤカード作成装置
６ 顔認証端末装置
７ 顔認証装置
９ モニタ
１０ ＩＤカード
１１ 顔写真部
１２ ＩＣチップ
５１ カード製作サーバ
５２ カードプリンタ
５３，６２ カメラ
５４，７３ コード変換部
５５ 記憶部
５６，６３，７６ 通信部
６１ 読み出し部
６４ モニタ
７１ 登録サーバ
７２ 情報判定部
７４ コード判定部
７５ 認証部
１２１ 目位置検出部
１２２ 規格化部
１２３ 切り出し部
１３１ 特徴量算出部
１３２ メモリ
１３３ 識別部
１３４ 出力部

Claims (12)

1. 所定の規格を有する顔写真が付与されてなる顔写真部と、該顔写真の人物の個人情報を含む各種情報を記憶する情報記憶部とを備えたＩＤカードにおける前記顔写真部を撮影して、前記所定の規格を有する前記顔写真部を表す顔写真データを取得する撮影手段と、
   前記顔写真データをコード情報に変換するコード変換手段と、
   該コード情報を前記情報記憶部に記憶するコード情報記憶手段とを備えたことを特徴とするＩＤカード作成装置。
2. 前記顔写真部に付与された前記顔写真が、前記ＩＤカードを作成する人物の顔を撮影して該顔を含む原画像を表す原画像データを取得する撮影手段と、
   前記原画像における顔の目の中心位置を検出する目位置検出手段と、
   前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
   該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔写真を表す顔画像データを取得する切り出し手段とを備えた顔抽出装置により取得されたものであることを特徴とする請求項１記載のＩＤカード作成装置。
3. 前記撮影手段は、前記顔写真部を撮影することにより取得された原画像データにより表される原画像における顔の目の中心位置を検出する目位置検出手段と、
   前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
   該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔写真データを取得する切り出し手段とを備えてなることを特徴とする請求項１または２記載のＩＤカード作成装置。
4. 所定の規格を有する顔写真が付与されてなる顔写真部と、該顔写真の人物の個人情報を含む各種情報を記憶する情報記憶部とを備え、該情報記憶部に、前記顔写真部を撮影して得た、前記所定の規格を有する前記顔写真部を表す顔写真データを変換して得たコード情報が記憶されてなることを特徴とするＩＤカード。
5. 前記顔写真部に付与された前記顔写真が、前記ＩＤカードを作成する人物の顔を撮影して該顔を含む原画像を表す原画像データを取得する撮影手段と、
   前記原画像における顔の目の中心位置を検出する目位置検出手段と、
   前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
   該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔写真を表す顔画像データを取得する切り出し手段とを備えた顔抽出装置により取得されたものであることを特徴とする請求項４記載のＩＤカード。
6. 請求項４または５記載のＩＤカードの所持者の顔を撮影して、前記所定の規格を有する前記所持者の顔画像を表す顔撮影データを取得する撮影手段と、
   前記情報記憶部から前記個人情報および前記コード情報を読み出す情報読み出し手段とを備えたことを特徴とする顔認証端末装置。
7. 前記顔撮影データを含む各種情報を表示する表示手段をさらに備えたことを特徴とする請求項６記載の顔認証端末装置。
8. 多数の人物についての個人情報およびコード情報を登録した登録手段と、
   前記読み出した個人情報に対応する対応個人情報および前記読み出したコード情報に対応する対応コード情報が前記登録手段に登録されているか否かを判定する情報判定手段と、
   前記顔撮影データをコード情報に変換するコード変換手段と、
   該コード変換手段が変換したコード情報と前記対応コード情報とが略一致しているか否かを判定するコード判定手段と、
   前記情報判定手段および前記コード判定手段による判定が双方ともに肯定された場合に、前記所持者が認証されたことを表す認証情報を出力する認証情報出力手段とをさらに備えたことを特徴とする請求項６または７記載の顔認証端末装置。
9. 前記撮影手段は、前記ＩＤカードの所持者の顔を撮影することにより取得された原画像データにより表される原画像における顔の目の中心位置を検出する目位置検出手段と、
   前記検出された両目の中心位置間の距離が所定値となるように前記原画像を規格化して規格化原画像を得る規格化手段と、
   該規格化原画像における顔の両目の中心位置間の距離を基準とした前記所定の規格を有する画像を前記規格化顔画像から切り出して、前記顔撮影データを取得する切り出し手段とを備えてなることを特徴とする請求項６から８のいずれか１項記載の顔認証端末装置。
10. 請求項６から９のいずれか１項記載の顔認証端末装置が取得した前記顔撮影データ、前記個人情報および前記コード情報を取得する情報取得手段と、
    多数の人物についての個人情報およびコード情報を登録した登録手段と、
    前記取得した個人情報に対応する対応個人情報および前記取得したコード情報に対応する対応コード情報が前記登録手段に登録されているか否かを判定する情報判定手段と、
    前記顔撮影データをコード情報に変換するコード変換手段と、
    該コード変換手段が変換したコード情報と前記対応コード情報とが略一致しているか否かを判定するコード判定手段と、
    前記情報判定手段および前記コード判定手段による判定が双方ともに肯定された場合に、前記所持者が認証されたことを表す認証情報を出力する認証情報出力手段とを備えたことを特徴とする顔認証装置。
11. 請求項６から９のいずれか１項記載の顔認証端末装置と、
    請求項１０記載の顔認証装置とが各種情報を送受信可能に接続されてなることを特徴とする顔認証システム。
12. 請求項１から３のいずれか１項記載のＩＤカード作成装置をさらに備えてなることを特徴とする請求項１１記載の顔認証システム。

Images