JP4308220B2 - 個人認識装置 - Google Patents

Description

本発明は個人認識装置、一般には個人認識番号（ＩＤ）に加えて、個人の身体的特徴、更に詳しくは手の血管像を検出して、個人認識を行う個人認識装置に関する。

従来から、例えば施設への入退出などに際して、人手を介さずに本人であることを確認する方法として、磁気カードや暗証番号ＰＩＮ（パーソナル・アイデンティフィケーション・ナンバー）を用いる方法がある。しかしこれらの方法では例えばカードの紛失（忘却）や、盗用の問題がある。紛失（忘却）や盗用の心配がない本人確認方法として、指紋や、顔などの個人の身体的な特徴を用いる方法が研究されている。

身体的な特徴の違いによって、利用者がカードや暗証番号によって表される個人であるかどうかを判定する検証処理や、登録された人の中の特定の１人であると判定する識別処理が行われる。ここでは検証処理と識別処理とを総称して個人認識と称する。

個人認識における身体的な特徴としては指紋、虹彩、顔、手血管などが用いられる。これらの特徴を測定する装置は、測定方法によって接触型と非接触型とに大きく分類される。施設への入退出管理などにおいては、不特定多数の個人認識を行う必要があり、衛生面や利用者の心理的抵抗を考慮すると非接触型であることが望ましい。

現在最もよく用いられている身体的な特徴は指紋であるが、指を押し付ける必要があり、測定装置は接触型になる。虹彩を測定する装置には非接触型もあるが装置が高価であることと、撮影時の利用者の心理的負担が大きいという問題がある。顔の測定は非接触型で、コストの安いカメラを用いて行うことができるが、表情の変化などのために、現状では認識精度をあまり高くすることができない。

手の血管像を利用した個人認識技術は、特許文献１と特許文献２で基本的に開示された。手の血管像の撮影については、利用者の負担が小さく、認識精度が比較的高く、また近赤外光を用いて撮影を行うために外光の変動に強いという特徴もある。

手の血管像は、撮影装置に手を接触させずに撮影することもできるが、認識精度を向上させる観点からは、利用者の手を装置に固定させて撮影する方が有利である。現在市販されている代表的な製品は、全て装置の一部と手を接触させて血管像の撮影を行う接触型である。例えば特許文献３には手の甲をカメラに押しつけて血管像を撮影する、ある韓国企業の製品に関連する発明が開示されている。この装置は棒を手でにぎり、手の甲を撮影する形式である。また特許文献４および特許文献５には、棒を手でにぎり、手の平を撮影する、ある米国企業の製品の関連発明が開示されている。
英国特許第２，１５６，１２７号 米国特許第４，６９９，１４９号 特開平１０−２９５６７４号公報 特表平１１−５１２２０３号公報 米国特許第５，７９３，８８１号

以上のように、現在市販されている手の血管像を利用した個人認識装置は、装置に手を押しつける必要がある接触型であるが、衛生面や清潔感という観点からは利用者の負担が大きく、また特に夏季などはベタつきなどの問題があり、非接触で手血管を撮影することが望ましい。しかしながら、非接触で手の血管像の撮影を行う場合には、良好な血管像の獲得が難しいという問題点があった。

非接触で血管像を撮影する場合の問題点としては、第１に手を固定させずに撮影を行うために手の開き方、位置、および向きなどが撮影毎に変化するという問題点がある。第２に例えば近赤外光が十分にあたらないために外光の影響を受けやすいという問題点がある。

更に良好な血管像を撮影するためには皮膚表面にほぼ直角に近赤外光による照明をあてることが好ましく、カメラの光軸も皮膚の表面に直交させることが好ましいが、非接触では手、カメラ、照明が必ずしも最適な位置関係になく、撮影画像の品質が低下しやすいという第３の問題点もある。

本発明の課題は、上述の問題点に鑑み、手を接触することなく手の血管像を撮影することにより、利用者の負担が小さく、衛生的で清潔感のある個人認識装置を実現することである。非接触の条件下では、前述のように良好な血管像の獲得が難しくなるが、装置の形態を工夫して、非接触条件下においても良好な血管像の獲得を可能とし、更に非接触撮影に適した認識方式を用いることで、十分な認識精度を実現することも課題である。

本発明は、手の血管像を検出して個人認識を行なう装置において、利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１つ以上の照射手段と、近赤外光による画像を撮影する１つ以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器を用いる。また撮影された画像から血管像を検出する血管像検出手段と、利用者の各人毎に登録された血管像を記憶する記憶手段と、登録された血管像と検出された血管像とを比較して個人認識を行う認識手段とを備えることが前提となる。

本発明の一態様では、上記前提となる構成に加えて、上記撮影機器が、利用者が手をかざすべき面を任意の角度に調整可能な取り付け台に装着される構成を備える。
本発明の一態様では、上記前提となる構成に加えて、利用者が手をかざしたとき、外光を前記１つ以上の撮影手段から遮断する、のれん型の遮へい板を更に備える。この場合、のれん型の遮へい板と利用者が手をかざすべき面との間に反射板を更に備える構成とすることも可能である。

本発明の一態様では、上記前提となる構成に加えて、上記１以上の撮影手段への近赤外光以外の外光の入り方に応じて、上記複数の照射手段による近赤外光の照射を制御する制御手段を更に備える。

本発明の一態様では、上記前提となる構成に加えて、上記複数の撮影手段によって撮影された手の画像から手全体の３次元形状を算出する算出手段と、この算出結果に対応して、上記検出された血管像を補正し、上記認識手段に与える補正手段とを更に備える。

本発明の一態様では、上記前提となる構成に加えて、上記１以上の撮影手段が、時間的に連続する複数の画像を撮影すると共に、この撮影された画像によって運動視差に基づいて手全体の３次元形状を算出する算出手段と、この算出結果に対応して、上記検出された血管像を補正し、上記認識手段に与える補正手段とを更に備える。

本発明の一態様では、上記前提となる構成に加えて、上記１以上の撮影手段が、可視光が照射された状態で手のしわの像を含む画像を撮影すると共に、上記検出された血管像から該しわの像を除き、上記認識手段に与える手段を更に備える。
ことを特徴とする個人認識装置。

本発明の一態様では、上記前提となる構成に加えて、上記撮影機器が、接触式のカード読み取り装置の下の位置であって、利用者の手首の画像を撮影可能な位置に設置される。
本発明の一態様では、上記前提となる構成に加えて、上記撮影機器が、接触式のカード読み取り装置の隣りの位置であって、利用者の手の甲の画像を撮影可能な位置に設置される。

本発明の一態様では、上記前提となる構成に加えて、上記撮影機器が、挿入式のカード読み取り装置の上の位置であって、利用者の手の平、または手の甲の画像を撮影可能な位置に設置される。

また、本発明は、手の血管像を検出して個人認識を行う装置において、手に近赤外光を照射する１以上の照射手段と、この近赤外光による画像を撮影する１以上の撮影手段とを備え、小型で可搬のペン型形状を持ち、手と接触することなく血管像を撮影可能な撮影機器と、上記１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、登録された血管像と検出された血管像とを比較して、個人認識を行う認識手段とを備える。

この場合、上記撮影機器を回転可能とする関節機構を更に備える構成としたり、または、上記撮影機器を固定する三脚を更に備える構成としたり、または、上記撮影機器を計算機の外部接続機構に取り付ける取り付け部を更に備える構成とすることも可能である。

図１は本発明の個人認識装置の原理構成ブロック図である。同図は手の血管像を検出して個人認識を行う装置の原理を示し、個人認識装置１は撮影機器２、血管像検出手段３、血管像記憶手段４、および認識手段５を備える。

撮影機器２は、利用者に手のかざし方を指示する位置向き形状指示手段６と、手に近赤外光を照射する１以上の照射手段７と、その近赤外光による画像を撮影する１以上の撮影手段８を備え、手と接触することなく血管像を撮影可能な撮影機器である。

血管像検出手段３は、１つ以上の撮影手段８によって撮影された画像から血管像を検出するものであり、血管像記憶手段４は利用者の各人毎に登録された手の血管像を記憶するものであり、認識手段５は登録された血管像と検出された血管像とを比較して、個人認識を行うものである。

発明の実施の形態においては、位置向き形状指示手段６として、利用者が手をかざすべき面を平面状の形状で構成し、手の適切な位置、向きを図式で表すことができる。図式の１例として手型を用いることができる。また、撮影機器の前面に利用者が手をかざすべき透明板またはハーフミラーを備えることや撮影機器を認識装置の穴の中や、認識装置に備えられる溝にそって格納することもできる。

また、個人認識装置の実用性や認識精度を向上させるため様々な技術が用いられる。例えば、利用者が手をかざすべき面に近赤外光を透過し、撮影機器の強度を補強する板が貼られることも、手をかざすべき面を任意の角度に調整可能な取付け台を用いることなどの様々な方法が用いられる。

また実施の形態においては、照射手段を複数備え、１つ以上の撮影手段８への近赤外光以外の外光の入り方に応じて、複数の照射手段７による近赤外光の照射を制御することもできる。次に、認識精度を向上させるために、個人認識装置１は血管像の検出毎に撮影された手の画像から手の位置、および／または向きを検出する検出手段と、検出された手の位置、および／または向きに対応して、検出された血管像を補正して、補正が適切である場合には補正後の画像を認識手段５に与える補正手段を備えることができる。補正が不適切である場合には位置向き形状指示手段６が利用者にそのことを通知することができる。

この場合、検出手段が反射光強度の画像上における非一様性によって手の向きを、画像上での手形状に対応して手の位置、および／または向きを検出することもできる。さらに、個人認識装置１が、手形状に対応して登録されるパラメータを利用者の各人毎に記憶する手形状記憶手段を備え、検出手段が登録されたパラメータと画像上でのパラメータとを比較して、手の向きを求めることもできる。

また検出手段が手を平面で近似して手の向きを検出し、補正手段がその平面を表すパラメータを用いて血管像を補正することもできる。
実施の形態において個人認識装置１は、撮影機器２の上に手がかざされているか否かを判定する手段と、手がかざされていると判定された時に認識手段５に個人認識を行わせる認識制御手段とを更に備えることもできる。

更に本発明の個人認識装置１は撮影手段８を複数備えると共に、複数の撮影手段８によって撮影された手の画像から手の３次元形状を算出する算出手段と、その算出結果に対応して、検出された血管像の補正を行う補正手段とを更に備えることもできる。

次に本発明の個人認識装置は、１つ以上の照射手段７と１つ以上の撮影手段８とを備え、小型で可搬のペン型形状を持ち、手と接触することなく血管像を撮影可能な撮影機器２と、血管像検出手段３、血管像記憶手段４、および認識手段５を備える。

この場合、個人認識装置１は撮影機器２を回転可能とする関節機構、撮影機器を固定する三脚、または撮影機器を計算機の外部接続機構に取り付ける取り付け部を更に備えることもできる。

以上のように本発明によれば、手の血管像を非接触で撮影し、また必要に応じて手の位置や向きを検出し、位置や向きが不適切である場合にはそれを補正して認識精度を向上させることができる。

図２は本発明の実施形態における個人認識装置の構成ブロック図、図３は個人認識処理のフローチャートである。この個人認識装置では手の平、手の甲、手首など、血管を撮影しやすい人体の各部に近赤外光を照射して、反射あるいは、透過した光の強度分布を撮影して、その画像から血管像が検出される。一般に、装置内に記憶された血管像と、撮影された血管像が一致するか否かの判断によって個人認識を行い、結果が出力される。

図２において照射部１０は、例えば近赤外光を発光するＬＥＤ（発光ダイオード）であり、必要に応じて多数のＬＥＤを用いることができる。撮影部１１はＣＣＤカメラ、またはＣＭＯＳカメラであり、必要に応じて複数のカメラが使用される。

位置検出部１２、向き検出部１３は、撮影された画像から手の位置や向きを検出するものであり、位置・向き補正部１４はそれらの検出結果に基づいて血管像の位置や向きを補正し、認識精度を向上させるものである。ただし、補正量が定められた値よりも大きい場合には、補正は不適切と判断し、補正を行なわない。その場合には、位置向き形状指示部１５が、利用者に不適切である旨の通知を行なう。

図２においては、登録された各個人の血管像は、例えばカード１６の形式で記憶されており、カード１６にはその個人のＩＤと血管像のデータ、例えば血管像の各画素に対応するデータが記憶されており、そのデータはカード読み取り部１７によって読み取られ、認識部１８に与えられる。ここでは記憶部１６としてカードを用いるものとしたが、例えばハードディスクなどの外部記憶装置を用いることもできる。

位置検出部１２、向き検出部１３、位置・向き補正部１４、カード読み取り部１７、および認識部１８は一般に計算機、およびそのプログラムとして実現されるが、全てを必ずしも同一の計算機内に置く必要はなく、例えば認識部１８をネットワークでつながれたホストコンピュータ側で実現することも当然可能である。

図２では、個人認識装置が自動ドアと組み合わされて入室管理に適用されるものとする。認識部１８によってカードの個人ＩＤと一致する個人であると認識された場合には、制御部１９によってドアのロックが解除され、その個人の入室が可能となる。

図３の認識処理において処理が開始されると、まずステップＳ１で、例えばカード読みとり装置に挿入されたカードのＩＤと、それに対応する登録された血管像が読み込まれる。ステップＳ２で、手のかざし方が指示される。この指示については後述する。ステップＳ３で手に近赤外光が照射され、ステップＳ４で撮影された画像から血管像が検出される。この検出については後述する。

撮影された画像には、一般に手全体の画像が含まれているため、その画像を用いてステップＳ５で手の位置が、ステップＳ６で向きが検出され、ステップＳ７でこれらの検出結果を用いて検出された血管像の位置と向きが、認識精度が向上するように補正される。これらの検出と補正については後述する。補正が不適切な場合にはステップＳ２で手のかざし方が再び指示される。

続いてステップＳ８で、検出され、補正された血管像と、ステップＳ１で読み込まれた血管像とが比較され、ＩＤに対応する登録血管像との比較結果がＯＫである場合には、ステップＳ９でドアのロックが解除され、比較結果がＮＧであればドアのロックは解除されることなく、処理を終了する。

個人認識処理は、前述のようにＩＤに対応する特定の個人を識別する検証処理と、登録された複数の利用者の中の特定の１人であることを判定する識別処理に分類される。これらの処理について、更に詳細に説明する。検証処理の処理手順は以下の通りである。

１．ＩＤの入力 カードや暗証番号によって指定された個人ＩＤを受け付ける。ただし、同一の個人ＩＤに対して繰り返し検証処理を行なう場合には、ＩＤの入力を省略することができる。
２．登録血管像の獲得 入力された個人ＩＤで指定される登録血管像を記憶部１６から獲得する。繰り返し検証処理を行なう場合には、前回の検証処理における登録血管像を記憶しておき、そのまま用いることができる。
３．撮影血管像の獲得 撮影部１１から撮影血管像を獲得する。
４．類似度の算出 両者の一致の程度を表す量である類似度を算出する。
５．判定 類似度が定められた閾値よりも大きい場合には検証成功であり、利用者は個人ＩＤによって表される個人（本人）であると判断する。そうでない場合には、検証失敗であり、利用者は他人であると判断する。

一方、識別処理を行なう場合の認識部１８の処理手順は以下の通りである。
１．登録血管像の獲得 記憶部１６に登録された複数人の血管像を獲得する。繰り返し識別処理を行なう場合には、前回の識別処理における登録血管像を記憶しておき、そのまま用いることができる。
２．撮影血管像の獲得 撮影部１１から撮影血管像を獲得する。
３．類似度の算出 各人毎に登録血管像と撮影血管像の一致の程度を表す量である類似度を算出する。
４．判定 類似度が最も大きい個人を選出する。類似度の最大値が定められた閾値よりも小さい場合には、該当者なし（登録されていない）と判断する。そうでない場合には、利用者は選出された類似度が最も大きい個人であると判断する。

図４は図２の撮影部１１の構成例である。同図において撮影部１１は、入力光から可視光線を遮断する可視光カットフィルタ２０、ＣＭＯＳカメラ２１、ＣＭＯＳカメラ２１の撮影画像から血管像を抽出する画像処理部２２から構成されている。

前述のように、図２の照射部１０としては近赤外光を発光するＬＥＤを利用することが好ましい。カメラとしては、ＣＭＯＳカメラ２１の代わりにＣＣＤカメラを使用することもできる。ＣＭＯＳカメラは小型で価格も安いが、ＣＣＤカメラの方がきれいな画像を撮影することができ、用途に応じていずれかを選択することができる。

血管は、例えばＣＭＯＳカメラ２１によって撮影された画像上で、例えば手全体の画像を背景として暗いパターンによって表されるために、画像処理部２２によって撮影画像に２値化処理を施すことによって抽出される。２値化処理は、例えば画像内の各画素の（濃度）値が定められた値よりも大きい場合には、画素の値を１に、そうでない場合には０とすることで実現される。２値化処理は専用のＩＣ（マイコン）で実現することもでき、あるいは図２の認識部１８による前処理として、計算機内のプログラムとして実現することもできる。図５は検出された血管像の例である。

撮影された血管像と登録された血管像の一致の程度を表す量である類似度は例えば以下のように算出する。
１．初期化 注目画素を画像左上に設定する。一致した画素の個数を保持する変数（カウンタ）を０に初期化する。
２．画素値の比較 注目画素における、２枚の画像の画素の値を獲得して比較する。両者が一致していればカウンタの値を１つ増加させる。
３．注目画素の移動 注目画素を１つ右に移動する。右端の場合には、１つ下の左端に移動する。右下の場合には終了する。
４．繰り返し 再度、画素値の比較を行なう。（２．から繰り返す）
５．類似度出力 カウンタの値を類似度とする。

上述した類似度算出方式は、手を置く位置や向きによって類似度の値が影響を受ける問題がある。類似度の計算方式を改良することで、これらの影響を低減させることができる。また、上の説明では血管像として２値の画像をそのまま用いているが、記憶容量の削減や認識処理の高速化のため、画像から特徴量を算出してそれらを記憶し、認識時には特徴量の比較によって類似度を算出する方法も考えられる。特徴量としては、例えば画像から分岐点や端点等の特徴点を抽出してそれらの位置を用いることが考えられる。本実施形態では、血管像の表現形態や比較方式の詳細には関わらない。

記憶部１６は、個人ＩＤと血管像を対応付けて記憶するものであり、典型的には図６に示すデータ格納形式のデータベースとして計算機内に実現される。血管像は、一定の規則に従ってそれを表す画像の各画素の値や各特徴点の位置等を数字の列に変換して格納される。

血管像の登録処理も同一の装置を用いて行なうことができる。処理手順は以下の通りである。
１．ＩＤの入力 カードや暗証番号によって指定された個人ＩＤを受け付ける。ただし、個人ＩＤがすでに定められている場合には、ＩＤの入力を省略することができる。
２．撮影血管像の獲得 撮影部１１から撮影血管像を獲得する。
３．血管像の登録 個人ＩＤと撮影血管像を記憶部１６に登録する。

前述のように非接触で手の血管画像を撮影し、個人認識を行う場合には、手の開き方、位置、向きの変化、外光の影響、および手、カメラ、照明の相互関係によって撮影画像の品質が低下し、本人の登録血管画像との類似度が低下する傾向がある。他人と誤って判断されることを避けるため類似度の閾値を下げると、逆に他人が誤って本人と判断される確率が増加し、認識精度が低下する。

本実施形態では、このような認識精度の低下を避けるために、利用者に手のかざし方を指示する位置向き形状指示部１５を設けている。その他に認識方式にも工夫を加えている。まず、位置向き形状指示部１５について詳述する。

手は人体の中で最も自由に動かすことができる器官であるため、利用者に適切な指示を与えればかざし方の変動を最小限に抑えることができる。具体的には、利用者が意識せずに自然に手の平を広げてかざすように、照射部１０（ＬＥＤ等）とカメラを薄い平面状の撮影機器に格納する。これにより、照明の方向とカメラの光軸をほぼ直交化させることが可能となり、撮影画像の品質が向上する。更に、手の開き方を安定化させる効果もある。

手の位置、向きが撮影毎に変化することを防ぐため、利用者が手をかざすべき面に手の適切な位置、向きを図式で表す。図式の例として、手型を使用することができる。あるいは、指の先端位置を点で示すこともできる。手型は、平面的なシールで構成する。あるいは、プラスチック等の素材を用いた立体形状にする。幼児などが利用する環境では、幼児の抵抗感を弱めるために、撮影機器を人気のある人形などの等身大の手の形にして、握手をさせて個人認識を行なうことも考えられる。

後述する補正処理が不適切と判断される場合には、適切な位置、向きを利用者に指示することができる。例えば、指の先端位置にＬＥＤを取り付けて、補正に不適切であった箇所を点滅させる、あるいはＬＥＤを並べて配置し適切な方向を光の流れで表すことができる。その他、利用者への通知を音声、ベル、ランプ点灯等によって行なうことができる。通知内容は単に不適切であるということだけあるいは不適切さの理由、例えば向きが傾いていることを伝える。

撮影機器には、手の平で叩かれる可能性を考慮した強度を持たせることが好ましい。強度を持たせる１つの方法は、撮影を行なう側の面に（近赤外光に関して）透明なプラスチック等の素材を張ることである。この際、可視光に関して不透明な素材を用いれば、内部の構造が隠蔽され防犯対策になる。撮影環境に応じて手をかざしやすい位置に設置できるように、撮影機器は容易に運搬、設置が可能な大きさとする。傾けて設置できるように、取り付け台を装着可能とする。図７に撮影機器の外観を示す。

カメラと手の距離が非常に近い場合には、撮影できる手の範囲が限られるため登録された箇所が写らない可能性がある。この問題を解決する方法として、魚眼レンズのような広角のレンズを使う方法やカメラを複数配置する方法がある（図８）。複数のカメラで撮影された画像は１つの撮影画像に統合して使用される。また、カメラの前面に透明板あるいはハーフミラーを設置して、利用者に手の平を広げさせつつカメラまでの距離を大きくする方法もある（図９）。

近赤外光を照射して撮影を行なうので外光の影響は受けにくいが、屋外等の外光が多量に入る環境では、外光をできるだけ除くことが望ましい。外光を除去する装置形状として、図７の撮影機器を穴や溝の中に格納する以下の形態がある（図１０）。図１０の左では穴の前面と後面に、中央では上面と下面とに撮影機器を設置して手の平と甲とを同時に撮影できる。また、提示する手の後ろにのれん型の遮蔽板を置く形態もある（図１１左）。のれんの内側に反射板を付けて手をのれん内に入れずに済ませることもできる（図１１右）。反射板の角度は可変にすることが好ましい。

外光の影響を減少させる別の手段として、ＬＥＤを複数配置して、照明の照射強度を上げるとともにまんべんなく当てる方法がある（図１２）。外光の影響が小さくなるように照明を調節、あるいは切替えてもよい。例えば、取り付け位置と現在の時刻から太陽光線の向きを計算して、それに近い向きのＬＥＤを点灯する。

また、撮影機器を小型化して容易に運搬可能とし、使用時に外光の入らない場所に設置することで外光の影響を除く方法も考えられる。これを実現する装置形状として、図１３のペン型がある。装置先端にカメラとＬＥＤが格納されている撮影時には、関節を曲げて固定台に乗せて使用する。装置を固定する器具として穴の開いた固定台や三脚を使用する。ノート型の持ち運び可能な計算機とともに使用する場合には、計算機に取り付けて固定させることもできる（クリップで挟む、拡張スロットに挿すなど）。

撮影毎に手の位置、向きを検出し、それに基づいて以下の処理を行なうことで手の位置、向きが撮影毎に変化する問題を解決する。
・位置、向き補正部１４において適切な補正処理を行なう。
・補正が不適切な場合には、位置向き形状指示部１５が利用者に不適切である旨を通知して修正してもらう。

手の向きを検出する方法としては、例えば反射強度の非一様性を検出する方法がある。これは、手の平を傾けてカメラに提示すると、遠い箇所からの反射強度が小さくなる原理に基づく（図１４）。

非一様性の検出は、例えば以下のように行なう。撮影された画像を上下左右に４分割して、それぞれの領域における（部分画像の）画素の値の平均を計算する計算された４つの平均値の差が十分小さい（例えば閾値以下かどうかで判定）場合には、反射強度は一様であり手の向きは平であると判断する。そうでない場合には、平均値が最も高い領域が近くなる方向に傾いていると判断する。

手の向きを検出する別の方法として、画像上での手形状を求める方法がある。この場合、手全体を撮影できるようにカメラの視野を広く設定する。複数のカメラを組み合わせて視野を広げてもよい。手には照明が当るので手に対応する画素の値は大きくなり、背景には照明が当らないので背景に対応する画素の値は小さくなる（図１５）。そこで、２値化処理によって値の大きな画素を抽出することで、画像上での手形状を求めることができる。抽出された手形状と、登録された（あるいは平均的な）手形状を比較することで手の向きを求める。例えば、それぞれの手形状から上下、左右方向の長さを求めて、その比（上下方向長さ／左右方向長さ）を求める。２つの手形状に関して、この比の差があらかじめ定められた閾値よりも小さい場合には、手の向きは平であると判断する。例えば、図１６では抽出された手形状は上下方向に短くなっており、傾いていると判断される。他の比較基準としては、手の周囲長と、例えば１本の指の幅の比などが考えられる。指の幅は手が傾いていてもほぼ一定になるためである。

認識部１８で向きの補正を行なう方法について説明する。検出された手の傾きに基づいて手を正面から見たときの画像を合成することで、向きの補正を行なう例えば手の平を平面で近似して、面の向きを求める。平面はｚ＝ａｘ＋ｂｙ＋ｃのように３つのパラメータａ，ｂ，ｃ（平均距離と上下，左右方向の傾き）で表現される。前述した非一様性の検出に基づいてこれらのパラメータを推定する場合、反射強度と距離の関係として、例えば反射強度は距離の２乗に反比例すると仮定する。この仮定により、画像の各領域での平均的な距離が算出できるので、

平均距離＝ａ＊領域中心の左右方向での座標値＋ｂ＊領域中心の上下方向での座標値＋ｃ

という関係式が領域の数だけ得られる。この方程式を解くことで、パラメータａ、ｂ、ｃが求められる。これらのパラメータを用いれば、射影変換によって手を正面から撮影したときの画像を合成することができる。詳細は例えば次の文献６に記述されている。
画像解析ハンドブック，東京大学出版会

求められた平面のパラメータにおいて、ａ，ｂは手の傾きを表している。これらの絶対値は補正の程度を表す。補正の程度が大きい場合には補正後の画像品質は劣化し認識精度が低下する。そこで、例えば｜ａ｜＋｜ｂ｜が与えられた値よりも大きいかどうかで、補正の適切／不適切を判断する。補正が不適切と判断される場合には、補正処理を行なわず利用者に通知する。

なお、前述した画像上での手形状から向きの補正を行なう場合は、上記の平面のパラメータを求めて射影変換を施す方法を用いるか、あるいはより簡単な方法として上下、左右方向の比で画像を拡大する方法を用いる。血管像として画像から抽出した特徴を用いる場合には、正面から撮影した画像を合成せずに、直接、正面から撮影した画像から得られる特徴を合成してもよい。

次に、手の位置を検出する方法を述べる。前述した画像上の手形状を求めることで、手の位置を検出する。手全体を撮影できるようにカメラの視野を広く設定する。複数のカメラを組み合わせて視野を広げてもよい。図１５で述べたように２値化処理によって値の大きな画素を抽出することで、画像上での手形状を求めることができる。手に対応する画素の平均位置を手の平均位置と定める。登録データに対してもあらかじめ手の平均位置を求めておき、認識時に両者の位置ずれを補正する。具体的には、両者の差で表される量の平行移動処理を、撮影画像の画素の値に対して施すことで、位置ずれを補正する。

最後に、認識処理を行なう時刻（タイミング）に関して説明する。入退出等において、個人認識が必要になる時刻は通常定められていないので、基本的には常時撮影部１１を動作させる必要がある。ただし、カード提示や暗証番号入力等の動作が先行する場合には、その後の一定時間だけ撮影部１１を動作させれば十分である。また位置向き形状指示部１５が利用者に手の提示を促してもよい。撮影部１１は、撮影して血管像を抽出する処理を繰り返す。血管像の抽出処理の誤動作を防ぐ観点からは、手がかざされているかどうかを判断して、かざされている場合にのみ血管像を抽出することが好ましい。手がかざされているかどうかは、例えば撮影画像の画素の平均値が閾値以上かどうかで判定する。時間的に連続する複数の撮影画像の中から、最適な画像を選択することもできる。選択基準は、例えば撮影画像の画素の平均値が最大のものを用いる。あるいは画像上の手形状の面積が最大のものを用いる。

続いて非接触であることを生かして、認識精度を更に向上させる方式を説明する。
１）手形状の併用
手の形状や向きを検出することを利用して、これらを認識に併用することで認識精度を向上させる。登録時に手形状も一緒に登録しておき、認識時に手形状の一致も判断材料に加える。登録時の手形状は利用者が自由に定める。例えば、手を握った状態で親指のつけねの血管像を登録する。認識時には、手が握られた状態であるかどうかを、例えば手形状の上下，左右の長さの比から判定する。血管像の類似度が閾値以上で、かつ手が握られた状態である場合にのみ、本人と判断する。

２）複数箇所の認識
手の複数箇所の認識を行なうことで認識精度を向上させる。カメラを複数配置して、広い範囲の撮影を行なう。特に、穴の中に手を入れるタイプの装置では、前述のように手の両面を撮影することができる。認識方法は、例えばそれぞれの箇所で本人と判断される場合に本人と判断する。あるいは類似度の和が最大の人であると判断する。

時間的に連続して撮影する場合には、手の複数箇所を順に認識することで認識精度の向上を図る。手のどの箇所が提示されているかの判断は、例えば画像上の手形状から定める。更に、提示の順番も認識に使用することができる。

その他の認識精度向上方式についてさらに説明する。
１）３次元形状の算出
より高精度の認識が可能となる技術として、撮影画像から手の３次元形状を算出する技術に関して説明する。画像から物体の３次元形状を算出する技術は公知技術であるので、詳細な説明は省略する。例えば文献６を参照されたい。複数のカメラを設置し、ステレオ計測により、手の３次元形状を求める。ステレオ計測は、２枚の画像で対応点を求めることで行なう（図１７）。

算出された３次元形状を利用すれば、撮影画像のより正確な補正処理が可能になる。補正処理の方法は、前述と同様である。また、抽出された血管像に対してステレオ計測を行なうことで、血管の３次元形状が求められる。類似度の計算を３次元で行なうことで、より高精度の認識が可能になる。なお、複数のカメラの代わりに、時間的に連続する複数の画像を使用して、運動視差から３次元形状を算出することができる。また、照明を切替えたり、照明に特定のパターンを持たせることでも、３次元形状を算出することができる。

２）可視光の併用
手の平を撮影する場合には、手の平の表面にあるしわ（手相）も写る。しわは比較的容易に複製する（盗む）ことができるので、個人認識に使用しないことが望ましい。可視光での撮影を併用すれば、しわと血管像を分離できる。可視光での撮影は、例えば別のカメラで行なう。あるいは図４の可視光カットフィルタ２０を部分的に取り除いてもよい。しわは可視光でのみ写るので、赤外光での検出結果から可視光での検出結果を除くことでしわが除去される。しわを除いた血管像を登録し、しわを除いた撮影血管像と比較する。または、除去されたしわの量を算出して、しわが多いときには、利用者に手の開き方を変える警告を表示する。

次に利用者の利便性を向上させる方式について説明する。例えば入退出管理等における個人認識では、利用者が最初にカード（ＩＣカード等）で認識装置にＩＤを提示し、次に手をかざしてＩＤを検証する利用形態が主である。非接触型のＩＣカードを使用する場合には、操作上特に問題は生じないが、接触型や挿入型のカードを使用する場合には、カードを手で操作後に再度、手をかざさねばならず、操作が繁雑になる問題がある。以下では、この問題を解決する方法を述べる。

１）カードをかざして手首か手の甲を撮影
カード表面をカード読み取り装置に接触させるカード認識機構を使用する場合には、カード読み取り装置の下に個人認識装置のカメラを設置して手首を撮影する（図１８）。あるいはカード読み取り装置の隣にカメラを設置して、カード読み取り処理後に手を回転させて手の甲を撮影する。これにより、１度の操作で個人認識を行なうことができる。

２）カード挿入後に手の平を撮影
カードをカード読み取り装置に挿入するカード認識機構を使用する場合には、カード挿入部あるいは挿入部より上（高い位置）に個人認識装置のカメラを設置して、カード挿入後に手の平を撮影する（図１９）。手を回転させて手の甲を撮影してもよい。これにより、１度の操作で個人認識を行なうことができる。なお、本方式は、挿入部からカードが排出されるカード認識機構に対してだけでなく、利用者がゲート（門）を通り、別の所でカードを受け取るカード認識機構に対しても同様に適用可能である。

個人認識装置の別の利用形態として、会議や授業の出欠を管理する場合、会議室や教室の入口に個人認識装置を設置すると、会議開始前に人が殺到して混乱することが予想される。以下では、この問題を解決する方法を述べる。

出席予定者全員の血管像を記憶した個人認識装置を会議中に回覧して、順次個人認識を行なう。出席者に自分が出席登録されたことを確認させるため、回覧する装置には認識部１８と、結果を表示する表示部を含めることが好ましい。個人認識処理としては、カード提示により個人ＩＤを得て検証処理を行なうか、あるいはカードなしの識別処理を行なう。認識結果は個人認識装置内に格納しておき装置回収後に出欠管理装置にデータを転送して集計を行なう。個人認識装置に暗号化機能を組み込む場合には、認識のたびに出欠管理装置に無線通信機構を用いて送信してもよい。暗号化を行うのは、例えば重要な秘密会議の出席者を明らかにしないためである。

以上において本発明の個人認識装置についてその詳細を説明したが、この個人認識装置は当然撮影機器を含むコンピュータシステムとして構成することが可能である。図２０はそのようなコンピュータシステム、すなわちハードウエア環境の構成ブロック図である。

図２０においてコンピュータシステムは中央処理装置（ＣＰＵ）５０、リードオンリメモリ（ＲＯＭ）５１、ランダムアクセスメモリ（ＲＡＭ）５２、通信インタフェース５３、記憶装置５４、入出力装置５５、可搬型記憶媒体の読み取り装置５６、およびこれらの全てが接続されたバス５７によって構成されている。

記憶装置５４としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、このような記憶装置５４、またはＲＯＭ５１に図３のフローチャートに示されたプログラムや、手の向きや位置の検出、血管像の補正などのプログラムが格納され、そのようなプログラムがＣＰＵ５０によって実行されることにより、本実施形態における非接触で撮影される手血管像を利用した個人認識などが可能となる。

このようなプログラムは、プログラム提供者５８側からネットワーク５９、および通信インタフェース５３を介して、例えば記憶装置５４に格納されることもまた市販され、流通している可搬型記憶媒体６０に格納され、読み取り装置５６にセットされて、ＣＰＵ５０によって実行されることも可能である。可搬型記憶媒体６０としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスクなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置５６によって読み取られることにより、本実施形態における手の血管像による個人認識が可能となる。

以上詳細に説明したように本発明によれば、非接触で手の血管画像を撮影することにより、利用者の負担が小さく衛生的で清潔感のある個人認識装置を提供することが可能となる。非接触で撮影することによる認識精度の低下を避けるために、装置形態と認識方式を工夫し、例えば手の位置や向きを検出して、その検出結果に応じて血管画像の補正を行うことにより、手の血管画像を利用した個人認識装置の実用性の向上に寄与するところが大きい。

以上のように本発明の個人認識装置は、非接触で撮影される手の血管像を利用することにより、施設への入退出管理、会議への出席管理など、個人の検証や識別を必要とするあらゆる産業において利用可能である。

本発明の原理構成ブロック図である。 本実施形態における個人認識装置の構成を示すブロック図である。 個人認識処理のフローチャートである。 撮影部の構成例を示す図である。 血管像の例を示す図である。 記憶部の記憶内容の例である。 撮影機器の外観を説明する図である。 複数のカメラを使う撮影方法の説明図である。 カメラの前面に透明板、あるいはハーフミラーを設置する例を示す図である。 外光の影響を除くための手の入れ方の説明図である。 外光の影響を除くためののれんや反射板の利用の説明図である。 外光の影響を減少させるための複数の照明の利用を説明する図である。 持ち運びが容易な撮影機器の装置形状の例である。 手の向きの検出法の説明図である。 画像上の手形状抽出処理の説明図である。 画像上の手形状と登録された手形状との比較を説明する図である。 手形状のステレオ計測を説明する図である。 個人認識装置と接触式カード読み取り装置との組合せを示す図である。 個人認識装置と挿入式カード読み取り装置との組合せを示す図である。 本実施形態におけるプログラムのコンピュータへのローディングを説明する図である。

Claims (14)

1. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記撮影機器が、利用者が手をかざすべき面を任意の角度に調整可能な取り付け台に装着されることを特徴とする個人認識装置。
2. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   利用者が手をかざしたとき、外光を前記１つ以上の撮影手段から遮断する、のれん型の遮へい板を更に備えることを特徴とする個人認識装置。
3. 前記のれん型の遮へい板と利用者が手をかざすべき面との間に反射板を更に備えることを特徴とする請求項２記載の個人認識装置。
4. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する複数の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記１以上の撮影手段への近赤外光以外の外光の入り方に応じて、前記複数の照射手段による近赤外光の照射を制御する制御手段を更に備えることを特徴とする個人認識装置。
5. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する複数の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記複数の撮影手段によって撮影された手の画像から手全体の３次元形状を算出する算出手段と、
   該算出結果に対応して、前記検出された血管像を補正し、前記認識手段に与える補正手段とを更に備えることを特徴とする個人認識装置。
6. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記１以上の撮影手段が、時間的に連続する複数の画像を撮影すると共に、
   該撮影された画像によって運動視差に基づいて手全体の３次元形状を算出する算出手段と、
   該算出結果に対応して、前記検出された血管像を補正し、前記認識手段に与える補正手段とを更に備えることを特徴とする個人認識装置。
7. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記１以上の撮影手段が、可視光が照射された状態で手のしわの像を含む画像を撮影すると共に、
   前記検出された血管像から該しわの像を除き、前記認識手段に与える手段を更に備えることを特徴とする個人認識装置。
8. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記撮影機器が、接触式のカード読み取り装置の下の位置であって、利用者の手首の画像を撮影可能な位置に設置されることを特徴とする個人認識装置。
9. 手の血管像を検出して個人認識を行う装置において、
   利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
   該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
   利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
   該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
   前記撮影機器が、接触式のカード読み取り装置の隣りの位置であって、利用者の手の甲の画像を撮影可能な位置に設置されることを特徴とする個人認識装置。
10. 手の血管像を検出して個人認識を行う装置において、
    利用者に手のかざし方を指示する位置向き形状指示手段と、手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、手と接触することなく血管像を撮影可能な撮影機器と、
    該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
    利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
    該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備え、
    前記撮影機器が、挿入式のカード読み取り装置の上の位置であって、利用者の手の平、または手の甲の画像を撮影可能な位置に設置されることを特徴とする個人認識装置。
11. 手の血管像を検出して個人認識を行う装置において、
    手に近赤外光を照射する１以上の照射手段と、該近赤外光による画像を撮影する１以上の撮影手段とを備え、小型で可搬のペン型形状を持ち、手と接触することなく血管像を撮影可能な撮影機器と、
    該１以上の撮影手段によって撮影された画像から血管像を検出する血管像検出手段と、
    利用者の各人毎に登録された手の血管像を記憶する血管像記憶手段と、
    該登録された血管像と該検出された血管像とを比較して、個人認識を行う認識手段とを備えることを特徴とする個人認識装置。
12. 前記撮影機器を回転可能とする関節機構を更に備えることを特徴とする請求項１１記載の個人認識装置。
13. 前記撮影機器を固定する三脚を更に備えることを特徴とする請求項１１記載の個人認識装置。
14. 前記撮影機器を計算機の外部接続機構に取り付ける取り付け部を更に備えることを特徴とする請求項１１記載の個人認識装置。
    

Images