JP5098973B2

JP5098973B2 - 生体認証装置、生体認証方法及び生体認証プログラム

Info

Publication number: JP5098973B2
Application number: JP2008303258A
Authority: JP
Inventors: 正規渡辺
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-11-27
Filing date: 2008-11-27
Publication date: 2012-12-12
Anticipated expiration: 2028-11-27
Also published as: KR101122971B1; EP2192526A3; KR20100061353A; JP2010128822A; US20100127827A1; CN101897590A; CN101897590B; EP2192526A2; US8787622B2

Description

本発明は、手のひら等の生体から取得した画像による生体判定に関し、特に、手のひらの開閉等、生体の屈伸により得られる生体の動き情報から生体か否かを判定する生体認証装置、生体認証方法及び生体認証プログラムに関する。

生体認証には例えば、手のひらの血管パターンを用いるものがある。斯かる認証では、血管の中でも手のひらの表面近くにある静脈に含まれる還元ヘモグロビンが近赤外線を吸収することを利用する。手のひらに近赤外線を照射し、その反射光を撮影して得た手のひら画像から、黒線部分として抽出される静脈パターンを用いれば、生体の識別、生体である個人の確認が行える。

このような認証の前段の処理として実施される生体判定に関し、身体の電気出力特性を計測し、身体の電気出力特性と比較することにより、人体か否かを判定することが知られている（特許文献１）。

また、身体に照射した光の散乱光をマルチスペクトルによって解析し、周波数構成が人体から発せられたものと同一か否かを確認することが知られている（特許文献２）。

また、行動的生体認証において、人の動きの照合及び画像を二次元的に扱って照合することが知られている（特許文献３）。
特開２００３−１１１７４９公報特表２００７−５２４４４１公報特開２００２−１５０２９６公報

ところで、電気出力特性を測定する（特許文献１）には、生体を一部、装置に接触する必要があり、非接触型の手のひら静脈認証には不向きであるとともに、センサとは別に、アンテナを配置する必要があり、センサ以外の装置を設置しなければならないという課題がある。また、散乱光のマルチスペクトル解析（特許文献２）では、光の周波数特性を確認するための装置が必要であり、斯かる装置は一般に高価であって、センサのコスト増となるという課題がある。また、人の動きの照合及び画像を二次元的に扱う照合（特許文献３）では、人の動きが三次元であるので誤差を生じる。

斯かる要求や課題について、特許文献１、２、３にはその開示や示唆はなく、それを解決する構成等についての開示や示唆はない。

そこで、本開示の生体認証装置、生体認証方法又は生体認証プログラムの目的は、生体判定に関し、生体の動きを用いて生体か否かを判定することにある。

また、本開示の生体認証装置、生体認証方法又は生体認証プログラムの他の目的は、生体判定に関し、生体の動きを用いて登録者であるか否かを判定することにある。

上記目的を達成するため、本開示の生体認証装置、生体認証方法又は生体認証プログラムは、生体の屈伸として例えば、手のひらを開いた状態から握る又は掴む等の閉じた状態への動作又は閉じた状態から開いた状態への動作を撮像して複数の画像を取得し、複数の画像から生体の動きを表す情報を抽出し、その動き情報を用いて生体であるか否かを判定する。また、登録された動き情報（又は動き特徴情報）と判定者の動き情報（動き特徴情報）とを比較することにより、被判定者が登録者であるか否かを判定し、上記目的を達成する。

上記目的を達成するため、本開示の生体認証装置は、生体を屈伸させて撮像する撮像手段と、屈伸の開始から終了までの時間に前記撮像手段で得た複数の画像から、所定時間間隔で記録された複数の画像フレーム毎に生体の屈伸の動き情報を抽出し、被判定者の前記画像フレーム毎の前記動き情報と、複数の人から採取された前記動き情報を前記画像フレーム毎に平均して求めた動き共通特徴情報とを、対応する前記画像フレーム毎に照合し、前記画像フレーム毎に前記被判定者の前記動き情報と前記動き共通特徴情報との差分を求め、該差分の累積値が閾値を超えたか否かにより、被判定者が生体か否かを判定する判定手段とを備えることである。

斯かる構成によれば、屈伸する生体を撮像し、その生体から得た複数の画像を用いて生体の動き情報を抽出し、この動き情報と、複数の人の動き情報から求めた動き共通特徴情報とを生体確認に用いるので、被判定者が生体か否かを容易に判定することができる。また、動き情報を登録すれば、その登録情報と被判定者の動き情報とから被判定者が登録者であるか否かを判定することができる。

上記目的を達成するため、本開示の生体認証方法は、生体を屈伸させて撮像するステップと、屈伸の開始から終了までの時間に前記撮像により得た複数の画像から、所定時間間隔で記録された複数の画像フレーム毎に生体の屈伸の動き情報を抽出し、被判定者の前記画像フレーム毎の前記動き情報と、複数の人から採取された前記動き情報を前記画像フレーム毎に平均して求めた動き共通特徴情報とを、対応する前記画像フレーム毎に照合し、前記画像フレーム毎に前記被判定者の前記動き情報と前記動き共通特徴情報との差分を求め、該差分の累積値が閾値を超えたか否かにより、被判定者が生体か否かを判定するステップとを含むことである。斯かる構成によっても、上記目的が達成される。

上記目的を達成するため、本開示の生体認証プログラムは、コンピュータにより実行され、生体から取得した画像を用いる生体認証プログラムであって、生体を屈伸させて撮像する撮像機能と、屈伸の開始から終了までの時間に前記撮像により得た複数の画像から、所定時間間隔で記録された複数の画像フレーム毎に生体の屈伸の動き情報を抽出し、被判定者の前記画像フレーム毎の前記動き情報と、複数の人から採取された前記動き情報を前記画像フレーム毎に平均して求めた動き共通特徴情報とを、対応する前記画像フレーム毎に照合し、前記画像フレーム毎に前記被判定者の前記動き情報と前記動き共通特徴情報との差分を求め、該差分の累積値が閾値を超えたか否かにより、被判定者が生体か否かを判定する判定機能とを前記コンピュータに実行させることである。斯かる構成によっても、上記目的が達成される。

本開示の生体認証装置、生体認証方法又は生体認証プログラムによれば、次のような効果が得られる。

(1) 生体を屈伸させて撮像し、その撮像により得られる複数の画像から生体の動き情報を用いて判定するので、生体か否かの判定精度を高めることができる。

(2) 生体を屈伸させて撮像し、その撮像により得られる複数の画像から生体の動き情報を用いて生体か否かを判定するので、登録された動き情報との対比により被判定者が登録された者であるか否かの判定精度を高めることができる。

(3) 生体の屈伸による動きの共通モデルとの照合により生体か否か判定されるので、登録時の動きと判定時の動きに多少の相違があっても、生体であるか否かを判定することができる。

(4) 非接触型の血管パターン認証等において、生体の画像を用いて生体か否かの判定を安価なセンサで実現することができる。

(5) 人間に共通の動きを用いて照合することができ、また、複数の画像から三次元的な情報を抽出して照合を行うので、生体であるか否かの判定精度が高められる。

そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施の形態を参照することにより、一層明確になるであろう。

〔第１の実施の形態〕

第１の実施の形態について、図１及び図２を参照する。図１は、生体認証装置を示す図、図２は、手のひらセンサの動作の一例を示す図である。図１及び図２の構成は一例であって、斯かる構成に本発明が限定されるものではない。

この生体認証装置２は認証装置の一例である。この生体認証装置２では、手等の生体の屈伸として、手のひらの開状態から閉状態への遷移動作即ち、開状態から握る動作による遷移動作を撮像して複数の画像を取得し、その画像から手のひらの動き情報を得て人間の手であるか否かを判定する。人間の手のひらの動きではない場合には手のひらではない即ち、生体ではないと判定する。この生体認証装置２は、静脈認証を用いた生体認証等に用いることができ、この生体認証装置２における認証対象の形状の測定には、能動的照明を用いた明るさに基づく三次元測定技術を用いる。この生体認証装置２における生体か否かの判定は、被判定者の個別の動きではなく、人間共通の動きとの比較であり、動作画像の類似度ではなく、三次元形状に基づく動き情報から抽出される動き特徴との類似度を確認している。

この生体認証装置２は、図１に示すように、生体の判定部位として例えば、手のひら４を判定対象とし、手のひらセンサ６と、手のひら領域抽出部８と、手のひら領域距離算出部１０と、手のひら動き距離マップ記憶部１２と、手のひら動き特徴抽出部１４と、手のひら動き共通特徴抽出部１６と、手のひら動き共通特徴記憶部１８と、手のひら動き特徴照合部２０と、生体特徴データ生成部２２と、生体特徴記憶部２４と、生体特徴データ照合部２６とを備えている。

手のひらセンサ６は、生体、生体の特定の部位等から画像を取得する生体センサの一例であって、この実施の形態では、判定対象である手のひら４から人か否かの判定に用いる画像を取得する検出手段である。この手のひらセンサ６では、判定対象に光を照射し、手のひら４からの反射光を捉え、その手のひら４を撮像し、その画像を取得する。そこで、この手のひらセンサ６は、撮像部２８と、照明部３０と、照明制御部３２と、撮像制御部３４と、画像取得部３６とを備えている。撮像部２８は、手のひら４を撮像する撮像手段の一例であって、ディジタルカメラ等の撮像機器で構成され、手のひら４の血管パターンを読み取るための画像を取得する。この実施の形態では、手のひら４を開いた状態から閉じた状態に至る動きを捉える画像や、手のひら４を閉じた状態から開いた状態に至る動きを捉える画像を取得する。撮像制御部３４は、撮像のタイミングや手のひら４の動作遷移に応じて撮像回数を制御する。

照明部３０は、判定対象である手のひら４に光を照射する光照射手段であって、手のひら４の血管パターンを読み取るために、手のひら４に一様に光を照明する機能（第一の機能）と、手のひらセンサ６（撮像部２８）から手のひら４までの距離を測定するために、撮像部２８の光軸とは異なる既知の方向にビーム状の光を発する機能（第二の機能）とを備えている。この撮像に用いる光は撮像部２８に感度のある波長でよい。図２に示すように、照明部３０から光照射を受けた手のひら４は光を反射し、その反射光を捕捉した撮像部２８がその手のひら４を撮像する。照明制御部３２は、照明部３０の光やその発光光量を制御する。

画像取得部３６は撮像部２８に得られる画像を取得し、その画像取得部３６から出力される画像情報は手のひら領域抽出部８に加えられる。

手のひら領域抽出部８は、生体の領域を抽出する抽出手段の一例であって、この実施の形態では、判定情報の対象である手のひら領域の抽出手段であり、例えば、画像処理によって手のひら領域を抽出する。

手のひら領域距離算出部１０は、生体領域の距離を算出する算出手段の一例であって、この実施の形態では、判定対象である手のひら４の位置が分かる任意の部分の距離を算出する手段であり、画像情報から手のひら領域の距離を算出する。即ち、既知の距離にある一様な同一反射係数（未知）を持つ基準物体を撮像した画像と、手のひら４（判定対象）の位置の分かる任意の部分の距離（手のひらセンサ６の照明部３０の第二の機能を用いて測定可能）から、手のひら４の基準物体に対する相対的な反射係数を算出することができるので、その相対的な反射係数を用いれば、光の強さが距離の二乗に反比例する原理を用いることにより、手のひら領域の距離を算出する。

手のひら動き距離マップ記憶部１２は、生体の動き距離マップ記憶手段の一例であって、例えば、データ記憶手段で構成され、手のひら領域距離算出部１０で算出された距離から生成される距離マップを記憶する。

手のひら動き特徴抽出部１４は、生体の動き特徴を抽出する手段であって、この実施の形態では、手のひら４の動き特徴を抽出する。手のひら領域距離算出部１０で算出された手のひら領域距離から手のひら４の動き特徴を抽出する。

手のひら動き共通特徴抽出部１６は、生体の動き共通特徴を抽出する手段であって、この実施の形態では、手のひら４の動きに共通する特徴を抽出する手段である。この手のひら動き共通特徴抽出部１６では、手のひら動き距離マップ記憶部１２に記憶されている手のひら４の動きを表す距離マップから手のひら４の動きにおける共通特徴を抽出する。

手のひら動き共通特徴記憶部１８は、生体の動き共通特徴を記憶する記憶手段の一例であって、例えば、データ記憶手段で構成され、手のひら動き共通特徴抽出部１６で抽出された手のひら４の動きの共通特徴を記憶する。

手のひら動き特徴照合部２０は、生体の動き特徴を照合する照合手段の一例であって、この実施の形態では、手のひら４の動き特徴を照合して生体か否かを判定する判定手段の一例である。この手のひら動き特徴照合部２０では、登録時又は認証時に手のひら４の動きの特徴を照合し、生体か否かの判定結果として、その照合結果を出力する。

生体特徴データ生成部２２は、生体の特徴データを生成する手段であって、手のひら領域抽出部８からの手のひら領域情報と、手のひら動き特徴照合部２０からの手のひら動き特徴情報とを用いて生体の特徴データを生成させる。

生体特徴記憶部２４は、生体の特徴データを格納する記憶手段であって、例えば、静脈認証等の認証用個人データを登録している。

生体特徴データ照合部２６は、認証時、生体特徴データを照合する照合手段であって、生体特徴記憶部２４にある登録データと、生体特徴データ生成部２２で得られる生体特徴データとを照合し、判定対象の生体特徴データが登録データと一致するか否かにより、被判定者が登録者であるか否かを判定する。即ち、被判定者が生体であることの判定（手のひら動き特徴照合部２０）の後、登録者であるか否かの認証が行われる。

次に、生体か否かの判定について、図３、図４、図５及び図６を参照する。図３は、生体判定の包括的な処理を示すフローチャート、図４は、手のひらの動き共通特徴生成の処理手順を示すフローチャート、図５は、判定用生体特徴登録の処理手順を示すフローチャート、図６は、判定処理の処理手順を示すフローチャートである。図３〜図６は一例であって、斯かる処理に本発明が限定されるものではない。

この生体判定では、生体として手のひら４の動き即ち、開状態から閉状態への遷移動作における特徴情報を用いて判定を行う処理手順（図３）を用いる。この処理手順は、生体認証方法又は生体認証プログラムの一例であって、図３に示すように、手のひら動き共通特徴を生成し（ステップＳ１）、被判定者の判定用生体特徴登録を行い（ステップＳ２）、その登録情報を用いて判定処理を行う（ステップＳ３）。このメインルーチンに対し、サブルーチンとして、手のひら動き共通特徴の生成の処理手順（図４）、被判定者の判定用生体特徴登録の処理手順（図５）、判定処理の処理手順（図６）が実行される。

手のひら動き共通特徴の生成の処理手順は、図４に示すように、複数人の全てに対する処理（Ｆ０）、複数の人物の手のひら４の動きの撮像（Ｆ１）、撮像した各画像の距離マップへの変換（Ｆ２）の段階を含み、複数の人物の距離マップから手のひら動き共通特徴の抽出を行う。

そこで、この処理手順では、複数人の全てに対する処理Ｆ０として、撮像を開始し（ステップＳ１１）、手のひら４を開くようにプロンプトを行う（ステップＳ１２）。被判定者はそのプロンプトに従い、手のひら４を開き、開状態とする。この場合、手のひら４の静止を確認する（ステップＳ１３）。この静止状態から手のひら４を閉じるようにプロンプトを行う（ステップＳ１４）。即ち、開状態から閉状態に至る状態遷移に対応して撮像し、複数の画像を取得する。撮像を終了し（ステップＳ１５）、撮像した各フレームに対する処理として、距離マップに変換し（ステップＳ１６）、動き特徴を生成する（ステップＳ１７）。取得した複数の画像から各人の動き特徴の平均を求める（ステップＳ１８）。手のひら動き共通特徴記憶部１８に格納し（ステップＳ１９）、この処理を終了する。

被判定者の判定用生体特徴登録の処理手順は、その登録前に動きの共通特徴との照合処理Ｆ３を含んでいる。そこで、この処理手順では、図５に示すように、被判定者の手のひら４の動きを撮像し（ステップＳ２１）、撮像したフレームを距離マップに変換し（ステップＳ２２）、手のひら４の動き特徴を抽出する（ステップＳ２３）。この処理終了後、既述の照合処理Ｆ３を実行する。

この照合処理Ｆ３では、被判定者の手のひら動き特徴と、手のひら動き共通特徴とを比較し（ステップＳ２４）、合致するか否かの判定を行う（ステップＳ２５）。合致すれば、（ステップＳ２５のＹＥＳ）、撮像によって得られた画像フレームから生体特徴を抽出し（ステップＳ２６）、その生体特徴を生体特徴記憶部２４に格納し（ステップＳ２７）、この処理を終了する。

また、ステップＳ２５において、合致しなければ（ステップＳ２５のＮＯ）、登録不可（ＮＧ）と判定し（ステップＳ２８）、この処理を終了する。

判定処理の処理手順は、画像から抽出された動きと、その共通特徴との照合（Ｆ４）、画像フレームから抽出した生体特徴と登録生体特徴との照合（Ｆ５）を含み、これらの照合に基づき、生体か否かの判定を行っている。そこで、この処理手順では、図６に示すように、被判定者の手のひら４の動きを撮像し（ステップＳ３１）、撮像したフレームを距離マップに変換し（ステップＳ３２）、手のひら４の動き特徴を抽出し（ステップＳ３３）、被判定者の手のひら動き特徴と、手のひら動き共通特徴とを比較し（ステップＳ３４）、合致するか否かの判定を行い（ステップＳ３５）、合致すれば（ステップＳ３５のＹＥＳ）、撮像したフレームから生体特徴を抽出し（ステップＳ３６）、被判定者の登録済の生体情報を生体特徴記憶部２４から取り出し（ステップＳ３７）、撮像したフレームから抽出した生体特徴と、生体特徴記憶部２４から取り出した生体特徴とを比較し（ステップＳ３８）、合致するか否かの判定を行い（ステップＳ３９）、合致すれば（ステップＳ３８のＹＥＳ）、判定ＯＫと判定し（ステップＳ４０）、合致しなければ（ステップＳ３９のＮＯ）、判定不可（ＮＧ）と判定し（ステップＳ４１）、この処理を終了する。

また、ステップＳ３５において、合致しなければ（ステップＳ３５のＮＯ）、判定不可（ＮＧ）と判定し（ステップＳ４１）、この処理を終了する。

次に、手のひら領域の抽出について、図７、図８及び図９を参照する。図７は、手のひら領域の抽出を説明するための図、図８は、照明がある状態の手のひらを示す画像を示す写真、図８は、照明がない状態の手のひらを示す画像を示す写真である。図７、図８及び図９は一例であって、斯かる構成に本発明が限定されるものではない。

手のひら領域の抽出では、手のひら４からの照明の強さを調整又は設定するものとし、照明部３０から一定の距離例えば、約１０〔cm〕以内の距離範囲を照射限界としてそれ以外の範囲に光が届かないように設定し、この設定について、手のひらセンサ６に手のひら４をかざす場合には、手のひらセンサ６から上記距離として約１０〔cm〕以内の距離になるようにする。この場合、光を受けた手のひら４を撮像した画像（図７Ａ、図８）と、光を消して手のひら４を撮像した画像（図７Ｂ、図９）とを得る。光を受けた手のひら４を撮像して得られる画像３８では、図７Ａに示すように、手のひら４を表す画像４０とともに背景画像４２が現れる。光を消して手のひら４を撮像して得られる画像４４は、図７Ｂに示すように、手のひら４を表す画像４０及び背景画像４２が共に暗く現れる。

そこで、これら両者の画像３８、４４の差分を求めれば、図７Ｃに示すように、画像４４から手のひら４を表す画像４０以外の部分（背景画像４２）を除去することができ、その結果、鮮明な手のひら４の画像４０が得られる。即ち、差分画像の非零（０でない）の領域、即ち、差分画像の輝度に対し、一定の閾値以上の輝度値を持つ領域として、手のひら領域を抽出することができる。図８は、光を受けた手のひら４を撮像した実際の画像であり、図９は、光を消して手のひら４を撮像した実際の画像である。

この手のひら領域の抽出において、より詳細に述べれば、手のひら４に光を照射して撮像することにより得られる画像をＩ_on（ｘ，ｙ）｛０＜ｘ＜ｗ，０＜ｙ＜ｈ｝とする。これは、二次元の配列であって、各要素には符号なし８ビットにて輝度値が格納されている。ｗ、ｈはそれぞれ画像の幅及び高さである。

照明部３０を消灯し、光照射のない手のひら４を撮像して得られる画像をＩ_off（ｘ，ｙ）｛０＜ｘ＜ｗ，０＜ｙ＜ｈ｝とする。

そこで、これらの配列の各要素、即ち、０＜ｉ＜ｗ，０＜ｊ＜ｈの各（ｉ，ｊ）の組に対して、両画像の差分を取り、その差分の絶対値が予め定めた閾値ｔ未満であるとき、手のひら領域ではないと判断する。これを数式で表わすと、

となり、この式(1) を満たす（ｉ，ｊ）の画素は手のひら領域であり、式(1) を満たさない画素は手のひら領域ではないと判断する。

式(1) は、Ｉ_on（ｘ，ｙ）−Ｉ_off（ｘ，ｙ）≠０に設定してもよいが、閾値ｔを設定することにより、画像に含まれるノイズを除去することができる。

次に、手のひら領域距離の算出及び距離マップについて、図１０、図１１、図１２、図１３、図１４、図１５、図１６、図１７、図１８及び図１９を参照する。図１０は、高さの検出原理を説明するための図、図１１は、高さを求めるための図、図１２は、反射係数を用いた距離の換算を行う原理を説明するための図、図１３は、キャリブレーション面の画像を示す図、図１４は、距離マップを示す図、図１５は、距離マップ生成に用いる手のひらセンサを示す図、図１６は、距離マップ生成機能部を示す図、図１７は、距離マップ生成のための事前処理の処理手順を示すフローチャート、図１８は、距離マップ生成のための実行処理の処理手順を示すフローチャート、図１９は、手のひら領域距離算出例を示す写真である。図１０〜図１９は一例であって、斯かる構成に本発明が限定されるものではない。図１２、図１５、図１６において、図１と同一部分には同一符号を付してある。

手のひら領域の距離の算出には、図１０に示すように、光源３１からビーム光４６を手のひら４の面に照射し、ビーム光４６が当たった手のひら４の位置４８の高さｌ（エル）を求める。ビーム光４６を発する光源３１は、撮像部２８のレンズ焦点を含み、撮像部２８の光軸５０と垂直に交わる平面５２内で、撮像部２８から距離ｄだけ離れた位置に配置され、ビーム光４６の方向が、撮像部２８とその光軸５０と光源３１を含む平面内で、撮像部２８の光軸５０に対し、この場合、光軸５０と平行な光源３１の中心軸に対して角度θの傾きを持っている。

撮像部２８の画角の半分をα、手のひら４の高さをｌ、撮像部２８と光源３１を含む平面５２が画像の横軸と成す角度をφ（図１１）とし、そして、その平面５２と画像６４の端が図１１に示すように交わるとする。ビーム光４６の位置の画像６４の端の、画像６４上での相対関係と、実世界上での相対関係は等しいので、次式が成り立つ。

但し、Ｗ＝ｈ／ｓｉｎφ、ａ＝ｄ＋ｘである。式(2) を手のひら４の高さｌに基づいて解くことにより次式が得られる。

式(3) に従って、画像６４上でのビーム光４６の当たった位置４８から、手のひら４の高さｌを求めることができる。画像６４上でのビーム光４６の当たった位置４８は、ビーム光４６を点灯した画像と、ビーム光４６を消灯した画像との差分を取り、明るく映った領域の中心の座標を求めることによって得られる。

次に、基準となる測定結果を利用して反射係数を用いて距離の換算を行う原理について、図１２を参照すると、既知の高さＺ_Cに一様な色の紙を用いて撮像したキャリブレーション面６６上の明るさに対して得られた画像があるとする。実際には、キャリブレーション面６６として、図１３に示す画像６８が得られる。図１２中の６つの変数に対しては、明るさが距離の二乗に反比例して減光することから次式が得られる。

従って、ビーム光４６を用いれば、手のひら４上の測定点における輝度Ｅ_Fと距離Ｚ_Fが分かるので、反射係数の比ｒ_F／ｒ_Cを求めることができる。一旦、ｒ_F／ｒ_Cが分かれば、ビーム光４６で測定点以外の点について、Ｅ_Fが分かるので、それぞれの点のＺ_Fを求めることができる。但し、Ｅ_Cはキャリブレーション面６６の輝度、Ｚ_Cはキャリブレーション面６６の距離、ｒ_Cはキャリブレーション面６６の拡散反射係数、Ｅ_Fは計測対象である手のひら４（被写体）の輝度、Ｚ_Fは手のひら４の距離、ｒ_Fは手のひら４の拡散反射係数である。

次に、手のひら４の距離マップを求める。手のひら４の画像と同じ大きさの二次元配列の各要素に既述の距離Ｚ_Fを格納した二次元配列は、距離を要素に持つ配列であるが、これを「距離マップ」と呼ぶ。この距離マップをＣＧ技術によって凹凸が見えるように可視化すれば、図１４に示すように、可視化された距離マップが得られる。

距離マップ生成機能を備える手のひらセンサ６は、図１５に示すように、遮光枠体７０の中央に撮像部２８を設置し、その周囲に複数の照明部３０として、手のひら照明装置３０２、３０４、３０６、３０８と、ビーム光照明装置３１０（光源３１）とを設置している。手のひら照明装置３０２、３０４、３０６、３０８は、手のひら全体を照射する光源であり、ビーム光照明装置３１０は、ビーム光４６を照射する光源である。

このような手のひらセンサ６を用いた場合には、距離マップ生成機能を実現するための構成として、図１６に示すように、キャリブレーション面記憶部７２及びビーム光位置検出部７４を備える。キャリブレーション面記憶部７２は記憶媒体で構成され、キャリブレーション面６６に関する既述の情報として、キャリブレーション面６６の高さと画像等を記憶する。ビーム光位置検出部７４は、ビーム光４６のあたった位置を検出する。この場合、手のひら領域距離算出部１０は、キャリブレーション面６６に関する情報、手のひら領域、ビーム光位置に基づき、手のひら領域の距離を算出し、距離マップを生成するので、距離マップ生成部を構成している。

この距離マップ生成は、事前処理（図１７）の後、実行処理（図１８）を行う。事前処理の処理手順は、キャリブレーション面６６を用いた既述の処理であって、図１７に示すように、既知の高さに一様な色の物体（キャリブレーション面６６）を配置し（ステップＳ５１）、このキャリブレーション面６６の撮像を行い（ステップＳ５２）、そのキャリブレーション面６６の高さと画像をキャリブレーション面記憶部７２に格納し（ステップＳ５３）、この事前処理を終了する。

また、実行処理の処理手順では、図１８に示すように、ビーム光照明装置３１０を点灯し（ステップＳ６１）、ビーム光４６を用いて手のひら４の撮像を行い（ステップＳ６２）、この撮像で得られた画像を画像Ｂとしてキャリブレーション面記憶部７２に記憶する（ステップＳ６３）。

ビーム光照明装置３１０を消灯し（ステップＳ６４）、手のひら照明装置３０２、３０４、３０６、３０８を点灯して手のひら４を照明する（ステップＳ６５）。手のひら全体の光照射により、手のひら４の撮像を行い（ステップＳ６６）、この撮像で得られた画像を画像Ａとしてキャリブレーション面記憶部７２に記憶する（ステップＳ６７）。

手のひら照明装置３０２、３０４、３０６、３０８を消灯し（ステップＳ６８）、光照射のない手のひら４の撮像を行い（ステップＳ６９）、この撮像で得られた画像を画像Ｃとして記憶する（ステップＳ７０）。

画像Ｂと画像Ｃの差分を取り、この差分を画像Ｄとする（ステップＳ７１）。この画像Ｄの中で明るい領域の中心座標を求め（ステップＳ７２）、手のひら４とキャリブレーション面６６の反射係数の比ｒ_F／ｒ_Cを計算し（ステップＳ７３）、画像Ａと画像Ｃの差分を取ることによって手のひら領域Ｓを求める（ステップＳ７４）。手のひら領域Ｓの各画素に対して手のひらセンサ６からの距離を計算し（ステップＳ７５）、距離マップデータを得る。これにより、この実行処理を終了する。

この処理において、撮像部２８には図１９に示すように、その撮像により手のひら４の画像７６が得られる。この場合、枠線７８で囲まれた部分が手のひらセンサ６側に垂れた状態であるため、画像７６上の他の指よりも大きく現れ、それにより垂れた状態を知ることができる。

次に、手のひらの動きの抽出について、図２０及び図２１を参照する。図２０は、手のひらの動き抽出の処理手順を示すフローチャート、図２１は、手のひらの動きの情報表現の正規化処理の処理手順を示すフローチャートである。図２０及び図２１に示す処理は一例であって、斯かる処理に本発明が限定されるものではない。

この手のひらの動き抽出では、手のひら４を開いた状態から閉じた状態に至る動作遷移を表す画像の取得であって、図２０に示すように、その対象フレームの抽出を行い（ステップＳ８１）、手のひら４の動きの情報表現の正規化処理を行う（ステップＳ８２）。

対象フレームの抽出（ステップＳ８１）では、被判定者に手のひら４を開くようにプロンプトし、その画像をモニターして監視し、各フレームに対して手のひら領域距離を算出する（図１８）。手のひら領域内の距離の値の分散が事前に定めた閾値以下で、連続するフレームで変動が無くなった時点で、手のひら４が開かれた（開状態）と判断する。この画像のモニターと、手のひら領域の距離の算出を継続する。

この状態から被判定者に手のひら４を閉じるようにプロンプトする。同様に、手のひら領域内の距離値の分散を求め、連続するフレームで変動が無くなった時点で、手のひら４の動きが止まった（閉状態）と判断し、そのときに得られた距離の画像を、手のひらを閉じたときの距離の画像であると見做す。

手のひら４を開いたと判断したときから、手のひら４を閉じたと判断したときまでの画像フレームは、手のひら４を開いたときから、手のひら４を閉じたときまでの、手のひら４の動きを距離の値により記録したものであると見做すことができる。

次に、手のひらの動きの情報表現（ステップＳ８２）では、正規化処理の処理手順（図２１）を実行する。この処理手順では、図２１に示すように、距離の値の正規化を行う（ステップＳ９１）、全ての画像フレームに対し、手のひら領域内の最小値と最大値を求める。その差の最も大きいフレームを求め、その差を事前に定めたＫになるように、全てのフレームに対して正規化を行う。

次に、手のひら領域の高さの正規化を行う（ステップＳ９２）。手のひら領域内の距離の最大値を求める。その最大値が予め定めた高さＨに移動させたときに見えるように手のひら４の距離画像を変換する。即ち、最大値が高さｈだった場合、手のひら領域はＨ／ｈの倍率で拡大もしくは縮尺を行う。そして、画素の値はＨ−ｈを加える。

次に、各フレームの手のひら領域の面積が予め定めたＳ画素になるように、大きさの正規化を行い（ステップＳ９３）、手のひら領域の位置の正規化を行い（ステップＳ９４）、手のひら領域の向きの正規化を行う（ステップＳ９５）。この向きの正規化では、手のひら４の二次元のモーメントを計算し、長軸が画像の縦方向に沿うように二次元の回転を行う。

そして、手のひら４の動きフレームの時間の正規化を行う（ステップＳ９６）。即ち、手のひら４を開いたときのフレームの時間をｔ＝０、手のひらを閉じたときのフレームの時間をｔ＝１とし、途中のフレームである時間ｔ＝０〜１の間にある画像フレームに対して時間的な正規化を行う。最終的に、時間ｔをｔ＝０からｔ＝１までを例えば、０．１刻みで１１枚のフレームを記録し、時間ｔ＝０．１から時間ｔ＝０．９までのフレームが存在しない場合は、最も近いフレームの画像を補間する。

(1) 距離の値の正規化（ステップＳ９１）

この距離の値の正規化について、図２２及び図２３を参照する。図２２Ａは、手のひらを開いた状態を示す図、図２２Ｂは、手のひらを閉じかかった状態を示す図、図２３は、画像フレームを示す図である。図２２及び図２３に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

距離の値の正規化は、手のひら４を開いた状態（図２２Ａ）から閉じた状態に至る手のひら４の画像フレーム（図２３）を用いて行い、その際、全てのフレームに対し、手のひら領域内の最小値ｄ_minと最大値ｄ_maxを求める。図２２Ｂに示すように、手のひら４が閉じかかった状態では、親指が垂れ、手のひらセンサ６に最も近付くので、このとき、最小値ｄ_minとなる。そこで、最小値ｄ_minと最大値ｄ_maxとの差（ｄ_max−ｄ_min）が最も大きいフレームを求め、その差を事前に定めたＫ（図２２Ｂ）になるように、全てのフレームに対して正規化を行う。画像フレームは、図２３に示すように、手のひら４を開いているときの画像フレーム８０１から手のひら４を閉じているときの画像フレーム８０ｎとすれば、ｎ枚の画像フレームで構成され、時間ｔを横軸に取ると、画像フレーム８０１、８０２・・・８０ｎに推移する。

そこで、各画像フレーム８０１〜８０ｎについて、最大値ｄ_max、最小値ｄ_minを計算し、最もその差（ｄ_max−ｄ_min）が大きかった画像フレーム８０ｋに対し、差（ｄ_max−ｄ_min）がＫとなるように変換する。

差（ｄ_max−ｄ_min）が最も大きかったフレームの番号をｋ_maxとすると、第ｋフレームの距離マップｄ_k (ｉ, ｊ) の正規化後の距離マップｄ’_k (ｉ, ｊ) は、次式で得られる。

但し、第ｋフレームのｄ_max及びｄ_minを、それぞれ、ｄ_max（ｋ）、ｄ_min（ｋ）とする。

(2) 手のひら領域の高さの正規化（ステップＳ９２）

手のひら領域内の距離の最大値を求め、その最大値が予め定めた高さＨの高さに移動させたときに見えるように手のひら４の距離画像を変換する。即ち、最大値がｈだった場合、手のひら領域はＨ／ｈの倍率で拡大又は縮尺を行う。そして、画素の値はＨ−ｈを加える。手のひら４を開いた状態での模式図を示すと、図２４のようになる。

各フレームの距離マップｄ’ (ｉ, ｊ) の正規化後の距離マップｄ'' (ｉ, ｊ) は、次式で得られる。

(3) 手のひら領域の大きさの正規化（ステップＳ９３）

次に、各フレームの手のひら領域の面積が予め定めたＳ画素になるように、大きさの正規化を行う。図２５Ａは正規化前の面積ｓのフレーム８１、図２５Ｂは、正規化後の面積Ｓのフレーム８２を示している。この処理により、面積ｓのフレーム８１（図２５Ａ）は、面積Ｓのフレーム８２（図２５Ｂ）に正規化される。

各フレームの手のひら領域の面積をｓとすると、各フレームの距離マップｄ'' (ｉ, ｊ) の正規化後の距離マップｄ''' (ｉ, ｊ) は、次式で得られる。

(4) 手のひら領域の位置の正規化（ステップＳ９４）

各フレームの手のひら４の位置が中心にくるように、手のひら領域の重心Ｇが画像の中央にくるように位置の正規化を行う。この位置の正規化では、図２６Ａに示すように、各フレームの手のひら領域の重心座標を（Ｃ_x, Ｃ_y）とすると、図２６Ｂに示すように、その重心座標（Ｃ_x, Ｃ_y）を画像の中央にシフトさせる正規化を行う。画像の中心座標を（０，０) とすると、各フレームの距離マップｄ''' (ｉ, ｊ) の正規化後の距離マップｄ'''' (ｉ, ｊ) は、次式で得られる。各フレーム８３は、図２６Ｂに示すように、正規化された各フレーム８４に変換される。

(5) 手のひら領域の向きの正規化（ステップＳ９５）

二次元のモーメントを計算し、長軸が画像の縦方向に沿うように二次元の回転を行う。この向きの正規化には慣性主軸を用いる。手のひら領域の長軸８６（図２７Ａ）は言い換えれば慣性主軸と言える。そこで、図２７Ａに示すように、画像８８に座標軸（ｘ軸、ｙ軸）を取り、画像８８の中心Ｏを原点とし、慣性主軸８６がｙ軸に対して角度θであった場合、各フレーム９１の距離マップｄ'''' (ｉ, ｊ) の正規化後の距離マップｄ''''' （ｉ’, ｊ’) は、次式で得られる。図２７Ｂは正規化されたフレーム９２である。

このような慣性主軸８６を求める方法には、例えば、谷内田正彦著ロボットビジョンｐｐ．９１−９４等がある。

(6) 手のひら動きフレームの時間の正規化（ステップＳ９６）

図２８に示すように、手のひら４を開いたときの画像フレーム８１１の時間をｔ＝０とし、手のひら４を閉じたときの画像フレーム８１ｎの時間をｔ＝１とし、途中の画像フレームを時間ｔ＝０〜１間のフレームとして、時間的に正規化する。最終的に、時間ｔを０から１まで、０．１刻みで例えば、１１枚のフレームを記録する。時間ｔ＝０．１から時間ｔ＝０．９までのフレームが存在していない場合には、最も近いフレームの画像を補間することにより得る。

そして、正規化後の第ｋ’フレーム（０≦ｋ’≦１１、ｋ’は整数）の距離マップｄ''''''ｋ’（ｉ，ｊ）は、正規化前の距離マップｄ''''' ｋ（ｉ，ｊ）から（ｓ≦ｋ≦ｅ、ｋは整数であり、ｓ，ｅは図２８に記載の通り）、次式により得る。先ず、

なるｋに対し、ｋが整数の場合には、

となり、ｋが整数でない場合は、[ ] をガウス記号として、

となる。

次に、手のひら動き共通特徴の抽出については、複数の人物に対して、既述の手のひらの動きを採取し、各フレームの距離マップを画素単位で平均する。その結果、得られた既述の１１枚のフレーム（図２８）を手のひら４の動きの共通特徴とする。得られた手のひら４の動きの共通特徴は、手のひら動き共通特徴記憶部１８に格納する。

次に、手のひら動き特徴の照合では、手のひら静脈認証のために生体情報を登録し、照合する際には、かざされた手のひら（対象物）が生体か否かを判定するために、手のひらの動き情報を確認する。既述の処理に従い、被判定者の手のひらの動きの特徴を獲得し、次に、手のひら動き共通特徴記憶部１８に格納した手のひら４の動きの共通特徴を取得し、両者は、距離の値、面積、向き、時間で正規化されているため、１１枚のフレームの画像（図２９Ａ、図２９Ｂ）を比較することで両者の照合を行うことができる。図２９Ａは、手のひら動き共通特徴を示す１１枚のフレームを示す図、図２９Ｂは、被判定者の手のひらの動き特徴を示す１１枚のフレームを示す図である。

これらの画像の比較は、１１枚のフレームに亘って画素毎に距離値の差分を求めて累積する。そして、累積値が予め定めた閾値以下であれば、判定対象が生体に類似した動きを行ったと判定することができる。

図３０Ａに示すように、共通特徴を表す第ｋ番目のフレーム８４ｋと、図３０Ｂに示すように、被判定者の特徴を表す第ｋ番目のフレーム８５ｋとを比較する場合、フレーム８４ｋの共通特徴ｄ_mk（ｉ, ｊ）、フレーム８５ｋの被判定者の特徴ｄ_nk（ｉ, ｊ）とすれば、各フレーム８４ｋ、８５ｋの対応する座標の差分の和を求める。

共通特徴のフレーム８４ｋの手のひら領域をＲ_kとすると、差分の累積値Ｍは次式で求めることができる。

この累積値Ｍが予め定めた閾値Ｍ_th以下であれば（Ｍ≦Ｍ_th）、判定対象が生体に類似した動きを行ったと判定することができ、また、登録情報と一致すれば、登録者であることを確認することができる。

以上説明した第１の実施の形態について、その利点、特徴事項を列挙すれば次の通りである。

(1) 生体として例えば、手のひらの撮像によって取得された複数の画像から手のひらの動き情報を用いて確認でき、この確認では生体か否かを判別でき、しかも、登録された動き情報との対比により被判定者が登録された者であるか否かを確認することができる。

(2) 生体の判定部位として手のひらを使用し、生体の屈伸の一例として手のひらの開閉を用いて動き情報を取得しているので、被判定者は手のひらの開閉という単純な操作のみで特別な操作を強いることなく、生体か否かの判定を受けることができるという利点がある。

(3) 非接触型の手のひら血管パターン認証において、手のひらの生体判定の方法を、安価なコストのセンサで実現することができる。

(4) 人間に共通の生体の動きを用いて照合することができ、また、複数の画像から三次元的な情報を抽出して照合を行うので、判定精度が高められる。

(5) 手のひらに光を照射して撮像した画像に基づいて生体判定を行い、その判定に基づき個人を確認することができる。

(6) 生体認証装置は、照射部品、撮像部品を持ち、生体判定のために、登録又は照合又は識別を行う際、手の開閉の指示を行い、その動きの有無により生体確認を行うので、生体か否かを容易に確認できる。

(7) 生体として例えば、手のひらの動きの確認は、被判定者の手のひらの動きと、複数の人物から採取した手のひらの動き情報との照合によって判定し、１対Ｎ認証を行うことができる。

(8) 生体として例えば、手のひらの動きの測定では、ビーム光の照射位置と、反射光の強弱から計算した手のひらの各点までの距離を値に持つ画像を用いるので、精度の高い判定が行える。反射光の強弱は撮像部２８に手のひら４から入光する反射光の強さであり、画像の各画素の輝度である。

(9) 生体として例えば、手のひらの動きを判定する距離を値に持つ画像は、手のひらを開くように指示したときから、手のひらを閉じるように指示したときまでに撮像された複数の画像を用いており、斯かる画像から動き情報を取得している。

(10) 生体として例えば、手のひらの動き情報は、距離を値に持ち、手のひらの動き、手のひらの高さ、手のひらの大きさ、手のひらの向き、撮像したときの時間について正規化したものである。

(11) 生体として例えば、手のひらの動き情報は、距離を値に持ち、複数の画像から手のひらの動きについて正規化した画像の凹凸を表わす数値を、撮像したときの時間について正規化したものとする。

(12) 生体か否かを判定する際、手のひらを握る動作をさせ、人間の手と同様の変形が行われるか否かを確認し、手のひらと同様の変形がされなかった場合は、手ではないと判定する。対象の形状の測定には、能動的照明を用いた明るさに基づく三次元測定技術を用いるので、判定精度が高められる。

(13) 生体として例えば、手のひらと同等の反射特性を持つ物体による偽造物を手ではないと判定することができる。

〔第２の実施の形態〕

次に、第２の実施の形態について、図３１、図３２及び図３３を参照する。図３１は、第２の実施の形態に係る処理手順を示すフローチャート、図３２は、正規化された手のひら画像に当てはめる楕円球を示す図、図３３は、手のひらの開閉における楕円球の当てはめを示す図である。図３１、図３２及び図３３に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

第２の実施の形態に係る生体認証装置、生体認証プログラム又は生体認証方法では、手のひらの動きの情報表現が第１の実施の形態と異なっているが、第１の実施の形態と同様の装置（図１）を使用する。

この処理手順では、図３１に示すように、距離の値の正規化（ステップＳ１０１）、手のひら領域の高さの正規化（ステップＳ１０２）、手のひら領域の大きさの正規化（ステップＳ１０３）は第１の実施の形態（図２１）と同様であるので、その説明は省略する。

この実施の形態では、手のひら領域の大きさの正規化の後、幾何学モデルの一例として楕円球を想定し、この楕円球への当てはめを行う（ステップＳ１０４）。即ち、ステップＳ１０１〜ステップＳ１０３を経て生成された、距離の値と手のひら領域の高さと手のひら領域の大きさが正規化された画像に対し、楕円球９２（図３２、図３３）の当てはめを行う。この楕円球９２の当てはめに基づき、楕円球９２の係数の動きフレームの時間の正規化を行い（ステップＳ１０５）、この処理を終了する。

手のひら領域に楕円球９２を当てはめる際の座標系は、図３２に示すように、楕円球９２に中心座標（Ｘ、Ｙ、Ｚ）を取り、手のひらセンサ６の撮像部２８の原点Ｑを基準とする。この場合、ａはｘ軸方向、ｂはＹ軸方向、ｃはＺ軸方向に、楕円球９２の中心座標（Ｘ₁、Ｙ₁、Ｚ₁）から最も離れた部分までの距離である。

そこで、画像の左上を原点とし、斯かる座標系及び楕円球９２を表す次式を設定すれば、

であるから、この方程式のＸ₁、Ｙ₁、Ｚ₁、ａ、ｂ、ｃの係数を求める。この係数の求め方は、距離マップ上で手のひら４の領域内の画素を標本点（サンプル）として、最小二乗法、ニュートン法、マーカート法等による反復近似法を用いればよい。この結果、各フレームに対して楕円球９２をあてはめた結果として、６つの係数（Ｘ₁、Ｙ₁、Ｚ₁、ａ、ｂ、ｃ）が求められる。

手のひら領域に対する既述の幾何学モデルの一例である楕円球９２の当てはめは、手のひら４を開いた状態から閉じた状態に動作を遷移させた場合、手のひら４を開いた状態では、図３３Ａに示すように、楕円球９２上に手のひら４の窪みを当てた状態となり、この状態から、図３３Ｂに示すように、手のひら４内に楕円球９２を置き、その楕円球９２を各指で囲い込む状態となり、この状態から図３３Ｃに示すように、手のひら４を閉じる方向に指を移動させた状態となる。この場合、手のひら４に当てはめられた楕円球９２は細長くなる。手のひら４を閉じる直前の状態では、図３３Ｄに示すように、楕円球９２の内側に湾曲状態にある手のひら４が内包された状態となる。また、手のひら４を完全に閉じて拳を形成した状態では、図３３Ｅに示すように、手のひら４の下面側に楕円球９２の球面が一致する状態となる。このように、楕円球９２の輪郭線に相当し、手のひら４を開いた状態から閉じた状態までの動作が図３３Ａ→図３３Ｂ→図３３Ｃ→図３３Ｄ→図３３Ｅに示すように遷移する。この動作遷移が生体か否かを判定するための情報となる。

そこで、手のひら４を開いたときのフレームの時間をｔ＝０、手のひら４を閉じたときのフレームの時間をｔ＝１とし、途中のフレームを時間ｔ＝０〜１間のフレームとして、時間的に正規化する。最終的に、時間ｔをｔ＝０〜１まで、０．１刻みで１１枚のフレームに相当する六つの係数を記録する。時間ｔ＝０．１から時間ｔ＝０．９までのフレームが存在していない場合には、最も近いフレームの画像の楕円球９２の係数を、係数毎に補完することにより得る。そして、このような手のひら４の動きの共通特徴を得るために、複数の人物の情報の平均を求めるには、フレーム毎に、楕円球９２の係数毎に平均を求めればよい。

また、判定対象の動きと、動きの共通特徴の照合を求める場合は、フレーム毎、楕円球の係数毎に差分を求め、さらに、予め定めた重みに従って差分の重み付けの和を求め、その全てのフレームに亘って累積した値が、予め定めた閾値より下回るか否かによって、生体の動きと同一か否かを判定することができる。

この実施の形態において、特徴事項を列挙すれば以下の通りである。

(1) 手のひらの動き情報は、距離を値に持ち、手のひらの動き、手のひらの高さ、手のひらの大きさについて正規化した画像に、幾何学モデルをあてはめた際の、幾何学モデルを規定する係数を、撮像したときの時間について正規化したものである。

(2) 手のひらの動きの共通モデルとの照合により生体か否か判定されるので、登録時の手のひらの動きと判定時の手のひらの動きが多少異なっても、生体であるか否かを判定でき、この生体であることを確認した後、特定の個人であるか否かを確認することができる。

〔第３の実施の形態〕

次に、第３の実施の形態について、図３４及び図３５を参照する。図３４は、第３の実施の形態に係る処理手順を示すフローチャート、図３５は、手のひらの凹凸率の算出を説明するための図である。図３４及び図３５に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この第３の実施の形態では、手のひらの動きの情報表現に手のひら４の凹凸率を演算する処理を含んでおり、この点で第１の実施の形態と異なる。そこで、この第３の実施の形態の処理手順では、図３４に示すように、第１の実施の形態（図２１）と同様に距離の値の正規化を行い（ステップＳ１１１）、この正規化の後、距離の値の画像に対し、手のひら領域の中心の高さを基準として、その基準から外れた距離を持つ画素の手のひら領域内の割合を示す凹凸率を算出し（ステップＳ１１２）、この凹凸率の動きフレームの時間の正規化を行う（ステップＳ１１３）。

この凹凸率の算出（ステップＳ１１２）では、手のひら領域に幾何学モデルの一例として外接矩形９４を想定し、この外接矩形９４（図３５Ａ）をあてはめ、外接矩形９４の中心Ｐの画素の高さの値ｈを求める。手のひら領域内で予め定めたΔｈに従ったｈ±Δｈの画素数ｓを求める。即ち、画素数ｓは、手のひら領域の外接矩形９４の中心ＰからΔｈだけ外れた画素の数である。この画素数ｓは面積であるから、手のひら領域の全体の面積をＳとすると、面積ｓのＳに対する割合をｒとすると、この割合ｒは、

となり、これが凹凸率として求められる。

図３５Ａに示すように、手のひら４を開いているときの第０フレームの距離マップｄ₀（ｉ，ｊ）において、手のひら領域をＲ₀とすると、その外接矩形９４は開いている手のひら４の中心から最も離れた指の外形線に触れる枠線である。

手のひら４を閉じ始めると、図３５Ｂに示すように、手のひら４の外形変化に応じて外接矩形９４は縮小する。図中斜線で示す部分９６は手のひら領域の外接矩形９４の中心ＰからΔｈだけ外れた画素の部分である。手のひら４が閉じられ、閉状態の最終的な位置では、図３５Ｃに示すように、手のひら４の外形変化に応じて外接矩形９４はさらに縮小し、手のひら領域の外接矩形９４の中心ＰからΔｈだけ外れた画素の部分が拡大し、手首の近傍部分までΔｈだけ外れた画素の部分が波及している。手のひら領域の外接矩形９４の中心の高さからΔｈだけ外れる画素が斜線で示すように分布し、手のひら４を開いた状態から閉じた状態に遷移するとき、その動作遷移は凹凸率の変化によって知ることができる。

この外接矩形９４の中心Ｐの座標を（Ｃｘ，Ｃｙ）とすると、その座標の高さｈは、ｄ₀（Ｃｘ，Ｃｙ）として求められる。距離マップｄ₀（ｉ，ｊ）上の手のひら領域Ｒ₀内で予め定めたΔｈに従ったｈ±Δｈの値を持つ画素数ｓが求められるので、手のひら領域Ｒ₀の全体の面積Ｓ（手のひら領域Ｒ₀に含まれる画素数）に対する画素数ｓの割合ｒは既述の通り求められる。

そして、凹凸率の動きフレームの時間の正規化（ステップＳ１１３）では、既述の通り、手のひら４を開いたときのフレームの時間をｔ＝０、手のひら４を閉じたときのフレームの時間をｔ＝１とし、途中のフレームを時間ｔ＝０〜１までの間のフレームとして、時間的に正規化する。最終的に、時間ｔを０から１まで、０．１刻みで１１枚のフレームに相当する凹凸率を記録する。時間０．１から時間０．９までのフレームが存在しない場合は、最も近いフレームの画像の凹凸率を補間することにより得る。

動きの共通特徴を得るために、複数の人物の情報の平均を求めるには、フレーム毎に、凹凸率の平均を求める。また、判定対象の動きと、動きの共通特徴の照合を求める場合は、フレーム毎に凹凸率の差分を求め、その全てのフレームに亘って累積した値が、予め定めた閾値より下回るか否かによって、生体の動きと同一か否かを判定すればよい。

この実施の形態によれば、手のひらの動き情報は、距離を値に持ち、複数の画像から手のひらの動きについて正規化した画像の凹凸を表わす数値の最大値とし、精度の高い動き情報を取得することができ、このような動き情報を用いれば、生体判定の判定精度が高められる。

〔第４の実施の形態〕

次に、第４の実施の形態について、図３６を参照する。図３６は、第４の実施の形態に係る処理手順を示すフローチャートである。図３６に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この第４の実施の形態では、第３の実施の形態に係る処理手順（図３４）を簡略化したものである。

この処理手順では、図３６に示すように、距離の値の正規化（ステップＳ１２１）、凹凸率の算出（ステップＳ１２２）を行い、最大凹凸率の算出を行う（ステップＳ１２３）。距離の値の正規化（ステップＳ１２１）及び凹凸率の算出（ステップＳ１２２）の処理は第３の実施の形態と同様である。

最大凹凸率の算出（ステップＳ１２３）では、手のひら４を開いたときのフレームから手のひら４を閉じたときのフレームまでの凹凸率の中で最大の値を求める。この最大凹凸率を動き特徴に用いる。そこで、動きの共通特徴を得るために、複数の人物の情報の平均を求めるには、最大凹凸率の平均を求める。この場合、最大凹凸率は、既述の凹凸率ｒを第０フレームから第１０フレームまで演算し、その中でｒの最大値を最大凹凸率とする。

判定対象の動きと、動きの共通特徴の照合を求める場合は、最大凹凸率の差分が予め定めた閾値より下回るか否かによって判断する。即ち、生体の動きと同等に判定対象が変化するかを確認する。

〔第５の実施の形態〕

第５の実施の形態について、図３７を参照する。図３７は、第５の実施の形態に係る生体認証装置のハードウェア構成を示す図である。図３７に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図３７において、図１と同一部分には同一符号を付してある。

この生体認証装置２は、図３７に示すように、プロセッサ１００と、プログラム記憶部１０２と、データ記憶部１０４と、ＲＡＭ（Random-Access Memory）１０６と、表示部１０８と、手のひらセンサ６とを備え、これら機能部はバス１１０で連係されている。

プロセッサ１００は、プログラム記憶部１０２にあるＯＳ（Operating System）１１２を実行するとともに、生体認証プログラム１１４の他、各種アプリケーションプログラムを実行する。

プログラム記憶部１０２は記録媒体で構成され、既述のＯＳ１１２、生体認証プログラム１１４の他、各種のアプリケーションやサブルーチン等を格納する。データ記憶部１０４は記録媒体で構成され、既述の手のひら動き距離マップ記憶部１２、手のひら動き共通特徴記憶部１８、生体特徴記憶部２４、キャリブレーション面記憶部７２を備えている。ＲＡＭ１０６はワークエリアを構成する。

表示部１０８は情報提示手段の一例であって、ＬＣＤ（Liquid Crystal Display）表示器等で構成され、判定等の処理途上の指示メッセージや、判定結果等を表示する。処理途上の指示メッセージは、被判定者に対し、手のひら４の開閉の指示である。この指示メッセージは、音声で行ってもよく、この表示部１０８には音声メッセージを発する音声発生手段を含んでもよい。

手のひらセンサ６は既述の通り、撮像部２８と、照明部３０と、照明制御部３２と、撮像制御部３４と、画像取得部３６とを備え、これら機能部はプロセッサ１００によって制御される。

斯かる構成によれば、ＯＳ１１２及び生体認証プログラム１１４の実行に基づき、既述の手のひら領域抽出部８、手のひら領域距離算出部１０、手のひら動き特徴抽出部１４、手のひら動き共通特徴抽出部１６、手のひら動き特徴照合部２０、生体特徴データ生成部２２及び生体特徴データ照合部２６がプロセッサ１００及びＲＡＭ１０６で構成され、既述の処理が実行される。

〔他の実施の形態〕

(1) 上記実施の形態では、生体の屈伸の一例として手のひらの開閉を例示したが、生体としては手のひらの他、手、腕、足等の生体部位の屈伸であってもよい。その場合、手のひらセンサ６は生体センサ、手のひら領域抽出部８は生体領域抽出部、手のひら領域距離算出部１０は生体領域距離算出部、手のひら動き距離マップ記憶部１２は生体の動き距離マップ記憶部、手のひら動き特徴抽出部１４は生体の動き特徴抽出部、手のひら動き共通特徴抽出部１６は生体の動き共通特徴抽出部、手のひら動き共通特徴記憶部１８は生体の動き共通特徴記憶部、手のひら動き特徴照合部２０は生体の動き特徴照合部、生体特徴データ生成部２２、生体特徴記憶部２４、生体特徴データ照合部２６で構成してもよい。

(2) 上記実施の形態の手のひらの開閉に対し、手の屈伸、手のひらの屈伸又は指の屈伸を撮像し、手、手のひら又は指の屈伸を表す複数の画像を上記実施の形態と同様に用いて生体か否かを判断する構成としてもよい。生体として手の動きを判定対象とすれば、簡易に且つ高精度に生体か否かを判定することができ、結果として生体認証の精度を向上させることができる。

(3) 上記実施の形態では、手のひらの開状態から閉状態への遷移動作を撮像しているが、手のひら４の閉状態を動作開始点とし、閉状態から開状態への遷移動作を撮像する構成としてもよい。

(4) 上記実施の形態では、手のひらの動きを特定するための手段として幾何学モデルを想定し、その一例として楕円球９２（図３２）や外接矩形９４（図３５）を例示したが、手のひらの動きにその他の多面体や球体を当てはめ、凹凸や基準位置からの距離を特定するための既述の係数を算出してもよい。

(5) 上記実施の形態では、静脈認証の一例として手のひら画像を例示したが、本発明は静脈認証以外の手のひらの動き情報を用いて生体か否かを判定する場合にも適用できる。

(6) 上記実施の形態では、手のひら画像を取得する手段として手のひらセンサ６を例示したが、本発明では、手のひら以外の画像を取得するセンサとして判定情報を取得する他の検出手段を用いてもよい。

次に、以上述べた本発明の実施の形態から抽出される技術的思想を請求項の記載形式に準じて付記として列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本発明が限定されるものではない。

（付記１）生体を屈伸させて撮像する撮像手段と、
前記撮像手段で得た複数の画像から生体の屈伸の動き情報を抽出し、この動き情報により生体か否かを判定する判定手段と、
を備えることを特徴とする生体認証装置。

（付記２）付記１の生体認証装置において、
前記判定手段は、被判定者の生体の屈伸を表す動き情報と、複数の人から採取された動き情報とを照合し、被判定者が生体か否かを判定することを特徴とする生体認証装置。

（付記３）付記１の生体認証装置において、
前記生体に光を照射する光照射手段と、
該光照射手段による前記生体に対する光照射位置と、該生体の反射光とから算出した前記生体の距離を表す距離情報を持つ画像を用いて前記生体の動きを測定する測定手段と、
を備えることを特徴とする生体認証装置。

（付記４）付記３の生体認証装置において、
前記距離情報を持つ前記画像は、生体を開状態から閉状態、又は閉状態から開状態に至るまでに撮像された複数の画像であることを特徴とする生体認証装置。

（付記５）付記１の生体認証装置において、
前記判定手段の判定に用いる前記動き情報は、付記３の距離情報を持ち、生体の動き、高さ、大きさ、向き、撮像時の時間について正規化したものであることを特徴とする生体認証装置。

（付記６）付記１の生体認証装置において、
前記判定手段の判定に用いる前記動き情報は、付記３の距離情報、付記４の画像を、生体の動き、高さ又は大きさについて正規化した画像に、幾何学モデルをあてはめ、その幾何学モデルを規定する係数を、撮像時の時間について正規化したものであることを特徴とする生体認証装置。

（付記７）付記１の生体認証装置において、
前記判定手段の判定に用いる前記動き情報は、付記３の距離情報、付記４の画像を、生体の動きについて正規化した画像の凹凸を表わす数値を撮像時の時間について正規化したものであることを特徴とする生体認証装置。

（付記８）付記１の生体認証装置において、
前記判定手段の判定に用いる前記動き情報は、付記３の距離情報、付記４の画像の中で、生体の動きについて正規化した画像の凹凸を表わす数値の最大値とすることを特徴とする生体認証装置。

（付記９）生体を屈伸させて撮像するステップと、
前記撮像により得た複数の画像から生体の屈伸の動き情報を抽出し、この動き情報により生体か否かを判定するステップと、
を含むことを特徴とする生体認証方法。

（付記１０）付記９の生体認証方法において、
被判定者の生体の動きと、複数人から採取された動き情報とを照合し、被判定者が生体であるか否かを判定するステップを含むことを特徴とする生体認証方法。

（付記１１）付記９の生体認証方法において、
光照射による生体に対する光の照射位置と、生体の反射光とから算出した生体までの距離を表す距離情報を持つ画像を用いて前記動き情報を取得するステップを含むことを特徴とする生体認証方法。

（付記１２）付記１１の生体認証方法において、
前記距離情報を持つ前記画像は、生体を開状態から閉状態、又は閉状態から開状態に至るまでに撮像された複数の画像であることを特徴とする生体認証方法。

（付記１３）付記９の生体認証方法において、
前記判定に用いる前記動き情報は、付記１１の距離情報を持ち、生体の動き、高さ、大きさ、向き、撮像時の時間について正規化したものであることを特徴とする生体認証方法。

（付記１４）付記９の生体認証方法において、
前記判定に用いる前記動き情報は、付記１１の距離情報、付記１２の画像を生体の動き、高さ又は大きさについて正規化した画像に、幾何学モデルをあてはめ、その幾何学モデルを規定する係数を、撮像時の時間について正規化したものであることを特徴とする生体認証方法。

（付記１５）付記９の生体認証方法において、
前記判定に用いる前記動き情報は、付記１１の距離情報、付記１２の画像を、生体の動きについて正規化した画像の凹凸を表わす数値を撮像時の時間について正規化したものであることを特徴とする生体認証方法。

（付記１６）付記９の生体認証方法において、
前記判定に用いる前記動き情報は、付記１１の距離情報、付記１２の画像の中で、生体の動きについて正規化した画像の凹凸を表わす数値の最大値とすることを特徴とする生体認証方法。

（付記１７）生体認証プログラムをコンピュータ読取り可能に格納した記録媒体であって、
生体を屈伸させて撮像する撮像機能と、
前記撮像により得た複数の画像から生体の屈伸の動き情報を抽出し、この動き情報により生体か否かを判定する判定機能と、
を前記コンピュータに実行させることを特徴とする生体認証プログラムを格納した記録媒体。

以上説明したように、生体認証装置、生体認証方法及び生体認証プログラムの最も好ましい実施の形態等について説明したが、本発明は、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は発明を実施するための最良の形態に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。

本開示の生体認証装置、生体認証方法及び生体認証プログラムは、生体の屈伸として例えば、握る、掴む等の開状態から閉状態又は閉状態から開状態への手のひらを遷移させて撮像し、その撮像によって取得された複数の画像から生体の動き情報を用いて生体か否かの判定を行うことができ、また、登録された動き情報との対比により被判定者が登録された者であるか否かを判定することができ、静脈認証や形態認証等に幅広く利用でき、有用である。

第１の実施の形態に係る生体認証装置を示す図である。手のひらセンサの動作の一例を示す図である。生体判定の包括的な処理を示すフローチャートである。手のひら動き共通特徴の生成の処理手順を示すフローチャートである。被判定者の判定用生体特徴登録の処理手順を示すフローチャートである。判定処理の処理手順を示すフローチャートである。手のひら領域の抽出を説明するための図である。照明がある状態の手のひらを示す画像を示す写真である。照明がない状態の手のひらを示す画像を示す写真である。高さの検出原理を説明するための図である。高さを求めるための図である。反射係数を用いた距離の換算を行う原理を説明するための図である。キャリブレーション面の画像を示す図である。距離マップを示す図である。距離マップ生成に用いる手のひらセンサを示す図である。距離マップ生成機能部を示す図である。距離マップ生成のための事前処理の処理手順を示すフローチャートである。距離マップ生成のための実行処理の処理手順を示すフローチャートである。手のひら領域距離算出例を示す写真である。手のひらの動き抽出の処理手順を示すフローチャートである。手のひらの動きの情報表現の正規化処理の処理手順を示すフローチャートである。手のひらを開いた状態及び閉じかかった状態を示す図である。画像フレームを示す図である。手のひら領域の高さの正規化を示す図である。手のひら領域の大きさの正規化を示す図である。手のひら領域の位置の正規化を示す図である。手のひら領域の向きの正規化を示す図である。手のひら動きフレームの時間の正規化を示す図である。手のひら動き共通特徴及び被判定者の動き特徴を示す図である。画像フレームの比較を示す図である。第２の実施の形態に係る処理手順を示すフローチャートである。正規化された手のひら画像に当てはめる楕円球を示す図である。手のひらの開閉における楕円球の当てはめを示す図である。第３の実施の形態に係る処理手順を示すフローチャートである。手のひらの凹凸率の算出を説明するための図である。第４の実施の形態に係る処理手順を示すフローチャートである。第５の実施の形態に係る生体認証装置のハードウェア構成を示す図である。

符号の説明

２生体認証装置
４手のひら
６手のひらセンサ
８手のひら領域抽出部
１０手のひら領域距離算出部
１２手のひら動き距離マップ記憶部
１４手のひら動き特徴抽出部
１６手のひら動き共通特徴抽出部
１８手のひら動き共通特徴記憶部
２０手のひら動き特徴照合部
２２生体特徴データ生成部
２４生体特徴記憶部
２６生体特徴データ照合部
２８撮像部
３０照明部
３１光源
３２照明制御部
３４撮像制御部
３６画像取得部
３８、４０画像
４２背景画像
４４画像
４６ビーム光
４８位置
５０光軸
５２平面
６４画像
６６キャリブレーション面
６８画像
７０測定点
７２キャリブレーション面記憶部
７４ビーム光位置検出部
７６画像
７８枠線
８０１〜８０ｎ画像フレーム
８１、８２、８３、８４、９１、９２フレーム
８６長軸８６（慣性主軸）
８８画像
９０フレーム
９２楕円球
９４外接矩形
１００プロセッサ
１０２プログラム記憶部
１０４データ記憶部
１０６ＲＡＭ
１０８表示部
１１０バス
１１２ＯＳ
１１４生体認証プログラム

Claims

生体を屈伸させて撮像する撮像手段と、
屈伸の開始から終了までの時間に前記撮像手段で得た複数の画像から、所定時間間隔で記録された複数の画像フレーム毎に生体の屈伸の動き情報を抽出し、被判定者の前記画像フレーム毎の前記動き情報と、複数の人から採取された前記動き情報を前記画像フレーム毎に平均して求めた動き共通特徴情報とを、対応する前記画像フレーム毎に照合し、前記画像フレーム毎に前記被判定者の前記動き情報と前記動き共通特徴情報との差分を求め、該差分の累積値が閾値を超えたか否かにより、被判定者が生体か否かを判定する判定手段と、
を備えることを特徴とする生体認証装置。
請求項１の生体認証装置において、
前記生体に光を照射する光照射手段と、
該光照射手段による前記生体に対する光照射位置と、該生体の反射光とから算出した前記生体の距離を表す距離情報を持つ画像を用いて前記生体の動きを測定する測定手段と、
を備えることを特徴とする生体認証装置。
生体を屈伸させて撮像するステップと、
屈伸の開始から終了までの時間に前記撮像により得た複数の画像から、所定時間間隔で記録された複数の画像フレーム毎に生体の屈伸の動き情報を抽出し、被判定者の前記画像フレーム毎の前記動き情報と、複数の人から採取された前記動き情報を前記画像フレーム毎に平均して求めた動き共通特徴情報とを、対応する前記画像フレーム毎に照合し、前記画像フレーム毎に前記被判定者の前記動き情報と前記動き共通特徴情報との差分を求め、該差分の累積値が閾値を超えたか否かにより、被判定者が生体か否かを判定するステップと、
を含むことを特徴とする生体認証方法。
コンピュータにより実行され、生体から取得した画像を用いる生体認証プログラムであって、
生体を屈伸させて撮像する撮像機能と、
屈伸の開始から終了までの時間に前記撮像により得た複数の画像から、所定時間間隔で記録された複数の画像フレーム毎に生体の屈伸の動き情報を抽出し、被判定者の前記画像フレーム毎の前記動き情報と、複数の人から採取された前記動き情報を前記画像フレーム毎に平均して求めた動き共通特徴情報とを、対応する前記画像フレーム毎に照合し、前記画像フレーム毎に前記被判定者の前記動き情報と前記動き共通特徴情報との差分を求め、該差分の累積値が閾値を超えたか否かにより、被判定者が生体か否かを判定する判定機能と、
を前記コンピュータに実行させることを特徴とする生体認証プログラム。