JP5279007B2

JP5279007B2 - 照合システム、照合方法、プログラム及び記録媒体

Info

Publication number: JP5279007B2
Application number: JP2008168931A
Authority: JP
Inventors: 高野　　茂; 謙介馬場
Original assignee: Kyushu University NUC
Current assignee: Kyushu University NUC
Priority date: 2008-06-27
Filing date: 2008-06-27
Publication date: 2013-09-04
Anticipated expiration: 2028-06-27
Also published as: JP2010009377A

Description

本発明は、照合システム、照合方法、プログラム及び記録媒体に関し、特に、画像撮影機能を備えた携帯通信端末と、前記携帯通信端末の画像撮影機能により撮影して得られた画像情報に基づいて照合処理を行うサーバを備える照合システム等に関するものである。

金融や入出国管理などの高度な安全性が求められる場面において、本人確認を行う機会が増大している。本人確認のためには、人間の生体に関する情報を用いたバイオメトリック認証が特に注目されている。この認証に用いる生体情報としては、身体的な特徴と行動的な特徴の２種類がある。前者は、指紋、掌形、顔、虹彩、静脈等が相当し、後者は、声紋、署名等が代表的である。バイオメトリック認証は、ICカード等の携帯デバイスを所持することやパスワードを覚えることを必要とせず、利用者の負担を軽減できることから、従来の認証方法と比較して利便性が高い。また、全ての人が異なる情報を所持する唯一性という生体情報特有の性質を用いるので、なりすまし等の攻撃に対して有効なシステムを構築しうる。

ただし、生体情報の元となる生体自身は変化させることが困難である。そのため、一度生体情報が漏洩してしまうと、同じ生体情報を安全に利用することができない。これは認証の安全性としての基本的な概念のひとつであるフォールトトレラントの観点からは、単純な秘匿情報を用いた認証より脆弱であるといえる。この問題のうち、特にサービス提供者等の認証者側にあらかじめ登録してある生体情報の漏洩については、生体情報を一方向関数や適切な暗号化を用いて変換することで、登録している情報の取り消しを可能にする解法が提案されている。このアイデアに基づくバイオメトリック認証は取り消し可能であると呼ばれる（非特許文献１参照）。

N．K．Ratha、外３名，"Generating Cancelable Fingerprint Templates"，IEEE Transactions on pattern analysis and machine intelligence，vol.29，no.4，pp.561-572

しかしながら、今後、バイオメトリック認証がユビキタスシステムに導入された場合、情報漏洩の可能性が増加することが予想される。

さらに、従来のバイオメトリック認証は、生体情報の採取条件が一定の範囲内にあることを前提としていた。しかしながら、例えばデジタルカメラや携帯電話などの画像撮影機能を備えた携帯デバイス等により生体情報を撮影してバイオメトリック認証を実現する場合、生体情報は、様々な撮影条件（距離、光量、など）下で撮影される。そのため、情報処理量が増加し、携帯デバイス等の計算資源が制限された環境では実装することは困難となる。他方、単純に情報量を削減して処理を簡略化しても、認証処理の精度が劣化することとなる。これは、生体情報による照合処理において、一般的に存在する課題である。

そこで、本願発明は、例えば、手相占いサービス等へも応用可能な、画像撮影機能を備えた携帯通信端末を用いたバイオメトリック認証において、生体情報の情報漏洩を防止するとともに、認証の精度保証を行いながら認証処理の負担を軽減して実現可能な照合システム等を提案することを目的とする。

本願発明の第１の観点は、画像撮影機能を備えた携帯通信端末と前記携帯通信端末の画像撮影機能により撮影して得られた画像情報に基づいて照合処理を行うサーバを備える照合システムにおいて、前記携帯通信端末は、生体情報を画像データとして取得する画像撮影手段と、撮影して得られた画像情報に基づいて特徴データを一方向に生成する画像処理手段と、前記特徴データを前記サーバに送信する特徴データ送信手段、を備え、前記サーバは、前記特徴データを受信する特徴データ受信手段と、前記特徴データ及びデータベースに記憶されたデータに対して近似照合処理を行う近似照合手段、を備える。

本願発明の第２の観点は、第１の観点の照合システムであって、前記画像データは掌紋画像データであり、前記画像処理手段は、前記掌紋画像データによって表わされる画像から特徴点を抽出する特徴点抽出手段と、抽出された特徴点から文字列を生成する文字列生成手段、を有し、前記特徴データ送信手段は、前記特徴データとして前記文字列を前記サーバに送信するものであり、前記近似照合手段は、近似文字列照合処理を行う。

本願発明の第３の観点は、第２の観点の照合システムであって、前記文字列生成手段は、前記掌紋画像データによって表わされる画像の一点を中心点とし、中心点から時計回り又は反時計回りに特徴点を文字列として並べる。

本願発明の第４の観点は、第２又は第３の観点の照合システムであって、前記画像処理手段は、前記掌紋画像データをHaar-like特徴により変換して得られた複数の特徴画像を、リフティングパラメータにより重み付けして組み合わせて、新たな特徴画像を生成する。

本願発明の第５の観点は、第２から第４のいずれかの観点の照合システムであって、前記データベースに記憶されたデータは、前記携帯通信端末の利用者の生体情報を復元可能な情報に基づかない、手相占いサービスに関するものであり、前記サーバは、前記近似照合手段の照合結果を判定する照合結果判定手段と、前記照合結果判定手段による判定結果を前記携帯通信端末に送信する判定結果送信手段、を備え、前記携帯通信端末は、前記判定結果を受信する判定結果受信手段と、表示手段に対して、前記判定結果を表示させる判定結果表示制御手段、を備える。

本願発明の第６の観点は、画像撮影機能を備えた携帯通信端末と前記携帯通信端末の画像撮影機能により撮影して得られた画像情報に基づいて照合処理を行うサーバを備える照合システムにおける照合方法であって、前記携帯通信端末の画像処理手段が、画像データとして取得された生体情報に基づいて特徴データを一方向に生成するステップと、前記携帯通信端末の特徴データ送信手段が、前記特徴データを前記サーバに送信するステップと、前記サーバの特徴データ受信手段が、前記特徴データを受信するステップと、前記サーバの近似照合手段が、前記特徴データとデータベースに記憶されたデータに対して近似照合処理を行うステップ、を含む。

本願発明の第７の観点は、コンピュータを、請求項１から５のいずれかに記載の画像処理手段として機能させるためのプログラムである。

本願発明の第８の観点は、第７の観点のプログラムを記録した記録媒体である。

なお、携帯通信端末に備えられる画像撮影機能は、生体情報を撮影することに限定されるものではなく、多様な撮影条件下で撮影されるものであり、例えば掌紋画像のような生体情報に関する画像を得るものであってもよい。

また、第１の観点において、画像処理手段は、一方向性関数を用いて特徴データを生成するようにしてもよい。

さらに、第２の観点において、特徴点抽出手段は、エッジを検出し、検出したエッジから特徴点を抽出するものであってもよく、また、掌の輪郭の範囲内において、掌のしわの特徴点として、交差点、端点、及び、分岐点の少なくとも一つを抽出するものであってもよい。

さらに、第２の観点において、文字列生成手段は、特徴点のそれぞれにおいて掌のしわの線が水平方向右向きに対して有する角度を量子化した値と、特徴点の種類を示す値とに基づき生成されたラベルを、特徴点の座標に付すことにより、特徴点のそれぞれをラベル付き座標として表した後、特徴点のそれぞれが、中心点から時計回りに並ぶような規則によってラベル付き座標のそれぞれを順に結合し生成された文字列により、前記特徴点の集合を表すようにしてもよい。

さらに、第４の観点において、リフティングパラメータは、Haar-like特徴のそれぞれを分類して構成されるクラスにおいて、クラス内の特徴が近接し、クラス間の特徴が離れるように決定されたものであってもよい。

本願発明によれば、画像撮影機能を備えた携帯通信端末において撮影された、生体情報に関する画像に基づいて特徴データを一方向に生成し、キャンセラブルなバイオメトリック認証を実現することによって、生体情報そのものを秘匿することが可能となる。このことにより、携帯通信端末の利用者は、撮影した生体情報を自分の携帯通信端末において管理することが可能となり、サーバからの情報漏洩を心配することなく安心してサービスを利用することができる。

特に、従来のバイオメトリック認証では、サーバが、少なくとも一度は、利用者の生体情報を復元可能な情報について通知を受けていた。しかし、例えば請求項５に係る発明にある手相占いサービスであれば、携帯通信端末の利用者は、自分の生体情報を復元可能な情報としてサーバに通知する必要がなく、サーバからの情報漏洩を心配せずに、安心してサービスを利用することができる。

本願発明では、キャンセラブルな認証を実現するために、携帯通信端末に特徴点の抽出・変換処理を移行している。一般に、生体情報の画像採取には曖昧さが含まれている（例えば、位置ずれ、拡大・縮小、回転、ノイズ混入、取りこぼし、抽出ミス、ゆがみ、など）。画像採取時の精度により、必要となる特徴点の抽出・変換処理の量が変わる。携帯通信端末は計算資源が限られており、この処理を軽減することが重要となる。本願発明では、サーバにおいて近似照合処理により緩やかな照合処理を行う。照合処理でなく近似照合処理を用いることにより、計算量は線形から二乗になるが、サーバは計算資源が豊富であり、実現可能である。このことにより、携帯通信端末における計算量を軽減することができる。

従来、画像採取時の精度保証は、専用スキャナを用いて、生体の固定やノイズ削減により行われていた。しかしながら、携帯通信端末においては、専用スキャナは実現困難である。本願発明にあるように、サーバの近似照合により画像採取時の精度保証を実現することにより、携帯通信端末の利用者は、画像の精度を気にすることなく自由に画像を採取して、楽しくサービスを利用することができる。

また、請求項２に係る発明にあるように、画像をそのまま用いた２次元情報での照合ではなく、１次元である文字列情報での照合を用いて、例えば、設定された特徴点の種類・順序に基づき、挿入・削除・置換・入れ替えなどを許した近似文字列照合を行うことにより、更に計算量を軽減できる。

さらに、請求項４に係る発明にあるように、Haar-like特徴を用いることにより、計算資源の限られた携帯通信端末でも高い精度で特徴点を抽出することができる。

以下では、図面を参照して、本願発明の実施の形態について説明する。なお、本願発明は、これら実施例に限定されるものではない。

図１は、本発明の実施の形態の一つである照合システム１の構成と処理の流れを示すブロック図である。

図１において、照合システム１は、複数の携帯通信端末３_ｌ（ｌ＝１、・・・、Ｎ）と、サーバ５を備える。携帯通信端末３_ｌは、生体情報７（例えば、携帯通信端末３_ｌの利用者の掌など）を撮影して画像情報を取得する画像取得部１１と、画像取得部１１により取得された画像情報に対して画像処理を行い、特徴データを生成する画像処理部１３と、特徴データをサーバ５に送信する特徴データ送信部１５を備える。また、サーバ５は、特徴データを受信する特徴データ受信部３１と、データベース３３と、特徴データとデータベース３３に格納される情報とを近似照合する近似照合部３５と、近似照合結果を判定する照合結果判定部３７と、判定した照合結果を携帯通信端末３_ｌに送信する判定結果送信部３９を備える。また、携帯通信端末３_ｌは、判定結果を受信する判定結果受信部１７と、表示部２１と、表示部２１の表示画面に対して判定結果に基づいて表示制御処理を行う判定結果表示制御部１９を備える。

携帯通信端末３_ｌとサーバ５で行う処理について、それぞれ具体的に説明する。

まず、携帯通信端末３_ｌで行う処理について説明する。携帯通信端末３_ｌに備えられる画像撮影機能は、多様な撮影条件下で生体情報（例えば指紋や掌形など）を撮影し、この撮影された画像に基づいて、画像取得部１１において画像情報（例えば掌紋画像など）を取得する。

以下では、掌紋画像の場合を例にして説明する。携帯通信端末３_ｌに備えられる画像撮影機能は、例えば、一般のデジタルカメラやカメラ付携帯電話などの標準的なカメラを想定しており、生体情報取得のための専用スキャナのようなものを備えるものではない。そのため、画像取得部１１により取得された画像情報には、曖昧さが多く含まれている（例えば、位置ずれ、拡大・縮小、回転、ノイズ混入、取りこぼし、抽出ミス、ゆがみ、など）。

画像処理部１３は、掌紋画像に対して特徴量抽出・変換処理を行う。以下では、マニューシャと呼ばれる特徴点を抽出し、抽出したマニューシャを文字列へと変換する処理について具体的に説明する。画像処理部１３は、掌紋画像からエッジを抽出し、エッジ情報から特徴点を抽出する特徴点抽出部２３と、特徴点情報から文字列を生成する文字列生成部２５を備える。

マニューシャは、具体的には、手のひらの皺の切れ目を示す端点や、分かれ目である分岐点などの特徴ある点のことである。掌紋の識別において、マニューシャを用いることにより高い精度が得られている。

図２は、実施例１において、マニューシャとして抽出される交差点・端点・分岐点を説明する図（Ａ）、及び、それぞれの点における偏角を示す図（Ｂ、Ｃ、Ｄ）である。

本実施例では、マニューシャの抽出を手のひら画像に対して適用し、マニューシャとして、２本の皺の線が交差する部分である交差点、１本の皺の線が途切れる部分である端点、及び、１本の皺の線の途中から他の１本の皺の線が分岐する部分である分岐点の３種類を考える（図２（Ａ）参照）。

本実施例では、それぞれの種類のマニューシャについて、そのマニューシャを構成する線の水平方向に対する偏角によって、以下のように異なるラベルを割り当てる。すなわち、交差点については、交差する２本の皺の線について、その水平方向右向きに対する偏角（図２（Ｂ）の角α、β）を量子化し、量子化された値の組が異なるマニューシャにそれぞれに異なるラベルを与える。端点については、途切れる２本の皺の線について、途切れる点からその線の伸びる方向の水平方向右向きに対する角度（図２（Ｃ）の角α）を量子化し、量子化された値が異なるマニューシャにそれぞれに異なるラベルを与える。分岐点については、分岐される線の水平右向きに対する偏角（図２（Ｄ）の角α）及び分岐点から分岐する線の伸びる方向の水平方向右向きに対する角度（図２（Ｄ）の角β）をそれぞれ量子化し、量子化された値の組が異なるマニューシャにそれぞれに異なるラベルを割り当てる。

このようにラベル付けを行うことで、マニューシャをラベル付き座標（ｃ,ｘ,ｙ）で表すことができる。ここに、ｃはラベルのうち１つであり、ｘ、ｙはそれぞれマニューシャのｘ、ｙ座標である。

図３は、実施例１において、ラベル付き座標として表現されたマニューシャの並べ方を説明する図（Ａ）、及び、異なるマニューシャの配置から同じ文字列が生成されることを説明する図（Ｂ）である。

文字列生成部２５は、ラベル付き座標の集合となったマニューシャの集合を、そのラベルを特定の規則に従って並べることで文字列にする。具体的には、ある１点を中心点とし、中心点から時計回りに特徴点を文字列として並べていく。図３（Ａ）の左側の図は、マニューシャの配置をラベル付き座標により表現したものである。Ｏは、中心点を示す。そして、図３（Ａ）の右側の図にあるように、この場合の文字列は、ｅｂａｄｃｅｂａｅａとしてコードされる。

このように文字列とすることにより、画像をそのまま用いた２次元情報での照合ではなく、１次元である文字列情報での照合、更には、近似文字列照合を適用することが可能となり、計算量の少ない手法での照合を実現することができる。

なお、図３（Ｂ）は、図３（Ａ）とは異なるマニューシャの配置であるにも関わらず、同じ文字列（コード：ｅｂａｄｃｅｂａｅａ）になるラベル付き座標の集合を示す。このように、同じ文字列になるようなラベル付き座標の集合は無数に存在するため、この文字列から元の手のひらの情報を復元することはできない。よって、この変換は、ラベル付き座標の集合から文字列への変換は可能であるが、文字列からラベル付き座標の集合への変換は不可能であり、一方向性の変換である。

生成された文字列は、特徴データとして、携帯通信端末３_ｌの特徴データ送信部１５からサーバ５の特徴データ受信部３１へ送信される。

文字列は、マニューシャの抽出の際のノイズや抽出漏れ、誤抽出などによって変化する。そのため、単純な文字列の比較によって照合を行うことはできない。本実施例では、サーバ５の近似照合部３５は、Wagnerらが提案した文字列に対する編集距離を導出することで近似照合を行い、それによってマニューシャの集合の近似照合に代える。

まず、Wagnerらの編集距離について説明する。

Ａを文字からなる有限の文字列とし、Λは空文字列とする。Ａの文字列長を｜Ａ｜で表す。

また、１以下の長さでかつ両方同時にΛにはならない文字列の対(a,b)のことを編集操作という。(a,b)をａ→ｂとも表記する。

さらに、文字列ＢがＡに編集操作ａ→ｂを適用した結果の文字列であるとは、ある文字列σ，τに対し、Ａ＝σａτ，Ｂ＝σｂτが成り立つことをいう。このとき、Ａ⇒Ｂ via ａ→ｂであると表記する。ａ→ｂについて、ａ≠Λかつｂ≠Λのとき変更操作、ｂ＝Λのとき削除操作、ａ＝Λのとき挿入操作という。

さらに、Ｓを編集操作の列ｓ₁，ｓ₂，・・・，ｓ_mとする。Ａ＝Ａ₀、Ｂ＝Ｂ_mであり、かつ、１≦ｉ≦ｍについてＡ_ｉ-1⇒Ａ_i via ｓ_iとなるような文字列の列Ａ₁，Ａ₂，・・・，Ａ_mが存在するとき、Ａ⇒Ｂ via Ｓであると表記する。

さらに、γを、それぞれの編集操作ａ→ｂごとに正の実数γ（ａ→ｂ）を与える任意のコスト関数とする。また、γは、下記の(1)式、(2)式、(3)式を満たす距離関数である。編集操作の列Ｓに対し、下記の(4)式と表記する。

さらに、δ(Ａ,Ｂ)を下記の(5)式と定義し、これをＡとＢの編集距離という。

さらに、Ａ<i>とＢ<i>は、それぞれ、ＡとＢのｉ番目の文字を表すとする。また、Ａ(i)をＡの１からｉ番目までの文字列、Ｂ(j)をＢの１からｊ番目までの文字列を表すとし、Ｄ(i,j)を下記の(6)式とすると、下記の(7)式が成り立つ（Wagner,R．A．、外１名著，“The String-to-String Correction Problem”，J．ACM，Vol.21，Issue9，pp.168-173(1973)のTheorem7参照）。

図４は、実施例１において、編集距離を求めるアルゴリズムを示す図である。

編集距離は、図４のアルゴリズムで求めることができる。Ｄ[i,j]が求める編集距離である。

近似照合部３５は、このような近似文字列照合を用いて、特徴データとデータベース３３に格納されたデータとを照合する。そして、照合結果判定部３７は、照合結果に基づいて判定を行い、判定結果送信部３９は、その判定結果を携帯通信端末３_ｌに送信する。

携帯通信端末の判定結果受信部１７が判定結果を受信すると、判定結果表示制御部１９は、表示部２１に対して、判定結果に基づいて表示制御処理を行う。

なお、特徴データ送信部１５は、識別情報とともに文字列をサーバに送信してもよく、近似照合部３５は、データベース３３に格納されたデータのうち、識別情報に対応するテンプレートとの照合を行うようにしてもよい。

本実施例は、図１の照合システム１が手相占いシステムである場合である。

手相占いシステムは、実施例１と同様の処理を行うことにより実現可能である。そして、サーバ５は、携帯通信端末３_ｌの利用者の掌紋画像が、手相占いのどの類型に当てはまるかを照合結果に基づいて判定し、その判定結果を携帯通信端末３_ｌに送信する。

手相占いシステムの場合、図１のデータベース３３には、携帯通信端末３_ｌの利用者の生体情報を復元可能な情報に基づかないデータが格納されることになる。そのため、本実施例の手相占いシステムの場合、携帯通信端末３_ｌの利用者は、自分の生体情報を復元可能な情報や利用者の識別情報をサーバ５に通知する必要がなく、サーバ５からの情報漏洩を心配せずに、安心してサービスを利用することができる。

本実施例は、図１の携帯通信端末３_ｌの画像処理部１３の特徴点抽出部２３において、Haar-like特徴を用いて特徴点抽出を行うものである。

Haar-like特徴により、Haarウェーブレット変換により得られる特徴に類似し、かつ、より多くの局所的な特徴を計算することができる。近年、Haar-like特徴を用いた物体認識技術（特に顔画像認識）が盛んに研究されている（例えば、P．Viola、外１名著，“Rapid Object Detection using a Boosted Cascade of Simple Features”， IEEE CVPR，2001参照）。Haar-like特徴に基づき画像の特徴（ベクトル）を算出する既存手法は、訓練データの検出精度が高くなるように、適用するHaar-likeフィルタを機械学習により決定するアプローチが多い。しかしながら、図鑑データベースなど多種多様な物体認識に応用するには、物体ごとのHaar-like特徴を構成する必要があり、検索時間が膨大となる問題がある。

発明者らは、これまで、リフティングウェーブレットがもつ自由パラメータを使って、顔画像検出や認識に適切な新しいウェーブレットフィルタの学習法に関する研究に取り組んできた。リフティングウェーブレット変換は、信号・画像の圧縮率の向上および、高速演算技術として使われているものである。

本実施例では、特徴点抽出部２３において、多くの特徴を高速計算可能なリフティングHaar-like特徴を用いる。これは、既存のHaar-like特徴により得られた特徴画像を重みパラメータにより、新しい（物体認識に有益な）特徴を抽出することができる特徴抽出法である。

Haar-like特徴は、フィルタの構成や解像度を変更することにより、画像のさまざまな局所的な特徴を計算することができる。このことは、最適な特徴を抽出するフィルタは、画像の解像度や画像中の物体の種類などにより異なることを意味する。そのため、効率よく画像の特徴を抽出するためには、対象とするデータベース画像に適したフィルタを構成(または発見)する必要がある。

図５は、実施例３において、Haar-likeフィルタの代表的な例を示す図であり、図５（Ａ）はエッジ特徴（Edge features）であり、図５（Ｂ）は線特徴（Line features）であり、図５（Ｃ）は中心−周囲特徴（Center-surround features）であり、図５（Ｄ）は特別対角線特徴（Special diagonal line features）である。

本実施例におけるリフティングHaar-like特徴は、まず、既存のHaar-like特徴により変換された特徴画像を準備する。これらの特徴画像を組み合わせることにより、新しい特徴画像を構成する。このとき、組み合わせに用いる重みパラメータをリフティングパラメータと呼ぶ。ここで、既存のHaar-like特徴とそれにより得られた特徴画像を、それぞれ初期フィルタおよび初期特徴画像とする。リフティングパラメータを使って得られた新しい特徴画像のことをリフティング特徴画像と呼ぶ。

図６は、実施例３において、リフティングパラメータの学習法の概略を示す図である。物体認識に適合するリフティングHaar-like特徴を構成するために、学習によりリフティングパラメータを算出する。ここでいう学習とは、クラス内分散を最小にし、クラス間分散を最大にするような特徴を算出するリフティングパラメータを求めることである。具体的には、例えば、ある花の画像のデータベースがあり、それらが種類(クラス)ごとに分類されているとすると、それらのクラス間の特徴が離れるように、かつクラス内の特徴が接近するように、リフティングパラメータを決めることである。

続いて、図１の照合システム１の精度の評価について説明する。実験により、手のひら画像による本人確認手法の精度を調べる。まず、本人確認の精度の定式化を行う。そして、手のひら画像からマニューシャが適切に抽出されたとの仮定の下で、近似文字列照合による手法の精度を評価する。

本実験では、携帯通信端末３_ｌの利用者は、予め、サーバ５のデータベース３３に自分の生体情報をテンプレートとして登録しておくものとする。そして、本人確認の手順として、まず、特徴データ送信部１５は、サーバ５に、テンプレートを識別するための識別情報と特徴データを送信し、次に、サーバ５は、識別情報から識別されるテンプレートと受信した特徴データとの距離を調べ、識別情報に対応する人物かどうかを判断するものとする。

本人確認の精度についての指標として、ＦＡＲ（False Acceptance Rate、他人受入率）とＦＲＲ（False Rejection Rate、本人拒否率）を用いる。ＦＡＲは、ある本人確認の試行において、利用者が、自身に対応しない識別情報を提出したにもかかわらず、その識別情報に対応する人物と判断される確率である。ＦＲＲは、ある本人確認の試行において、利用者が、自身に対応する識別情報を提出したにもかかわらず、その識別情報に対応する人物でないと判断される確率である。

ＦＡＲとＦＲＲを、下記の(8)式及び(9)式として定式化する。ここで、Ｕ＝｛ｕ_i｜ｉ∈Ｉ｝は本人確認をされる者の候補となる人物の集合、ｉとＳ_i＝｛ｓ_i ^j｜ｊ∈Ｊ｝を、それぞれ、ｕ_iに対応する識別情報と特徴データとする。また、Ｓ＝｛Ｓ_i｜ｉ∈Ｉ｝とする。ｕ_iは、本人確認のある試行において、Ｓ_iから等確率で選ばれたｓ_i ^jを提出するものとする。ここで、f(i,s)を、サーバ５がｓ_i ^jの提出によって利用者をｉに対応する人物と判断した場合１、それ以外の場合０と定義する。

実際に携帯電話で撮影した手のひら画像からマニューシャの検出実験を行った。

図７は、実施例４において、実際に携帯電話で撮影した手のひら画像（原画像（Ａ））からマニューシャを検出する一連の処理の流れを示す図であり、図１の特徴点抽出部２３の動作に対応する。図７（Ａ）は、原画像を示す図である。原画像はカラーであり、まず、グレイスケール変換を施す。図７（Ｂ）は、グレイスケール画像を示す。次に、Canny法（J．F．Canny著，“A computational approach to edge detection”，IEEE Transaction on Pattern Analysis and Machine Intelligence，pp.679-698参照）を用いて、エッジを抽出する。図７（Ｃ）は、抽出されたエッジを示す図である。そして、テンプレートマッチングにより、マニューシャ候補点を検出する。図７（Ｄ）は、検出されたマニューシャ候補点を示す図である。図７（Ｄ）にて確認できるように、正しいマニューシャではない、疑似マニューシャと呼ばれる点を多く検出している。これは、ノイズを多く含む入力画像を使用していることに起因する。本実験では、マニューシャの集合を抽出した後の処理についての本人確認の精度への影響を調べるため、手のひら画像から目視により検出したマニューシャを使用して実験を行う。

本実験に用いるサンプルとして、２０人の異なる人物の手のひら画像を、それぞれ２枚ずつ、計４０枚採取した。画像の解像度は、4000×3000pxiである。本実験では、マニューシャのパターンの種類は３３種類とし、画像１枚について抽出するマニューシャの数は約２０とした。

抽出されたマニューシャの集合を特徴点集合として、文字列変換を行い、各人物の手のひら画像のうちひとつについての文字列をテンプレートとし、提出された文字列とテンプレートの編集距離が閾値以下の場合に、そのテンプレートに対応する人物と判断するものとした。ただし、正規化のため、編集距離の値は長い方の文字列の長さで割り、閾値は長い方の文字列の長さに対する割合で表した。閾値を変化させ、(8)式及び(9)式によって、ＦＡＲとＦＲＲを求めた。

図８は、実施例４において、照合システム１の精度の評価につき、ＦＡＲとＦＲＲの実験結果を示す図である。横軸は閾値、縦軸はＦＡＲ,ＦＲＲをそれぞれ示している。このことから、ＦＡＲとＦＲＲはトレードオフ関係にあり、閾値が0.5のときにＦＡＲ＝0.042、ＦＲＲ＝0.05と、ＦＡＲ、ＦＲＲともに最小の時の精度が明らかになった。また、なりすまし等の攻撃に対してはＦＡＲの値が重要となるので、ＦＡＲを重視する場合、閾値が0.4の場合にＦＡＲ＝0.000、ＦＲＲ＝0.15となり、この時が理想的な精度となる。このことから、本発明を用いたバイオメトリック認証は、特徴点が適切に抽出された場合は実用可能である、ということが明らかになった。

本発明の実施の形態の一つである照合システム１の構成と処理の流れを示すブロック図である。実施例１において、マニューシャとして抽出される交差点・端点・分岐点を説明する図（Ａ）、及び、それぞれの点における偏角を示す図（Ｂ、Ｃ、Ｄ）である。実施例１において、ラベル付き座標により表現されたマニューシャの並べ方を説明する図（Ａ）、及び、異なるマニューシャの配置から同じ文字列が生成されることを説明する図（Ｂ）である。実施例１において、編集距離を求めるアルゴリズムを示す図である。実施例３において、Haar-likeフィルタの代表的な例を示す図であり、図５（Ａ）はエッジ特徴（Edge features）であり、図５（Ｂ）は線特徴（Line features）であり、図５（Ｃ）は中心−周囲特徴（Center-surround features）であり、図５（Ｄ）は特別対角線特徴（Special diagonal line features）である。実施例３において、リフティングパラメータの学習法の概略を示す図である。実施例４において、実際に携帯電話で撮影した手のひら画像（原画像（Ａ））からマニューシャを検出する一連の処理を示す図であり、図７（Ａ）は原画像を示す図であり、図７（Ｂ）はグレイスケール画像を示す図であり、図７（Ｃ）は抽出されたエッジを示す図であり、図７（Ｄ）は検出されたマニューシャ候補点を示す図である。実施例４において、照合システム１の精度の評価につき、ＦＡＲとＦＲＲの実験結果を示す図である。

符号の説明

１照合システム、３_１，・・・，３_ｎ携帯通信端末、５サーバ、１１画像取得部、１３画像処理部、１５特徴データ送信部、１７判定結果受信部、１９判定結果表示制御部、３１特徴データ受信部、３３データベース、３５近似照合部、３７照合結果判定部、３９判定結果送信部

Claims

画像撮影機能を備えた携帯通信端末と前記携帯通信端末の画像撮影機能により撮影して得られた画像情報に基づいて照合処理を行うサーバを備える照合システムにおいて、
前記携帯通信端末は、
生体情報を画像データとして取得する画像取得手段と、
撮影して得られた画像データを、Haar-like特徴により変換して複数の特徴画像とし、リフティングパラメータにより重み付けして組み合わせて新たな特徴画像を生成し、前記新たな特徴画像に基づいて特徴データを一方向に生成する画像処理手段と、
前記特徴データを前記サーバに送信する特徴データ送信手段、を備え、
前記サーバは、
前記特徴データを受信する特徴データ受信手段と、
前記特徴データ及びデータベースに記憶されたデータに対して近似照合処理を行う近似照合手段、を備える
照合システム。
前記画像データは掌紋画像データであり、
前記画像処理手段は、
前記掌紋画像データによって表わされる画像から特徴点を抽出する特徴点抽出手段と、
抽出された特徴点から文字列を生成する文字列生成手段、を有し、
前記特徴データ送信手段は、前記特徴データとして前記文字列を前記サーバに送信するものであり、
前記近似照合手段は、近似文字列照合処理を行う、
請求項１記載の照合システム。
前記文字列生成手段は、前記掌紋画像データによって表わされる画像の一点を中心点とし、中心点から時計回り又は反時計回りに特徴点を文字列として並べる、請求項２記載の照合システム。
前記データベースに記憶されたデータは、前記携帯通信端末の利用者の生体情報を復元可能な情報に基づかない、手相占いサービスに関するものであり、
前記サーバは、
前記近似照合手段の照合結果を判定する照合結果判定手段と、
前記照合結果判定手段による判定結果を前記携帯通信端末に送信する判定結果送信手段、を備え、
前記携帯通信端末は、
前記判定結果を受信する判定結果受信手段と、
表示手段に対して、前記判定結果を表示させる判定結果表示制御手段、を備える
請求項２又は３に記載の照合システム。
画像撮影機能を備えた携帯通信端末と前記携帯通信端末の画像撮影機能により撮影して得られた画像情報に基づいて照合処理を行うサーバを備える照合システムにおける照合方法であって、
前記携帯通信端末の画像処理手段が、生体情報を撮影して取得された画像データを、Haar-like特徴により変換して複数の特徴画像とし、リフティングパラメータにより重み付けして組み合わせて新たな特徴画像を生成し、前記新たな特徴画像に基づいて特徴データを一方向に生成するステップと、
前記携帯通信端末の特徴データ送信手段が、前記特徴データを前記サーバに送信するステップと、
前記サーバの特徴データ受信手段が、前記特徴データを受信するステップと、
前記サーバの近似照合手段が、前記特徴データとデータベースに記憶されたデータに対して近似照合処理を行うステップ、を含む照合方法。
コンピュータを、請求項１から４のいずれかに記載の画像処理手段として機能させるためのプログラム。
請求項６記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。