JP4802121B2

JP4802121B2 - 生体認証装置および生体認証装置を用いた認証方法

Info

Publication number: JP4802121B2
Application number: JP2007053182A
Authority: JP
Inventors: 展弘森田; 祐治山中; 敏之井関; 雅明高井; 直裕上条; 晃平新保; 泉伊藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2007-03-02
Filing date: 2007-03-02
Publication date: 2011-10-26
Anticipated expiration: 2027-03-02
Also published as: JP2008217358A

Description

本発明は、人の静脈や顔などを被写体として撮像した画像情報に基づいて個人認証を行う生体認証装置および生体認証装置を用いた認証方法に関する。

従来から、人の静脈や顔などを被写体として撮像した画像情報に基づいて個人認証を行う生体認証装置および生体認証装置を用いた認証方法が知られている（例えば、特許文献１〜特許文献３参照）。

特許文献１の生体認証装置は、指紋認証に用いる指紋を入力するための指紋入力装置と、顔認証に用いる顔画像を撮像するための撮像装置と、パスワードを入力するためのテンキー装置とを有しており、最初に指紋認証を行い、指紋認証による認証が可能ならば指紋認証により認証し、指紋認証によって認証できなければ顔認証とパスワード認証とを併用して認証を行う。

これにより、顔認証の不確実さとパスワード認証の不確実さとを互いに補って、指紋認証による認証ができない場合でも指紋認証と同等のセキュリティー性能を確保する。

また、特許文献２の生体認証装置は、認証精度が比較的高い指紋認証手段と、指紋認証手段よりは認証精度が低い顔認証手段とを有しており、最初の認証時には指紋認証を行うと同時に顔画像を保存しておき、再認証が必要なときには保存された顔画像に基づいて顔認証を行うことにより、全体として認証精度を高めつつ、再度の認証を行う場合には迅速性を高めている。

そして、特許文献３の生体認証装置は、指の静脈パターンを取得するための生体情報取得手段と、個人情報を登録するための個人情報登録手段と、個人情報の登録・削除・変更などの指示を表示するための表示手段とを有しており、誤った個人情報を登録したために再認証ができないような場合に、ユーザー自身によって、個人情報の認証登録の再実行ができるようになっている。
特開２００４−３５５０８８号公報特開２００５−２９３１７２号公報特開２００５−９２３７５号公報

ところで、昨今の情報保護社会、或いはユビキタス社会では、携帯電話やノートパソコンなどの様々な情報機器に指紋認証装置などの生体認証装置を搭載するのが望ましい。

携帯電話やノートパソコンなどの情報機器は、年々、小型化・薄型化が進められており、これらの情報機器に内蔵可能で、しかも内蔵する際に場所を選ばずに搭載可能とするためには、生体認証装置自体にも更なる小型化・薄型化が要求される。

また、生体認証装置においては、認証の精度、認証の速度、操作性の向上、運用方法の多様化などの兼ね合いで、顔と指紋、顔と虹彩など、複数の生体情報を組み合わせることによって認証を行う、いわゆるマルチモーダル型の生体認証装置の有用性が高まっている。

指紋認証や虹彩認証などは比較的高精度な認証が可能であるが、所定の場所に生体の一部をもっていく必要があるなど、ユーザー側に特別な動作が必要とされるので、認証の手軽さに欠けるという側面があり、一方、顔認証はユーザーに特別な動作を要求することはないが、認証精度は比較的低いという側面がある。

そこで、マルチモーダル型の生体認証装置では、例えば、最初に顔認証でラフな認証を行い、疑わしい認証対象にだけ高精度な指紋認証や虹彩認証を適用することにより、認証精度と認証の迅速性とを両立したり、複数の生体情報の組合せにより認証精度を向上させたりできる。

このようなマルチモーダル型の生体認証装置としては、引用文献１のものや引用文献２のものが知られている。

しかしながら、引用文献１や引用文献２のものでは、指紋認証と顔認証とに応じて別々の認証装置を用いて認証を行うため、生体認証装置全体が大型化すると共に、装置のコストも多大なものとなり、携帯電話やノートパソコンなどの民生機器に用いるには不向きである。

一方、静脈パターンなどを用いて生体認証を行う生体認証装置としては、例えば、引用文献３のものなどが知られている。

このような静脈パターンを用いた生体認証装置では、近い距離にある生体部位を撮像するように撮像レンズが設計されていたり、静脈パターンを抽出するための光学フィルターなどが光学系に設けられているため、遠くにある対象を撮像するには適さない。

また、上述のような顔認証を行う装置では、顔画像の取得を前提に光学系が設計されているので、静脈パターンのような被写体内部の情報を抽出するのは困難である。

そこで、本発明では、顔の画像と生体部位の静脈の画像とを共通の撮像部によって取得可能することにより、マルチモーダル型であっても小型化、薄型化、並びに低コスト化を図ることが可能な生体認証装置を提供することを第１の目的としている。

以下に、本発明の更なる目的を列挙する。

本発明の第２の目的は、被写体までの距離を検出し、所定距離より遠い場合は顔認証を行い、そうでない場合は静脈認証を行うことにより、パターン認識などの複雑な画像処理を行わずに、顔認証の処理と静脈認証の処理とを切り替えることによって、演算部の演算処理に対する負荷を低減することとする。

本発明の第３の目的は、被写体距離検出を複眼画像における各個眼画像の相対シフト量から算出することにより、距離検出のための構成を新たに設けることなく、既に有する機能を用いて距離検出を行うことにより、装置コストを低減することとする。

本発明の第４の目的は、異なる波長の光を照射する２個以上の光源部と、それらの各波長と略同一波長の光だけを通過させる光学的バンドパスフィルターとを設けることにより、ノイズ光の影響を抑えた高精度な認証を実現することとする。

本発明の第５の目的は、略単一波長の近赤外光を照射する１個以上の光源部と、これと略同一波長の光だけを通過させる光学的バンドパスフィルターとを設けることにより、静脈認証の場合でも顔認証の場合でも同一の光学的バンドパスフィルターで可視光をカットでき、安価にフィルターを作製して、装置コストを低減することとする。

本発明の第６の目的は、光源部変調制御手段によって所定の周波数によって変調した照射光を光源部から被写体に照射して、変調光抽出手段により撮像手段により撮像して得られた被写体の画像から、その所定の周波数によって変調された画像情報だけを抽出することにより、照明光などの非変調光からの影響を抑えることにより、ノイズ光の影響を抑えた高精度な認証を実現することとする。

本発明の第７の目的は、通常は顔を被写体として個人認証を行い、顔を被写体とした個人認証によって認証できない場合には人の静脈を被写体として個人認証を行うことにより、通常は撮像部に顔を向けるだけで顔認証により手軽に認証を行うことにより、迅速性と精度を両立できる認証方法を提供することを目的としている。

上記目的を達成するために請求項１に記載の発明は、被写体としての人の顔と人の生体部位の静脈とを撮像する撮像部と、前記撮像部によって取得された画像信号を画像データに変換する画像入力部と、前記画像入力部によって変換された画像データに基づいて個人認証を行う演算部と、を備えた生体認証装置であって、前記撮像部が、血管以外の皮下組織における吸収率が低い略単一波長の近赤外光を照射する光源部と、複数の撮像レンズが該各撮像レンズのレンズ光軸と略直交する同一平面内に格子状に配置されたレンズアレイと、前記光源部により人の生体部位を照射して該人の生体部位からの反射光を撮像することによって前記人の生体部位の静脈を撮像可能とし、前記複数の撮像レンズにより得られる被写体の複眼画像を撮像する撮像手段と、を有し、前記演算部が、認証が許可されている人の生体部位の静脈の画像が予め登録・保存された静脈画像データベースと、認証が許可されている人の顔の画像が予め登録・保存された顔画像データベースと、が構築された記憶部と、前記複数の撮像レンズにより得られた被写体の複眼画像を構成する各個眼画像の画像データに基づいて、該被写体と前記各撮像レンズとの位置関係に対応する各個眼画像間の画像のシフト量としての視差を算出すると共に、該算出された視差と、前記各撮像レンズ間のレンズピッチと、前記各撮像レンズの焦点距離と、に基づいて前記レンズアレイから前記被写体までの距離を算出する被写体距離検出手段と、前記算出されたレンズアレイから被写体までの距離が所定距離より遠い場合には、前記撮像手段により撮像された被写体が人の顔であると判定して前記顔画像データベースにアクセスし、前記算出されたレンズアレイから被写体までの距離が所定距離より近い場合には、前記撮像手段により撮像された被写体が人の生体部位の静脈であると判定して前記静脈データベースにアクセスする被写体識別手段と、前記予め登録・保存された静脈画像データベースの各画像データと前記撮像手段により撮像された静脈画像の画像データとの照合、および／または、前記予め登録・保存された顔画像データベースの各画像データと前記撮像手段により撮像された顔画像の画像データとの照合を行なうことにより個人認証を行う認証手段と、を有する生体認証装置を特徴としている。

そして、請求項２に記載の発明は、前記撮像手段により取得された複眼画像の画像データと該複眼画像の画像データに対応する各個眼画像の視差のデータとに基づいて、前記複数の個眼画像から解像力を向上させた単一画像を再構成する単一画像再構成手段を有する請求項１に記載の生体認証装置を特徴としている。

また、請求項３に記載の発明は、前記撮像部に前記略単一波長の近赤外光と略同一波長の光だけを通過させる光学的バンドパスフィルターが設けられている請求項１または請求項２に記載の生体認証装置を特徴としている。

さらに、請求項４に記載の発明は、前記光源部の発光強度を所定の変調信号によって変調するための光源部変調制御手段と、前記撮像手段により取得された画像の画像信号のうち前記所定の変調信号によって変調された画像信号だけを抽出する変調光抽出手段と、が設けられている請求項１または請求項２に記載の生体認証装置を特徴としている。

そして、請求項５に記載の発明は、請求項１乃至請求項４の何れか１項に記載の生体認証装置を用いた認証方法であって、通常は人の顔を被写体とした個人認証を行い、前記人の顔を被写体とした個人認証によって認証できない場合には、前記人の生体部位の静脈を被写体とした個人認証を行う生体認証装置を用いた認証方法を特徴としている。

このように構成された本発明の生体認証装置では、レンズアレイを構成する個々の撮像レンズは小型で焦点距離が小さいために、レンズアレイを用いた撮像光学系のバックフォーカスを短くすることができ、撮像光学系の薄型化、さらには本発明の生体認証装置の薄型化を図ることができる。

また、レンズアレイの個々の撮像レンズから得られる複眼画像の情報と複眼画像に含まれる各個眼画像の視差の情報とを利用して複眼画像から単一画像への再構成を行う単一画像再構成手段が設けられているので、レンズアレイを用いることで個々の撮像レンズが小型化したことによる撮像光学系の解像度の低下を補償できるので、本発明の生体認証装置の小型化・薄型化と解像力確保とを両立することができる。

さらに、レンズアレイを構成する個々の撮像レンズの焦点距離は一般的な単体の撮像レンズの焦点距離に比べて小さいので、このような一般的な撮像レンズに比べてレンズアレイの撮像レンズは被写界深度が大きく、撮像部に近接している被写体と所定の距離以上に離間している被写体との両方に共通のレンズアレイによって焦点を合わせることができるので、被写体距離によらずに焦点のあった被写体像を撮像できる。

これにより、被写体として、例えば、撮像部から所定の距離以上に離間している顔などの認証対象と撮像部に近接している手や指の静脈などの認証対象との両方を、共通のレンズアレイによって撮像して、被写体が顔であるか静脈であるかを被写体識別手段によって識別し、被写体が顔であれば顔認証を行い、被写体が静脈であれば静脈認証を行うことにより、顔認証と静脈認証とが共通の撮像部および演算部により実施可能となる。

このように、本発明の生体認証装置は、顔認証と静脈認証とを併用して行うマルチモーダル型の生体認証装置であっても、撮像部と演算部とを共通化することによって小型化が可能になり、しかも製造コストを低減することができる。

そして、本発明の生体認証装置は、被写体距離検出手段によって被写体距離を検出し、被写体距離が所定の距離より遠い場合には顔認証を行い、被写体距離が所定の距離より近い場合には静脈認証を行うことによって、パターン認識などの複雑な画像処理を行わずに、顔認証の処理と静脈認証の処理とが切り替えられるので、演算部における演算処理の負荷を低減することができる。

また、本発明の生体認証装置では、被写体距離を複眼画像に含まれる各個眼画像の相対シフト量のデータに基づいて算出できるので、距離検出のための構成を新たに設ける必要がなく、既存の構成を利用して距離検出を行うことができ、本発明の生体認証装置の製造コストを低減することができる。

そして、本発明の生体認証装置には、略単一波長の近赤外光を照射する光源部と、これと略同一波長の光だけを通過させる光学的バンドパスフィルターとが設けられているので、静脈認証の場合と顔認証の場合とのいずれの場合にも、この光学的バンドパスフィルターによってノイズ光としての照明光をカットすることができ、静脈画像や顔画像を撮像することができる。

また、本発明の生体認証装置では、光源部変調制御手段によって所定の周波数により強度が変調された照射光を光源部から被写体に照射して、撮像手段によって撮像して得られた被写体の画像から、その所定の周波数によって変調された画像情報だけを変調光抽出手段により抽出することにより、照明光などの非変調光の影響が抑えられた、ノイズ光の少ない鮮明な顔画像や静脈画像を取得することができ、これにより、高精度な認証を実現することができる。

さらに、本発明の生体認証装置を用いた認証方法では、通常は顔を被写体として個人認証を行い、顔を被写体とした個人認証によって認証できない場合には、人の静脈を被写体として個人認証を行うことにより、通常は顔認証により撮像部に顔を向けるだけで手軽に認証を行い、顔認証を行っても認証されないような疑わしい認証対象のときだけ高精度の静脈認証を行うことでき、これにより認証の迅速性と精度とを両立することができる。

以下、本発明の生体認証装置および生体認証装置を用いた認証方法を実施例に基づいて説明する。

まず、実施例１の構成を図面に基づいて説明する。

図１は、本発明の生体認証装置を説明する構成図であり、本発明の生体認証装置を顔認証に適用したときの図である。

符号１は撮像部、符号２Ａは撮像部１の被写体としての人の顔、符号Ｂ１は撮像部１によって取得された顔２Ａの画像信号を画像データに変換する画像入力部、符号Ｃは画像入力部Ｂ１によって変換された画像データに基づいて個人認証を行う演算部である。

図１は、撮像部１については断面構成図、その他の演算部Ｃなどについてはブロック構成図となっている。

本実施例の生体認証装置では、人の顔２Ａと後述する指の静脈（血管）とが撮像部１の主な被写体となる。

撮像部１は、被写体に光を照射するＬＥＤ光源部３ａ，３ｂと、撮像光学系４と、撮像素子５と、これらを支持する枠体Ｆとによって構成されている。

また、撮像光学系４は、レンズアレイ６と、遮光手段７と、バンドパスフィルター８とによって構成されている。

レンズアレイ６には非球面単レンズからなる２個以上の撮像レンズ６ａがレンズ光軸と略直交する平面内に格子状に配置されており、このレンズアレイ６が被写体の像を撮像素子５の撮像面５ａ上に結像させる。

撮像レンズ６ａには、球面単レンズや、両面とも球面レンズ、両面とも非球面レンズなどのレンズを用いてもよく、特に非球面レンズを用いると光学特性を向上させるに当たり、設計の自由度を大きくできる。

遮光手段７は、ほぼ撮像レンズ６ａから撮像面５ａまでの高さをもつ部材が隣接する撮像レンズ６ａ，６ａ間にライン状にそれぞれ設けられており、レンズアレイ６の隣接する各撮像レンズ６ａ，６ａ間での光線クロストークを防ぐと共にゴーストやフレアなどのノイズ光を抑制する。

遮光手段７は、レンズアレイ６の各撮像レンズ６ａの位置に対応して、それぞれ開口部が設けられたピンホールアレイであってもよいし、透明平行平板の片面または両面に蒸着されたマスクにレンズアレイ６の各撮像レンズ６ａの対応位置に、それぞれ透過部を設けたものであってもよい。

撮像素子５は、画素５ｂがライン状にアレイ配置された画素アレイにより構成されており、レンズアレイ６の複数の撮像レンズ６ａにより得られる顔２Ａの複眼画像を撮像する。この撮像素子５はＣＭＯＳタイプなど、ＣＣＤタイプ以外の受光素子であってもよい。

ＬＥＤ光源部３ａ，３ｂは、血管以外の皮下組織における吸収率が低い近赤外波長帯の光を生体に照射するための光源部である。

図１では、レンズアレイ６の両側にＬＥＤ光源部３ａ，３ｂがそれぞれ２つずつ設けられているが、必要な明るさに応じて個数を増やして設置してもよいし、同程度の波長を照射するＬＤ光源を用いてもよい。

ＬＥＤ光源部３ａ，３ｂの光量は光源制御部９によって制御され、ＬＥＤ光源部３ａ，３ｂのＯＮ／ＯＦＦ制御は、それぞれ光源駆動部１０の光源３ａ駆動部，光源３ｂ駆動部により行われる。

ＬＥＤ光源部３ａは顔認証用に波長λ１の近赤外光を照射し、ＬＥＤ光源部３ｂは後述する静脈認証用に波長λ２の近赤外光を照射する。ただし、本実施例の生体認証装置では、波長λ１と波長λ２とは異なる波長としている。

本実施例の生体認証装置では、通常状態（デフォルト状態）において、電源がＯＮ状態になったときに、各ＬＥＤ光源部３ａからレンズアレイ６の光軸方向被写体側に向けて近赤外光がそれぞれ照射される。

バンドパスフィルター８は、ＬＥＤ光源部３ａ，３ｂから照射される光と略同一波長λ１，λ２付近の光だけを通過させる光学的なフィルターであり、透明なガラス板に波長選択のための所定厚みの薄膜を蒸着することによって形成されている。

バンドパスフィルター８は、例えば顔を検出する際には、生体認証においてはノイズとなる外部照明などによる可視光線が撮像素子５に到達するのを防ぎ、顔画像のコントラストを向上させる。

ＬＥＤ光源部３ａから照射された近赤外光は、被写体としての顔２Ａで反射されて、光学的バンドパスフィルター８を通過し、レンズアレイ６により撮像素子５の撮像面５ａ上に結像し、レンズアレイ６の撮像レンズ６ａの数に応じた複眼画像を撮像面５ａに形成する。そして、これらの複眼画像が撮像素子５によって取り込まれる。

演算部Ｃは、例えば、本発明の生体認証装置を搭載しているノートパソコンや携帯電話などの携帯端末機器のＣＰＵ（中央演算装置）により構成されており、視差検出演算部Ｂ２と、複眼像再構成演算部Ｂ３と、記憶部Ｂ４と、データベース選択部Ｂ５と、認証演算部Ｂ６とを有している。

視差検出演算部Ｂ２は、取得された複眼画像の各個眼画像から視差を算出すると共に、算出された視差に基づいて被写体までの距離の算出を行う（被写体距離検出手段）。なお、本明細書において、各個眼画像間の「視差」とは、複眼画像の中で基準としている個眼画像に対する各個眼画像のシフト量（単位は長さ）を表している。

複眼像再構成演算部Ｂ３は、複眼画像データと複眼画像に含まれる各個眼画像の視差のデータとに基づいて、複眼画像から単一画像を再構成する（単一画像再構成手段）。

記憶部Ｂ４には、認証が許可されている認証対象の静脈画像が予め登録・保存されている静脈画像データベースと、同じく認証が許可されている認証対象の顔画像が予め登録・保存されている顔画像データベースとが構築されている。

データベース選択部Ｂ５は、視差検出演算部Ｂ２によって算出された被写体までの距離に基づいて、被写体が顔か指の静脈かを判定（被写体識別手段）して、記憶部Ｂ４の静脈画像データベースと顔画像データベースとにアクセスして情報を取得する。

認証演算部Ｂ６は、予め登録された静脈画像データベースや顔画像データベースと、新たに取得した静脈画像や顔画像とを照合して個人認証を行う（認証手段）。

次に、本実施例の動作を被写体が人の顔である場合について説明する。

撮像素子５によって撮像された被写体の複眼画像は画像入力部Ｂ１によって画像データとして取り込まれる。この複眼画像を構成している各個眼画像は、レンズアレイ６を構成する各撮像レンズ６ａと顔２Ａとの位置関係に応じて視差を伴った像となっている。

図２は、本実施例の生体認証装置により取得される複眼画像を説明する図であり、図２（ａ）のような被写体であった場合には図２（ｂ）のような視差を伴う複眼画像が得られることを示している。

複眼画像における黒い線の部分は、図１の遮光手段７の影の像を表しており、影を挟んで各撮像レンズ６ａによる反転像、すなわち個眼画像が撮像レンズ６ａの数だけ形成されている。

そして、図１に示す画像入力部Ｂ１によって取り込まれた複眼画像は、視差検出演算部Ｂ２に転送され、各個眼画像の中で所定の輝度以上となっている画素を選択して輝度値を取得する閾値処理がなされ、各撮像レンズ６ａの倍率と撮像素子５の画素５ｂサイズとから算出される画像サイズの情報と、レンズアレイ６のレンズピッチの情報とに基づき遮光手段７の影にあたる画像領域が除去されて個眼画像だけが抽出される。

複数ある個眼画像の中で任意の２つの個眼画像を選択し、次の（１）式に基づいて行われるイメージマッチング処理、あるいはブロックマッチング処理により２つの個眼画像間での視差が検出される。

（１）式において、Ｉ_Bは複眼画像中で任意に選択された基準個眼画像の輝度であり、各個眼画像の視差の基準となる。また、Ｉ_mは各個眼画像の輝度を表しており、ｍは個眼画像の番号で１からＮ（Ｎはレンズアレイ６を構成する撮像レンズ６ａの個数）の値をとる。

Ｐ_x，Ｐ_yは、それぞれ各個眼画像の基準個眼画像に対するｘ，ｙ方向の視差を表す。ただし、ここで、ｘ方向とｙ方向とは、例えば、図２（ｂ）に示される複眼像において、横方向と縦方向とをそれぞれ表している。

（１）式では、個眼画像を構成する全画素について個眼画像と基準個眼画像との輝度偏差をとり、その二乗和Ｅを求めている。Ｐ_x，Ｐ_yを徐々に変化させながらＥを計算し、Ｅが最小となるときのＰ_x，Ｐ_yを求めると、そのＰ_x，Ｐ_yがｘ，ｙ方向における基準個眼画像に対するｘ，ｙ方向のそれぞれの視差となる。

視差検出は隣接する個眼画像間で求めても良いし、離れた個眼画像間で求めても良い。ｘ，ｙ方向について視差を求めるためには、ｘ方向やｙ方向に並ぶ個眼画像ではなく、対角線方向に配列する２つの個眼画像を用いる必要がある。

このようにして得られた視差と、レンズアレイ６のレンズピッチと、レンズの焦点距離とに基づいて幾何学的関係を用いてレンズアレイ６から被写体までの距離を算出する。

算出されたレンズアレイ６から被写体までの距離が所定値、例えば、１０ｃｍより遠い場合には、認証対象が顔２Ａであると判定し、データベース選択部Ｂ５により選択され、顔画像が登録・保存された記憶部Ｂ４の顔画像データベースにアクセスする。

一方で、検出した視差と複眼画像データとを複眼像再構成演算部Ｂ３に転送して、これらの視差と複眼画像データとに基づいて複眼画像から単一画像を再構成する。

次に、複眼画像から単一画像を再構成する手順を以下に示す。

本実施例においては、レンズアレイ６の使用に伴う無効画素の増加や光学倍率の低下および解像力低下を補償するために、以下に説明するように個眼画像間の視差を利用した複眼画像から単一画像への再構成処理を複眼像再構成演算部Ｂ３によって行う。

個眼画像間には撮像レンズ６ａと被写体との位置関係に起因した視差が存在するために、各個眼画像は、視差に伴って少しずつシフトした画像となる。これらの各個眼画像の視差を利用すると、個眼画像における１つの画素に埋もれた被写体の画像を再現することができる。

個眼画像間の視差の検出には、例えば（１）式で得られる個眼画像間の輝度偏差の二乗和を用いることができる。上述したように、（１）式でＥが最小となるときのＰ_x，Ｐ_yがそれぞれｘ，ｙ方向における個眼画像の基準個眼画像に対する視差となる。

視差の大きさが撮像素子５の画素５ｂのサイズより小さくなることが考えられる場合は、視差の大きさが画素５ｂのサイズあるいは画素５ｂのサイズの整数倍になるように個眼画像を拡大して、個眼画像の構成画素数を増やし、拡大した個眼画像間の輝度偏差の最小二乗和から視差を求めればよい。

その場合の個眼画像の拡大では、隣接画素を参照しながら各画素の輝度を決める補間演算を用いる必要がある。光学倍率とレンズアレイ６のレンズピッチ、撮像素子５の画素５ｂのサイズとから視差のおおよその値を推定できるため、推定した視差が画素５ｂのサイズ分の長さになるように拡大率を決めればよい。

レンズアレイ６のレンズピッチの加工精度が十分高い場合には、被写体のレンズアレイ６からの距離がわかれば、各個眼画像間の視差は幾何学的に算出することが可能である。このため、１組の個眼画像間の視差を検出し、次の（２）式に基づき各個眼画像間の視差を算出してもよい。

（２）式において、δは任意の個眼画像の視差、Δは実際に検出した個眼画像の視差、Ｎは、画像内のｘ方向またはｙ方向（横方向または縦方向）において、基準個眼画像の中心から視差を検出した個眼画像の中心までの距離、ｎは基準個眼画像の中心から任意の個眼画像の中心までの距離をそれぞれ表している。

例えば、後述する静脈認証のように被写体距離が短い場合など、個眼画像間の視差が大きい場合は、基準個眼画像を１つの個眼画像に固定せず、隣接する個眼画像間で視差検出を実行するとよい。その場合、隣接する一方の個眼画像が基準個眼画像になり、他方が視差を検出する個眼画像になる。

この場合には、個眼画像の中に静脈パターンが観察されない個眼画像もあるので、静脈パターンが観察される個眼画像を抽出し、それらについて視差の検出を行い、静脈パターンが観測されない個眼画像の視差は、他の個眼画像について検出した視差を用いて、（２）式により算出すればよい。

なお、輝度偏差の二乗和を最小化する方法に代えて、個眼画像間の相互相関計算による方法を用いてもよい。

図３に複眼画像から単一画像を再構成する処理における画素の配置法を説明するための模式図を示す。

図３において、複眼画像１１における各個眼画像１１ａから画素輝度データを取得し、仮想的な画像データの空間における再構成画像１２の個眼画像の位置と視差とに応じて決まる位置に取得された画素の輝度データを配置する。

各個眼画像の全画素について同様の画素輝度データの配置を繰り返すことにより再構成画像１２を得ることができる。なお、視差の大きさや遮光部材７の影などの影響で、再構成画像１２に輝度が欠失した画素が生じるときは、その隣接画素の輝度を参照して補間する。

また、視差が画素サイズより小さいときは、視差の大きさが画素サイズあるいは画素サイズの整数倍になるように再構成画像を拡大し、再構成画像の構成画素数を増やしてから同様の画素輝度配置を行えばよい。

図４は、複眼画像から単一画像を再構成するために複眼像再構成演算部Ｂ３によって行われる処理のフローチャートである。このフローチャートに基づいて単一画像の再構成処理を説明する。

まず、複眼画像を取得する（ステップＳ１）。

次に、前処理で抽出された静脈パターンが含まれている個眼画像の中から視差検出のための基準個眼画像を設定する（ステップＳ２）。

この基準個眼画像に対する各個眼画像の視差を検出する（ステップＳ３）。

ただし、静脈パターンが含まれない個眼画像に関しては（２）式により視差を参照する。

そして、視差を利用して複眼画像から単一画像への再構成演算を行い（ステップＳ４）、再構成した単一画像を出力する（ステップＳ５）。

このような複眼像再構成演算部Ｂ３による再構成処理により、画素に埋もれた被写体の構造を再現でき、被写体が遠くなって解像力が低下する場合でも解像力を向上させた単一像を取得することができる。

そして、このように複眼画像から再構成された顔画像は、データベースに登録された顔画像との間でイメージマッチング処理が行われ、顔画像を収録したユーザーが登録されたユーザーかどうかが認証演算部Ｂ６によって認証処理されて認証結果が出力される。

次に、本実施例の生体認証装置の動作を被写体が指の静脈（血管）である場合について説明する。

図５は、本実施例の生体認証装置を説明する構成図であり、撮像部１については、撮像部１に載置されている指の指先側から見た断面図、その他の部分についてはブロック構成図である。なお、図１と同一乃至均等な部分については図１と同一の符号を付すものとする。

図５において、符号２Ｂは人の指を表し、符号２Ｂａは指内部に存在する血管（静脈）を表している。

本実施例の生体認証装置では、通常状態（デフォルト状態）において、被写体に向かって波長λ１の光が照射されているが、指２Ｂを装置に近づけることによって、被写体が検出できないほどに画像が暗くなることを検出したり、被写体の像が撮像されたとしても被写体距離が所定値、例えば、１０ｍｍより近い距離であることを検出することによって、被写体が顔２Ａではなく血管２Ｂａ（静脈）であると判定（被写体識別手段）する。

そして、被写体が顔２Ａではなく血管２Ｂａ（静脈）であると判定されたときには、データベース選択部Ｂ４によって静脈画像が登録・保存された記憶部Ｂ４の静脈データベースにアクセスすると同時に、光源駆動部１０にＬＥＤ光源部３ｂを駆動させる信号とＬＥＤ光源部３ａを消灯させる信号とを送り、ＬＥＤ光源部３ｂをＯＮして被写体に波長λ２の光を照射すると共にＬＥＤ光源部３ａをＯＦＦする。

生体に照射された波長λ２の近赤外光は、生体内部の血管２Ｂａでは吸収されるが、血管２Ｂａのない部分では透過するため、生体を透過した光により血管パターンの像が形成される。

照射した近赤外光の波長λ２近傍の光だけをバンドパスフィルター８で抽出し、抽出した光をレンズアレイ６により撮像素子５の撮像面５ａ上で結像させ、血管２Ｂａ（静脈）の血管パターンの複眼画像を撮像素子５によって取得する。

ＬＥＤ光源部３ｂは、所定範囲の血管パターンの全体をカバーできるように複数個設置してもよいし、同程度の波長を照射するＬＤ光源を用いてもよい。

図６は、被写体が撮像部１の近くにある場合の複眼画像の例を示しており、図６（ａ）のような被写体であった場合には、図６（ｂ）のような複眼画像が得られることを示している。なお、図６（ｂ）の個眼画像は図２（ｂ）の個眼画像に比べて個眼画像間での視差が大きい複眼画像となっている。

撮像素子５により撮像された血管パターンの複眼画像は、上述した顔画像の処理と同様に、複眼像再構成演算部Ｂ３によって単一像に再構成され、静脈データベースに登録された血管パターン画像との間でイメージマッチング処理がなされ、血管パターン画像を取得したユーザーが既に登録されているユーザーかどうかを認証演算部Ｂ６によって認証して結果を出力する。

本実施例では、通常状態（デフォルト状態）において、まず顔認証を行うようにし、顔認証では認証できなかった場合は、指２Ｂを撮像部１に近づけて静脈認証を行う。これにより、通常状態では手軽に顔認証を行い、必要な場合にのみ高精度の静脈認証を行うようにする。

また、本実施例では、顔認証の場合と静脈認証の場合とで光源部から照射する光の波長を変えたが、同一波長の近赤外線を照射してもよい。

その場合、光源部を顔認証用と静脈認証用で分ける必要はなく、認証対象に応じて光源部の切替を行わなくて良いだけでなく、光学的バンドパスフィルター８は、一つの波長のみが通過するようなものを選択すればよく、製造が比較的容易になる。

次に、実施例２の生体認証装置を図面に基づいて説明する。なお、実施例１と同一乃至均等な部分については同一の符号を付すものとし、実施例１と異なる部分を中心に説明する。

図７は、実施例２の生体認証装置を説明する構成図であり、撮像部１については撮像部１に載置されている指２Ｂの指先側から見た断面図、その他の部分についてはブロック構成図であり、指２Ｂの静脈（血管２Ｂａ）が被写体となっている場合の図である。なお、図５と同一乃至均等な部分については、図５と同一の符号を付すものとする。

図７に示す符号８ａは透明カバーであり、本実施例では、光学的バンドパスフィルター８は使用しない。

本実施例の演算部Ｃは、変調信号抽出演算部Ｂ７を有しており、変調信号抽出演算部Ｂ７には、ＬＥＤ光源部３ａ，３ｂの発光強度を独立に、または一斉に、所定の変調信号によって変調するための光源部変調制御手段と、撮像素子５によって撮像された画像信号のうち前記所定の変調信号によって変調された画像信号だけを抽出するための変調光抽出手段とが設けられている。

光源制御部９を光源部変調制御手段によって制御することにより、被写体を照射するＬＥＤ光源部３ａ，３ｂに正弦波状の強度変調信号を与え、照明強度を連続的に変化させると、被写体に反射されて、撮像素子５に取得される画像信号に、撮像素子５の画素５ｂごとに、図８に示すような光強度変調された連続的信号が得られる。

このとき、画像内の任意の位置（ｘ，ｙ）における画素５ｂの強度変化は、例えば、（３）式のように表される。

（３）式のＩは画素５ｂへの入射光の強度、Ａはバイアス光の強度、Ｂは照明光の変調振幅、φは照明光の変調位相である。

図８にｔ１，ｔ２，ｔ３，ｔ４で示したように、例えば、変調周期の１周期内を４等分する時間間隔で画像を取得すると、各時間ｔ１，ｔ２，ｔ３，ｔ４において取得される画像強度は以下のように表せる。

そして、（４）〜（７）式を用いて、変調光の振幅は（８）式で求めることができる。

図７に示す変調信号抽出演算部Ｂ７を用い、異なる時間ｔ１，ｔ２，ｔ３，ｔ４にそれぞれ記録された４枚の画像の強度を（８）式のＩ₁〜Ｉ₄に代入することにより、バイアス光の影響を除去した画像Ｂを変調光の振幅として取得することができる。

照射光の変調周期は、顔認証の場合と静脈認証の場合とで変えてもよいし、同じ変調周期を用いてもよい。

本実施例では、変調周期を４等分するサンプリング間隔で画像を取り込んだが、サンプリング数を増やしてもよいし、変調振幅を抽出する演算に離散フーリエ変換を用いても変調振幅を算出することができる。

また、サンプリング数を増やすと、一層細かくにバイアス光の影響を除去した画像を抽出することができる。

以上、本発明の撮像装置を実施例に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

携帯電話やノートパソコンなどの様々な携帯情報機器に搭載することができる。

実施例１の生体認証装置を説明する構成図であり、撮像部については断面構成図、その他の部分についてはブロック構成図である。人の顔が被写体となっている場合の図である。本発明の生体認証装置で取得される複眼画像の様子を説明するための図であり、人の顔を被写体として示した図であり、図２（ａ）のような被写体であった場合には図２（ｂ）のような複眼画像が得られることを示している。複眼画像から単一画像を再構成する処理における画素の配置法を説明するための模式図である。複眼画像から単一画像を再構成するために複眼像再構成演算部によって行われる処理のフローチャート図である。実施例１の生体認証装置を説明する構成図であり、撮像部については撮像部に載置されている指の指先側から見た断面図、その他の部分についてはブロック構成図である。本発明の生体認証装置で取得される複眼画像の様子を説明するための図であり、被写体が撮像部の近くにある場合の複眼画像の例を示しており、図６（ａ）のような被写体であった場合には図６（ｂ）のような複眼画像が得られることを示している。図６（ｂ）の個眼画像は図２（ｂ）の個眼画像に比べて個眼画像間での視差が大きい複眼画像となっている。実施例２の生体認証装置を説明する構成図であり、撮像部については撮像部に載置されている指の指先側から見た断面図、その他の部分についてはブロック構成図である。人の指の静脈（血管）が被写体となっている場合の図である。縦軸に画素に照射される光の強度Ｉをとり、横軸に時間ｔをとったグラフである。

符号の説明

１撮像部
２Ａ顔（被写体）
２Ｂ指（生体部位）
２Ｂａ血管（被写体，静脈）
３ａ，３ｂＬＥＤ光源部（光源部）
５撮像素子（撮像手段）
６レンズアレイ
６ａ撮像レンズ
８バンドパスフィルター（光学的バンドパスフィルター）
Ｂ１画像入力部
Ｂ２視差検出演算部（被写体距離検出手段）
Ｂ３複眼像再構成演算部（単一画像再構成手段）
Ｂ４記憶部
Ｂ５データベース選択部（被写体識別手段）
Ｂ６認証演算部（認証手段）
Ｂ７変調信号抽出演算部（光源部変調制御手段、変調光抽出手段）
Ｃ演算部
Ｐ _ｘ，Ｐ _ｙ視差

Claims

被写体としての人の顔と人の生体部位の静脈とを撮像する撮像部と、前記撮像部によって取得された画像信号を画像データに変換する画像入力部と、前記画像入力部によって変換された画像データに基づいて個人認証を行う演算部と、を備えた生体認証装置であって、
前記撮像部が、
血管以外の皮下組織における吸収率が低い略単一波長の近赤外光を照射する光源部と、
複数の撮像レンズが該各撮像レンズのレンズ光軸と略直交する同一平面内に格子状に配置されたレンズアレイと、
前記光源部により人の生体部位を照射して該人の生体部位からの反射光を撮像することによって前記人の生体部位の静脈を撮像可能とし、前記複数の撮像レンズにより得られる被写体の複眼画像を撮像する撮像手段と、
を有し、
前記演算部が、
認証が許可されている人の生体部位の静脈の画像が予め登録・保存された静脈画像データベースと、認証が許可されている人の顔の画像が予め登録・保存された顔画像データベースと、が構築された記憶部と、
前記複数の撮像レンズにより得られた被写体の複眼画像を構成する各個眼画像の画像データに基づいて、該被写体と前記各撮像レンズとの位置関係に対応する各個眼画像間の画像のシフト量としての視差を算出すると共に、該算出された視差と、前記各撮像レンズ間のレンズピッチと、前記各撮像レンズの焦点距離と、に基づいて前記レンズアレイから前記被写体までの距離を算出する被写体距離検出手段と、
前記算出されたレンズアレイから被写体までの距離が所定距離より遠い場合には、前記撮像手段により撮像された被写体が人の顔であると判定して前記顔画像データベースにアクセスし、前記算出されたレンズアレイから被写体までの距離が所定距離より近い場合には、前記撮像手段により撮像された被写体が人の生体部位の静脈であると判定して前記静脈データベースにアクセスする被写体識別手段と、
前記予め登録・保存された静脈画像データベースの各画像データと前記撮像手段により撮像された静脈画像の画像データとの照合、および／または、前記予め登録・保存された顔画像データベースの各画像データと前記撮像手段により撮像された顔画像の画像データとの照合を行なうことにより個人認証を行う認証手段と、
を有する
ことを特徴とする生体認証装置。
前記撮像手段により取得された複眼画像の画像データと該複眼画像の画像データに対応する各個眼画像の視差のデータとに基づいて、前記複数の個眼画像から解像力を向上させた単一画像を再構成する単一画像再構成手段を有する
ことを特徴とする請求項１に記載の生体認証装置。
前記撮像部に前記略単一波長の近赤外光と略同一波長の光だけを通過させる光学的バンドパスフィルターが設けられていることを特徴とする請求項１または請求項２に記載の生体認証装置。
前記光源部の発光強度を所定の変調信号によって変調するための光源部変調制御手段と、
前記撮像手段により取得された画像の画像信号のうち前記所定の変調信号によって変調された画像信号だけを抽出する変調光抽出手段と、
が設けられている
ことを特徴とする請求項１または請求項２に記載の生体認証装置。
請求項１乃至請求項４の何れか１項に記載の生体認証装置を用いた認証方法であって、
通常は人の顔を被写体とした個人認証を行い、
前記人の顔を被写体とした個人認証によって認証できない場合には、前記人の生体部位の静脈を被写体とした個人認証を行う
ことを特徴とする生体認証装置を用いた認証方法。