JP4237145B2 - 生体情報検出装置 - Google Patents
生体情報検出装置 Download PDFInfo
- Publication number
- JP4237145B2 JP4237145B2 JP2004571858A JP2004571858A JP4237145B2 JP 4237145 B2 JP4237145 B2 JP 4237145B2 JP 2004571858 A JP2004571858 A JP 2004571858A JP 2004571858 A JP2004571858 A JP 2004571858A JP 4237145 B2 JP4237145 B2 JP 4237145B2
- Authority
- JP
- Japan
- Prior art keywords
- biological information
- image
- biometric information
- sensitivity
- collected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 55
- 230000035945 sensitivity Effects 0.000 claims description 139
- 238000009826 distribution Methods 0.000 claims description 60
- 238000012937 correction Methods 0.000 claims description 27
- 238000013139 quantization Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 35
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 210000004243 sweat Anatomy 0.000 description 14
- 229920006395 saturated elastomer Polymers 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000003705 background correction Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Input (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Description
【技術分野】
本発明は、少なくとも周囲よりも隆起している山部分と逆に周囲より窪んでいる谷部分からなる起伏のある構造をもつ生体情報を走査することによって検知される画像から生体情報を検出する生体情報検出装置に関する。
【0002】
【背景技術】
従来、生体情報検出装置においては、本人であることを同定するための個人認証装置や生体表皮の状態を解析する肌状態解析装置などに生体情報画像を出力す る場合には、個人差、環境、機差などのバラツキ要因によって生体情報画像の濃淡が異なるため、バラツキ要因を極力取り除き、安定した生体情報を検出するこ とが求められている。特に指紋画像や肌画像においては、表皮が乾燥している場合には、生体情報の濃淡のコントラストが小さく、一部がかすれたり、欠如した りすることを避けることが要求される。また、湿潤の場合には、濃淡のコントラストが大きく、汗などで生体情報がつぶれないことが求められる。
【0003】
濃淡のコントラストを改善する技術として以下の公知例がある。
特許文献1では、指紋画像において、指紋画像の画素値を積算して、濃淡レベルのピーク値を用いて、指紋画像を出力するか否かを判定している。何度も指紋 画像を採取する必要があるため、被検体である指がその間に動いてしまう場合には、適切な生体情報を得られない問題がある。乾燥指では、採取回数が多くな り、特に問題である。
【0004】
積算しない技術として、特許文献2や特許文献3がある。これらの技術においては、指紋画像において、指紋画像を一般のコントラスト制御方法により、ヒス トグラムを均等化したり、濃淡分布を広げたりすることで、乾燥指や湿潤指の影響を取り除こうとしている。これらの技術の場合は、指紋画像にセンサ固有の感 度ムラやノイズがある場合には、生体情報とともにノイズのコントラストも増大してしまう。よってノイズの濃淡が乾燥指の濃淡よりも大きい場合には、適切な 指紋画像を採取することが困難となる。
【0005】
センサの感度ムラのようなノイズを除去する技術としては、特許文献4にあるようなイメージスキャナで一般的に用いられるシェーディング補正を指紋画像に 適用した特許文献5や特許文献6がある。これらの技術においては、初期化時に背景画像を取得し、その後採取画像から減算している。ところが、特許文献5や 特許文献6では、単に差分を算出するのみであり、乾燥指紋や湿潤指紋を適切に採取するために感度調整したあとの採取画像に対応できないと考えられる。更 に、センサに感度変動がある場合にも対応できないと考えられる。センサの感度変動を問題として取り上げている文献として、非特許文献1がある。
【0006】
一方、生体情報が含まれているか否かを出力する技術がある。前述の特許文献1では、指紋画像を積算して濃淡レベルのピーク値を用いて生体情報を出力する か否かを判定している。また、特許文献7では、ブロックごとにヒストグラムを解析して、所定の閾値に基づいて隆線を含むブロックを計数している。特許文献 8では、入力画像をローパスフィルタでぼかし、その後二値化した画像を背景と生体情報を分離するためのマスクパターンとしている。いずれの技術において も、接触型のセンサにおいて、残留指紋が付着する場合においては、感度変動や残留指紋など所望の生体情報ではないパターンを誤って、有意な情報として出力 してしまう恐れがある。
【0007】
一般的にセンサの大きさは生体情報が検出される範囲より大きい。したがって、冗長な情報を多く含んでいる。ところが、上述のいずれの技術においても、生体情報の位置や範囲を決定するものではない。
【0008】
【特許文献1】
特開2001−319234号公報
【特許文献2】
特開平8−110860号公報
【特許文献3】
特開2000−322559号公報
【特許文献4】
特開平2−203671号公報
【特許文献5】
特開平11−134498号公報
【特許文献6】
特表2001−521665号公報
【特許文献7】
特開2002−298126号公報
【特許文献8】
特開2003−44856号公報
【非特許文献1】
NEC技報 Vol.55、No3/2002、p.21 図4左上
【0009】
【発明の開示】
本発明の課題は、生体情報検出装置において、生体の状態やセンサのノイズの影響を受け難い、生体情報を検出する方法を提供することである。
本発明の生体情報検出装置は、生体情報を検知し、映像化する生体情報入力手段と、該生体情報入力手段によって採取される採取画像の濃淡分布より統計量を算出し、該統計量に基づいて、該生体情報が存在する領域を抽出する生体情報領域抽出手段とを備えることを特徴とする。
本発明によれば、採取された画像に含まれる生体情報を反映した統計量を算出し、これに基づいて生体情報が存在する領域を抽出するので、より適切に領域抽出ができる。
【0010】
【発明を実施するための最良の形態】
図1は、本発明の原理図である。
本発明の生体情報検出装置は、生体情報を映像化する生体情報入力手段10と、生体情報入力手段10から採取された採取画像の濃淡分布の統計情報に基づいて生体情報の存在する範囲を抽出する生体情報領域抽出手段11を有する。
【0011】
図2は、本発明の第2の原理図である。
本発明の生体情報装置は、生体情報を映像化する生体情報入力手段10に対応する生体情報検知センサ12と、背景画像を検出する背景画像検出手段14と、 採取画像と背景画像との比を用いて生体情報入力手段の感度ムラを補正する感度ムラ補正手段13と、部分領域毎に背景の濃淡レベルを均一化することによって 部分的な感度変動を補正する部分的感度変動補正手段15を有する。
【0012】
本発明によれば、環境やセンサの特性による濃淡コントラスト変動やノイズの影響を受けやすい指紋などの採取画像から適切な生体情報を検出することができる。
本発明の実施形態の第1の態様の生体情報検出装置は、感度ムラなどのノイズや、センサの汚れ、濃淡のコントラストに違いがあっても有意な生体情報が存在する領域を抽出することにより生体情報検出する機能を実現するものである。
【0013】
生体情報の一例として指紋を用いる場合について説明する。
指紋の特徴として、隆線と呼ばれる周囲より隆起した構造と谷線と呼ばれる隆線に囲まれた構造をもつことが知られている。指紋画像は、生体情報入力手段で、隆線との距離、あるいは隆線の傾斜を数値化し、量子化したデータの二次元的な分布として採取される。
【0014】
図3は、採取画像とその画像の画素値のヒストグラムの様子を示す図である。
距離によって指紋情報があらわされる場合、図3(a)、(b)のように、比較的画素値が小さいものが隆線を表し、画素値が大きいものが谷線または背景を 表す。このとき、濃淡度数分布は双峰性となる。したがって、画像の平均値はおおむね隆線と谷線を分割するための境界とみなすことができる。採取画像が背景 画像のみのときは、図3(c)、(d)のように、谷線あるいは背景の画素を含む単峰性のヒストグラムとなる。ところが、生体情報入力手段では、隆線以外の 情報として、ノイズや汚れが含まれることが多い。また、生体情報入力手段の特性によっては、谷線が隆線と背景との中間の画素値を持つこともある。そこで、 生体情報が含まれない採取画像が白色ノイズを含む画像であると仮定し、採取画像f(x、y)の標準偏差σと平均値μに基づいて、隆線と隆線以外を分離する 画素値(閾値)Tを次式のように定義する。f(x、y)は採取画像の画素値(輝度値)である。
【0015】
T=μ−c×σ、ここで、μ=(1/N)ΣΣf(x、y)、
σ=√((1/N)ΣΣ(f(x、y)−μ)2) (第1式)
ここで、Nは画素数、(x、y)は、画素の位置である。
【0016】
上記の仮定に基づく上記方法は、実際の画像については誤差が大きいが、採取画像の濃淡分布が正規分布となると仮定すると、たとえば、c=1.0とすると 画像全体31.74%、c=2.0とすると画像全体の4.56%が少なくとも隆線であるとみなしてもよい。上式によれば隆線画素は、採取画像の濃淡のコン トラストに依存しない。
【0017】
よって、感度ムラなどのノイズや、センサの汚れ、濃淡のコントラストに違いがあっても有意な生体情報が存在する領域を抽出できる。
以上、画素値が反転した場合においては、画素値の関係を反転することにより同様の議論となる。以降においても同様である。
【0018】
本発明の実施形態の第2の態様の生体情報検出装置は、有意な生体情報の位置と範囲を抽出する機能を実現するものである。
図4は、本発明の実施形態の第2の態様を説明する図である。
第1式において、c>1.0とすれば、概ね隆線が抽出されているとみなしてよい。そこで、隆線とみなされる画素の位置に関して次式のように重心を求めることで、採取画像における生体情報の位置(Gx、Gy)を定義する。
【0019】
Gx=(ΣF(x、y)・x)/(ΣF(x、y))
Gy=(ΣF(x、y)・y)/(ΣF(x、y))
ここで、
F(x、y)=1:f(x、y)≦Tのとき、
F(x、y)=0:f(x、y)>Tのとき、 (第2式)
【0020】
また、生体情報の範囲は、隆線とみなした画素のバラツキとして考えることができる。そこで、重心回りの2次モーメントを利用する。具体的には、次式のようにして生体情報の範囲(Sx、Sy)を定義する。
【0021】
Sx=ξ×√(M20/ΣF(X、Y))、Sy=η×√(M02/ΣF(x、y))
ここで、
Mpq=ΣΣ((x−Gx)p(y−Gy)q)×F(x、y)、
ξ>1.0、η>1.0 (第3式)
【0022】
図4のように重心Gx、Gyを中心として、各辺が2×Sx、2×Syの範囲となる。
生体情報抽出においては、第1に検出結果として出力する生体情報を囲む領域の範囲、第2に生体の状態を解析するための生体情報のみを含む範囲が要求される。
【0023】
まず、検出結果として出力するための生体情報を囲む領域の範囲について説明する。
生体情報入力手段の一例として一般的な指紋センサを考えると、センサ面の形状は矩形である場合が多い。そこで、生体情報の分布の外形が矩形で一様に分布 しているものと仮定する。ξ=1.0のときのSxは、すなわち、2次モーメントの平方根は、Y方向へ投影したときの、隆線と判断された画素の分布の標準偏 差となる。理想的な一様分布の標準偏差は1/√12であることが知られていることから、2Sxと2Syをそれぞれ辺とする矩形領域の面積を1となるように 採ると、以下の関係となる。
【0024】
Sx=ξ×√(M20/ΣF(x、y))=1/2、Sy=η×√(M02/ΣF(x、y))=1/2 (第4式)
【0025】
上式からξ≧√3、η≧√3とすることで、生体情報が存在する領域を囲む矩形領域を抽出することができる。
生体情報入力手段のもう一つの例として開口形状が楕円形のものがある。そこで、生体情報分布の外形が楕円形で、生体情報の分布の軸方向への投影プロファ イルが正規分布であるものと仮定する。標準偏差が2のとき約95%の分布を含むので、生体情報を概ね囲っている。したがって、ξ≧2、η≧2とすることで 生体情報が存在する領域を囲む矩形領域を抽出することができる。
以上の考察により、ξ=2、η=2の矩形範囲と、生体情報入力手段の画像サイズでクリップされる範囲を生体情報領域の面積と定義する。
【0026】
次に、生体の状態を解析するための生体情報のみを含む範囲について説明する。
生体情報の分布の外形が矩形で一様に分布しているものと仮定すると、上述と同様の議論により、ξ≦√3、η≦√3とすることで、生体情報が存在する領域を囲む矩形領域を抽出することができる。
また、生体情報入力手段のもう一つの例として、開口形状が楕円形のものがる。そこで、生体情報分布の外形が楕円形と仮定する。このとき、以下の関係式が成り立つ。
【0027】
(x/Sx)2+(y/Sy)2=1 (第5式)
この楕円に内接する最大の長方形が、求める範囲となる。そこで、微分方程式
d/dx(xy)=0 (第6式)
を第5式と連立して解くと、ξ=√2、η=√2とすることで、生体情報が存在する領域を囲む矩形領域を抽出することができることがわかる。よって、ξ= √2、η=√2となる幅Sx、高さSyの矩形範囲を有意な生体情報領域と定義する。より具体的にいえば、第5式の楕円形の方程式と第6式の極値を与える双 曲線xy=kの接点が楕円に内接する最大の長方形の1つの頂点となる。
【0028】
有意な生体情報領域においては、亀裂などの例外を除くと、隆線と谷線のみが含まれるので、生体情報画像の濃淡分布の解析に適している。たとえば、有意な 生体情報領域の濃淡度数分布において、閾値より画素値が大きい画素数と閾値より画素値が小さい画素数の比が5割となる閾値で二値化すれば、生体情報の接触 面積やコントラストに依存せずに隆線と谷線を分離できる。
【0029】
仮に、有意な生体情報領域ではなく、採取画像全体の濃淡度数分布を用いる場合には、背景の影響があるため、生体情報領域の大きさによって度数分布が大き く変化する。たとえば、同様に比が5割となる閾値で二値化すれば、背景の一部や谷線、あるいはノイズや汚れが生体情報として抽出されてしまうので、問題で ある。
【0030】
よって、本発明の実施形態に従えば、有意な生体情報の位置と範囲を抽出できる。
本発明の実施形態の第3の態様の生体情報検出装置は、生体情報が含まれる採取画像を用いて感度ムラ補正することによる情報の欠落を防止しつつ、感度ムラを補正する機能を実現するためのものである。
【0031】
生体情報の濃淡度数分布の広がりに対して、生体情報入力手段における感度ムラの濃淡度数分布の広がりが、ヒストグラム上で比較的近い位置にある場合には、たとえば、閾値処理のような簡単な手法で生体情報を分離することが難しい。
【0032】
生体情報が存在しない背景画像は感度ムラの分布をそのまま反映しているので、イメージスキャナなどで一般的に用いられているシェーディング補正のように、採取画像から背景画像を差し引くことで感度ムラを除去することが考えられる。
【0033】
ところが、生体情報入力手段に感度調整機能がある場合には、感度ムラは感度調整に応じて変化すると考えることが自然である。このとき、背景画像と採取画 像で設定された感度が異なる場合には、シェーディング補正のような差分による補正を適用しても感度ムラが多少残り、十分には補正されない。
【0034】
図5は、本発明の実施形態の第3の態様を説明する図である。
感度ムラの存在する背景画像のヒストグラム上での分布が図5のように、平均値が小さいと標準偏差が小さく、平均値が大きくなるに従い、標準偏差が大きく なるという関係にある場合には、次式のように補正することで感度ムラを更に低減することができる。なお、図5の左図は、平均値と標準偏差の上記関係を画素 値と度数で表したものである。
【0035】
A(x、y)=f(x、y)×μB/B(x、y) (第7式)
ここで、Aは補正後の画像の画素値、Bは背景画像の画素値、μBは背景画像の画素値の平均値、fは補正前の画像の画素値
【0036】
すなわち、背景画像の画素値がB(x、y)、採取した画像の画素値がf (x、y)のとき、計測した画像の画素値がf(x、y)のとき、この背景画像の 画素値の平均値がμBとB(x、y)の比を用いて、画素値f(x、y)を画素値A(x、y)に補正する。標準偏差と平均値が図5のように比例するから、第 7式の変換が可能になる。
【0037】
ところが、背景画像に生体情報と同程度の濃淡コントラストとなる汚れや、生体情報そのものが含まれていると、採取画像の生体情報が欠落する恐れがある。そこで、背景画像検出手段においては、全体あるいは部分領域の濃淡分布を用いて背景画像であるとみなす処理を行う。
【0038】
図6は、部分領域の濃淡分布を用いて背景画像であるとみなす処理について説明する図である。
たとえば、生体情報入力手段における感度ムラによる濃淡バラツキを白色ノイズとみなし、正規分布に近似されるものと仮定すると、採取画像の濃淡度数分布が正規分布から外れるほど感度ムラ以外の要因による何かしらの濃淡パターンが採取画像に含まれると考えられる。
【0039】
濃淡分布が正規分布に近いことを判定する方法として、例えば、正規分布の特徴を利用する方法が考えられる。
正規分布には、尖度Kと歪度SがそれぞれK〜3、S=0となる特徴がある。ヒストグラムH(i)の尖度、歪度はそれぞれ次式で算出される。
【0040】
S=(Σ(i−μH)3×H(i))/σH3 (第8式)
K=(Σ(i−μH)4×H(i))/σH4 (第9式)
ここで、μHは、H(i)の平均値、σHはH(i)の標準偏差
【0041】
歪度はヒストグラムの形状の対称形からの歪みの度合いを示す値であり、尖度はヒストグラムの平均回りへの集中度合いを示す。
部分的に判定する場合には、図6のように採取画像を複数の領域に分けてもよい。複数の領域に分けて判定することにより、図6のように部分的には感度ムラが白色ノイズとみなせるが、全体として白色ノイズとみなせない場合においても背景画像であると判定することができる。
【0042】
よって、生体情報が含まれる採取画像を用いて感度ムラ補正をすることによる情報の欠落を防止しつつ、感度ムラを補正することができる。
本発明の実施形態の第4の態様の生体情報検出装置では、生体情報を1ラインずつ走査することにより、画像を生成する動作となる。たとえば、生体情報検出 装置を家庭用電源に接続する場合には電源に50Hz/60Hzのコモンモードノイズが混入する場合がある。また、静電容量型センサや電界強度型センサなど 人体の電気的特性を利用した生体情報入力手段では、人体からノイズが混入する場合がある。これらの場合では、採取画像上に走査線の方向に沿って生体情報と は異なった縞状のノイズが現れる。
【0043】
図7は、指紋画像にコモンモードノイズがのった場合の画像の様子を示した図である。
図7のような縞状ノイズを除去するには、浮動閾値法や帯域透過フィルタを用いて、オフセットの変動成分を除去し、背景の画素値を均一化することができ る。ところが、縞状ノイズの周波数帯域が生体情報と重なり合う場合には、浮動閾値法や帯域透過フィルタを適用すると、有意な生体情報が欠落する危険があ る。
【0044】
そこで、走査線毎に背景の平均的な画素値、あるいは背景と生体情報を分離する閾値を求め、走査線毎の閾値が画像全体にわたって均一となるように補正する ことが有効である。たとえば、指紋を採取すると、濃淡分布は隆線と隆線以外の領域に二極化するため、濃淡度数分布は双峰性をなす。したがって、隆線以外の 極大値を背景の代表画素値として抽出することができる。また、濃淡度数分布が単峰性の場合には、走査線全体にわたって隆線が1直線上に均一に分布すること がないと考えることが自然であるので、Pタイル法で得られる閾値や固定閾値により、背景の代表画素を決定してもよい。Pタイル法を用いる場合には、単峰性 であることから正規分布に近似し、μ+c×σとなる画素値を閾値とすることが有用である。ここで、μは、濃淡度数分布の平均値、σは、濃淡度数分布の標準 偏差、cは0より大きい定数である。
【0045】
よって、部分的な感度変動を補正する作用があり、走査線ノイズなどの影響が取り除かれた生体情報画像を検出することができる。
本発明の実施形態の第5の態様の生体情報検出装置は、走査線ノイズなどセンサ固有の部分的な感度変動の、画素値のバラツキを補正する機能を実現するものである。
【0046】
前述のような原因で生じる感度変動により、部分的な領域毎にコントラストが異なる場合がある。このとき、第4の態様の生体情報検出装置で補正された採取 画像において、たとえば、走査線毎の感度変動で画素値のバラツキも異なる場合には、背景の縞状ノイズは補正されているが、生体情報上に生体情報とは関係の ない縞状パターンに覆われた画像となる。また、たとえば、採取画像がブロック毎の離散コサイン変換に基づいた非可逆圧縮されたものでは、部分的な変動はブ ロックごとに生じる場合がある。
【0047】
感度を均一化するには次式の関係が用いられる。
A(x、y)=(f(x、y)−μ(i,j))×σA/σ(i、j)+μA (第10式)
ここで、i、jはそれぞれ横方向、縦方向のブロックの位置、
μ(x、y)はブロック毎の平均値、σ(x、y)はブロック毎の標準偏差、
Aは補正後の画像の画素値、μAは補正後の画像の平均値、σAは補正後の画像の標準偏差
【0048】
上式は、ブロック処理を行う場合の補正式である。μAを採取画像f(x、y)の平均値μ、σAを採取画像の標準偏差σとすると、理想的には補正前後で濃淡度数分布の差を除去できる。
他方、走査線のようにラインごとに処理する場合には、次式の関係となる。
【0049】
L(x、y)=(f(x、y)−μ(y))×σ/σ(y)+μ (第11式)
ここで、μ(y)はyライン目の平均値、σ(y)はyライン目の標準偏差、L(x)は補正後のラインの画素値、f(x、y)は、補正前の画素値である。
【0050】
上述のように、部分的なバラツキを補正しても、背景の画素値は均一化されていない。そこで、背景の画素値も均一化するために、第4の態様の方法により求めた背景の画素値を用いて、次式の補正を行う。
【0051】
O(y)=μB−(μLB(y)−μ(y))×σ/σ(y)−μ(第12式)L’(x、y)=L(x、y)+O(y) (第13式)
ここで、O(y)はyライン目の背景の画素値を均一化するためのオフセット、μBは背景画像の平均値、μLB(y)はyライン目の背景の画素値。Lは、補正前の背景の画素値、L’は、補正後の背景の画素値、その他は、前述したとおりである。
【0052】
よって、部分的な感度変動を補正することができ、走査線ノイズなどの影響が取り除かれた生体情報画像を検出することができる。
部分的な感度変動を補正する際に、生体情報が存在する領域と背景のみの領域を、従来法のように補正してしまうと、背景のみの領域のコントラストが強調され、背景領域のノイズが生体情報と同程度の濃淡となる。
【0053】
第6の態様の生体情報検出装置は、このようなノイズの強調を回避するために、部分領域毎に生体情報が含まれるか否かを判定し、含まれていない場合には、感度変動を補正しない機能を実現するためのものである。
部分領域の濃淡のバラツキが所定の値よりも小さいとき、部分領域に生体情報が存在しないとみなす。濃淡のバラツキとしては分散あるいは標準偏差を用いる。
【0054】
図8は、感動変動を補正する場合の処理手順を示したフローチャートである。
まず、部分領域の背景画素値を推定する(ステップS10)。次に部分領域の生体情報を判定する(ステップS11)。ステップS12において、生体情報が 存在するか否かを判断する。生体情報が存在する場合には、感度変動のバラツキを均一化し補正する(ステップS13)。そして、部分領域の背景画素値を均一 化する(ステップS14)。ステップS12において、生体情報がないと判断された場合には、ステップS14にそのまま進み、部分領域の背景画素値を均一化 する。
【0055】
よって、背景のみの領域を判定することにより、部分領域の感度変動補正が過度に作用することを抑えることができる。
本発明の実施形態の第7の態様の生体情報検出装置は、生体情報領域の濃淡度数分布において画素数が所定の比となる閾値を背景輝度に基づいた輝度と一致させることにより、感度調整する機能を実現するものである。
【0056】
図9および図10は、本発明の実施形態の第7の態様を説明する図である。
たとえば、指紋画像においては、図9の左のヒストグラムのようにコントラストが小さい採取画像においても、図9の右のヒストグラムのようにコントラスト が大きい採取画像においても、画素数が所定の閾値を境にして、隆線と谷線が所定の比となっていると、ノイズや汚れの影響を排除できるので、隆線と谷線の分 離が容易になる。生体情報入力手段に感度調整機構があり、背景輝度と感度設定値の関係が比例関係となっている場合には、次式でより適切な感度設定値を算出 することができる。
【0057】
Sn=S×i/T (第14式)
ここで、Tは画素数が所定の比で分割する閾値(図では、p%と(100−p)%に画素数を分割している)、Sは調整前の感度設定値、
iは調整後の閾値、Snは求めようとしている感度設定値。
【0058】
したがって、生体情報入力手段の感度に個体差がある場合において、図10のように感度の個体差の影響を受けずに感度設定値を決定することができる。
Tを用いることにより、生体情報を欠落させることなく、ダイナミックレンジを最も広く使うことができる。
【0059】
iを背景輝度より小さい値に設定すれば、コントラストが大きすぎて隆線の情報が飽和している場合には、コントラストを狭めることができる。更に、いった ん感度設定が高められた後、徐々に感度設定値が下げられた場合、生体情報入力手段が接触式の場合には、汗などの生体情報以外のパターンによる影響が低減さ れる。
【0060】
本発明の実施形態の第8の態様の生体情報検出装置は、生体情報領域の濃淡コントラストを一定とするための機能を実現するものである。
生体情報領域の背景輝度と生体情報領域の最小値をそれぞれ量子化レベルの最大値と最小値と一致するするように設定するため、次式のように計算する。
【0061】
f’(x、y)=(f(x、y)−fB)×(max−min)/(fB−fmin)+max (第15式)
ここで、fBは生体情報領域の背景輝度、fminは生体情報領域の画素値の最小値、maxは量子化レベルの最大値、minは量子化レベルの最小値
fminは生体情報領域の平均値と標準偏差を使って、
fmin=μ−c×σ、c>1.0 (第16式)
としてもよい。
【0062】
また、max、minは過強調による飽和を避けるため、maxは若干小さく、minは若干大きくしてもよい。f’(x、y)は、f(x、 y)を第15式に基づいて変換したが素値を意味するので、センサの出力のうちfminからfBまでの画素値が、maxとminの間に入るように変換したも のである。
上記のように生体情報領域の情報のみを利用するため、生体情報領域以外の範囲に、汚れなど不要な情報の影響を受けない。よって、出力結果を安定させることができる。
【0063】
本発明の実施形態の第9の態様の生体情報検出装置は、生体情報領域の平均値と標準偏差に基づいて採取画像の状態を判定する機能を実現するものである。
図11は、本発明の実施形態の第9の態様を説明する図である。
【0064】
たとえば、センサとの距離に応じて濃淡値を出力する生体情報入力手段においては、画素値が低いほど距離が短く、大きいほど距離が長い。図11に示すよう に、湿潤した指の場合は表皮が滑らかなので、画素値が低くなる傾向が強く、乾燥した指の場合は逆に画素値が大きくなる傾向がある。また、極度に湿潤した指 の場合は画素値が小さいところに分布が固まる傾向があり、極度に乾燥した指の場合も画素値が大きいところに分布が固まる傾向がある。これに対して、生体情 報領域以外の背景部分は、画素値が最も高いところに分布が集中しているため、除外しなければならない。一方、生体情報領域として抽出された範囲の標準偏差 が背景画像の標準偏差値以下となる場合には、採取画像には生体情報が存在しないとみなすことができる。
【0065】
よって、生体情報領域の平均値と標準偏差を用いることで、生体情報の状態を判定することができる。
本発明の実施形態の第10の態様の生体情報検出装置は、感度設定値が可変であっても採取画像の状態を判定する機能を実現するものである。
【0066】
図12は、本発明の実施形態の第10の態様を説明する図である。
図12に示すように、感度設定値が異なっている場合には、たとえば、湿潤した指と乾燥した指の濃淡分布の差が指の状態と相関がなくなってしまう。そこで、次式のように感度設定値で正規化する。
【0067】
f’(x、y)=f(x、y)/S (第17式)
ここで、Sは採取画像の感度設定値
よって、感度設定値が異なっていても採取画像の状態を正確に判定することができる。
本発明の実施形態の第11の態様の生体情報検出装置は、生体情報領域を抽出する機能を実現するためのものである。
【0068】
図13は、本発明の実施形態の第11の態様を説明する図である。
採取画像においてノイズや汚れの画素値の範囲が、生体情報の画素値の範囲と重なる場合には、図13のように生体情報領域が正確に抽出されない。そこで、 ノイズや汚れを除去してから生体情報を抽出する。生体情報が抽出される前にノイズや汚れを除去しておくことで生体情報を正確に抽出することができる。
【0069】
本発明の実施形態の第12の態様の生体情報検出装置は、生体情報領域を抽出する機能を実現するためのものである。
まず、採取画像において感度ムラを除去し、次に生体情報の存在する領域を抽出する。よって、採取画像において感度ムラを除去することによって正確に生体情報を抽出することができる。
【0070】
本発明の実施形態の第13の態様の生体情報検出装置は、生体情報領域を抽出する機能を実現するためのものである。
まず、採取画像において感度変動を除去し、次に生体情報の存在する領域を抽出する。よって、採取画像において感度変動を除去することによって正確に生体情報を抽出することができる。
【0071】
本発明の実施形態の第14の態様の生体情報検出装置は、採取画像から生体の状態を判定する機能を実現するためのものである。
図14は、本発明の実施形態の第14の態様の処理手順を説明するフローチャートである。
【0072】
まず、背景画像を採取すると(ステップS20)、初期化処理として背景画像を検出する(ステップS21)。次に、生体情報を含む画像を採取し(ステップ S22)、背景画像を用いて採取画像の感度ムラを補正する(ステップS23)。次に、部分的に生じる感度変動を補正する(ステップS23)。そして、生体 情報領域を抽出する(ステップS24)。抽出された生体情報領域から輝度と標準偏差に基づいて生体の状態を判定する(ステップS25)。
【0073】
感度ムラを補正してから感度変動を補正することで、部分領域毎の背景の輝度を正確に算出でき、感度変動を詳細に補正することができる。また、ノイズの影響のない生体情報領域を用いるため正確に生体の状態を判定することができる。
【0074】
本発明の実施形態の第15の態様の生体情報検出装置は、採取画像から生体の状態を判定する機能を実現するためのものである。
図15は、本発明の実施形態の第15の態様を説明するフローチャートである。
【0075】
まず、背景画像を採取し(ステップS30)、次に、初期化処理として背景画像を検出する(ステップS31)。このときの感度設定値を保持しておく (ス テップS32)。次に、生体情報が含まれる画像を採取し(ステップS33)、背景画像を用いて採取画像の感度ムラを補正する(ステップS34)。次に、部 分的に生じる感度変動を補正する(ステップS34)。そして、生体情報領域を抽出する(ステップS35)。抽出された生体情報領域から次に採取する際に用 いる感度設定値を算出する(ステップS36)。生体情報領域から輝度と標準偏差を求め、採取画像を採取する際に設定されていた感度設定を用いて正規化する (ステップS37)。
【0076】
補正によりノイズの除去された生体情報領域を算出することにより、正確な感度設定値が得られ、正確な感度設定値を得ることができる。正確な感度設定値を用いてパラメータを正規化するため、精度の高い判定ができる。
【0077】
本発明の実施形態の第16の態様の生体情報検出装置は、採取画像から生体の状態を判定する機能を実現するためのものである。
まず、直前の採取画像と差分のある画素数を算出する。この画素数が所定の値を超えた場合には、生体情報が確定していないものとして、不安定状態と定義する。所定の値は、生体情報入力手段における採取画像の画素数に基づいて算出する。
【0078】
このように不安定状態を定義することによって、水蒸気も検出してしまうような感度の高い生体情報入力手段においても、誤って指が置かれたと判定することがないので、正確な判定が行える。
【0079】
本発明の実施形態の第17の態様の生体情報検出装置は、採取画像から生体の状態を判定する機能を実現するためのものである。
たとえば、生体情報入力手段に汗や残留指紋が付着している場合は、生体が近づくほど、水蒸気によって汗や残留指紋の画素値が小さくなり、生体情報の画素 値の範囲と重なる場合がある。背景画像に、はじめから汗や残留指紋が映っている場合には、感度ムラ補正手段によって補正が可能である。これに対して、背景 画像には映っていないが、生体が近づくと、汗や残留指紋の画素値が小さくなり、残留指紋が浮き上がってくる場合があるため、次の処理を行う。
【0080】
図16は、本発明の実施形態の第17の態様を説明するためのフローチャートである。
まず、画像を採取し(ステップS40)、初期化処理として背景画像を検出する(ステップS41)。このときの感度設定値を保持しておく(ステップ S42)。画像を採取し(ステップS43)、直前に採取した画像と差分のある画素数を算出する(ステップS44)。このときの採取画像を保持しておく(ステップS45)。次に背景画像を用いて採取画像の感度ムラを補正する(ステップS46)。
【0081】
次に、部分的に生じる感度変動を補正する(ステップ S46)。このとき補正済みの画像を保持しておく(ステップS47)。ステップS48において、直前に採取された画像の生体情報領域に、生体情報が含まれ ているかどうかを判断する。直前に採取された画像の生体情報領域に生体情報が存在しないと判定された場合には、ステップS50に進む。ステップS48にお いて、生体情報が存在すると判断された場合には、残留指紋等の汚れの影響を除去して(ステップS49)、ステップS50に進む。そして、生体情報領域を抽 出する(ステップS50)。保持しておいた補正前の採取画像の生体情報領域から次に採取する画像に用いる感度設定値を算出する(ステップS51)。生体情 報領域から輝度と標準偏差を求め、採取画像を採取する際に設定されていた感度設定を用いて正規化する。そして、直前の正規化画像との差分画素が所定の閾値 以上あるか否かを判断する(ステップS52)。差分のある画素値が所定の値以上となる場合には、採取画像を判定せず、ステップS42に戻り、それ以外の場 合には補正済み画像の生体情報領域の平均値と標準偏差を求め、感度設定値を用いて正規化する。このとき正規化されたパラメータにより、状態判定を行うが (ステップS53)、生体情報が存在しないと判定した場合には、補正済みの画像を保持する。
【0082】
よって、水蒸気によって汗や残留指紋が浮き上がってくる場合や、新たに汗や残留指紋が付着した場合においても、これらを検出する作用がある。これらを除去することによって正確に生体情報を判定する作用がある。
【0083】
本発明の実施形態の第18の態様の生体情報検出装置は、採取画像から生体の状態を判定する機能を実現するためのものである。
汗や残留指紋が付着している場合には、生体情報が存在する採取画像と存在しない採取画像の区別が容易に判断できない場合がある。
【0084】
そこで、生体が湿潤していることが明らかであれば、生体情報の有無を判定するための条件をゆるくする。
たとえば、背景画像検出手段における生体情報がないと判定するための基準を緩くする。あるいは、生体情報判定手段における直前の採取画像と差分のある画 素数を算出する際に、計数する条件を厳しくする。あるいは、生体情報判定手段で標準偏差による生体情報がないと判定するための基準を緩くする。
【0085】
よって、常に湿潤状態となっている生体に対して正確に生体情報を判定することができる。
本発明の実施形態の第19の態様の生体情報検出装置は、採取画像から感度ムラを補正する機能を実現するためのものである。
【0086】
ここまで背景画像を検出可能であることを前提としていたが、製造上のバラツキや、検査漏れによって極度の感度ムラのある生体情報入力手段が使用される恐 れがある。このとき、生体情報が存在する採取画像と存在しない採取画像の区別が容易に判断できない場合がある。生体情報入力手段とは別に生体の有無を検知 するためのセンサがない場合においては、背景画像を検出できないため、生体情報を検出できなくなることが考えられる。背景画像を検出するための条件を緩く すると、逆に乾燥状態の生体が波形画像検出時に入力されていた場合には、感度ムラとして補正されてしまうため、検出できなくなることが考えられる。
【0087】
そこで、生体が乾燥していることが明らかであれば、背景画像を初期化時に検出せずに、あらかじめ採取しておいた採取画像を背景画像として用いる。
よって、極度の感度ムラのある生体情報入力手段においても、正確に生体情報を判定することができる。
【0088】
図17は、本発明の実施形態における生体情報検出装置のブロック構成図である。
本発明の実施形態に従った生体情報検出装置は、生体情報を映像化する生体情報入力部20と、背景画像を検出する背景画像検出部21と、採取画像と背景画 像との比を用いて生体情報入力手段の感度ムラを補正する感度ムラ補正部22と、生体情報入力部20において、採取画像に含まれる感度の変動を補正する感度 変動補正部23と、部分領域毎に背景の濃淡レベルを均一化することによって部分的な感度変動を補正する生体情報領域抽出部24と、生体情報領域の濃淡度数 分布において画素数が所定の比となる画素値を背景画像の画素値と一致する感度に設定する感度調整部27と、生体情報領域の背景領域の画素値と最小値を、そ れぞれ最大量子化レベルに基づいた上限値と最小量子化レベルに基づいた下限値とする濃淡補正を行う濃淡補正部26と、生体情報領域の平均値と標準偏差を生 体情報入力部に設定された感度設定値の比で正規化した値に基づいて採取画像の状態を判定する画像判定部25から構成される。
【0089】
上記生体情報検出装置の動作手順を説明する。ただし、ここでは、感度設定値と画素値が比例することを前提としているが、感度設定値と画素値との関係が明らかであれば、比例関係を実情の感度設定値と画素値との関係に置き換えることで同様の議論ができる。
【0090】
図18は、初期化処理の手順を説明するフローチャートである。
まず、画像を採取し(ステップS60)、生体情報入力部の感度設定値が適切であるかを判定する。背景画像の画素値が飽和していると、感度ムラを補正する ための情報が欠落するため、採取した画像が飽和しているか否かを判定する(ステップS61)。飽和しているか否かは、最大量子化レベルと最小量子化レベル の間に分布する画素数が生体情報入力部における採取画像サイズを元にして算出した閾値により判定する(ステップS61)。また、背景画素値が大きいほど、 量子化による画素値の縮退が少なくなるため、採取画像の最大値Bmaxが所定の閾値Thより大きいか否かを判定する。ノイズにより最大値が最大量子化レベ ルと等しくなっている恐れがあるため、最大値を次式により算出される値と定義する。
【0091】
Bmax=μB+3×σB (第18式)
もし、背景画像の画素値が飽和しているか、Bmaxが所定の閾値より小さい場合には、感度調整する(ステップS62)。背景画像の画素値が最大量子化レ ベルで飽和している場合には、感度設定値を背景画像の画素値が小さくなる方向に設定し、最小量子化レベルで飽和している場合には、感度設定値を背景画像の 画素値が大きくなる方向に設定する。また、Bmaxが所定の閾値より小さい場合には、感度設定値を次式で算出する。
【0092】
SB=S×Th/Bmax (第19式)
次に、採取画像に生体情報が存在するか否かを判定する。
もし、背景画像の画素値が飽和せず、かつ、Bmaxが所定の閾値より大きい場合には、採取画像が正規分布と近いか否かを判定する(ステップS63)。正規分布と近いか否かを判定するため、歪度と尖度を用いる。
【0093】
ただし、歪度と尖度の判定では必要十分とはならないため、平均値と中央値が十分に近いか否かも判定する。採取画像が略正規分布となっていない場合には、 処理を中断するか開始点に戻って再度初期化処理を試みる(ステップS60に戻る)。採取画像が略正規分布と判定した場合には、採取画像に生体情報が存在し ないとみなす。
【0094】
そして、背景画像の検証を行う。検証は、再度画像を採取し(ステップS64)、同様に略正規分布となっていることを確認することによって行う(ステップS65)。
最後に、2つの採取画像同士で濃淡ムラを補正する(ステップS66)。この補正画像の平均値を背景画素値、標準偏差を生体情報存在判定の閾値として以降の処理に用いる(ステップS67)。
【0095】
図19は、生体情報検出処理の手順を示すフローチャートである。また、図20は、感度変動の補正例を示す図である。
まず、生体情報入力部に与えられた感度設定値で感度設定を行う(ステップS70)。
【0096】
次に、画像を採取し(ステップS71)、背景画像を用いて採取画像の感度ムラを補正する(ステップS72)。更に、部分的に生じる感度変動を補正する(ステップS73)。一例を図20に示す。
【0097】
そして、ノイズや汚れが補正された画像に対して、生体情報を抽出する(ステップS74)。
感度調整部は、採取画像の生体情報抽出部により求められた生体情報のみを含む範囲から次に採取する際の感度設定値を算出する(ステップS75)。
【0098】
次に、状態判定部で、補正画像の生体情報のみを含む範囲について統計量を算出し、状態を判定する(ステップS76)。まず、生体情報が存在しないことを判定するために(ステップS77)、感度設定値で正規化した標準偏差NSを用いる。NSは次式により算出する。
【0099】
NS=(σ/μ)×(SB/S) (第20式)
ここで、σは補正画像の生体情報のみを含む範囲の標準偏差、μは補正画像の生体情報のみを含む範囲の平均値、Sは採取画像の感度設定値、SBは背景画像の感度設定値
【0100】
NSが十分に小さい場合には、採取画像に生体情報がないものとみなす。ここで、NSが十分に小さいと判定するための参照値として、次式で算出される値を用いる。
【0101】
R=σB/μB (第21式)
ここで、σBは背景画像の標準偏差、μBは背景画像の平均値である。Rは背景画像のSN比を求めたものである。σBを算出するための背景画像は、感度ム ラなどの生体情報以外のパターンを補正したものであってもよい。例えば、感度ムラを補正した後の背景画像には、センサの汚れや残留指紋が残っている可能性 があり、補正済みの背景画像のσBを用いる場合では、センサの汚れや残留指紋を取り込まないように判定することが可能となる。
【0102】
状態判定部で採取画像に存在する生体情報が乾燥状態か湿潤状態、あるいは、良好な状態であるかを判定する。前述したように、乾燥状態では、画素値が大き く、かつ、分布が固まっているという特徴を利用する。また、湿潤情報では画素値が小さく、かつ、分布が固まっているという特徴を利用する。
【0103】
画素値の大小を比較するため、補正画像の生体情報のみを含む範囲の平均値に対して、次式のように感度設定値を用いて正規化した値を用いる。
NA=μ/μB×(SB/S) (第22式)
このNAと前述したNSを用いてテーブルを用いて状態を分類する。
【0104】
図21は、状態を分類するためのテーブルの一例を模式的に示す図である。
図21においては、NSがR以下の場合には、画像なしと判断し、NSがRと2Rの間であり、NAが小さい値の場合には、湿潤、1に近い値のときは、乾燥 と判断する。NSが3Rと2Rとの間のときは、NAの値によって、湿潤、あるいは、乾燥と判断する範囲が狭くなっている。また、NSが3Rと2Rの間で、 NAが0.5の周辺である場合には、生体情報の取得状態は良好であると判断する。
【0105】
状態判定の結果、生体情報が存在する場合には、感度ムラや感度変動を補正した採取画像に対して濃淡補正を行い(ステップS78)、画像を出力する。ただ し、乾燥状態と判定された場合は、濃淡補正によりコントラストが強調されると、過強調となる恐れがあるため、濃淡補正はオフセットのみを対象としてもよ い。
【0106】
図22は、本発明の実施形態における生体情報検出装置の第2の構成例を示す図である。
なお、図22において、図17と同様の構成要素には同様の参照符号を付して、説明を省略する。
【0107】
第2の構成例は、前述の構成における図20に示すような感度ムラや感度変動を補正した補正画像に汗や残留指紋が映っている場合に、汗や残留指紋を不要な情報として除去するための不要情報除去部30を更に有している。
【0108】
図23は、第2の構成例の動作手順を示すフローチャートである。
なお、図23においては、図19と同様のステップには、同様のステップ番号を付し、説明を省略する。
【0109】
図23は、前述の構成例における図20に示すような感度ムラや感度変動を補正した補正画像から汗や残留指紋など不要情報を取り除くための処理が図19の動作手順に追加されたものであり、感度設定値算出(ステップS75)までは、図19と同様の手順である。
【0110】
ステップS80において、補正済み画像を保持し、ステップS81において、i−1回目の処理、すなわち、直前のループで生体情報が存在しないと判定された補正画像f’i ー 1には、汗や残留指紋が映っている可能性が高い。そこ で、補正済み画像f’iとの差分を算出する。
【0111】
f”i(x、y)=f’i(x、y)−(f’i-1(x、y)−Bf’i-1) (第23式)
ここで、Bf’i-1は、f’i-1(x、y)の背景画素値
【0112】
次の状態判定(ステップS77)は保持してある不要情報除去前の補正画像を用いる。以降の処理は図16と同様である。生体情報が存在しないとステップS81で判断された場合には、ステップS82を飛ばして、ステップS76に進む。
【0113】
図24は、本発明の実施形態に従った生体情報検出装置の第3の構成例のブロック図である
なお、同図において、図17と同様の構成には同様の参照符号を付し、説明を省略する。
【0114】
第3の構成例における生体情報検出装置は、図17の構成例に、生体情報の状態を選択して入力する状態入力部35を加えたものである。
図25は、第3の構成例における動作手順を示すフローチャートである。
【0115】
なお、同図において、図18と同様のステップには、同様のステップ番号を付して、説明を省略する。
図25は、図18に示す動作手順から状態入力部35により入力される状態により(ステップS85)、略正規分布の判定を省略し、それ以外は、図18と同様の手順が追加されたものである。
【0116】
また、第3の構成例においては、状態入力部35により入力される状態により、図21におけるテーブルを変更する。特に、乾燥していることがわかっている場合には、湿潤とは判断しないようにするなどの変更を加える。
【0117】
【産業上の利用可能性】
以上述べたように、本発明によれば、生体情報入力手段により採取される画像から生体情報が存在する領域として、生体情報領域を抽出する効果を奏し、生体 情報入力手段により採取される画像に感度ムラや部分的な感度変動や、水蒸気や汗、あるいは、残留指紋など生体情報ではない情報が含まれていても、これらを 補正する効果を奏し、補正した後に生体情報領域を正確に抽出する効果を奏し、生体情報のみを含む範囲から感度設定値を算出するため、背景の影響が少なく正 確な感度設定値を算出する効果を奏し、補正した画像を用いて、生体情報のみを含む範囲から算出した感度設定値と、生体情報のみを含む範囲から算出した統計 量を用いることにより、採取画像から生体情報の有無と生体の状態を正確に判定する効果を奏し、補正した画像を用いて、生体情報のみを含む範囲から算出した 感度設定値と、生体情報のみを含む範囲から算出した統計量を用いることにより、検出された生体情報の濃淡を補正することにより、採取画像の濃淡を生体の状 態によらずに安定して補正する効果を奏し、生体情報検出装置の技術向上に寄与するところが大きい。
【図面の簡単な説明】
【図1】 本発明の原理図である。
【図2】 本発明の第2の原理図である。
【図3】 採取画像とその画像の画素値のヒストグラムの様子を示す図である。
【図4】 本発明の実施形態の第2の態様を説明する図である。
【図5】 本発明の実施形態の第3の態様を説明する図である。
【図6】 部分領域の濃淡分布を用いて背景画像であるとみなす処理について説明する図である。
【図7】 指紋画像にコモンモードノイズがのった場合の画像の様子を示した図である。
【図8】 感動変動を補正する場合の処理手順を示したフローチャートである。
【図9】 本発明の実施形態の第7の態様を説明する図である。
【図10】 本発明の実施形態の第7の態様を説明する図である。
【図11】 本発明の実施形態の第9の態様を説明する図である。
【図12】 本発明の実施形態の第10の態様を説明する図である。
【図13】 本発明の実施形態の第11の態様を説明する図である。
【図14】 本発明の実施形態の第14の態様の処理手順を説明するフローチャートである。
【図15】 本発明の実施形態の第15の態様を説明するフローチャートである。
【図16】 本発明の実施形態の第17の態様を説明するためのフローチャートである。
【図17】 本発明の実施形態における生体情報検出装置のブロック構成図である。
【図18】 初期化処理の手順を説明するフローチャートである。
【図19】 生体情報検出処理の手順を示すフローチャートである。
【図20】 感度変動の補正例を示す図である。
【図21】 状態を分類するためのテーブルの一例を模式的に示す図である。
【図22】 本発明の実施形態における生体情報検出装置の第2の構成例を示す図である。
【図23】 第2の構成例の動作手順を示すフローチャートである。
【図24】 本発明の実施形態に従った生体情報検出装置の第3の構成例のブロック図である
【図25】 第3の構成例における動作手順を示すフローチャートである。
Claims (14)
- 生体情報を採取する生体情報入力手段と、
該生体情報入力手段によって採取される採取画像の濃淡分布に基づいて採取画像の統計量を算出し、該統計量に基づいて、該生体情報が存在する領域を抽出する生体情報領域抽出手段と、
を備え、
前記生体情報領域抽出手段は、前記統計量として、前記生体情報入力手段によって採取される採取画像の重心、および、重心周りの2次モーメントを算出し、これらを用いて規定される範囲を、生体情報が存在する領域として抽出することを特徴とする生体情報検出装置。 - 更に、背景画像を検出する背景画像検出手段と、
前記採取画像の画素値と該背景画像の画素値との比を用いて前記採取画像の感度ムラを補正する感度ムラ補正手段と、
を備えることを特徴とする請求項1に記載の生体情報検出装置。 - 前記採取画像の部分領域毎に背景の濃淡レベルを均一化することによって部分的な感度変動を補正する部分的感度変動補正手段を更に備えることを特徴とする請求項1に記載の生体情報検出装置。
- 部分領域毎の画素値の平均値および標準偏差値を均一化した後、背景の濃淡レベルを均一化することによって部分的な感度変動を補正することを特徴とする請求項3に記載の生体情報検出装置。
- 部分領域毎の画素値の標準偏差値が、背景画像同士で感度ムラ補正した画像の標準偏差値より小さい場合には、標準偏差値を均一化しないことを特徴とする請求項4に記載の生体情報検出装置。
- 更に、前記生体情報を採取する際の感度を設定する感度設定手段を備え、
ある閾値より小さい濃淡レベルの画素数と大きい濃淡レベルの画素数が所定の比となる該閾値が背景輝度に基づいた輝度と一致するような、生体情報を採取する際の感度に設定することを特徴とする請求項1に記載の生体情報検出装置。 - 抽出された生体情報領域の背景濃淡レベルを最大量子化レベルに基づいた濃淡上限値とし、前記生体情報領域の濃淡レベルの最小値を最小量子化レベルに基づいた濃淡下限値とする濃淡補正手段を更に備えたことを特徴とする請求項1に記載の生体情報検出装置。
- 前記抽出された生体情報領域の画素値の平均値と標準偏差に基づいて、前記採取画像の状態を判定する画像判定手段を更に備えることを特徴とする請求項1に記載の生体情報検出装置。
- 前記画像判定手段は、前記抽出された生体情報領域の画素値の平均値と標準偏差値を、前記採取画像の取得の際の感度設定値と背景画像の取得の際の感度設定値の比で正規化した値に基づいて、該採取画像の状態を判定することを特徴とする請求項8に記載の生体情報検出装置。
- 前記採取画像からノイズを除去する補正手段を更に備え、
前記感度ムラ補正手段から得られた補正画像の濃淡分布に基づいた補正画像の統計情報に基づいて生体情報が存在する領域を抽出することを特徴とする請求項2に記載の生体情報検出装置。 - 前記生体情報領域抽出手段によって抽出された生体情報領域の濃淡度数分布において、ある閾値より小さい濃淡レベルの画素数と大きい濃淡レベルの画素数が所定の比となる前記閾値が背景輝度に基づいた輝度と一致するような、生体情報を採取する際の感度を設定する感度調整手段を更に備えることを特徴とする請求項1に記載の生体情 報検出装置。
- 前記生体情報入力手段を用いて連続して採取された画像群において、
連続して撮影された2つの画像の画素値に差がある画素数が前記生体情報入力手段における画素数とほぼ等しい採取画像群に対して、生体情報の有無を判定しない生体情報判定手段と、
生体情報がないと判定された採取画像群を用いて、採取画像群から不要な情報を除去する不要情報除去手段とを更に備えることを特徴とする請求項2または3に記載の生体情報検出装置。 - 生体情報を採取する生体情報入力ステップと、
該生体情報入力ステップにおいて採取される採取画像の濃淡分布に基づいて採取画像の統計量を算出し、該統計量に基づいて、該生体情報が存在する領域を抽出する生体情報領域抽出ステップと、
を備え、
前記生体情報領域抽出手段は、前記統計量として、前記生体情報入力手段によって採取される採取画像の重心、および、重心周りの2次モーメントを算出し、これらを用いて規定される範囲を、生体情報が存在する領域として抽出することを特徴とする生体情報検出方法。 - 生体情報を採取する生体情報入力ステップと、
該生体情報入力ステップにおいて採取される採取画像の濃淡分布に基づいて採取画像の統計量を算出し、該統計量に基づいて、該生体情報が存在する領域を抽出する生体情報領域抽出ステップと、
を備え、
前記生体情報領域抽出ステップは、前記統計量として、前記生体情報入力手段によって採取される採取画像の重心、および、重心周りの2次モーメントを算出し、これらを用いて規定される範囲を、生体情報が存在する領域として抽出することを特徴とする生体情報検出方法を情報処理装置に実現させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2003/006072 WO2004102481A1 (ja) | 2003-05-15 | 2003-05-15 | 生体情報検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2004102481A1 JPWO2004102481A1 (ja) | 2006-07-13 |
JP4237145B2 true JP4237145B2 (ja) | 2009-03-11 |
Family
ID=33446545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004571858A Expired - Fee Related JP4237145B2 (ja) | 2003-05-15 | 2003-05-15 | 生体情報検出装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7965874B2 (ja) |
EP (1) | EP1624412B1 (ja) |
JP (1) | JP4237145B2 (ja) |
DE (1) | DE60325422D1 (ja) |
WO (1) | WO2004102481A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7308689B2 (ja) | 2019-08-06 | 2023-07-14 | 株式会社キーエンス | 三次元形状測定装置 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4740743B2 (ja) | 2006-01-06 | 2011-08-03 | 富士通株式会社 | 生体情報入力装置 |
EP2244086B1 (de) * | 2006-04-08 | 2021-06-09 | Roche Diabetes Care GmbH | Analyse optischer Daten mit Hilfe von Histogrammen |
US8098906B2 (en) * | 2006-10-10 | 2012-01-17 | West Virginia University Research Corp., Wvu Office Of Technology Transfer & Wvu Business Incubator | Regional fingerprint liveness detection systems and methods |
US8290293B2 (en) * | 2006-10-17 | 2012-10-16 | Samsung Electronics Co., Ltd. | Image compensation in regions of low image contrast |
JP4671049B2 (ja) * | 2006-11-20 | 2011-04-13 | ソニー株式会社 | 認証装置、登録装置、登録方法、登録プログラム、認証方法及び認証プログラム |
US20090121131A1 (en) * | 2007-11-13 | 2009-05-14 | Arkady Nikitin | Method of determination of resolution of scanning electron microscope |
JP2009139337A (ja) * | 2007-12-10 | 2009-06-25 | Toshiba It & Control Systems Corp | 断層撮影装置及び断層撮影方法 |
US8803963B2 (en) * | 2008-09-22 | 2014-08-12 | Kranthi Kiran Pulluru | Vein pattern recognition based biometric system and methods thereof |
EP2495698B1 (en) | 2009-10-27 | 2018-05-02 | Fujitsu Limited | Biometric information processing device, biometric information processing method, and computer program for biometric information processing |
JP5679767B2 (ja) * | 2010-10-28 | 2015-03-04 | ラピスセミコンダクタ株式会社 | 指紋認証装置及び指紋認証用プログラム |
US9342732B2 (en) * | 2012-04-25 | 2016-05-17 | Jack Harper | Artificial intelligence methods for difficult forensic fingerprint collection |
US8824792B2 (en) | 2012-07-25 | 2014-09-02 | Ib Korea Ltd. | Image element brightness adjustment |
KR101444064B1 (ko) * | 2013-03-22 | 2014-09-26 | 주식회사 슈프리마 | 다중 스캔을 이용한 광학식 지문 인식 방법 및 장치 |
US9576176B2 (en) | 2013-07-22 | 2017-02-21 | Apple Inc. | Noise compensation in a biometric sensing device |
US9727770B2 (en) | 2013-07-22 | 2017-08-08 | Apple Inc. | Controllable signal processing in a biometric device |
US9552525B2 (en) | 2013-09-08 | 2017-01-24 | Apple Inc. | Noise reduction in biometric images |
US9939400B1 (en) | 2013-09-09 | 2018-04-10 | Apple Inc. | Fixed pattern noise compensation techniques for capacitive fingerprint sensors |
SE1351489A1 (sv) * | 2013-12-12 | 2015-06-13 | Fingerprint Cards Ab | Fingeravtrycksavkänningssystem och -metod |
JP2017513149A (ja) | 2014-04-10 | 2017-05-25 | アイビー コリア リミテッドIB Korea Ltd. | タッチ対応デバイス用バイオメトリックセンサ |
US10092191B2 (en) * | 2015-01-16 | 2018-10-09 | Siemens Healthcare Gmbh | Joint visualization of 3D reconstructed photograph and internal medical scan |
CN105389542B (zh) * | 2015-10-19 | 2017-12-08 | 广东欧珀移动通信有限公司 | 一种终端指纹传感器表面异物的判定方法和装置 |
CN106934320B (zh) * | 2015-12-29 | 2020-03-17 | 小米科技有限责任公司 | 指纹识别方法及装置 |
JP6696800B2 (ja) * | 2016-03-07 | 2020-05-20 | パナソニック株式会社 | 画像評価方法、画像評価プログラム、及び画像評価装置 |
US10192097B2 (en) * | 2016-04-20 | 2019-01-29 | Novatek Microelectronics Corp. | Finger print detection apparatus and detection method thereof |
EP3593278A4 (en) * | 2017-03-10 | 2021-04-21 | Fingerprint Cards AB | SUPPRESSION OF INTERFERENCE DATA IN FINGERPRINT IMAGES |
SE1750530A1 (en) * | 2017-05-02 | 2018-11-03 | Fingerprint Cards Ab | Extracting fingerprint feature data from a fingerprint image |
JP7011152B2 (ja) * | 2017-08-30 | 2022-01-26 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム |
KR102418780B1 (ko) * | 2017-09-15 | 2022-07-11 | 삼성디스플레이 주식회사 | 생체 인증 정보 검출 장치 및 이를 갖는 표시 장치 |
KR102139190B1 (ko) * | 2018-06-25 | 2020-07-29 | 주식회사 바이오로그디바이스 | 지문이미지에 베젤 자국 검출 시스템 |
CN110070006B (zh) | 2019-04-01 | 2021-09-21 | Oppo广东移动通信有限公司 | 指纹识别方法、电子装置及计算机可读取介质 |
KR20210017269A (ko) | 2019-08-07 | 2021-02-17 | 삼성전자주식회사 | 보정 데이터의 획득을 위한 방법 및 이를 위한 전자 장치 |
KR20210061572A (ko) * | 2019-11-20 | 2021-05-28 | 삼성전자주식회사 | 광학적 객체 인식을 위한 참조 영상 획득 방법, 이를 이용한 광학적 객체 인식 방법 및 이를 수행하는 전자 장치 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6179375A (ja) * | 1984-09-26 | 1986-04-22 | Sumitomo Electric Ind Ltd | 2値化方式 |
JPH077447B2 (ja) * | 1987-03-31 | 1995-01-30 | 三菱電機株式会社 | 指紋照合装置 |
JPH02203671A (ja) | 1989-02-02 | 1990-08-13 | Fujitsu Ltd | シェーディング補正処理装置 |
JP2803313B2 (ja) * | 1990-04-16 | 1998-09-24 | 株式会社デンソー | 指紋照合装置 |
US5268967A (en) * | 1992-06-29 | 1993-12-07 | Eastman Kodak Company | Method for automatic foreground and background detection in digital radiographic images |
US5524070A (en) * | 1992-10-07 | 1996-06-04 | The Research Foundation Of State University Of New York | Local adaptive contrast enhancement |
JP3296873B2 (ja) | 1993-03-09 | 2002-07-02 | 宇部日東化成株式会社 | 光ファイバ担持用スロットおよびその製造方法,同スロットを用いた光ファイバケーブルおよびその製造方法 |
JP3647885B2 (ja) * | 1993-05-07 | 2005-05-18 | 日本電信電話株式会社 | 画像処理装置 |
JP3359377B2 (ja) | 1993-06-03 | 2002-12-24 | 川崎マイクロエレクトロニクス株式会社 | バックグラウンド濃度検出装置 |
CA2115464C (en) | 1994-02-11 | 1998-12-15 | William G. O'farrell | Concurrent processing in object oriented parallel and near parallel systems |
US5572597A (en) * | 1994-03-29 | 1996-11-05 | Loral Corporation | Fingerprint classification system |
US5883971A (en) * | 1996-10-23 | 1999-03-16 | International Business Machines Corporation | System and method for determining if a fingerprint image contains an image portion representing a smudged fingerprint impression |
US5995640A (en) * | 1996-10-23 | 1999-11-30 | International Business Machines Corporation | System and method for determining if a fingerprint image contains an image portion representing a dry fingerprint impression |
WO1998044739A1 (en) * | 1997-03-31 | 1998-10-08 | Sharp Kabushiki Kaisha | Mosaic generation and sprite-based image coding with automatic foreground and background separation |
US6125192A (en) * | 1997-04-21 | 2000-09-26 | Digital Persona, Inc. | Fingerprint recognition system |
US6263091B1 (en) * | 1997-08-22 | 2001-07-17 | International Business Machines Corporation | System and method for identifying foreground and background portions of digitized images |
JPH11134498A (ja) | 1997-10-30 | 1999-05-21 | Yamatake Corp | パターン照合装置 |
US6330345B1 (en) * | 1997-11-17 | 2001-12-11 | Veridicom, Inc. | Automatic adjustment processing for sensor devices |
JP2000222588A (ja) * | 1999-01-29 | 2000-08-11 | Mitsubishi Electric Corp | 画像目標検出装置 |
US6535622B1 (en) * | 1999-04-26 | 2003-03-18 | Veridicom, Inc. | Method for imaging fingerprints and concealing latent fingerprints |
JP2000322559A (ja) * | 1999-05-12 | 2000-11-24 | Nec Soft Ltd | 指紋画像データの画質調整方法及び装置 |
US6901155B2 (en) * | 1999-12-23 | 2005-05-31 | National University Of Singapore | Wavelet-enhanced automated fingerprint identification system |
JP2001319234A (ja) | 2000-05-11 | 2001-11-16 | Nec Corp | 指紋照合装置および照合方法 |
US7072523B2 (en) * | 2000-09-01 | 2006-07-04 | Lenovo (Singapore) Pte. Ltd. | System and method for fingerprint image enhancement using partitioned least-squared filters |
US7359553B1 (en) * | 2001-02-16 | 2008-04-15 | Bio-Key International, Inc. | Image identification system |
US6782126B2 (en) * | 2001-02-20 | 2004-08-24 | International Business Machines Corporation | Method for combining feature distance with spatial distance for segmentation |
JP4430262B2 (ja) | 2001-03-29 | 2010-03-10 | 富士通株式会社 | 入力指紋状態判定方法及び装置 |
WO2002096181A2 (en) * | 2001-05-25 | 2002-12-05 | Biometric Informatics Technology, Inc. | Fingerprint recognition system |
FR2826151B1 (fr) * | 2001-06-13 | 2004-12-17 | Sagem | Procede de reconnaissance d'empreintes digitales par coloration et systeme informatique pour mettre en oeuvre ledit procede |
JP2003044856A (ja) | 2001-07-30 | 2003-02-14 | Dds:Kk | 指紋照合装置、指紋照合方法及び指紋照合プログラム |
-
2003
- 2003-05-15 JP JP2004571858A patent/JP4237145B2/ja not_active Expired - Fee Related
- 2003-05-15 EP EP03725787A patent/EP1624412B1/en not_active Expired - Lifetime
- 2003-05-15 WO PCT/JP2003/006072 patent/WO2004102481A1/ja active Application Filing
- 2003-05-15 DE DE60325422T patent/DE60325422D1/de not_active Expired - Lifetime
-
2005
- 2005-11-08 US US11/268,708 patent/US7965874B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7308689B2 (ja) | 2019-08-06 | 2023-07-14 | 株式会社キーエンス | 三次元形状測定装置 |
Also Published As
Publication number | Publication date |
---|---|
DE60325422D1 (de) | 2009-01-29 |
EP1624412A4 (en) | 2006-08-09 |
EP1624412A1 (en) | 2006-02-08 |
EP1624412B1 (en) | 2008-12-17 |
WO2004102481A1 (ja) | 2004-11-25 |
US20060056700A1 (en) | 2006-03-16 |
JPWO2004102481A1 (ja) | 2006-07-13 |
US7965874B2 (en) | 2011-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4237145B2 (ja) | 生体情報検出装置 | |
KR100944171B1 (ko) | 화상 처리 방법 및 화상 처리기 | |
JP5505410B2 (ja) | データ処理装置、画像照合方法、プログラムおよび画像照合システム | |
KR102313794B1 (ko) | 지문의 지지체로서 실제 손가락을 이용하는 확인 방법 | |
CN110348263B (zh) | 一种基于图像识别的二维随机码图像识别与提取方法 | |
KR100559471B1 (ko) | 대칭축을 이용한 얼굴 검출 시스템 및 방법 | |
JP5679767B2 (ja) | 指紋認証装置及び指紋認証用プログラム | |
KR101939936B1 (ko) | 지문 융기부 지점 인식 방법 및 장치 | |
US8280122B2 (en) | Registration device, collation device, extraction method, and program | |
KR20070118015A (ko) | 안면 특징 검출 방법 및 장치 | |
US20200294206A1 (en) | Method of providing a sharpness measure for an image | |
US10460145B2 (en) | Device for capturing imprints | |
JP2020000312A (ja) | 生体判定システム、生体認証システム、生体判定プログラム、及び生体判定方法 | |
KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
US20050271260A1 (en) | Device, method and program for removing pores | |
JP2009258770A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
JP4449576B2 (ja) | 画像処理方法および画像処理装置 | |
US8699761B2 (en) | Method for evaluating quality of image representing a fingerprint pattern | |
JP5860791B2 (ja) | 印影イメージの二値化処理装置 | |
JP3894038B2 (ja) | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム | |
JP5093540B2 (ja) | 目の位置の検出方法および検出システム | |
JP6955147B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US7551757B2 (en) | Method for determining the bearing surface in skin print images | |
JP2006513480A (ja) | 線状構造を含む画像の二値化の方法 | |
JP2005004344A (ja) | 画像処理装置、指紋照合装置、画像圧縮方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4237145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131226 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |