[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2021177403A - 撮像システム、撮像方法、及びプログラム - Google Patents

撮像システム、撮像方法、及びプログラム Download PDF

Info

Publication number
JP2021177403A
JP2021177403A JP2021113904A JP2021113904A JP2021177403A JP 2021177403 A JP2021177403 A JP 2021177403A JP 2021113904 A JP2021113904 A JP 2021113904A JP 2021113904 A JP2021113904 A JP 2021113904A JP 2021177403 A JP2021177403 A JP 2021177403A
Authority
JP
Japan
Prior art keywords
fingerprint
image
unit
image processing
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021113904A
Other languages
English (en)
Inventor
輝幸 樋口
Teruyuki Higuchi
芳紀 幸田
Yoshinori Koda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021177403A publication Critical patent/JP2021177403A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06Children, e.g. for attention deficit diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】高品質の指紋画像を取得することができる指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法及び記録媒体を提供する。【解決手段】指紋撮像システムは、指紋を撮像する撮像部(指紋撮像装置10)と、撮像部により撮像された指紋の指紋画像が転送され、指紋画像を処理する画像処理部、画像処理部に転送された指紋画像が表示されるディスプレイ214、画像処理部に転送された指紋画像が画像処理部により記録される記録部及び指紋画像の記録部への記録を画像処理部に指示する記録指示を画像処理部に入力する指示部を備える画像処理装置20と、有する。画像処理部は、指示部により記録指示が入力された時点で表示部に表示されている指紋画像を記録部に記録する。【選択図】図1

Description

本発明は、指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体に関する。
指紋は、個人によって異なるという万人不同性を有するとともに、一生変化することがないという終生不変性を有している。このため、指紋は、個人の識別が必要となる場面において広く利用されるに至っている。このような指紋を採取する装置のひとつとして、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の二次元のイメージセンサを用いて指紋を撮像する光学式の装置が知られている。
イメージセンサを用いて指紋を撮像する光学式の装置のなかでも、透過光型の指紋入力装置が注目されている(特許文献1参照)。透過光型の指紋入力装置では、光源からの光を指内に入れ、指内で散乱させて、再び指の表面から外に出てくる光を利用して指紋の像を結像させている。
特許第3751872号公報
しかしながら、指紋を撮像する場合、撮像された指紋画像の品質が撮像時の状況等によって変動し、低品質の指紋画像が得られてしまうことがある。低品質の指紋画像は個人の識別を困難にするため、指紋画像はできるだけ高品質であることが望ましい。低品質の指紋画像としては、指紋の隆線部と谷線部との間のコントラストが十分でないものや、輝度にムラが生じているものが例示される。また、低品質の指紋画像として、その撮像時においてイメージセンサが撮像することができる領域に対して指がずれて配置された結果、指紋の一部が欠落したものが例示される。
本発明は、上記課題に鑑みてなされたものであって、高品質の指紋画像を取得することができる指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体を提供することを目的とする。
本発明の一観点によれば、指紋を撮像する撮像部と、前記撮像部により撮像された前記指紋の指紋画像が転送され、前記指紋画像を処理する画像処理部と、前記画像処理部に転送された前記指紋画像が表示される表示部と、前記画像処理部に転送された前記指紋画像が前記画像処理部により記録される記録部と、前記指紋画像の前記記録部への記録を前記画像処理部に指示する記録指示を前記画像処理部に入力する指示部とを有し、前記画像処理部は、前記指示部により前記記録指示が入力された時点で前記表示部に表示されている前記指紋画像を前記記録部に記録することを特徴とする指紋撮像システムが提供される。
本発明の他の観点によれば、指紋を撮像するセンサ部と、前記センサ部により撮像された前記指紋の指紋画像を表示部に表示するために前記指紋画像を画像処理部に転送する転送部と、前記画像処理部に転送されて前記表示部に表示されている前記指紋画像の記録部への記録を指示する記録指示を前記画像処理部に入力する指示部とを有することを特徴とする指紋撮像装置が提供される。
本発明のさらに他の観点によれば、指紋を撮像する撮像部で撮像された前記指紋の指紋画像を受信する受信部と、前記受信部により受信された前記指紋画像を表示部に表示する表示制御部と、前記表示部に表示されている前記指紋画像の記録部への記録を指示する記録指示に基づき、前記指紋画像を前記記録部に記録する記録制御部とを有することを特徴とする画像処理装置が提供される。
本発明のさらに他の観点によれば、指紋を撮像し、撮像された前記指紋の指紋画像を転送し、転送された前記指紋画像を表示し、転送された前記指紋画像を記録し、前記指紋画像の記録を指示する記録指示を入力し、前記指紋画像を記録することは、前記記録指示が入力された時点で表示されている前記指紋画像を記録することを特徴とする指紋撮像方法が提供される。
本発明のさらに他の観点によれば、指紋を撮像する指紋撮像装置から転送される指紋画像を処理するコンピュータに、前記指紋撮像装置から転送された指紋画像を表示し、前記指紋撮像装置から転送された前記指紋画像を記録することであって、前記指紋画像の記録を指示する記録指示が入力された時点で表示されている前記指紋画像を記録することを実行させることを特徴とするプログラムが記録された記録媒体が提供される。
本発明によれば、高品質の指紋画像を取得することができる。
本発明の第1実施形態による指紋撮像システムを示す概略図である。 本発明の第1実施形態による指紋撮像システムにおける指紋撮像装置を示す断面図である。 本発明の第1実施形態による指紋撮像システムにおける指紋撮像装置を補助者が把持して対象者の指の指紋を撮像する様子を示す概略図である。 本発明の第1実施形態による指紋撮像システムにおける指紋撮像装置を示すブロック図である。 本発明の第1実施形態による指紋撮像システムにおける画像処理装置を示すブロック図である。 本発明の第1実施形態による指紋撮像システムにおける画像処理装置に表示される表示画面を示す概略図である。 本発明の第1実施形態による指紋撮像システムの基本動作を示すフローチャートである。 本発明の第1実施形態による指紋撮像システムにおける指紋撮像装置及び画像処理装置の動作を示すタイミングチャートである。 本発明の第2実施形態による指紋撮像システムにおける指紋撮像装置及び画像処理装置の動作を示すタイミングチャートである。 本発明の第3実施形態による指紋撮像システムにおける指紋撮像装置及び画像処理装置の動作を示すタイミングチャートである。 本発明の第4実施形態による指紋撮像システムにおける指紋撮像装置及び画像処理装置の動作を示すタイミングチャートである。 本発明の他の実施形態による指紋撮像システムの機能構成を示すブロック図である。 本発明の他の実施形態による指紋撮像装置の機能構成を示すブロック図である。 本発明の他の実施形態による画像処理置の機能構成を示すブロック図である。
[第1実施形態]
本発明の第1実施形態による指紋撮像システム及び指紋撮像方法について図1乃至図8を用いて説明する。
まず、本実施形態による指紋撮像システムの全体構成について図1を用いて説明する。図1は、本実施形態による指紋撮像システムの全体構成を示す概略図である。
図1に示すように、本実施形態による指紋撮像システム1は、対象者の指紋を撮像する指紋撮像装置10と、指紋撮像装置10により撮像された指紋の画像である指紋画像に対して表示、記録等の処理を行う画像処理装置20とを有している。画像処理装置20は、指紋画像を表示するディスプレイ214を有している。指紋撮像装置10は、通信ケーブル30を介して画像処理装置20に通信可能に接続されている。なお、指紋撮像装置10は、通信ケーブル30による有線方式に代えて、無線方式により画像処理装置20に通信可能に接続されてもよい。
本実施形態による指紋撮像システム1は、指紋を撮像すべき対象者が限定されることはなく、その指の細さ、小ささ、柔らかさ等から指紋の撮像が困難な新生児、乳児及び幼児をも含むあらゆる年齢層の者を対象者とすることができる。なお、新生児、乳児、幼児等は、自ら単独では指紋の撮像が不可能又は困難である。このように自ら単独では指紋の撮像が不可能又は困難である対象者の指紋を撮像すべき場合、後述するように、装置の操作が可能な成年者等が補助者となり、対象者の指紋の撮像を補助者が補助することになる。
指紋撮像装置10は、二次元イメージセンサを用いて指紋画像を撮像する撮像部として機能する光学式の指紋スキャナである。指紋撮像装置10は、例えば、対象者の左手及び右手それぞれの親指、人差し指、中指、薬指、及び小指の合計10本の指のうちのいずれか1本の指の指紋画像を撮像することができる。また、指紋撮像装置10は、手の指のみならず、左足及び右足それぞれの第一趾、第二趾、第三趾、第四趾、及び第五趾の合計10本の趾のうちのいずれか1本の趾の指(趾)紋画像を撮像することもできる。
例えば新生児、乳児又は幼児が対象者である場合、指紋撮像装置10を用い、1人の対象者について複数の指趾について指紋を撮像し、これら複数の指の指紋画像を個人の識別の用に供することができる。この場合、例えば、1人の対象者について、左手の親指、右手の親指、左足の第一趾、及び右足の第一趾について順次指紋を撮像することができる。
以下、指紋撮像装置10の具体的な構成についてさらに図2乃至図4を用いて説明する。図2は、指紋撮像装置10を示す断面図であり、指紋撮像装置10の長手方向及び上下方向に沿った面での断面を示している。図3は、指紋撮像装置10を補助者が把持して対象者の指の指紋を撮像する様子を示す概略図である。図4は、指紋撮像装置10を示すブロック図である。
図2に示すように、指紋撮像装置10は、扁平した略直方体状の薄型の筐体110を有している。筐体110の天板には、センサ面1202となる外側表面を有するセンサカバー120が設けられている。指紋撮像装置10は、センサカバー120を介して筐体110内に設けられたイメージセンサ130と、筐体110の天板上に設けられた一対の近赤外光源140と、筐体110内に設けられた制御回路150とを有している。
筐体110は、上下方向に扁平した略直方体状の外形を有する中空のものであり、長手方向を前後方向としている。なお、筐体110の前側部分は、テーパ形状を有している。筐体110は、例えば樹脂製のものである。筐体110の外形は、装置の操作が可能な者が片手で把持可能な程度に薄くて幅の狭いものとなっている。なお、筐体110の外形は、扁平した略直方体状の外形に限定されるものではなく、あらゆる形状を採用することができる。
筐体110の天板の前側部分には、矩形状のセンサカバー120が設けられている。センサカバー120は、外側表面が、指紋を撮像すべき指の腹が接触されるセンサ面1202となっている。矩形状のセンサカバー120は、その一対の辺が筐体110の長手方向に沿うように筐体110の天板の前側部分に設けられている。センサカバー120は、近赤外光を透過する材質の板状部材で構成されており、例えば保護ガラスで構成されている。これにより、後述するように近赤外光源140から放射されてセンサカバー120上の指内に入射し、指内で散乱した後に指の腹側から放射される近赤外光がイメージセンサ130に入射するようになっている。センサカバー120には、指紋の撮像に際して、筐体110の前側から、センサカバー120に指先を向けた対象者の指の腹が接触されること
になる。
センサカバー120の両側の筐体110の天板上には、それぞれ近赤外光源140が設けられている。各近赤外光源140は、複数のLED(Light Emitting Diode)1402を有している。
複数のLED1402は、それぞれ近赤外光を放射するものである。LED1402が放射する近赤外光の波長は、例えば820乃至980nmである。複数のLED1402は、筐体110の長手方向に沿って所定の間隔で列状に並ぶように設けられている。また、複数のLED1402は、近赤外光に対して透過性を有する保護部材により覆われている。指紋を撮像する際には、各LED1402が点灯して各LED1402から上方に向けて広がるように近赤外光が放射され、センサカバー120に腹が接触される指に近赤外光が照射される。
なお、各LED1402は、センサカバー120側の斜め上方に向けて近赤外光を放射するように傾斜して設けられていてもよい。また、近赤外光源140は、複数のLED1402を有する光源に限定されるものではなく、近赤外光源140として筐体110の長手方向に沿った線状の光源を用いることもできる。
筐体110内には、指紋を撮像するセンサ部としてのイメージセンサ130が設けられている。イメージセンサ130は、筐体110の天板に設けられたセンサカバー120に撮像面を向けるように筐体110内に設けられている。イメージセンサ130の撮像面は、指紋を撮像する対象となる指(趾)の腹よりも広い面積を有する矩形状になっている。イメージセンサ130は、センサカバー120に接触する指の腹から放射されてセンサカバー120を透過した近赤外光を撮像面で受光することにより、指の指紋を撮像するように構成されている。イメージセンサ130は、二次元イメージセンサであり、例えばCMOSイメージセンサである。また、イメージセンサ130として、CMOSイメージセンサのほか、CCD(Charge Coupled Device)イメージセンサを用いることもできる。イメージセンサ130の画素密度及び画素数は、特に限定されるものではないが、新生児、乳児、及び幼児等の指紋を撮像する場合を考慮すると、例えば1000ppi以上のように高い密度で画素数が多いことが好ましい。具体的には、イメージセンサ130としては、例えば、サイズが幅2cm、長さ3cmであり、画素密度が1270ppiである大型かつ高画素密度の画素数の多いCMOSイメージセンサを用いることができる。
指紋撮像装置10において、イメージセンサ130により指紋が撮像される原理は次のとおりである。指紋の撮像に際しては、センサカバー120のセンサ面1202に指の腹を接触させた状態で、近赤外光源140から近赤外光が放射される。近赤外光源140から放射された近赤外光は、センサカバー120上の指内に入射する。指内に入射した近赤外光は、指内で散乱した後、指外に指の表面から出射する。指外に出射した近赤外光は、指紋の隆線部から出射するか谷線部から出射するかに応じて、その強度が異なったものとなる。
指紋の隆線部から指外に出射した近赤外光は、隆線部がセンサカバー120のセンサ面1202に接触しているため、大きく減衰することなく、比較的高い強度でイメージセンサ130に到達して入射する。一方、指紋の谷線部から指外に出射した近赤外光は、谷線部がセンサ面1202に接触していないため、谷線部とセンサ面1202との間に存在する空気層により拡散される。これとともに、皮膚と空気及び空気とセンサカバーの界面において屈折率の違いにより反射と屈折現象が起こる。このため、谷線部から出射した近赤外光は、隆線部から出射した近赤外光と比較して大きく減衰し、比較的低い強度でイメージセンサ130に到達して入射するか、イメージセンサ130へ到達することができない。
この結果、イメージセンサ130には、指紋の隆線部と谷線部との間に明暗差が存在する指紋像が結像される。すなわち、結像される指紋像においては、指紋の隆線部が明部となり、谷線部が暗部となる。こうして、指内で散乱して指外に出射する近赤外光をイメージセンサ130で受光することにより指紋が撮像される。
指の指紋を撮像したイメージセンサ130は、その指紋画像を構成する画像データを出力する。後述するように、イメージセンサ130から出力された画像データは、制御回路150を経た後、通信ケーブル30を介して画像処理装置20に転送される。画像データが転送された画像処理装置20は、転送された画像データに基づき、指紋画像の表示、記録等を行う。
筐体110の後側部分は、指紋の撮像に際して、指紋を撮像すべき対象者又は対象者の指の撮像を補助する補助者が把持する把持部1102になっている。指紋を撮像すべき対象者が自ら単独で指紋の撮像が可能であるか否かによって、以下に述べるように指紋撮像時の対象者の体勢が異なってくる。
まず、例えば成年者等、自ら単独で指紋の撮像が可能な者が対象者である場合、対象者は、指紋を撮像すべき指とは反対の手で把持部1102を把持しつつ、指紋を撮像すべき指の腹をセンサカバー120のセンサ面に接触させることができる。対象者は、例えば、把持部1102を把持する手の指のうち、親指が筐体110の天板側に位置し、親指以外の4指が筐体110の底板側に位置するように把持部1102を側方から把持することができる。
一方、例えば新生児、乳児、幼児等、自ら単独では指紋の撮像が不可能又は困難な者が対象者である場合、対象者の指の指紋の撮像を補助者が補助することができる。補助者は、自ら単独で装置の操作が可能な成年者又は未成年者である。この場合、補助者は、一方の手で把持部1102を把持して指紋撮像装置10を対象者の指紋を撮像すべき親指に向けて移動させる。補助者は、例えば、把持部1102を把持する手の指のうち、親指が筐体110の天板側に位置し、親指以外の4指が筐体110の底板側に位置するように把持部1102を側方から把持することができる。さらに、補助者は、必要に応じて他方の手を使いつつ、図3に示すように、対象者の親指の腹をセンサ面1202に接触させることができる。なお、図3には示していないが、補助者は、把持部1102を把持する手の親指等の指先でセンサ面1202に接触する対象者の指を押さえてその位置を固定することができる。
対象者又は補助者により把持される把持部1102の底面中央には、指示部として機能する押しボタン式のキャプチャスイッチ160が設けられている。キャプチャスイッチ160は、これを押下することで、近赤外光源140に対する点灯若しくは消灯の指示、イメージセンサ130に対する指紋の撮像の指示、又は画像処理装置20に対する指紋画像の記録の指示を行うことができるように構成されている。キャプチャスイッチ160の押下により指紋撮像装置10及び画像処理装置20に入力される信号については後述する。把持部1102を把持する対象者又は補助者は、把持部1102を把持したままで、把持部1102を把持する手の指のうちの筐体110の底板側に位置する4指のいずれかでキャプチャスイッチ160を押下することができる。
また、キャプチャスイッチ160は、キャプチャスイッチ160の押下面と把持部1102の底面との間がほぼ平坦になるように、把持部1102に埋め込まれるように形成されている。このようにキャプチャスイッチ160が把持部1102の底面に対して突出しないように設けられていることで、キャプチャスイッチ160の誤った押下を抑制することができる。
筐体110の把持部1102内には、制御回路150が収容されている。また、把持部1102の後側の側端部には、通信ケーブル30が接続されるコネクタ部170が設けられている。
図4は、上述した指紋撮像装置10の各部を示すブロック図であり、イメージセンサ130、近赤外光源140、及び制御回路150の詳細を示している。
図4に示すように、イメージセンサ130は、画素アレイ1302と、タイミングジェネレータ1304とを有している。また、イメージセンサ130は、垂直走査回路1306と、列増幅回路1308と、A/D(Analog/Digital)変換回路1310と、水平走査回路1312と、信号処理回路1314とを有している。
画素アレイ1302には、複数の画素が行列状に設けられている。各画素は、入射した近赤外光を光電変換することにより画素信号を生成する光電変換素子を有している。タイミングジェネレータ1304は、垂直走査回路1306及び水平走査回路1312を制御するためのタイミング信号を生成して出力する。垂直走査回路1306は、画素アレイ1302の画素を画素行ごとに走査する。列増幅回路1308は、垂直走査回路1306の走査により読み出された画素信号を増幅する。A/D変換回路1310は、列増幅回路1308により増幅された画素信号をアナログ信号からデジタル信号に変換する。水平走査回路1312は、A/D変換回路1310により変換された画素信号を外部に読み出すために画素列ごとに走査する。信号処理回路1314は、水平走査回路1312により読み
出されてA/D変換回路1310から出力された画素信号に対して所定の信号処理を行って、指紋画像を構成する画像データを出力する。信号処理回路1314から出力された画像データは、制御回路150に入力される。
近赤外光源140において、複数のLED1402のそれぞれには、LED1402に流れる電流を制限する電流制限抵抗1406と、スイッチとなるトランジスタ1408とが接続されている。
各LED1402のアノード側端子には、電流制限抵抗1406の一方の端子が接続されている。各LED1402のカソード側端子には、トランジスタ1408のコレクタが接続されている。電流制限抵抗1406の他方の端子には、正電源電圧VDDが入力される。トランジスタ1408のベースは、制御回路150に接続されており、制御回路150からベースに入力されるスイッチ信号によりトランジスタ1408のオンオフが切り替えられる。
制御回路150は、CPU(Central Processing Unit)1502と、ROM(Read Only Memory)1504と、RAM(Random Access Memory)1506とを有している。また、制御回路150は、ビデオコントローラ1508と、インターフェース(I/F)1510と、通信コントローラ1512とを有している。さらに、制御回路150は、電圧レギュレータ1514を有している。CPU1502、ROM1504、RAM1506、ビデオコントローラ1508、I/F1510、及び通信コントローラ1512は、共通のバスライン1516に接続されている。
CPU1502は、指紋撮像装置10の動作を制御するためのプログラムを実行して、指紋撮像装置10の各部の動作を制御する。ROM1504は、CPU1502が実行するプログラムを記憶する。また、RAM1506は、CPU1502がプログラムを実行する際のワーキングエリアとなる。
ビデオコントローラ1508は、イメージセンサ130の信号処理回路1314に接続されており、信号処理回路1314から画像データが入力される。ビデオコントローラ1508は、バスライン1516を介して通信コントローラ1512に画像データを転送する。
I/F1510には、イメージセンサ130のタイミングジェネレータ1304が接続されている。これにより、CPU1502による制御信号が、I/F1510を介してタイミングジェネレータ1304に入力される。タイミングジェネレータ1304は、I/F1510を介して入力された制御信号に基づきタイミング信号を生成して出力する。
また、I/F1510には、近赤外光源140における複数のトランジスタ1408のベースが接続されている。これにより、CPU1502によるスイッチ信号が、I/F1510を介してトランジスタ1408のベースに入力される。トランジスタ1408は、I/F1510を介して入力されたスイッチ信号に基づきオンオフが切り替えられる。トランジスタ1408のオンオフが切り替えられることにより、LED1402の点灯及び消灯が切り替えられて近赤外光源140の点灯及び消灯が切り替えられる。
また、I/F1510には、キャプチャスイッチ160が接続されている。キャプチャスイッチ160の押下に応じて、CPU1502による制御信号及びスイッチ信号の出力がトリガされる。また、キャプチャスイッチ160の押下に応じて、後述するように画像処理装置20において指紋画像が記録される。
具体的には、イメージセンサ130の停止状態では、近赤外光源140も消灯状態であり、この状態でキャプチャスイッチ160が押下されると、近赤外光源140が点灯するとともに、イメージセンサ130の指紋の撮像が開始される。指紋の撮像を開始したイメージセンサ130は、一定の時間間隔で指紋を撮像して指紋画像の画像データを出力する。
また、イメージセンサ130が一定の時間間隔で指紋を撮像している間にキャプチャスイッチ160が押下されると、後述するように、画像処理装置20においてディスプレイ214に表示されている指紋画像が記録される。また、指紋画像が記録されるとともに、イメージセンサ130が停止状態となり、イメージセンサ130による指紋の撮像が終了する。
通信コントローラ1512は、指紋画像の画像データを転送する転送部として機能し、ビデオコントローラ1508から転送された画像データを、コネクタ部170に接続された通信ケーブル30を介して画像処理装置20に転送する。通信コントローラ1512は、例えばUSB(Universal Serial Bus)等の通信規格に従って通信ケーブル30を介して画像処理装置20と通信するように構成されている。
通信ケーブル30は、信号の送受信のための2本の差動信号線と、電力供給のための電源線と、グラウンド線とを有するように構成されている。通信コントローラ1512は、通信ケーブル30における2本の差動信号線により信号の送受信を行う。
電圧レギュレータ1514には、通信ケーブル30の電源線が接続されており、この電源線を介して画像処理装置20における電源回路216(図5参照)から電力が供給される。電圧レギュレータ1514は、供給された電力の電圧を調整して指紋撮像装置10の各部に電源として供給する。指紋撮像装置10は、このように画像処理装置20から通信ケーブル30を介して供給される電力により動作するバスパワー式のものとなっている。なお、指紋撮像装置10は、バスパワー式のものに限定されるものではなく、例えば、内蔵バッテリーにより供給される電力により動作するものであってもよい。
一方、画像処理装置20は、指紋を撮像した指紋撮像装置10から転送される指紋画像に対して、その表示、記録等の処理を行う画像処理部として機能するものである。画像処理装置20は、例えばラップトップ型、タブレット型等のパーソナルコンピュータ(PC)により構成することができる。また、画像処理装置20は、指紋撮像装置10の動作を制御することもできる。なお、画像処理装置20は、必ずしも後述のディスプレイ214を含むものである必要はなく、表示部を含まないものとして画像処理部を構成することもできる。
以下、画像処理装置20の具体的な構成についてさらに図5及び図6を用いて説明する。図5は、画像処理装置20を示すブロック図である。図6は、画像処理装置20に表示される表示画面を示す概略図である。
図5に示すように、画像処理装置20は、CPU202と、ROM204と、RAM206と、HDD(Hard Disk Drive)208と、通信コントローラ210とを有している。また、画像処理装置20は、ディスプレイコントローラ212と、ディスプレイ214とを有している。また、画像処理装置20は、電源回路216と、入力装置218とを有している。CPU202、ROM204、RAM206、HDD208と、通信コントローラ210、ディスプレイコントローラ212、電源回路216、及び入力装置218は、共通のバスライン220に接続されている。また、画像処理装置20は、通信ケーブル30が接続されるコネクタ部222が設けられている。
CPU202は、画像処理装置20全体の動作を制御する。また、CPU202は、指紋撮像装置10により取得される指紋画像の表示、記録等を行うための画像処理プログラムを実行する。画像処理プログラムは、指紋撮像装置10により転送される画像データに対して画像処理を行い、その指紋画像の表示、記録等を行う。
ROM204には、ブートプログラム等のプログラムが記録されている。RAM206は、CPU202が処理を実行する際のワーキングエリアとして使用される。また、RAM206は、指紋撮像装置10から転送される指紋画像の画像データが一時的に記憶される画像メモリとしても機能する。HDD208には、CPU202が実行する画像処理プログラム等のプログラムが記録されている。
また、HDD208は、指紋撮像装置10により撮像された指紋画像を記録する記録部としても機能する。CPU202は、記録制御部として機能し、指紋画像をHDD208に記録する。なお、指紋画像を記録する記録部は、HDD208に限定されるものではなく、HDD208に代えて、種々の記録装置を記録部として用いることができる。指紋画像を記録する記録部は、HDD208のように画像処理装置20に内蔵されていてもよいし、画像処理装置20とは別個独立の外部記録装置であってもよい。
通信コントローラ210は、指紋画像の画像データを受信する受信部として機能し、コネクタ部222に接続された通信ケーブル30を介して、指紋撮像装置10の通信コントローラ1512から転送される画像データを受信する。通信コントローラ210により受信された画像データは、画像メモリとしてのRAM206に一時的に記憶される。通信コントローラ210は、通信コントローラ1512に対応して、例えばUSB等の通信規格に従って通信ケーブル30を介して指紋撮像装置10と通信するように構成されている。通信コントローラ210は、通信コントローラ1512に対応して、通信ケーブル30における2本の差動信号線により信号の送受信を行うように構成されている。
ディスプレイコントローラ212には、指紋画像を表示する表示部として機能するディスプレイ214が接続されている。ディスプレイコントローラ212は、CPU202と協働して表示制御部として機能し、CPU202により実行される画像処理プログラムの表示画面をディスプレイ214に描画して表示する。ディスプレイ214に表示される画像処理プログラムの表示画面は、撮像された指紋画像が表示されるプレビューウィンドウを含んでいる。なお、ディスプレイ214は、特に限定されるものではないが、例えば液晶ディスプレイである。また、ディスプレイ214は、ラップトップ型、タブレット型等のPCである画像処理装置20に内蔵されたものであってもよいし、画像処理装置20とは別個に設けられた外部ディスプレイであってもよい。
電源回路216は、画像処理装置20の内蔵電源の電力、又は画像処理装置20に接続された外部電源の電力を指紋撮像装置10に供給する。電源回路216は、通信ケーブル30における電源線及びグラウンド線が接続され、電源線を介して指紋撮像装置10の電圧レギュレータ1514に電力を供給する。
入力装置218は、例えば、キーボード、マウス等である。また、入力装置218は、ディスプレイ214に組み込まれたタッチパネルであってもよい。操作者は、入力装置218を介して、ディスプレイ214に表示される画像処理プログラムにおいて、対象者の識別番号(ID)、氏名等の文字情報を入力したり、指の種別に関する情報を選択したりすることができる。また、撮像条件等の設定を行うことができる。
図6は、画像処理装置20のディスプレイ214に表示される画像処理プログラムの表示画面300の一例を示している。図6に示すように、表示画面300には、プレビューウィンドウ302と、識別番号(ID)入力領域304と、氏名入力領域306と、指種選択領域308と、記録モード選択領域310と、露光レベル設定領域312とが設けられている。また、表示画面300には、最新情報表示領域314が設けられている。また、表示画面300は、開始ボタン316と、プレビューボタン318と、停止ボタン320と、フォルダ選択ボタン322と、次ボタン324とが設けられている。
プレビューウィンドウ302は、指紋撮像装置10により撮像された指紋画像のプレビューを表示するものである。プレビューウィンドウ302において、指紋画像は、視認性の観点から、明るく撮像される隆線部と暗く撮像される谷線部との明暗を反転して表示することができる。なお、指紋画像は、指紋撮像装置10により撮像される隆線部と谷線部との明暗をそのままに表示することもできる。
ID入力領域304は、指紋を撮像すべき対象者のIDを入力するための領域である。ID入力領域304には、IDが入力されるID入力欄3042と、IDの入力方式を選択するための2つのラジオボタン3044、3046とが設けられている。「自動ID」のラベルが付されたラジオボタン3044を選択することにより、IDをID入力欄3042に自動で入力することができる。また、「手動ID」のラベルが付されたラジオボタン3046を選択することにより、IDをID入力欄3042に入力装置218を介して手動で入力することができる。入力されたIDは、例えば、HDD208に記録される指紋画像のファイル名の一部として利用されたり、画像処理プログラムにより管理されるデータベースに記録されたりする。なお、データベースは、HDD208に記録されている。
氏名入力領域306は、指紋を撮像すべき対象者の氏名を入力するための領域である。氏名入力領域306には、対象者の氏が入力される氏入力欄3062と、対象者の名が入力される名入力欄3064とが設けられている。入力された氏名は、例えば、画像処理プログラムにより管理されるデータベースに記録される。
指種選択領域308は、指紋を撮像すべき指の種別を選択するための領域である。指種選択領域308には、指種が表示される指種表示欄3082と、指種表示欄3082に表示される指種を切り替える切替えボタン3084、3086とが設けられている。切替えボタン3084、3086を押すことにより、指種表示欄3082に表示させる指種を切り替えることができる。表示させる指種は、左手及び右手それぞれの親指、人差し指、中指、薬指、及び小指、並びに左足及び右足それぞれの第一趾、第二趾、第三趾、第四趾、及び第五趾の合計20本の指のうちから切り替えて選択することができる。指種表示欄3082に表示されて選択された指種は、例えば、HDD208に記録される指紋画像のファイル名の一部として利用されたり、画像処理プログラムにより管理されるデータベースに記録されたりする。
記録モード選択領域310は、撮像された指紋画像を記録するモードを選択して設定するための領域である。記録モード選択領域310には、記録モードを選択するための2つのラジオボタン3102、3104が設けられている。「手動」のラベルが付されたラジオボタン3102を選択することにより、手動で、すなわち後述するように指紋撮像装置10のキャプチャスイッチ160により入力される記録指示により指紋画像をHDD208に記録する記録モードに設定することができる。また、「自動」のラベルが付されたラジオボタン3104を選択することにより、自動で指紋画像をHDD208に記録する記録モードに設定することができる。なお、本実施形態では、後述するように手動で指紋画像を記録する。
露光レベル設定領域312は、指紋撮像装置10により指紋を撮像する際の露光レベルを設定するための領域である。露光レベル設定領域312には、露光レベルを設定するための例えば3つのラジオボタン3122、3124、3126が設けられている。例えば、3つのラジオボタン3122、3124、3126には、それぞれ「低」、「中」、「高」のラベルが付されており、3段階で露光レベルを設定することができる。「低」のラベルが付されたラジオボタン3122を選択することにより、最も低い露光レベルに設定することができる。また、「高」のラベルが付されたラジオボタン3126を選択することにより、最も高い露光レベルに設定することができる。また、「中」のラベルが付されたラジオボタン3124を選択することにより、3段階のうちの中間の露光レベルを設定することができる。なお、露光レベルは、例えば、露光レベルの設定に応じて、イメージセンサ130による撮像時間を変更したり、近赤外光源140の出力を変更したりすることにより実現することができる。
最新情報表示領域314には、例えば、HDD208に記録された最新の指紋画像のファイル名が、記録先のフォルダのパスを含めて表示される。また、最新情報表示領域314には、例えば、HDD208に記録された最新の指紋画像が表示される。なお、指紋画像が記録されるHDD208のフォルダは、フォルダ選択ボタン322を押すことにより表示されるフォルダの選択画面において選択することが可能になっている。さらに、最新情報表示領域314には、プレビューウィンドウ302に表示されている指紋画像又は記録された指紋画像の品質が表示されるようにしてもよい。
また、表示画面300においては、開始ボタン316を押すことにより指紋撮像装置10の状態を確認し、停止ボタン320を押すことにより指紋撮像装置10による撮像を停止することができる。さらに、プレビューボタン318を押すことにより、指紋撮像装置10を起動することができる。また、次ボタン324を押すことにより、ID入力欄3042のIDを変更し又はクリアして、次の対象者の指紋の撮像に移行することができる。
こうして、本実施形態による指紋撮像システム1が構成されている。本実施形態による指紋撮像システム1では、指紋撮像装置10に設けられたキャプチャスイッチ160の押下により、指紋撮像装置10による撮像の開始及び撮像の停止、指紋画像の記録が制御される。
次に、上記本実施形態による指紋撮像システム1を用いた指紋撮像方法についてさらに図7及び図8を用いて説明する。図7は、本実施形態による指紋撮像システム1の基本動作を示すフローチャートである。図8は、本実施形態による指紋撮像システム1における指紋撮像装置10及び画像処理装置20の動作を示すタイミングチャートである。
はじめに、本実施形態による指紋撮像方法の説明に先立ち、指紋撮像システム1の基本動作について図7を用いて説明する。ここにいう基本動作とは、指紋撮像装置10で撮像された指紋画像が画像処理装置20のディスプレイ214に表示されるまでの動作のことである。また、以下の説明では、対象者が自ら指紋の撮像を行う場合の対象者、及び対象者の指紋の撮像を補助者が補助する場合の補助者のことを操作者と称することにする。
まず、指紋撮像装置10が停止した状態において、操作者は、指紋を撮像すべき指の腹を、指紋撮像装置10のセンサ面1202に接触させる。
次いで、指紋撮像装置10のセンサ面1202に指の腹が接触した状態で、操作者は、図7に示すように、指紋撮像装置10に設けられたキャプチャスイッチ160を押下する(ステップS101)。この1回目のキャプチャスイッチ160の押下により、指紋撮像装置10に対して、撮像を指示する撮像指示を示す信号を入力する。
指紋撮像装置10は、1回目のキャプチャスイッチ160の押下により入力された撮像指示を示す信号に応じて、イメージセンサ130を駆動するとともに、近赤外光源140を点灯する。これにより、指紋撮像装置10は、指紋画像を撮像する撮像動作を行う(ステップS102)。撮像動作において、指紋撮像装置10は、センサ面1202に腹が接触された同一の指の指紋を一定の時間間隔で繰り返して撮像する。指紋撮像装置10が1枚の指紋画像を撮像するのに要する撮像時間は、使用するイメージセンサ130の性能によって異なるが、例えば0.6乃至1秒である。
また、指紋撮像装置10は、指紋画像を撮像すると、撮像した指紋画像の画像データを画像処理装置20に転送する転送動作を行う(ステップS103)。転送動作において、指紋撮像装置10は、通信ケーブル30を介して撮像した指紋画像の画像データを画像処理装置20に転送する。
指紋画像の画像データが転送された画像処理装置20は、画像メモリとしてのRAM206に画像データを一時的に記憶した後、画像データに所定の画像処理を施す画像処理動作を行う(ステップS104)。
次いで、画像処理装置20は、ディスプレイ214に指紋画像を表示する表示動作を行う(ステップS105)。表示動作において、画像処理装置20は、所定の表示時間だけ指紋画像をディスプレイ214に表示する。ディスプレイ214では、画像処理プログラムの表示画面300におけるプレビューウィンドウ302に指紋画像が表示される。指紋画像が表示される表示時間は、操作者が表示された指紋画像を確認してその指紋画像の品質の良否を判定するのに十分な時間となっている。
1枚の指紋画像をディスプレイ214に表示する表示時間は、指紋撮像装置10が1枚の指紋画像を撮像するのに要する撮像時間以上の時間となる。例えば指紋画像1枚当たりの撮像時間が例えば0.6秒である場合、指紋画像1枚当たりのディスプレイ214上での表示時間も撮像時間と同程度の0.6秒程度とすることができる。この程度の表示時間があれば、操作者は、ディスプレイ214上に表示される指紋画像の品質を確認してその良否を判定することができる。
また、操作者は、指紋画像の表示時間を撮像時間よりも長くするほど、指紋画像の品質の良否を十分に判定することができる。このため、指紋画像1枚当たりの表示時間を指紋画像1枚当たりの撮像時間よりも長くすることもできる。表示時間を撮像時間よりも長くするための時間は、指紋撮像装置10の側で発生させてもよいし、画像処理装置20の側で発生させてもよい。例えば、指紋撮像装置10において画像データの転送を遅延させる遅延回路を設けて指紋撮像装置10から画像処理装置20への画像データの転送に要する時間を遅延させることにより、その遅延時間に応じて表示時間を長くすることができる。また、画像処理装置20においても、遅延回路等によりハードウェア的に又は画像処理プログラム等によりソフトウェア的に遅延時間を発生させ、その遅延時間に応じて表示時間
を長くすることができる。ただし、表示時間が長くなるほど指紋を取得する効率が低下するため、表示時間は、指紋を取得する効率の観点をも考慮して設定することが好ましい。
本実施形態による指紋撮像システム1は、1回目のキャプチャスイッチ160の押下により、センサ面1202に腹が接触された同一の指について、指紋画像の撮像から表示までの上記の基本動作を繰り返す。これにより、指紋撮像装置10により同一の指について順次撮像される複数枚の指紋画像が、画像処理装置20のディスプレイ214に所定の表示時間で順次表示される。ディスプレイ214では、指紋画像が所定の表示時間で表示された後、次の指紋画像の表示に切り替えられていく。本実施形態による指紋撮像システム1は、2回目のキャプチャスイッチ160の押下があるまで上記の基本動作を繰り返す。2回目のキャプチャスイッチ160の押下があると、画像処理装置20は、指紋画像を記録する記録動作を行う。
以下、画像処理装置20の記録動作を含めた本実施形態による指紋撮像方法について図8を用いて説明する。図8に示すタイミングチャートにおいて、横軸は時刻tを示している。また、図8に示すタイミングチャートにおいて、上から下に向かって順に並ぶ第1段乃至第6段のうち、第1段における実線枠は、指紋撮像装置10の撮像動作を表している。第2段における実線枠は、指紋撮像装置10の転送動作を表している。第3段における実線枠は、画像処理装置20の画像処理動作を表している。第4段における実線枠は、画像処理装置20の表示動作を表している。第5段における実線枠は、画像処理装置20の記録動作を表している。また、第1段乃至第5段の各段の実線枠に付された番号N(ただし、Nは自然数である)は、その実線枠で表される動作が、N番目に撮像された第Nフレームの指紋画像についての動作であることを表している。また、第6段では、ローレベルからハイレベルに変化してパルスが発生した時点で指紋撮像装置10のキャプチャスイッチ160が押下されたことを表している。
図8に示すように、時刻t1で、操作者が1回目のキャプチャスイッチ160の押下を行うと、指紋撮像装置10に対して、起動を指示する起動指示を示す信号S1が入力される。制御回路150は、起動指示を示す信号S1が入力されると、イメージセンサ130に電源電圧を供給し、イメージセンサ130を起動させる。制御回路150はトランジスタ1408をオンにすることにより、LED1402を点灯させる。画素アレイ1302の各画素は、指内で散乱した光を受光し、光量に応じた電荷を蓄積する。垂直走査回路1306は画素アレイ1302を行毎に走査し、列増幅回路1308は各行から出力された画素信号を増幅する。A/D変換回路1310は、列増幅回路1308によって増幅された画素信号をアナログ信号からデジタル信号に変換するとともに、水平走査回路1312からの制御信号に従い画素信号を順次、信号処理回路1314に出力する。信号処理回路1314は、画素信号に対して相関二重サンプリング、シェーディング補正等の画像処理を行い、第1フレームの画素信号を指紋画像として蓄積する。
時刻t2において、第1フレームの指紋画像の撮像が完了すると、制御回路150は第1フレームの指紋画像をパケット毎に画像処理装置20に送信し始める。すなわち、ビデオコントローラ1508は、信号処理回路1314に蓄積された指紋画像を順次読み出し、通信コントローラ1512に送出する。通信コントローラ1512は、指紋画像をパケットに分割し、通信ケーブル30を介して画像処理装置20に送信する。画像処理装置20において、通信コントローラ210は指紋画像をパケット毎に受信し、CPU202は受信したパケットをRAM206に順次蓄積する。
時刻t3において、指紋撮像装置10が第1フレームの指紋画像のすべてを画像処理装置20に送信すると、指紋撮像装置10は第2フレームの指紋画像の撮像を開始する。画像処理装置20は、RAM206に蓄積された指紋画像に対して画像処理を行う。画像処理には、例えば、ノイズ除去、輝度値の正規化、二値化の他、指紋画像が適正に撮像されたか否かの判断処理が含まれ得る。なお、画像処理装置20が画像処理を行っている間、指紋撮像装置10は第2フレームの指紋画像を撮像している。
時刻t4において、画像処理装置20が第1フレームの指紋画像の画像処理を終了すると、画像処理装置20は、画像処理後の第1フレームの指紋画像をディスプレイ214に表示する。この間、指紋撮像装置10は、第2フレームの指紋画像を画像処理装置20にパケット毎に送信し、画像処理装置20は受信した指紋画像の画像処理を実行している。
時刻t5において、画像処理装置20が第2フレームの指紋画像の画像処理を完了すると、ディスプレイ214に第2フレームの指紋画像を表示する。
画像処理装置20は、上述のようにして指紋撮像装置10から指紋画像の画像データが転送されるたびに、画像処理動作及び表示動作を繰り返す。この間、操作者は、画像処理装置20のディスプレイ214において表示される指紋画像を確認することができる。これにより、操作者は、表示される指紋画像のそれぞれについて品質の良否を判定することができる。
操作者は、ディスプレイ214に順次表示される複数枚の指紋画像の品質を確認していき、高品質であると判定した指紋画像がディスプレイ214に表示されたときに、キャプチャスイッチ160を押下する。図8では、時間の経過ととともに第1フレームの指紋画像から第(N+5)フレームの指紋画像がディスプレイ214に順次表示されている。そして、第(N+5)フレームの指紋画像が表示されている時刻t6で、操作者は、第(N+5)フレームの指紋画像が高品質であると判定し、2回目のキャプチャスイッチ160の押下を行っている。
操作者が2回目のキャプチャスイッチ160の押下を行うと、画像処理装置20に対して、指紋画像の記録を指示する記録指示を示す信号S2が入力される。記録指示を示す信号S2が入力されると、画像処理装置20は、ディスプレイ214に表示されている指紋画像をHDD208に記録する。また、画像処理装置20は、HDD208に記録された指紋画像をディスプレイ214に表示された状態を維持する。図8では、時刻t6でディスプレイ214に表示されている第(N+5)フレームの指紋画像を記録し、第(N+5)フレームの指紋画像がディスプレイ214に表示された状態を維持している。
また、操作者が2回目のキャプチャスイッチ160の押下を行うと、記録指示を示す信号S2が入力されるとともに、指紋撮像装置10に対して、停止を指示する停止指示を示す信号S3が入力される。停止指示を示す信号S3が入力されると、指紋撮像装置10は、停止状態となって撮像動作又は転送動作を中止する。図8では、撮像した第(N+6)フレームの指紋画像について転送動作を中止している。
こうして、ディスプレイ214に表示されている指紋画像をHDD208に記録して、指紋画像の取得を終了する。
このように、本実施形態では、2回目のキャプチャスイッチ160の押下が行われた時点でディスプレイ214に表示されている指紋画像をHDD208に記録する。同時に、指紋撮像装置10はイメージセンサ130への電源供給をオフにし、イメージセンサ130を停止状態にする。ディスプレイ214にはキャプチャされた指紋画像が表示され続ける。本実施形態によれば、指紋画像の品質をディスプレイ214上で確認したうえで、指紋画像を記録することができるため、高品質の指紋画像を取得することができる。
一般的に、指紋撮像装置10で指紋が撮像され、撮像された指紋画像の画像データが画像処理装置20に転送されて指紋画像がディスプレイ214に表示されるまでには、所定の遅延時間が生じることになる。この遅延時間は、画像データの転送に要する時間や、画像処理に要する時間等によるものである。本実施形態においては、新生児から乳幼児までの様々な大きさの指紋画像を十分な解像度で撮像する必要があるため、イメージセンサ130の画素数を多くする必要がある。イメージセンサ130は、例えば、サイズが幅2cm、長さ3cmであり、画素密度が1270ppiになっている。このため、指紋画像の画像データの転送時間は長くなり、例えば現在のUSB2.0規格においてはこのように画素数の多い指紋画像の画像データを転送するのに、転送時間と他の処理時間とを含めて0.6秒/フレーム要する場合がある。このため、仮に、2回目のキャプチャスイッチ160の押下により指紋撮像装置10で撮像中の指紋画像又はその後に撮像される指紋画像をHDD208に記録したのでは、記録される指紋画像と、ディスプレイ214に表示されている指紋画像が一致していない。したがって、このような場合には、HDD208に記録される指紋画像の品質を操作者が確認してその良否を判定することができず、低品質の指紋画像が記録されてしまうおそれがある。
これに対して、本実施形態では、上述のようにディスプレイ214に表示されている指紋画像をHDD208に記録するため、ディスプレイ214上で操作者がその指紋画像の品質を確認してその良否を判定することができる。
特に、対象者が新生児、乳児、幼児等の子どもである場合、指の細さ、小ささ、柔らかさ等からその指紋画像において十分にコントラストが得られない場合がある。また、子どもは、挙動が不安定で撮像時に指を動かす場合があるため、指紋画像において、輝度ムラが生じたり、指紋の一部が欠落したりしてしまうことがある。本実施形態によれば、記録する指紋画像の品質を確認して記録することができるため、対象者が新生児、乳児、幼児等の子どもである場合であっても、複数枚の指紋画像の品質を確認して判定し、それらのなかから高品質の指紋画像を記録することができる。
また、技術の進歩によりデータの転送速度が向上し、上記の遅延時間が短縮されたとしても、ディスプレイ214上で操作者が指紋画像の品質の良否を判定するのに十分な表示時間を確保することが望ましい。本実施形態では、指紋撮像装置10から画像処理装置20に転送されてディスプレイ214に表示されている指紋画像をHDD208に記録する。このため、本実施形態によれば、指紋撮像装置10の撮像のタイミング等に制約されることなく、品質の良否の判定に十分な表示時間を確保することができる。
なお、指紋撮像装置10に画像処理回路を設け、画像処理回路により指紋画像に対して二値化処理等の画像処理を行ったうえで、指紋画像の画像データを指紋撮像装置10から画像処理装置20に転送することもできる。これにより、指紋撮像装置10から画像処理装置20に指紋画像の画像データを転送する転送速度を向上することができる。
また、対象者が例えば新生児、乳児、幼児等の子どもである場合、高品質の指紋画像が取得されるまで指紋の撮像を繰り返したのでは、対象者にかかる負担が大きい。本実施形態によれば、ディスプレイ214上で品質を確認してから指紋画像をHDD208に記録するため、指紋画像の取得のやり直しを回避することができる。したがって、本実施形態によれば、高品質の指紋画像を高い効率で取得することができる。このため、本実施形態によれば、特に対象者が新生児、乳児、幼児等の子どもである場合、対象者にかかる負担を低減することができる。
[第2実施形態]
本発明の第2実施形態による指紋撮像システム及び指紋撮像方法について図9を用いて説明する。なお、上記第1実施形態による指紋撮像システム及び指紋撮像方法と同様の要素については同一の符号を付し説明を省略し又は簡略にする。
本実施形態による指紋撮像システムは、第1実施形態による指紋撮像システムとほぼ同様である。本実施形態による指紋撮像システムは、画像処理装置20が、複数枚の指紋画像を一定の時間間隔で間引いてディスプレイ214に表示する点で、第1実施形態による指紋撮像システムとは異なっている。
以下、本実施形態による指紋撮像システムを用いた指紋撮像方法について図9を用いて説明する。図9は、本実施形態による指紋撮像システムにおける指紋撮像装置10及び画像処理装置20の動作を示すタイミングチャートである。なお、図9に示すタイミングチャートの横軸の内容、及び上から下に向かって順に並ぶ第1段乃至第6段の内容は、図8に示すタイミングチャートと同様である。
図9に示すように、時刻t1で、操作者が1回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様にして、信号処理回路1314に第1フレームの画素信号が指紋画像として蓄積される。
時刻t2において、第1フレームの指紋画像の撮像が完了すると、第1実施形態と同様に、制御回路150は第1フレームの指紋画像をパケット毎に画像処理装置20に送信し始める。また、画像処理装置20において、通信コントローラ210は指紋画像をパケット毎に受信し、CPU202は受信したパケットをRAM206に順次蓄積する。
時刻t3において、指紋撮像装置10が第1フレームの指紋画像のすべてを画像処理装置20に送信すると、第1実施形態と同様に、指紋撮像装置10は第2フレームの指紋画像の撮像を開始する。画像処理装置20は、RAM206に蓄積された指紋画像に対して画像処理を行う。なお、画像処理装置20が画像処理を行っている間、指紋撮像装置10は第2フレームの指紋画像を撮像している。
時刻t4において、画像処理装置20が第1フレームの指紋画像の画像処理を終了すると、画像処理装置20は、画像処理後の第1フレームの指紋画像をディスプレイ214に表示する。この間、指紋撮像装置10は、第2フレームの指紋画像を画像処理装置20にパケット毎に送信し、画像処理装置20は受信した指紋画像の画像処理を実行している。
一方、第1実施形態とは異なり、時刻t5において、画像処理装置20が第2フレームの指紋画像の画像処理を完了しても、画像処理装置20は、ディスプレイ214に第2フレームの指紋画像を表示せずに、第1フレームの指紋画像の表示を継続する。第1フレームの指紋画像の表示は、時刻t6において第3フレームの画像処理が終了するまで継続する。
時刻t6において、画像処理装置20が第3フレームの指紋画像の画像処理を終了すると、画像処理装置20は、画像処理後の第3フレームの指紋画像をディスプレイ214に表示する。
こうして、画像処理装置20は、順次撮像される複数枚の指紋画像について、1フレームおきの表示を繰り返していく。
このように、本実施形態では、第1実施形態とは異なり、画像処理装置20は、画像処理された複数枚の指紋画像を一定の時間間隔で間引いてディスプレイ214に表示する。すなわち、画像処理装置20は、画像処理された複数枚の指紋画像を所定の枚数おきに間引いてディスプレイ214に表示する。図9では、撮像された指紋画像のうち、1枚おきに間引いて表示している。1枚おきに指紋画像が間引かれているため、指紋画像1枚当たりの表示時間は、第1実施形態の場合と比較して長くなっている。なお、一定の時間間隔で間引く指紋画像は、1枚の指紋画像であってもよいし、連続して撮像された複数枚の指紋画像であってもよい。
このように、本実施形態では、指紋撮像装置10で順次撮像された複数枚の指紋画像がすべてディスプレイ214に表示されるのではなく、一定の時間間隔で間引かれて表示される。したがって、本実施形態によれば、ディスプレイ214において操作者が指紋画像の品質を確認してその良否を判定するためにさらに十分な表示時間を確保することができる。したがって、本実施形態によれば、より確実に高品質の指紋画像を取得することができる。
操作者は、第1実施形態と同様に、ディスプレイ214に順次表示される複数枚の指紋画像の品質を確認していき、高品質であると判定した指紋画像がディスプレイ214に表示されたときに、キャプチャスイッチ160を押下する。図9では、時間の経過とともに第1フレームの指紋画像、第3フレームの指紋画像、……、第Nフレームの指紋画像、第(N+2)フレームの指紋画像、及び第(N+4)フレームの指紋画像がディスプレイ214に順次表示されている。そして、第(N+4)フレームの指紋画像が表示されている時刻t7で、操作者は、第(N+4)フレームの指紋画像が高品質であると判定し、2回目のキャプチャスイッチ160の押下を行っている。
操作者が2回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様に、画像処理装置20に対して、指紋画像の記録を指示する記録指示を示す信号S2が入力される。記録指示を示す信号S2が入力されると、画像処理装置20は、第1実施形態と同様に、ディスプレイ214に表示されている指紋画像をHDD208に記録する。また、画像処理装置20は、HDD208に記録された指紋画像をディスプレイ214に表示された状態を維持する。図9では、時刻t7でディスプレイ214に表示されている第(N+4)フレームの指紋画像を記録し、第(N+4)フレームの指紋画像がディスプレイ214に表示された状態を維持している。
また、操作者が2回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様に、指紋撮像装置10に対して、停止を指示する停止指示を示す信号S3が入力される。停止指示を示す信号S3が入力されると、指紋撮像装置10は、第1実施形態と同様に、停止状態となって撮像動作又は転送動作を中止する。図9では、撮像した第(N+6)フレームの指紋画像について転送動作を中止している。
こうして、ディスプレイ214に表示されている指紋画像をHDD208に記録して、指紋画像の取得を終了する。
[第3実施形態]
本発明の第3実施形態による指紋撮像システム及び指紋撮像方法について図10を用いて説明する。なお、上記第1実施形態による指紋撮像システム及び指紋撮像方法と同様の要素については同一の符号を付し説明を省略し又は簡略にする。
本実施形態による指紋撮像システムは、第1実施形態による指紋撮像システムとほぼ同様である。本実施形態による指紋撮像システムは、画像処理装置20が、指紋画像の品質の良否を判定し、指紋画像の品質に基づいて指紋画像を間引いてディスプレイ214に表示する点で、第1実施形態による指紋撮像システムとは異なっている。
以下、本実施形態による指紋撮像システムを用いた指紋撮像方法について図10を用いて説明する。図10は、本実施形態による指紋撮像システムにおける指紋撮像装置10及び画像処理装置20の動作を示すタイミングチャートである。なお、図10に示すタイミングチャートの横軸の内容、及び上から下に向かって順に並ぶ第1段乃至第6段の内容は、図8に示すタイミングチャートと同様である。
図10に示すように、時刻t1で、操作者が1回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様にして、信号処理回路1314に第1フレームの画素信号が指紋画像として蓄積される。
時刻t2において、第1フレームの指紋画像の撮像が完了すると、第1実施形態と同様に、制御回路150は第1フレームの指紋画像をパケット毎に画像処理装置20に送信し始める。また、画像処理装置20において、通信コントローラ210は指紋画像をパケット毎に受信し、CPU202は受信したパケットをRAM206に順次蓄積する。
時刻t3において、指紋撮像装置10が第1フレームの指紋画像のすべてを画像処理装置20に送信すると、第1実施形態と同様に、指紋撮像装置10は第2フレームの指紋画像の撮像を開始する。画像処理装置20は、RAM206に蓄積された指紋画像に対して画像処理を行う。なお、画像処理装置20が画像処理を行っている間、指紋撮像装置10は第2フレームの指紋画像を撮像している。
時刻t4において、画像処理装置20が第1フレームの指紋画像の画像処理を終了すると、画像処理装置20は、第1フレームの指紋画像の品質の良否を判定する。
このように、本実施形態では、第1実施形態とは異なり、画像処理装置20は、画像処理動作を行うとともに、指紋画像の品質の良否を判定する品質判定部としても機能する。画像処理装置20は、画像処理プログラムにより、指紋画像のコントラスト、輝度ムラ等を評価し、指紋画像の品質の良否を判定する。この品質の良否判定の結果、画像処理装置20は、所定の品質に満たない品質の指紋画像を低品質の指紋画像であると判定する。なお、画像処理装置20において指紋画像の品質の良否判定に用いる画像の評価手法は、特に限定されるものではなく、種々の画像処理の手法を用いることができる。例えば、二値で表された指紋画像において、白領域及び黒領域の比率が所定の範囲外である場合には、指紋が撮像されていないと判断することができる。また、標準的な指紋画像をモデルデータとして記憶しておき、撮像された指紋画像とモデルデータとの類似度を算出し、類似度が基準外であるフレームを除外してもよい。
画像処理装置20は、品質の良否判定の結果、複数枚の指紋画像のうち、低品質の指紋画像であると判定された指紋画像を表示することなく、それ以外の所定の品質以上の指紋画像をディスプレイ214に順次表示する。図10において、画像処理装置20は、品質判定後の第1フレームの指紋画像を所定の品質以上の指紋画像であると判定し、第1フレームの指紋画像をディスプレイ214に表示している。この間、指紋撮像装置10は、第2フレームの指紋画像を画像処理装置20にパケット毎に送信し、画像処理装置20は受信した指紋画像の画像処理及び品質判定を実行している。
時刻t5において、画像処理装置20は、第2フレームの指紋画像の画像処理及び品質判定を完了する。この結果、画像処理装置20は、第2フレームの指紋画像について低品質の指紋画像であると判定すると、ディスプレイ214に第2フレームの指紋画像を表示しない。この場合、画像処理装置20は、第1フレームの指紋画像の表示を継続する。
さらに、時刻t6において、画像処理装置20は、第2フレームの指紋画像に次いで撮像された指紋画像の処理及び品質判定を完了する。この結果、画像処理装置20は、第3フレームの指紋画像についても低品質の指紋画像であると判定すると、ディスプレイ214に第3フレームの指紋画像を表示しない。この場合、画像処理装置20は、第1フレームの指紋画像の表示を継続する。
第1フレームの指紋画像の表示は、新たなフレームの指紋画像が所定の品質以上の指紋画像であると判定されるまで継続する。
時刻t6において、画像処理装置20が第3フレームの指紋画像の画像処理を終了すると、画像処理装置20は、画像処理後の第3フレームの指紋画像をディスプレイ214に表示する。
上述のように、画像処理装置20は、品質の良否判定の結果、複数枚の指紋画像のうち、低品質の指紋画像であると判定された指紋画像を表示することなく、それ以外の所定の品質以上の指紋画像をディスプレイ214に順次表示する。図10では、撮像された指紋画像のうち、第2フレームの指紋画像、第3フレームの指紋画像、第(N+2)フレームの指紋画像、第(N+3)フレームの指紋画像がそれぞれ低品質の指紋画像であると判定して表示していない。
このように、本実施形態によれば、複数枚の指紋画像のうち、所定の品質以上の指紋画像がディスプレイ214に表示されるため、操作者は、表示される指紋画像のなかから、より確実に高品質の指紋画像を選択することができる。したがって、本実施形態によれば、より確実に高品質の指紋画像を取得することができる。
操作者は、第1実施形態と同様に、ディスプレイ214に順次表示される複数枚の指紋画像の品質を確認していき、ディスプレイ214に表示されている指紋画像が高品質であると判定したときに、キャプチャスイッチ160を押下する。図10では、時間の経過ととともに第1フレームの指紋画像、……、第Nフレームの指紋画像、第(N+1)フレームの指紋画像、第(N+4)フレームの指紋画像、及び第(N+5)フレームの指紋画像がディスプレイ214に順次表示されている。そして、第(N+5)フレームの指紋画像が表示されている時刻t7で、操作者は、第(N+5)フレームの指紋画像が高品質であると判定し、2回目のキャプチャスイッチ160の押下を行っている。
操作者が2回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様に、画像処理装置20に対して、指紋画像の記録を指示する記録指示を示す信号S2が入力される。記録指示を示す信号S2が入力されると、画像処理装置20は、第1実施形態と同様に、ディスプレイ214に表示されている指紋画像をHDD208に記録する。また、画像処理装置20は、HDD208に記録された指紋画像をディスプレイ214に表示された状態を維持する。図10では、時刻t7でディスプレイ214に表示されている第(N+5)フレームの指紋画像を記録し、第(N+5)フレームの指紋画像がディスプレイ214に表示された状態を維持している。
また、操作者が2回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様に、指紋撮像装置10に対して、停止を指示する停止指示を示す信号S3が入力される。停止指示を示す信号S3が入力されると、指紋撮像装置10は、第1実施形態と同様に、停止状態となって撮像動作又は転送動作を中止する。図10では、撮像した第(N+6)フレームの指紋画像について転送動作を中止している。
こうして、ディスプレイ214に表示されている指紋画像をHDD208に記録して、指紋画像の取得を終了する。
なお、上記では、ディスプレイ214に表示する前に画像処理装置20が指紋画像の良否判定を行う場合について説明したが、画像処理装置20による良否判定のタイミングは、これに限定されるものではない。
例えば、上記第1又は第2実施形態において、操作者がHDD208への記録を指示した指紋画像の品質の良否を画像処理装置20が判定するようにしてもよい。この場合、操作者がHDD208への記録を指示した指紋画像の品質が所定の品質に満たない低品質の指紋画像である場合、画像処理装置20は、指紋画像が低品質であることを知らせるアラート表示をディスプレイ214に表示することができる。また、アラート表示のディスプレイ214への表示に代えて又はその表示とともに、画像処理装置20は、指紋画像が低品質である旨を知らせるアラート音を鳴らすこともできる。このようなアラート表示又はアラート音により、操作者に対して指紋画像の再度の取得を促すようにすることができる。
[第4実施形態]
本発明の第4実施形態による指紋撮像システム及び指紋撮像方法について図11を用いて説明する。なお、上記第1実施形態による指紋撮像システム及び指紋撮像方法と同様の要素については同一の符号を付し説明を省略し又は簡略にする。
本実施形態による指紋撮像システムは、第1実施形態による指紋撮像システムとほぼ同様である。本実施形態による指紋撮像システムは、指紋撮像装置10において繰り返し撮像される複数枚の指紋画像のうち、キャプチャスイッチ160の押下の時点で撮像された指紋画像及びその前後に撮像された指紋画像をディスプレイ214に表示する。この点で、本実施形態による指紋撮像システムは、第1実施形態による指紋撮像システムとは異なっている。
以下、本実施形態による指紋撮像システムを用いた指紋撮像方法について図11を用いて説明する。図11は、本実施形態による指紋撮像システムにおける指紋撮像装置及び画像処理装置の動作を示すタイミングチャートである。図11に示すタイミングチャートにおいて、横軸は時刻tを示している。また、図11に示すタイミングチャートにおいて、上から下に向かって順に並ぶ第1段乃至第5段のうち、第1段における実線枠は、指紋撮像装置10の撮像動作及び転送動作をまとめて表している。第2段における実線枠は、後述する画像処理装置20の複数の指紋画像についての一時記憶動作を表している。第3段における実線枠は、画像処理装置20の表示動作を表している。第4段における実線枠は、画像処理装置20の記録動作を表している。また、第1段乃至第4段の各段の実線枠に付された番号Nは、上記第1実施形態と同様である。また、第5段では、ローレベルからハイレベルに変化してパルスが発生した時点で指紋撮像装置10のキャプチャスイッチ160が押下されたことを表している。
図11に示すように、時刻t1で操作者が1回目のキャプチャスイッチ160の押下を行うと、指紋撮像装置10が撮像動作及び転送動作を繰り返す点は、第1実施形態と同様である。なお、図11に示すタイミングチャートの第1段では、撮像動作及び転送動作を1つの実線枠でまとめて表している。
次いで、時刻t2で、操作者が2回目のキャプチャスイッチ160の押下を行うと、画像処理装置20に対して、指紋画像の一時的な記憶を指示する一時記憶指示を示す信号S4が入力される。一時記憶指示を示す信号S4が入力されると、画像処理装置20は、順次撮像された複数枚の指紋画像について一時記憶動作を行う。操作者は、2回目のキャプチャスイッチ160の押下を、指紋画像の撮像に適していると判断したタイミングで行うことができる。例えば、対象者の指紋の撮像を補助者が補助する場合、補助者は、対象者の指が指紋の撮像に適した位置に固定されたと判断したタイミングで、2回目のキャプチャスイッチ160の押下を行うことができる。
一時記憶動作において、画像処理装置20は、順次撮像された複数枚の指紋画像を、ディスプレイ214に表示すべき指紋画像として、画像メモリとして機能するRAM206に一時記憶する。具体的には、画像処理装置20は、2回目のキャプチャスイッチ160が押下された時点で指紋撮像装置10で撮像された指紋画像、及びその前後に撮像された指紋画像をRAM206に一時記憶する。図11では、2回目のキャプチャスイッチ160の押下が行われた時点で撮像された第Nフレームの指紋画像が一時記憶されている。また、第Nフレームの指紋画像の前に撮像された第(N−2)フレーム、第(N−1)フレームの2枚の指紋画像が一時記憶されている。また、第Nフレームの指紋画像の後に撮像された第(N+1)フレーム、第(N+2)フレームの2枚の指紋画像が一時記憶されている。
なお、指紋撮像装置10は、2回目のキャプチャスイッチ160の押下の後、設定された枚数の指紋画像を撮像した後、停止状態となる。図11では、第Nフレームの指紋画像の撮像後、第(N+1)フレーム、第(N+2)フレームの2枚の指紋画像を撮像した後、指紋撮像装置10は、停止状態となって撮像動作及び転送動作を停止している。
次いで、画像処理装置20は、一時記憶動作で記憶した複数枚の指紋画像に対して、画像処理動作を行った上で表示動作を行い、これら複数枚の指紋画像をディスプレイ214に順次表示する。なお、図11では、画像処理動作を省略している。1枚の指紋画像をディスプレイ214に表示する表示時間は、第1実施形態と同様に、指紋撮像装置10が1枚の指紋画像を撮像するのに要する撮像時間以上の時間であり、撮像時間よりも長い時間にすることができる。なお、複数枚の指紋画像を順次表示することに代えて、複数枚の指紋画像をまとめてサムネイルとして一覧表示してもよい。
操作者は、第1実施形態と同様に、ディスプレイ214に順次表示される複数枚の指紋画像の品質を確認していき、ディスプレイ214に表示されている指紋画像が高品質であると判定したときに、キャプチャスイッチ160を押下する。図11では、時間の経過ととともに第(N−2)フレームの指紋画像、第(N−1)フレームの指紋画像、第Nフレームの指紋画像、第(N+1)フレームの指紋画像、及び第(N+2)フレームの指紋画像がディスプレイ214に順次表示されている。そして、第(N+1)フレームの指紋画像が表示されている時刻t3で、操作者は、第(N+1)フレームの指紋画像が高品質であると判定し、3回目のキャプチャスイッチ160の押下を行っている。
操作者が3回目のキャプチャスイッチ160の押下を行うと、第1実施形態と同様に、画像処理装置20に対して、指紋画像の記録を指示する記録指示を示す信号S2が入力される。記録指示を示す信号S2が入力されると、画像処理装置20は、第1実施形態と同様に、ディスプレイ214に表示されている指紋画像をHDD208に記録する。図11では、時刻t3でディスプレイ214に表示されている第(N+1)フレームの指紋画像を記録している。
なお、画像処理装置20は、3回目のキャプチャスイッチ160の押下後も複数枚の指紋画像のうちの未表示の指紋画像について表示動作を続けて行い、操作者に対して、指紋画像の品質の良否を判定する機会を続けて与えてもよい。この場合、4回目のキャプチャスイッチ160が行われることにより、ディスプレイ214に表示されている指紋画像が改めてHDD208に記録される。また、このような表示動作に代えて、画像処理装置20は、3回目のキャプチャスイッチ160の押下によりHDD208に記録された指紋画像をディスプレイ214に表示された状態を維持することもできる。
こうして、ディスプレイ214に表示されている指紋画像をHDD208に記録して、指紋画像の取得を終了する。
本実施形態では、2回目のキャプチャスイッチ160の押下が行われた時点で撮像された指紋画像のみならず、その前後に撮像された指紋画像をディスプレイ214に表示する。2回目のキャプチャスイッチ160の押下は、操作者が指紋画像の撮像に適していると判断したタイミングで行うことができる。そして、操作者は、このように表示される複数枚の指紋画像の品質を確認してその良否を判定することができる。
操作者が指紋画像の撮像に適していると判断したタイミングで指紋画像の撮像を行ったとしても、実際に撮像された指紋画像の品質が低品質である場合がある。これに対して、本実施形態では、操作者が適切であると判断したタイイングで撮像された指紋画像のみならず、その前後に撮像された指紋画像を含む複数の指紋画像のなかからHDD208に記録する指紋画像を選択することができる。したがって、本実施形態によれば、より高品質の指紋画像を取得することができる。
[その他の実施形態]
上記実施形態による画像処理装置20は、コンピュータのCPUにより実行されるコンピュータプログラムに基づき実現することができる。このようなプログラムは、上記実施形態において説明した各動作及び各処理を実現するステップをコンピュータに実行させるプログラムとして作成することができる。プログラムの一部又は全部は、これを記録したDVD−ROM(Digital Versatile Disc-Read Only Memory)、CD−ROM(Compact Disc-Read Only Memory)、USBメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。
また、上記各実施形態において説明した指紋撮像システムは、他の実施形態によれば、図12に示すように構成することもできる。図12は、他の実施形態による指紋撮像システムの機能構成を示すブロック図である。
図12に示すように、他の実施形態による指紋撮像システム4000は、指紋を撮像する撮像部4002と、撮像部4002により撮像された指紋の指紋画像が転送され、指紋画像を処理する画像処理部4004とを有している。また、指紋撮像システム4000は、画像処理部4004に転送された指紋画像が表示される表示部4006と、画像処理部4004に転送された指紋画像が画像処理部4004により記録される記録部4008とを有している。さらに、指紋撮像システム4000は、指紋画像の記録部4008への記録を画像処理部4004に指示する記録指示を画像処理部4004に入力する指示部4010を有している。画像処理部4004は、指示部4010により記録指示が入力された時点で表示部4006に表示されている指紋画像を記録部4008に記録する。
他の実施形態による指紋撮像システム4000によれば、高品質の指紋画像を取得することができる。
また、上記各実施形態において説明した指紋撮像装置は、他の実施形態によれば、図13に示すように構成することもできる。図13は、他の実施形態による指紋撮像装置の機能構成を示すブロック図である。
図13に示すように、他の実施形態による指紋撮像装置5000は、指紋を撮像するセンサ部5002と、センサ部5002により撮像された指紋の指紋画像を表示部に表示するために指紋画像を画像処理部に転送する転送部5004とを有している。また、指紋撮像装置5000は、画像処理部に転送されて表示部に表示されている指紋画像の記録部への記録を指示する記録指示を画像処理部に入力する指示部5006を有している。
他の実施形態による指紋撮像装置5000によれば、高品質の指紋画像を取得することができる。
また、上記各実施形態において説明した画像処理装置は、他の実施形態によれば、図14に示すように構成することもできる。図14は、他の実施形態による画像処理置の機能構成を示すブロック図である。
図14に示すように、他の実施形態による画像処理装置6000は、指紋を撮像する撮像部で撮像された指紋の指紋画像を受信する受信部6002と、受信部6002により受信された指紋画像を表示部に表示する表示制御部6004とを有している。さらに、画像処理装置600は、表示部に表示されている指紋画像の記録部への記録を指示する記録指示に基づき、指紋画像を記録部に記録する記録制御部6006を有している。
他の実施形態による画像処理装置6000によれば、高品質の指紋画像を取得することができる。
[変形実施形態]
また、本発明は、上記実施形態に限らず、種々の変形が可能である。
例えば、上記実施形態では、指紋撮像装置10が近赤外光を利用して指紋を撮像する場合を例に説明したが、指紋撮像装置10は、必ずしも近赤外光を利用するものに限定されるものではなく、指紋を撮像するものであればよい。
また、上記実施形態では、指紋撮像装置10が1本の指の指紋画像を取得する場合を例に説明したが、複数本の指について指紋画像を同時に撮像することもできる。
また、上記実施形態では、キャプチャスイッチ160が筐体110の把持部1102の底面に設けられている場合を例に説明したが、キャプチャスイッチ160が設けられている場所はこれに限定されるものではない。例えば、把持部1102の側面に設けられていてもよい。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
指紋を撮像する撮像部と、
前記撮像部により撮像された前記指紋の指紋画像が転送され、前記指紋画像を処理する画像処理部と、
前記画像処理部に転送された前記指紋画像が表示される表示部と、
前記画像処理部に転送された前記指紋画像が前記画像処理部により記録される記録部と、
前記指紋画像の前記記録部への記録を前記画像処理部に指示する記録指示を前記画像処理部に入力する指示部とを有し、
前記画像処理部は、前記指示部により前記記録指示が入力された時点で前記表示部に表示されている前記指紋画像を前記記録部に記録することを特徴とする指紋撮像システム。
(付記2)
前記撮像部は、同一の指について複数枚の前記指紋画像を順次撮像し、
前記表示部には、前記複数枚の指紋画像が、前記撮像部が1枚の前記指紋画像を撮像するのに要する撮像時間以上の表示時間で順次表示されることを特徴とする付記1記載の指紋撮像システム。
(付記3)
前記表示部には、前記複数枚の指紋画像が一定の時間間隔で間引かれて順次表示されることを特徴とする付記2記載の指紋撮像システム。
(付記4)
前記画像処理部は、前記指示部により前記記録部への記録が指示された前記指紋画像について品質の良否を判定することを特徴とする付記1乃至3のいずれかに記載の指紋撮像システム。
(付記5)
前記撮像部は、同一の指について複数枚の前記指紋画像を順次撮像し、
前記画像処理部は、前記複数枚の指紋画像について品質の良否を判定し、
前記表示部には、前記画像処理部により品質の良否が判定された前記複数枚の指紋画像のうち、所定の品質以上の前記指紋画像が順次表示されることを特徴とする付記1記載の指紋撮像システム。
(付記6)
前記撮像部は、同一の指について複数枚の前記指紋画像を順次撮像し、
前記指示部は、前記記録指示の前に、前記指紋画像の一時的な記憶を前記画像処理部に指示する一時記憶指示を前記画像処理部に入力し、
前記画像処理部は、前記一時記憶指示が入力された時点で前記撮像部により撮像された前記指紋画像及びその前後に撮像された前記指紋画像を一時的に記憶し、
前記表示部には、前記画像処理部により一時的に記憶された複数の前記指紋画像が表示されることを特徴とする付記1記載の指紋撮像システム。
(付記7)
前記指示部は、前記記録指示を入力するとともに、前記撮像部に停止を指示する停止指示を前記撮像部に入力することを特徴とする付記1乃至5のいずれかに記載の指紋撮像システム。
(付記8)
前記指示部は、前記撮像部に設けられていることを特徴とする付記1乃至7のいずれかに記載の指紋撮像システム。
(付記9)
指紋を撮像するセンサ部と、
前記センサ部により撮像された前記指紋の指紋画像を表示部に表示するために前記指紋画像を画像処理部に転送する転送部と、
前記画像処理部に転送されて前記表示部に表示されている前記指紋画像の記録部への記録を指示する記録指示を前記画像処理部に入力する指示部と
を有することを特徴とする指紋撮像装置。
(付記10)
指紋を撮像する撮像部で撮像された前記指紋の指紋画像を受信する受信部と、
前記受信部により受信された前記指紋画像を表示部に表示する表示制御部と、
前記表示部に表示されている前記指紋画像の記録部への記録を指示する記録指示に基づき、前記指紋画像を前記記録部に記録する記録制御部と
を有することを特徴とする画像処理装置。
(付記11)
指紋を撮像し、
撮像された前記指紋の指紋画像を転送し、
転送された前記指紋画像を表示し、
転送された前記指紋画像を記録し、
前記指紋画像の記録を指示する記録指示を入力し、
前記指紋画像を記録することは、前記記録指示が入力された時点で表示されている前記指紋画像を記録することを特徴とする指紋撮像方法。
(付記12)
指紋を撮像する指紋撮像装置から転送される指紋画像を処理するコンピュータに、
前記指紋撮像装置から転送された指紋画像を表示し、
前記指紋撮像装置から転送された前記指紋画像を記録することであって、前記指紋画像の記録を指示する記録指示が入力された時点で表示されている前記指紋画像を記録すること
を実行させることを特徴とするプログラムが記録された記録媒体。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2015年9月18日に出願された日本出願特願2015−186010を基礎とする優先権を主張し、その開示の全てをここに取り込む。また、特許第3751872号の全内容は、引用されてこの出願の一部とされる。
1…指紋撮像システム
10…指紋撮像装置
130…二次元イメージセンサ
160…キャプチャスイッチ
20…画像処理装置
214…ディスプレイ

Claims (7)

  1. 生体を連続的に撮像する撮像部と、
    前記撮像部により撮像された複数の生体画像を表示部に順次表示させる画像処理部と、
    を備え、
    前記撮像部は、片手で把持できる把持部と、前記生体画像の記録部への記録を前記画像処理部に指示する記録指示を前記把持部が前記片手で把持されている間に前記片手により入力する指示部と、を有し、
    前記画像処理部は、前記表示部に前記撮像部が撮像すべき箇所を示す撮像箇所情報を表示させ、
    前記画像処理部は、前記指示部により前記記録指示が入力されたとき、前記表示部に表示されている前記生体画像を前記撮像箇所情報と共に前記記録部に記録し、
    前記画像処理部は、前記記録後に別の箇所の撮像箇所情報を前記表示部に表示可能である、ことを特徴とする撮像システム。
  2. 前記指示部は、押しボタン式のキャプチャスイッチである
    ことを特徴とする請求項1に記載の撮像システム。
  3. 前記指示部は、前記把持部に設けられている
    ことを特徴とする請求項2に記載の撮像システム。
  4. 前記撮像部は、前記生体を撮像している間に前記指示部を押下されると、前記画像処理部に対し前記記録指示を出力する
    ことを特徴とする請求項2または3に記載の撮像システム。
  5. 前記画像処理部は、前記複数の生体画像について品質の良否を判定し、
    前記表示部には、前記画像処理部により品質の良否が判定された前記複数の生体画像のうち、所定の品質以上の前記生体画像が順次表示される
    ことを特徴とする請求項1から4のいずれか1項に記載の撮像システム。
  6. 生体を連続的に撮像する撮像部と、前記撮像部により撮像された複数の生体画像を表示部に順次表示させる画像処理部とを備えた撮像システムによる撮像方法であって、
    前記撮像部は、前記生体を連続的に撮像し、
    前記画像処理部は、前記撮像部により撮像された前記複数の生体画像を前記表示部に順次表示させ、
    前記撮像部は、片手で把持できる把持部と、前記生体画像の記録部への記録を前記画像処理部に指示する記録指示を前記把持部が前記片手で把持されている間に前記片手により入力する指示部と、を有し、
    前記画像処理部は、前記表示部に前記撮像部が撮像すべき箇所を示す撮像箇所情報を表示させ、
    前記画像処理部は、前記指示部により前記記録指示が入力されたとき、前記表示部に表示されている前記生体画像を前記撮像箇所情報と共に前記記録部に記録し、
    前記画像処理部は、前記記録後に別の箇所の撮像箇所情報を前記表示部に表示可能である、ことを特徴とする撮像方法。
  7. 生体を連続的に撮像する撮像部により撮像された複数の生体画像を表示部に順次表示させることと、
    前記表示部に前記撮像部が撮像すべき箇所を示す撮像箇所情報を表示させることと、
    前記撮像部から、前記生体画像の記録部への記録を画像処理部に指示する記録指示が入力されたとき、前記表示部に表示されている前記生体画像を前記記録部に記録することと、
    前記記録後に別の箇所の撮像箇所情報を前記表示部に表示することと、
    をコンピュータに実行させ、
    前記撮像部は、片手で把持できる把持部と、前記記録指示を前記把持部が前記片手で把持されている間に前記片手により入力する指示部と、を有することを特徴とするプログラム。
JP2021113904A 2015-09-18 2021-07-09 撮像システム、撮像方法、及びプログラム Pending JP2021177403A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015186010 2015-09-18
JP2015186010 2015-09-18
JP2019206622A JP2020047284A (ja) 2015-09-18 2019-11-15 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019206622A Division JP2020047284A (ja) 2015-09-18 2019-11-15 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2021177403A true JP2021177403A (ja) 2021-11-11

Family

ID=58288511

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017540511A Active JP6617936B2 (ja) 2015-09-18 2016-09-16 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及びプログラム
JP2019206622A Pending JP2020047284A (ja) 2015-09-18 2019-11-15 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体
JP2021113904A Pending JP2021177403A (ja) 2015-09-18 2021-07-09 撮像システム、撮像方法、及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017540511A Active JP6617936B2 (ja) 2015-09-18 2016-09-16 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及びプログラム
JP2019206622A Pending JP2020047284A (ja) 2015-09-18 2019-11-15 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体

Country Status (4)

Country Link
US (8) US10984514B2 (ja)
EP (1) EP3352131A4 (ja)
JP (3) JP6617936B2 (ja)
WO (1) WO2017047090A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021977A1 (ja) 2017-07-26 2019-01-31 日本電気株式会社 指紋読取装置及び指紋読取方法
JPWO2019021951A1 (ja) 2017-07-26 2020-04-16 日本電気株式会社 指紋読取装置
US10949642B2 (en) * 2017-11-24 2021-03-16 Integrated Biometrics, Llc Method for capture of a fingerprint using an electro-optical material
EP3864570A1 (en) * 2018-10-10 2021-08-18 DeLaval Holding AB Animal identification using vision techniques
CN110400812B (zh) * 2019-07-25 2022-05-24 京东方科技集团股份有限公司 显示面板、电子设备及显示面板的成像方法
CN110867165B (zh) * 2019-11-29 2021-10-15 厦门天马微电子有限公司 一种显示面板及显示装置
US11100307B1 (en) * 2020-11-25 2021-08-24 King Abdulaziz University Fingerprint acquisition system for children using multicamera array
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002159052A (ja) * 2000-11-17 2002-05-31 Nec Kofu Ltd 指紋認証機能付き移動端末
JP2006113772A (ja) * 2004-10-14 2006-04-27 Oki Electric Ind Co Ltd 生体情報認証装置、生体情報登録装置および生体情報照合装置
JP2013242914A (ja) * 2006-04-26 2013-12-05 Aware Inc 指紋プリビュー品質ならびに細分化
US20140212008A1 (en) * 2013-01-29 2014-07-31 Diamond Fortress Technologies, Inc. Touchless fingerprinting acquisition and processing application for mobile devices
JP2014146275A (ja) * 2013-01-30 2014-08-14 Canon Inc 認証装置、認証方法及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01223576A (ja) 1988-03-03 1989-09-06 Toshiba Corp 指紋画像処理装置
US5446934A (en) 1993-11-30 1995-09-05 Frazier; Richard K. Baby monitoring apparatus
ES2167710T3 (es) 1996-02-07 2002-05-16 Janssen Pharmaceutica Nv Tiofenopirimidinas.
JP3120272B2 (ja) 1996-12-06 2000-12-25 株式会社山武 指紋入力装置
US6185319B1 (en) 1996-12-06 2001-02-06 Yamatake Honeywell Co., Ltd. Fingerprint input apparatus
US6671392B1 (en) 1998-12-25 2003-12-30 Nippon Telegraph And Telephone Corporation Fingerprint recognition apparatus and data processing method
JP2000222556A (ja) * 1999-01-27 2000-08-11 Sony Corp 指紋画像取得装置及び指紋照合装置
JP2000266162A (ja) 1999-03-15 2000-09-26 Yanagawa Seiki Co Ltd デファレンシャル
JP2000268162A (ja) 1999-03-18 2000-09-29 Hitachi Eng Co Ltd 指紋画像入力システム
US6744910B1 (en) 1999-06-25 2004-06-01 Cross Match Technologies, Inc. Hand-held fingerprint scanner with on-board image normalization data storage
JP2003524224A (ja) * 1999-06-25 2003-08-12 クロス マッチ テクノロジーズ, インコーポレイテッド データおよび電力通信インターフェースを備えた充電式モバイルハンドヘルド指紋スキャナ
US6886104B1 (en) 1999-06-25 2005-04-26 Cross Match Technologies Rechargeable mobile hand-held fingerprint scanner with a data and power communication interface
EP1081946A3 (en) 1999-09-03 2004-01-02 Victor Company Of Japan, Limited Recording apparatus and recording method of video signal
JP2002159092A (ja) 2000-11-17 2002-05-31 Matsushita Electric Ind Co Ltd スピーカ
JP3751872B2 (ja) 2001-10-30 2006-03-01 日本電気株式会社 指紋入力装置
US20060018519A1 (en) * 2004-07-16 2006-01-26 Cross Match Technologies, Inc. Hand-held personal identification device with distributed control system
JP4492273B2 (ja) 2004-09-22 2010-06-30 株式会社ニコン 撮像装置およびプログラム
JP4725377B2 (ja) 2006-03-15 2011-07-13 オムロン株式会社 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JPWO2007105788A1 (ja) 2006-03-15 2009-07-30 協和発酵バイオ株式会社 アミノ酸の精製方法
MX2009002419A (es) 2006-09-07 2009-03-16 Procter & Gamble Metodos para medir la respuesta emocional y preferencia de seleccion.
US8666131B2 (en) 2008-05-15 2014-03-04 David Allburn Biometric self-capture criteria, methodologies, and systems
US8098297B2 (en) * 2008-09-03 2012-01-17 Sony Corporation Pre- and post-shutter signal image capture and sort for digital camera
WO2011070660A1 (ja) 2009-12-09 2011-06-16 富士通株式会社 静電容量センサ及び生体画像生成方法
WO2011070880A1 (ja) 2009-12-09 2011-06-16 丸善石油化学株式会社 ビニルエーテル系星型ポリマーの製造方法
US20130165809A1 (en) 2010-07-29 2013-06-27 Digisense Ltd. Monitoring physiological condition of a subject
FR2987464B1 (fr) * 2012-02-23 2015-08-21 Thales Sa Station d'acquisition de donnees permettant l'identification d'un demandeur
US8846984B2 (en) 2012-04-27 2014-09-30 E I Du Pont De Nemours And Company Production of α,ω-diols
US20140198203A1 (en) * 2013-01-15 2014-07-17 TechlP International Limited Diaper rfid tag and image analysis system
US9633184B2 (en) * 2014-05-30 2017-04-25 Google Inc. Dynamic authorization
US9684815B2 (en) * 2014-09-18 2017-06-20 Sciometrics Llc Mobility empowered biometric appliance a tool for real-time verification of identity through fingerprints
US10410033B2 (en) * 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-LCD screen optical sensor module for on-screen fingerprint sensing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002159052A (ja) * 2000-11-17 2002-05-31 Nec Kofu Ltd 指紋認証機能付き移動端末
JP2006113772A (ja) * 2004-10-14 2006-04-27 Oki Electric Ind Co Ltd 生体情報認証装置、生体情報登録装置および生体情報照合装置
JP2013242914A (ja) * 2006-04-26 2013-12-05 Aware Inc 指紋プリビュー品質ならびに細分化
US20140212008A1 (en) * 2013-01-29 2014-07-31 Diamond Fortress Technologies, Inc. Touchless fingerprinting acquisition and processing application for mobile devices
JP2014146275A (ja) * 2013-01-30 2014-08-14 Canon Inc 認証装置、認証方法及びプログラム

Also Published As

Publication number Publication date
US10699399B2 (en) 2020-06-30
US20240065582A1 (en) 2024-02-29
US20180342052A1 (en) 2018-11-29
WO2017047090A1 (ja) 2017-03-23
US11844609B2 (en) 2023-12-19
US20230024027A1 (en) 2023-01-26
US10692201B2 (en) 2020-06-23
EP3352131A4 (en) 2019-05-08
US20190012779A1 (en) 2019-01-10
US11501422B2 (en) 2022-11-15
US10984514B2 (en) 2021-04-20
EP3352131A1 (en) 2018-07-25
US20230095054A1 (en) 2023-03-30
JPWO2017047090A1 (ja) 2018-06-14
JP2020047284A (ja) 2020-03-26
US20190087950A1 (en) 2019-03-21
US20190012780A1 (en) 2019-01-10
US11779245B2 (en) 2023-10-10
JP6617936B2 (ja) 2019-12-11
US11004185B2 (en) 2021-05-11
US20210183043A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
JP2021177403A (ja) 撮像システム、撮像方法、及びプログラム
EP1950691A2 (en) Skin area detection imaging device
TW200300913A (en) Image input apparatus, subject identification system, subject verification system and image input method
US10413179B2 (en) Infrared fundus imaging system
US11823485B2 (en) Fingerprint reading device and fingerprint reading method
JP4314567B2 (ja) 撮影装置および撮影プログラム
US11806132B2 (en) Fingerprint reading device
JP4265600B2 (ja) 複眼撮像装置
KR102552966B1 (ko) 휴대용 단말기 및 그 구동 방법
JP2007219624A (ja) 血管画像入力装置、及び個人認証システム
JP2007088835A (ja) 機器制御装置
US20220167855A1 (en) Biological information measuring apparatus and electronic device including the same
US20230289926A1 (en) Processing device, processing program, processing method, and processing system
US20220087549A1 (en) Apparatus for measuring bio-information, and electronic device including the same
JP2010154476A (ja) 画像読取装置
CN108111784B (zh) 一种生物活体影像监控系统
JP2017073745A (ja) 記録装置、記録装置の制御方法、記録システム、及び装着型情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221018