[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20180046679A - 지문 인식 방법 및 이를 포함하는 전자 기기 - Google Patents

지문 인식 방법 및 이를 포함하는 전자 기기 Download PDF

Info

Publication number
KR20180046679A
KR20180046679A KR1020160142152A KR20160142152A KR20180046679A KR 20180046679 A KR20180046679 A KR 20180046679A KR 1020160142152 A KR1020160142152 A KR 1020160142152A KR 20160142152 A KR20160142152 A KR 20160142152A KR 20180046679 A KR20180046679 A KR 20180046679A
Authority
KR
South Korea
Prior art keywords
pixel
time
fingerprint
value
fingerprint image
Prior art date
Application number
KR1020160142152A
Other languages
English (en)
Inventor
김규홍
김남준
이병규
정석환
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160142152A priority Critical patent/KR20180046679A/ko
Priority to US15/609,516 priority patent/US10482308B2/en
Publication of KR20180046679A publication Critical patent/KR20180046679A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G06K9/00026—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06K9/00067—
    • G06K9/44—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1329—Protecting the fingerprint sensor against damage caused by the finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

지문 인식 방법 및 그 장치에 관한 것이다. 본 지문 인식 방법은 지문 센서로부터 지문 이미지를 획득하고, 지문 이미지의 픽셀 각각을, 각 픽셀의 시간에 대한 분산값을 이용하여 불량 픽셀인지 여부를 결정하며, 불량 픽셀로 결정된 픽셀의 픽셀값을 상기 불량 픽셀과 다른 픽셀의 픽셀 값을 이용하여 보간한다.

Description

지문 인식 방법 및 이를 포함하는 전자 기기{METHOD OF SENSING FINGERPRINT AND ELECTRONIC APPARATUS INCLUDING THE SAME}
개시된 실시예들은 지문을 인식하는 방법 및 이를 포함한 전자 기기에 관한 것이다.
지문, 음성, 얼굴, 손 또는 홍채와 같은 개인의 고유한 특징을 이용한 개인 인증의 필요성은 점차 확대되고 있다. 개인 인증 기능은 금융 기기, 출입 통제기, 모바일 장치, 노트북 등에서 주로 사용되며, 최근 스마트 폰과 같은 모바일 장치가 널리 보급됨에 따라 스마트 폰 내에 저장된 많은 보안 정보를 보호하기 위해 개인 인증을 위한 지문 인식 장치가 채용되고 있다.
지문 인식은 개인 인증에 이용되기 때문에 다른 종류의 영상보다 정확도가 높아야 하고, 지문 이미지에 약간의 이물질이 포함되어 있는 경우에도 인식률이 현저히 저하될 수 있다.
지문 이미지가 오염되어 있다 하더라도 이를 보정함으로써 지문 인식율을 높일 수 있는 지문 인식 방법 및 이를 포함하는 전자 기기를 제공할 수 있다.
일 측면(aspect)에 따르는 지문 인식 방법은, 지문 센서로부터 지문 이미지를 획득하는 단계; 상기 지문 이미지의 픽셀 각각을, 각 픽셀의 시간에 대한 분산값을 이용하여 불량 픽셀인지 여부를 결정하는 단계; 불량 픽셀로 결정된 픽셀의 픽셀값을 상기 불량 픽셀과 다른 픽셀의 픽셀 값을 이용하여 보간하는 단계; 및 보간된 픽셀 값으로 상기 지문 이미지를 보정하는 단계;를 포함한다.
그리고, 상기 불량 픽셀인지 여부를 결정하는 단계는, 상기 시간에 대한 분산값이 기준값보다 작은 픽셀을 불량 픽셀로 결정할 수 있다.
또한, 상기 불량 픽셀은, 일정 시간 동안 일정한 픽셀값을 출력할 수 있다.
그리고, 상기 일정 시간은, 상기 시간에 대한 분산값의 단위 시간 보다 클 수 있다.
또한, 상기 시간에 기반에 분산값은, 이전 시간의 픽셀 값에 대한 정보를 포함할 수 있다.
그리고, 상기 이전 시간의 픽셀값은, 상기 지문 이미지와 다른 지문 이미지로부터 획득될 수 있다.
또한, 상기 불량 픽셀인지 여부를 결정하는 단계는, 상기 지문 이미지내 픽셀 각각의 시간에 대한 평균값을 산출하는 단계;를 더 포함할 수 있다.
그리고, 상기 시간에 대한 분산값은, 상기 시간에 대한 평균값을 이용하여 산출될 수 있다.
또한, 상기 다른 픽셀은, 상기 불량 픽셀과 인접한 하나 이상의 픽셀을 포함할 수 있다.
그리고, 상기 보간하는 단계는, 선형 보간법, 이중 선형 보간법, 다항식 보간법, 스플라인 보간법 중 적어도 하나의 방법을 이용할 수 있다.
한편, 일 실시예에 따른 전자 기기는, 지문 이미지를 검출하는 지문 센서; 및 상기 지문 이미지내 픽셀 각각을, 각 픽셀의 시간에 대한 분산값을 이용하여 불량 픽셀인지 여부를 결정하고, 불량 픽셀로 결정된 픽셀의 픽셀값을 상기 불량 픽셀과 다른 픽셀의 픽셀 값을 이용하여 보간하여, 상기 지문 이미지를 보정하는 프로세서;를 포함한다.
그리고, 상기 프로세서는, 상기 지문 이미지내 픽셀 중 상기 시간에 대한 분산값이 기준값보다 작은 픽셀을 불량 픽셀로 결정할 수 있다.
또한, 상기 불량 픽셀은, 일정 시간 동안 일정한 픽셀값을 출력할 수 있다.
그리고, 상기 일정 시간은, 상기 시간에 대한 분산값의 단위 시간 보다 클 수 있다.
또한, 상기 시간에 기반에 분산값은, 이전 시간의 픽셀 값에 대한 정보를 포함할 수 있다.
그리고, 상기 이전 시간의 픽셀값은, 상기 지문 이미지와 다른 지문 이미지로부터 획득될 수 있다.
또한, 상기 프로세서는, 상기 지문 이미지내 픽셀 각각의 시간에 대한 평균값을 더 산출하고, 상기 시간에 대한 평균값을 이용하여 상기 시간에 대한 분산값을 산출할 수 있다.
그리고, 상기 다른 픽셀은, 상기 불량 픽셀과 인접한 하나 이상의 픽셀을 포함할 수 있다.
또한, 상기 프로세서는 선형 보간법, 이중 선형 보간법, 다항식 보간법, 스플라인 보간법 중 적어도 하나의 방법을 이용하는 상기 불량 픽셀로 결정된 픽셀의 픽셀값을 보간할 수 있다.
그리고, 터치 스크린;을 더 포함하고, 상기 터치 스크린 중 적어도 일부 영역은 상기 지문 센서와 중첩될 수 있다.
일정 시간동안 일정한 값을 출력하는 픽셀을 불량 픽셀로 결정하고, 불량 픽셀의 픽셀값을 보간함으로써 지문 이미지를 보정할 수 있다.
보정된 지문 이미지를 이용하기 때문에 지문 인식률을 높일 수 있다.
도 1은 일 실시예에 따른 지문을 인식할 수 있는 장치를 나타내는 블록도이다.
도 2는 일 실시예에 따른 불량 픽셀을 검출하여 지문을 인식하는 방법을 설명하는 흐름도이다.
도 3은 지문 이미지내 각 픽셀이 불량인지 여부를 결정하는 방법을 설명하는 흐름도이다.
도 4a 내지 도 4e는 일 실시예에 따른 지문 인식 방법에 의해 실험한 결과를 나타내는 도면이다.
도 5는 일 실시예에 따른 지문 인식 방법을 포함하는 전자 장치의 일 예를 나타내는 블록도이다.
도 6a 및 도 6b는 일 실시예에 따른 지문 센서와 디스플레이가 배치되는 예를 도시한 도면이다.
이하, 실시예들에 따른 지문 인식 방법 및 그 장치를 첨두된 도면을 참조하여 설명한다.
도 1은 일 실시예에 따른 지문을 인식할 수 있는 장치를 나타내는 블록도이다. 도 1를 참조하면, 인문 인식 장치(10)는, 사용자의 지문 이미지를 검출하는 지문 센서(110), 지문 센서(110)로부터 지문 이미지를 획득하고, 획득된 지문 이미지의 보정, 지문 이미지의 등록, 인증 등을 수행하는 프로세서(120) 및 지문 이미지를 저장하는 메모리(130)를 포함할 수 있다.
지문 센서(110)는 사용자마다 고유의 특성 차이를 나타내는 손가락 지문 이미지(또는 지문의 영상 정보)를 검출하는 입력 영상 장치일 수 있다. 지문 센서(110)는 센싱 영역 표면에 대한 이미지를 획득할 수 있다. 예를 들어, 지문 센서(110)는 센싱 영역에 올라온 손가락의 지문 또는 센싱 영역 표면에 존재하는 오염들에 대한 이미지를 획득할 수 있다. 지문 센서(110)에 의해 검출된 이미지를 지문 이미지라고 한다.
지문 센서(110)는 전력 관리의 효율을 고려하여, 평소에는 비활성화(sleep) 상태에 있다가 지문 입력 필요한 시점에 활성화될 수 있다.
지문 센서(110)가 지문 이미지를 검출하는 방식은 지문 센서(110)의 타입에 따라 달라질 수 있다. 예를 들어, 지문 센서(110)는 광학식, 반도체식, 초음파 방식 또는 비접촉식 등의 방식으로 지문 이미지를 검출할 수 있다.
광학식 지문 센서(110)는, 예를 들어, 프리즘, 광원, 렌즈 또는 CCD(Charge Coupled Device) 등을 포함할 수 있다. 광학식 센서에서는, 프리즘에 지문이 접촉되는 경우 광원이 프리즘에 빛을 비추고, 렌즈는 프리즘을 통해 반사되는 빛을 수집하고, CCD는 수집된 빛을 지문 이미지로서 검출할 수 있다.
반도체식 지문 센서(110)로는 열감지식 센서, 축전식 센서 또는 전기장식 센서 등이 있을 수 있다. 반도체식 지문 센서(110)는 소형화가 가능하여 개인이 사용하는 응용 제품에 사용될 수 있다.
열감지식 센서(Thermal Sensor)는 지문의 접촉부위와 비접촉 부위의 온도 차이에 의해 온도 분포를 지문 이미지로 획득하는 방식의 지문 센서일 수 있다. 축전식 센서(Capacitive Sensor)는 접촉된 지문의 융선 간 대전되는 전하량 또는 정전 용량의 차이를 지문 이미지로 획득하는 방식의 지문 센서일 수 있다. 전기장식 센서(Electric Sensor)는 센서에 접촉되는 지문 또는 지문 주변에 형성되는 전기장으로부터 지문 이미지를 검출하는 방식의 지문 센서일 수 있다.
상기한 지문 센서(110)는 매트릭스 형태로 배열된 복수 개의 픽셀을 포함할 수 있다. 각 픽셀은 지문의 특징에 대응하는 픽셀값을 출력하며, 픽셀의 개수에 따라 지문 이미지의 해상도가 결정될 수 있다.
한편, 지문 센서(110)는 후술하는 프로세서(120)의 적어도 일부를 포함하여 구성될 수도 있다. 예를 들어, 지문 센서(110)는 지문 이미지를 획득하는 동작 외에 지문 이미지를 보정하거나, 지문 이미지의 특징을 산출하는 등의 동작을 포함할 수도 있다. 이 경우, 지문 센서(110)는 하드웨어 모듈 및 소프트웨어 모듈을 가지는 기능적 모듈이 될 수 있다. 이러한, 지문 센서(110)는 지문 인식장치(10)의 하우징의 일 면에 노출되게 배치될 수 있다.
프로세서(120)는 운영체제 및 응용 프로그램을 구동하여, 프로세서(120)에 연결된 다수의 구성요소들을 제어할 수 있다. 프로세서(120)는 지문 센서(110)으로부터 획득된 사용자의 지문 이미지를 인식하고, 인식된 지문 이미지를 등록하거나 사용자에 대한 인증 등을 수행할 수 있다.
예를 들어, 지문 등록시, 프로세서(120)는 획득된 지문 이미지를 다양한 처리 과정, 예를 들어, 그레이 스케일(gray scale)값을 블랙 또는 화이트로 변환하는 과정 등을 거처, 특정 이미지로 변환시키거나 암호화할 수 있다. 그리고, 이후 입력되는 지문 이미지와의 비교에 사용하기 위해 지문 이미지를 지문 템플릿(fingerprint template)으로 메모리(130)의 보안 영역에 저장할 수 있다. 또는, 지문 인증시, 프로세서(120)는 획득된 지문 이미지를 등록된 지문 템플릿과의 비교를 통해 사용자를 인증할 수도 있다. 이때, 프로세서(120)는 획득된 지문 이미지와 등록된 지문 템플릿과의 일치 정도를 비교하기 위해 매칭 알고리즘을 수행할 수 있다.
한편, 지문 등록 전 또는 지문 인증 전에, 프로세서(120)는 지문 이미지가 오염되어 있는지 여부를 판단할 수 있다. 지문 센서(110)의 센싱 영역에 이물질이 묻어 있는 경우, 지문 센서(110)에 의해 획득된 지문 이미지는 사용자의 지문뿐만 아니라 이물질에 대한 이미지를 포함하고 있기 때문에 지문 이미지가 오염되었다고 할 수 있다. 또는 지문 센서(110)의 픽셀이 지문의 특징에 대응하는 픽셀값을 출력하지 않고, 지문에 상관없이 일정한 값을 출력할 때, 지문 이미지는 오염되었다고 할 수 있다. 이물질에 의하거나 픽셀의 고장에 의한 경우에도 지문 이미지 중 오염된 영역에서 출력되는 픽셀값은 일정할 수 있다. 그리하여, 프로세서(120)는 지문 이미지의 픽셀값을 이용하여 지문 이미지가 오염되었는지 여부를 판단하고, 이를 보정할 수 있다. 지문 이미지를 보정하는 방법은 후술하기로 한다.
메모리(130)는 지문 이미지 등이 저장될 수 있다. 메모리(130)에는 프로세서(120)에 의해 처리된 지문 이미지를 임시로 저장할 수 있고, 인증시 필요한 지문 템플릿이 저장되어 있을 수도 있다. 또는 메모리(130)에는 지문 이미지를 보정하기 위해 각 픽셀의 시간에 대한 평균값 및 분산값 등이 저장될 수 있다.
이하, 프로세서(120)가 지문 이미지의 오염 여부를 판단하고, 이를 보정하는 방법을 설명한다. 센싱 영역에 이물질이 포함되어 있거나, 지문 센서(110)의 픽셀이 불량인 경우, 지문에 상관없이 대응하는 픽셀은 일정한 픽셀 값을 출력할 수 있다. 그리하여, 일정한 픽셀 값을 출력하는 픽셀을 불량 픽셀이라고 정의할 수 있다. 불량 픽셀은 픽셀 자체가 하드웨어적으로 불량일 수 있고, 픽셀에 대응하는 센싱 영역에 일정 시간동안 이물질이 묻어 있는 경우를 포함할 수 있다. 즉, 이물질에 의해 이미지상의 불량도 픽셀의 불량으로 정의한다.
도 2는 일 실시예에 따른 불량 픽셀을 검출하여 지문을 인식하는 방법을 설명하는 흐름도이고, 도 3은 지문 이미지내 각 픽셀이 불량인지 여부를 결정하는 방법을 설명하는 흐름도이다.
도 2 및 도3을 참조하면, 지문 센서(110)는 지문 이미지를 검출하고, 프로세서(120)는 지문 센서(110)으로부터 지문 이미지를 획득할 수 있다(S210). 지문 센서(110)의 각 픽셀은 사용자의 지문 특성에 따라 광, 온도, 정전용량 등의 특정 값을 출력할 수 있다. 각 픽셀이 출력하는 값을 픽셀값이라고 한다.
프로세서(120)는 지문 이미지내 픽셀 각각을, 픽셀의 시간에 대한 분산값을 이용하여 불량 픽셀인지 여부를 결정할 수 있다(S220). 여기서 픽셀의 시간에 대한 분산값은 해당 픽셀의 이전 시간에서의 픽셀값들에 대한 정보를 포함할 수 있다.
도 3을 참조하여, 특정 픽셀이 불량 픽셀인지 정상 픽셀인지 여부를 보다 구체적으로 설명한다. t시간에서 프로세서(120)는 지문 이미지로부터 각 픽셀의 픽셀값(
Figure pat00001
)을 획득한다(S310). 여기서, 픽셀 값(
Figure pat00002
)은 지문 센서(110)의 매트릭스로 배열된 픽셀들 중 (n, m)에 위치한 픽셀의 픽셀값이다.
그리고, 프로세서(120)는 t 시간에서 각 픽셀의 시간에 대한 평균값을 산출할 수 있다(S320). 프로세서(120)는 t시간에서 특정 픽셀의 시간에 대한 평균값(
Figure pat00003
)을, 하기 수학식 1과 같이, 현재 시간(t 시간)에서 획득된 픽셀의 픽셀값(
Figure pat00004
)과 현재 시간의 직전 시간(t-1 시간)에서 획득된 픽셀의 시간에 대한 평군값(
Figure pat00005
)을 이용하여 획득할 수 있다.
<수학식 1>
Figure pat00006
여기서α는 가중치로서 0보다 크고 1보다 작은 상수이며, 설계자에 의해 설정될 수 있다.
또한, 프로세서(120)는 t시간에서 각 픽셀의 시간에 대한 분산값을 산출할 수 있다(S320). 예를 들어, 프로세서(120)는t시간에서 (n, m)에 위치한 픽셀의 시간에 대한 분산값(
Figure pat00007
)을, 하기 수학식 2과 같이, t시간에서 (n, m)에 위치한 픽셀의 픽셀값(
Figure pat00008
), t시간에서 (n, m)에 위치한 픽셀의 시간에 대한 평균값(
Figure pat00009
) 및 현재 시간의 직전 시간(t-1 시간)에서 획득된 픽셀의 시간에 대한 분산값(
Figure pat00010
)을 이용하여 획득할 수 있다.
<수학식 2>
Figure pat00011
여기서, β는 가중치로서 0보다 크고 1보다 작은 상수이며, 설계자에 의해 설정된 상수이다.
픽셀의 시간에 대한 평균값 및 분산값은 지문 이미지가 획득될 때마다 업데이트될 수 있다. 시간에 대한 평균값 및 분산값의 단위 시간은 시간저으로 인접한 두 개의 지문 이미지에 대한 획득 시간의 간격과 같다고 할 수 있다.
수학식 1 및 2에서, 프로세서(120)는, 현재 시간에서 픽셀의 시간에 대한 평균값 및 분산값을 획득하기 위해, 현재 시간의 직전 시간(t-1 시간)에서 획득된 시간에 대한 평균값 및 분산값을 이용한다고 하였으나 이에 한정되지 않는다. 프로세서(120)는, 하기 수학식 3 및 4와 같이, 현재 시간까지의 픽셀값을 이용하여, 시간에 대한 평균값(
Figure pat00012
) 및 분산값(
Figure pat00013
)을 획득할 수 있다.
<수학식 3>
Figure pat00014
<수학식 4>
Figure pat00015
여기서, K는 현재 시간을 기준으로 최근 이미지의 개수를 의미한다.
시간에 대한 평균값 및 분산값을 산출하는 방법은 다양할 수 있으나, 수학식 1 및 2와 같이, 시간에 대한 평균값 및 분산값을 산출하면, 직전 시간의 시간에 대한 평균값 및 분산값만을 저장하고, 그 이전의 픽셀값을 저장할 필요가 없기 때문에 연산량을 줄일 수 있다.
한편, 프로세서(120)는 각 픽셀의 시간에 대한 분산값을 기준값과 비교한다(S340).
분산값이 기준값보다 작으면(S340-Yes), 프로세서(120)는 해당 픽셀을 불량 픽셀로 결정할 수 있다(S350). 지문 센서(110)의 픽셀이 하드웨어적으로 고장나면, 픽셀의 지문의 특성에 상관없이 일정한 값을 출력할 수 있다. 예를 들어, 지문 센서(110)가 광센서인 경우, 불량 픽셀은, 지문 이미지가 변경되더라도, 일정한 휘도의 픽셀값을 출력할 수 있다. 불량 픽셀은 시간에 상관없이, 즉, 지문 이미지와 상관없이, 일정한 픽셀값을 출력하기 때문에 시간에 대한 분산값이 낮다. 또한, 센싱 영역에 이물질이 묻어있게 되면. 이물질이 묻어 있는 영역에 대응하는 픽셀의 지문의 특성에 상관없이 일정한 픽셀값을 출력할 수 있다. 즉, 시간에 대한 분산값이 낮다. 그리하여, 프로세서(120)는 분산값이 기준값보다 작은 픽셀을 불량 픽셀로 정의할 수 있다.
또는 분산값이 기준값 이상이면(S340-No), 프로세서(120)는 해당 픽셀을 정상 픽셀로 결정할 수 있다(S360). 픽셀이 정상 픽셀이면, 픽셀은 지문의 특성에 대응하는 픽셀값을 출력할 수 있다. 즉. 시간에 따라 픽셀값이 달라질 수 있다. 그리하여, 정상 픽셀의 시간에 대한 분산값은 기준값 이상일 수 있다.
이와 같이, 지문 이미지를 이용하여 픽셀이 정상인지 불량인지 결정할 수 있기 때문에 픽셀을 검사하는 별도의 장치가 필요하지 않아도 된다. 또한, 불량 픽셀인지 여부의 결정은 지문 인식 장치가 사용되고 있는 도중에도 프로세서(120)가 실시간으로 수행하는 장점이 있다. 뿐만 아니라, 픽셀 이미지를 이용하기 때문에 지문 센서(110)의 하드웨어적인 불량 이외에 지문 센서(110)의 센싱 영역에 이물질이 묻어 있음으로 인한 불량도 실시간으로 확인할 수 있다.
픽셀이 불량 픽셀인 것으로 결정되면, 프로세서(120)는 불량 픽셀의 픽셀값을 불량 픽셀이 아닌 다른 픽셀의 픽셀 값을 이용하여 보간할 수 있다(S230). 상기한 다른 픽셀은 불량 픽셀과 인접한 하나 이상의 픽셀일 수 있다. 그리고, 보간법은 선형 보간법, 이중 선형 보간법, 다항식 보간법, 스플라인 보간법 중 적어도 하나일 수 있다.
예를 들어, (n', m')에 위치한 픽셀이 불량 픽셀로 결정되면, 프로세서(120)는, (n', m')에 위치한 픽셀의 픽셀값을, 하기 수학식 5과 같이, 결정할 수 있다.
<수학식 5>
Figure pat00016
프로세서(120)는 불량 픽셀의 픽셀값을 보간된 픽셀값으로 하여 지문 이미지를 보정할 수 있다(S240). 보정된 지문 이미지는 등록, 인증 등 다양한 어플리케이션에 활용될 수 있다.
도 4a 내지 도 4e는 일 실시예에 따른 지문 인식 방법에 의해 실험한 결과를 나타내는 도면이다. 지문 센서(110)는 사용자의 지문 이미지를 검출할 수 있다. 도 4a는 지문 센서(110)가 현재 시간, 예를 들어, t 시간에 획득한 지문 이미지이다. 프로세서(120)는 지문 이미지에 대한 각 픽셀의 시간에 대한 평균값 및 분산값을 산출할 수 있다. 시간에 대한 평균값 및 분산값 각각을 산출할 때, 프로세서(120)는 현재 시간(t 시간)에서 픽셀의 픽셀값과 현재 시간의 직전 시간(t-1 시간)에서 산출된 시간에 대한 평균값과 분산값을 이용하여 산출할 수 있다.
도 4b는 t 시간에 산출된 지문 이미지의 시간에 대한 평균값 즉, 평균 이미지이고, 도 4c는 t 시간에 산출된 지문 이미지의 시간에 대한 분산값 즉, 분산 이미지이다. 그리고, 프로세서(120)는 시간에 대한 분산값이 기준값 보다 작은 픽셀을 불량 픽셀로 결정할 수 있다. 도 4d는 불량 픽셀들이 닷 형태로 표시된 이미지이다. 프로세서(120)는 불량 픽셀의 픽셀값을 불량 픽셀이 아닌 다른 픽셀의 픽셀 값을 이용하여 보간할 수 있다. 보간 방법으로 선형 보간법을 이용하였다. 도 4e는 불량 픽셀의 픽셀이 보간되어 보정된 지문 이미지이다. 도 4e의 보정된 지문 이미지는 도 4a의 보정전 지문 이미지보다 선명함을 확인할 수 있다.
상기한 지문 인식 장치는 독립적인 장치일 수도 있지만, 다른 기능을 포함하는 전자 장치일 수도 있다.
도 5는 일 실시예에 따른 지문 인식 방법을 포함하는 전자 장치의 일 예를 나타내는 블록도이다.
예를 들어, 전자 기기(30)는 스마트 폰, 스마트 워치, 태블릿 PC(tablet PC), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), PMP(portable multimedia player) 등을 포함하는 소형 모바일 장치일 수 있다. 도 5를 참조하면, 전자 기기(30)는, 예를 들어, 지문 센서(110), 프로세서(120), 메모리(130), 디스플레이부(140), 통신부(150), 카메라(160), 출력부(170), 센싱부(180), 사용자 입력부(190) 및 마이크로폰(195)를 포함할 수 있다. 전자 기기(30)의 지문 센서(110), 프로세서(120) 및 메모리(130)는 도 1의 지문 센서(110), 프로세서(120) 및 메모리(130)를 기능을 포함하고 있다. 이하, 전자 기기(30)의 지문 인식 기능 이외의 다른 기능에 대해 설명한다.
프로세서(120)는, 통상적으로 전자 기기(30)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(120)는, 메모리(130)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(190), 출력부(170), 통신부(150), 센싱부(180), 마이크로폰(195) 등을 전반적으로 제어할 수 있다.
메모리(130)는, 프로세서(120)의 처리 및 제어를 위한 프로그램을 저장할 수 있다. 메모리(130)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(131), 알림 모듈(132), 영상 처리 모듈(133) 등으로 분류될 수 있다. UI 모듈(131)은, 애플리케이션 별로 전자 기기(30)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 알림 모듈(132)은 전자 기기(30)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 영상 처리 모듈(133)은, 영상에 대한 분석을 통해 영상을 처리할 수 있다.
디스플레이부(140)는 전자 기기(30)에서 처리되는 정보를 표시할 수 있다. 한편, 디스플레이부(140)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(140)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
통신부(150)는, 전자 기기(30)와 외부 장치 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.
출력부(170)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 디스플레이부(140) 이외에도 음향 출력부(172), 진동 모터(173) 등이 포함될 수 있다. 음향 출력부(172)는 통신부(150)로부터 수신되거나 메모리(130)에 저장된 오디오 데이터를 출력한다. 진동 모터(173)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(173)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다.
센싱부(180)는, 전자 기기(30)의 상태, 전자 기기(30) 주변의 상태, 전자 기기(30)를 착용한 사용자의 상태 등을 감지하고, 감지된 정보를 프로세서(120)로 전달할 수 있다.
센싱부(180)는, 지자기 센서(Magnetic sensor)(181), 가속도 센서(Acceleration sensor)(182), 기울기 센서(183), 적외선 센서(184), 위치 센서(예컨대, GPS)(186), 기압 센서(187), 근접 센서(188), 및 광 센서(189) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 입력부(190)는, 사용자가 전자 기기(30)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(190)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
A/V(Audio/Video) 입력부로서 마이크로폰(195)을 포함할 수 있다. 마이크로폰(195)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(195)은 외부 전자 기기(30) 또는 화자로부터 음향 신호를 수신할 수 있다.
지문 센서(110)는 디스플레이(1400)과 다른 별도의 영역에 배치될 수도 있고, 중첩되는 영역에 배치될 수도 있다.
도 6a 및 도 6b는 일 실시예에 따른 지문 센서와 디스플레이가 배치되는 예를 도시한 도면이다. 도 6a에 도시된 바와 같이, 지문 센서(110)는 디스플레이부(140)와 중첩되지 않는 영역에 배치될 수 있다. 또는 도 6b에 도시된 바와 같이, 지문 센서(110)는 디스플레이부(140)와 중첩되는 영역에 배치될 수 있다. 디스플레이부(140)가 터치스크린인 경우, 도 6b의 디스플레이부(140)를 지문 인식 겸용 터치 스크린이라 칭할 수 있다. 지문 인식 겸용 터치 스크린은 사용자 인증을 위한 지문 인식의 기능과 손가락의 터치로 전자 기기(30)에 다양한 명령 및 정보를 입력할 수 있는 터치 센싱의 기능을 모두 수행할 수 있도록 구성될 수 있다. 지문 인식 겸용 터치 스크린은 지문의 센싱 영역이 더욱 넓어지기 때문에 오염에 따른 지문 인식률이 떨어질 수 있다. 앞서 기술한 지문 인식 방법을 이용하면 오염 영역 또는 불량 픽셀의 픽셀값이 보간되기 때문에 지문 인식률을 높일 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 본 실시예에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형상으로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 일 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 지문 인식 장치
110: 지문 센서
120: 프로세서
130: 메모리
140: 디스플레이

Claims (20)

  1. 지문 센서로부터 지문 이미지를 획득하는 단계;
    상기 지문 이미지의 픽셀 각각을, 각 픽셀의 시간에 대한 분산값을 이용하여 불량 픽셀인지 여부를 결정하는 단계;
    불량 픽셀로 결정된 픽셀의 픽셀값을 상기 불량 픽셀과 다른 픽셀의 픽셀 값을 이용하여 보간하는 단계; 및
    보간된 픽셀 값으로 상기 지문 이미지를 보정하는 단계;를 포함하는 지문 인식 방법.
  2. 제 1항에 있어서,
    상기 불량 픽셀인지 여부를 결정하는 단계는,
    상기 시간에 대한 분산값이 기준값보다 작은 픽셀을 불량 픽셀로 결정하는 지문 인식 방법.
  3. 제 1항에 있어서,
    상기 불량 픽셀은,
    일정 시간 동안 일정한 픽셀값을 출력하는 지문 인식 방법.
  4. 제 3항에 있어서,
    상기 일정 시간은,
    상기 시간에 대한 분산값의 단위 시간 보다 큰 지문 인식 방법.
  5. 제 1항에 있어서,
    상기 시간에 기반에 분산값은,
    이전 시간의 픽셀 값에 대한 정보를 포함하는 지문 인식 방법.
  6. 제 5항에 있어서,
    상기 이전 시간의 픽셀값은
    상기 지문 이미지와 다른 지문 이미지로부터 획득된 지문 인식 방법.
  7. 제 1항에 있어서,
    상기 불량 픽셀인지 여부를 결정하는 단계는,
    상기 지문 이미지내 픽셀 각각의 시간에 대한 평균값을 산출하는 단계;를 더 포함하는 지문 인식 방법.
  8. 제 7항에 있어서,
    상기 시간에 대한 분산값은,
    상기 시간에 대한 평균값을 이용하여 산출되는 지문 인식 방법.
  9. 제 1항에 있어서,
    상기 다른 픽셀은,
    상기 불량 픽셀과 인접한 하나 이상의 픽셀을 포함하는 지문 인식 방법.
  10. 제 1항에 있어서,
    상기 보간하는 단계는,
    선형 보간법, 이중 선형 보간법, 다항식 보간법, 스플라인 보간법 중 적어도 하나의 방법을 이용하는 지문 인식 방법.
  11. 지문 이미지를 검출하는 지문 센서; 및
    상기 지문 이미지내 픽셀 각각을, 각 픽셀의 시간에 대한 분산값을 이용하여 불량 픽셀인지 여부를 결정하고, 불량 픽셀로 결정된 픽셀의 픽셀값을 상기 불량 픽셀과 다른 픽셀의 픽셀 값을 이용하여 보간하여, 상기 지문 이미지를 보정하는 프로세서;를 포함하는 전자 기기.
  12. 제 11항에 있어서,
    상기 프로세서는,
    상기 지문 이미지내 픽셀 중 상기 시간에 대한 분산값이 기준값보다 작은 픽셀을 불량 픽셀로 결정하는 전자 기기.
  13. 제 11항에 있어서,
    상기 불량 픽셀은,
    일정 시간 동안 일정한 픽셀값을 출력하는 전자 기기.
  14. 제 13항에 있어서,
    상기 일정 시간은,
    상기 시간에 대한 분산값의 단위 시간 보다 큰 전자 기기.
  15. 제 11항에 있어서,
    상기 시간에 기반에 분산값은,
    이전 시간의 픽셀 값에 대한 정보를 포함하는 전자 기기.
  16. 제 15항에 있어서,
    상기 이전 시간의 픽셀값은
    상기 지문 이미지와 다른 지문 이미지로부터 획득된 전자 기기.
  17. 제 11항에 있어서,
    상기 프로세서는,
    상기 지문 이미지내 픽셀 각각의 시간에 대한 평균값을 더 산출하고, 상기 시간에 대한 평균값을 이용하여 상기 시간에 대한 분산값을 산출하는 전자 기기.
  18. 제 11항에 있어서,
    상기 다른 픽셀은,
    상기 불량 픽셀과 인접한 하나 이상의 픽셀을 포함하는 전자 기기.
  19. 제 11항에 있어서,
    상기 프로세서는
    선형 보간법, 이중 선형 보간법, 다항식 보간법, 스플라인 보간법 중 적어도 하나의 방법을 이용하는 상기 불량 픽셀로 결정된 픽셀의 픽셀값을 보간하는 전자 기기.
  20. 제 11항에 있어서,
    터치 스크린;을 더 포함하고,
    상기 터치 스크린 중 적어도 일부 영역은 상기 지문 센서와 중첩되는 전자 기기.
KR1020160142152A 2016-10-28 2016-10-28 지문 인식 방법 및 이를 포함하는 전자 기기 KR20180046679A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160142152A KR20180046679A (ko) 2016-10-28 2016-10-28 지문 인식 방법 및 이를 포함하는 전자 기기
US15/609,516 US10482308B2 (en) 2016-10-28 2017-05-31 Method of recognizing fingerprint and electronic device including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160142152A KR20180046679A (ko) 2016-10-28 2016-10-28 지문 인식 방법 및 이를 포함하는 전자 기기

Publications (1)

Publication Number Publication Date
KR20180046679A true KR20180046679A (ko) 2018-05-09

Family

ID=62021649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160142152A KR20180046679A (ko) 2016-10-28 2016-10-28 지문 인식 방법 및 이를 포함하는 전자 기기

Country Status (2)

Country Link
US (1) US10482308B2 (ko)
KR (1) KR20180046679A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396516B1 (ko) * 2021-04-23 2022-05-12 고려대학교 산학협력단 훼손된 지문 복원 방법, 이를 수행하기 위한 기록 매체 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102418780B1 (ko) * 2017-09-15 2022-07-11 삼성디스플레이 주식회사 생체 인증 정보 검출 장치 및 이를 갖는 표시 장치
CN108197550A (zh) * 2017-12-28 2018-06-22 北京小米移动软件有限公司 故障提示方法、装置及电子设备
CN108171165B (zh) * 2017-12-28 2021-10-22 北京小米移动软件有限公司 指纹识别方法、装置及计算机可读存储介质
TWI679431B (zh) * 2018-07-31 2019-12-11 友達光電股份有限公司 指紋感測裝置及其檢測方法
KR20210066976A (ko) * 2019-11-28 2021-06-08 삼성디스플레이 주식회사 지문 감지 기능을 갖는 표시 장치 및 그것의 동작 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100333138B1 (ko) * 2000-04-29 2002-04-19 안준영 광학식 지문입력장치의 잔류지문 판별방법
EP1363234B1 (en) * 2001-02-21 2009-03-11 Sony Corporation Signal processing device
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4139760B2 (ja) * 2003-10-10 2008-08-27 富士フイルム株式会社 画像処理方法および装置ならびに画像処理プログラム
JP5780053B2 (ja) * 2011-08-22 2015-09-16 富士通株式会社 生体認証装置、生体認証方法、及びプログラム
KR101291039B1 (ko) 2011-08-31 2013-08-07 주식회사 슈프리마 지문인식장치 및 지문인식장치의 동적 배경 노이즈 제거방법
JP2014017724A (ja) * 2012-07-10 2014-01-30 Sumitomo Electric Ind Ltd 撮像装置
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
KR101529033B1 (ko) * 2014-02-14 2015-06-18 크루셜텍 (주) 극소 센싱 영역을 포함하는 전자 장치 및 이의 지문 정보 프로세싱 방법
KR20150142562A (ko) 2014-06-11 2015-12-22 삼성전자주식회사 디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체
WO2016007444A1 (en) * 2014-07-07 2016-01-14 Goodix Technology Inc. Integration of touch screen and fingerprint sensor assembly
US9342733B2 (en) * 2015-11-24 2016-05-17 Secugen Corporation Fingerprint sensing and calibration apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396516B1 (ko) * 2021-04-23 2022-05-12 고려대학교 산학협력단 훼손된 지문 복원 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
US10482308B2 (en) 2019-11-19
US20180121702A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
KR20180046679A (ko) 지문 인식 방법 및 이를 포함하는 전자 기기
CN109829456B (zh) 图像识别方法、装置及终端
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN114648480A (zh) 表面缺陷检测方法、装置及系统
US8879803B2 (en) Method, apparatus, and computer program product for image clustering
US11093727B2 (en) Electronic device including ultrasonic in-display fingerprint sensor and operating method thereof
US20170083741A1 (en) Method and device for generating instruction
US9659209B2 (en) Electronic device including blurred finger image deblurring circuitry and related methods
CN107124543B (zh) 一种拍摄方法及移动终端
JP7181375B2 (ja) 目標対象の動作認識方法、装置及び電子機器
KR102434703B1 (ko) 생체 이미지 처리 방법 및 이를 포함한 장치
US20160188950A1 (en) Optical fingerprint recognition device
CN111738365B (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN105678296A (zh) 确定字符倾斜角度的方法及装置
CN114612887B (zh) 单据异常检测方法、装置、设备及计算机可读存储介质
CN108846817B (zh) 图像处理方法、装置以及移动终端
KR101537211B1 (ko) 상이한 지문 입력 방식을 지원하는 지문 인증 방법 및 전자 장치
KR20190088679A (ko) 지문 입력의 압력 레벨에 기반하여 지문 처리 방식을 결정하는 전자 장치 및 방법
US10984536B2 (en) Motion detection in digital images and a communication method of the results thereof
CN113108945A (zh) 温度异常检测方法及装置
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN110163192B (zh) 字符识别方法、装置及可读介质
JP6296769B2 (ja) 物体検出装置
CN111723615B (zh) 对检测物图像进行检测物匹配判定的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal