KR102131104B1 - 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 - Google Patents
바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 Download PDFInfo
- Publication number
- KR102131104B1 KR102131104B1 KR1020207000837A KR20207000837A KR102131104B1 KR 102131104 B1 KR102131104 B1 KR 102131104B1 KR 1020207000837 A KR1020207000837 A KR 1020207000837A KR 20207000837 A KR20207000837 A KR 20207000837A KR 102131104 B1 KR102131104 B1 KR 102131104B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature descriptor
- interest
- emr
- lbp
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title abstract description 22
- 238000000605 extraction Methods 0.000 title description 8
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000002093 peripheral effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims 2
- 210000001508 eye Anatomy 0.000 abstract description 149
- 210000005252 bulbus oculi Anatomy 0.000 abstract description 41
- 238000012795 verification Methods 0.000 abstract description 32
- 238000013442 quality metrics Methods 0.000 abstract description 22
- 238000004422 calculation algorithm Methods 0.000 description 35
- 238000001514 detection method Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 12
- 230000002792 vascular Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 210000004204 blood vessel Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 210000000744 eyelid Anatomy 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000013450 outlier detection Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 210000003786 sclera Anatomy 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 241001290864 Schoenoplectus Species 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 210000000795 conjunctiva Anatomy 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 230000002491 angiogenic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 210000004177 elastic tissue Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001232 limbus corneae Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- -1 notebook computer Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002669 organ and tissue protective effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 201000003004 ptosis Diseases 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G06K9/00268—
-
- G06K9/00288—
-
- G06K9/0061—
-
- G06K9/00617—
-
- G06K9/4642—
-
- G06K9/6202—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
안구-혈관, 안구 주위 및 얼굴 영역들에 대한 바이오메트릭 등록 및 검증 기술들이 설명된다. 안구 주위 이미지 영역들은 얼굴 영역의 이미지에서 식별된 안구 영역의 치수들에 기초하여 정의될 수 있다. 패턴화된 히스토그램 피쳐 디스크립터들의 결합을 사용하여, 안구 및 안구 주위 영역들의 관심 포인트들에 대한 피쳐 디스크립터들이 생성될 수 있다. 관심 포인트들을 둘러싸는 텍스쳐에 기초하여 계산된 영역 값 스코어들에 기초하여, 영역들에 대한 품질 메트릭들이 결정될 수 있다. 안구 및 안구 주위 영역들에 기초하여 매치 스코어를 계산하기 위한 바이오메트릭 매칭 프로세스는 더 큰 매치 신뢰도를 획득하기 위해 추가적인 안구 주위 영역들을 점진적으로 포함할 수 있다.
Description
<관련 출원에 대한 상호 참조>
본 출원은 2015년 9월 11일자로 출원되고 발명의 명칭이 "Image Enhancement, Quality Metrics, Feature Extraction, Information Fusion, Pose Estimation and Compensation, and Template Updates for Biometric Systems"인 미국 특허 가출원 제62/217,660호의 우선권 및 그 이익을 주장하며, 전체적으로 본 명세서에 참조로 포함된다.
본 개시내용은 바이오메트릭 인증에 관한 것으로, 보다 구체적으로, 다중 영역(서브-안구 내지 얼굴)을 위한 이미지 강화, 품질 메트릭들, 피쳐 추출 및 정보 융합을 위한 시스템들 및 방법들 또는 다른 이미지 기반 바이오메트릭 시스템들에 관한 것이다.
바이오메트릭 시스템들은 자원에 대한 액세스를 허가하거나 거부하기 위해 개인의 신원을 인증하는 데 사용될 수 있다. 예를 들어, 이미지 스캐너들이 바이오메트릭 보안 시스템에 의해 사용되어, 개인의 얼굴, 예를 들어, 개인의 눈 및 그 주위 영역들의 고유한 구조들에 기초하여 개인을 식별할 수 있다. 등록 프로세스 동안에 캡쳐된 것과 같이 개인으로부터 캡쳐된 바이오메트릭 데이터는 나중에 개인의 신원을 검증하는 데 사용되는 템플릿으로서 저장될 수 있다. 그러나, 바이오메트릭 스캐닝 기술은 등록 및 검증을 위해 안구 피쳐들(ocular features) 대신에 또는 이에 추가하여 안구 주위 피쳐들(periocular features)을 사용 시에 향상된 기술들로부터 이익을 얻을 것이다.
안구-혈관, 안구 주위 및 얼굴 영역들에 적용 가능한 바이오메트릭 기술들에 관한 시스템들 및 방법들이 개시된다. 일 양태에서, 컴퓨터에 의해 구현되는 방법은, 사용자의 얼굴 영역의 이미지를 수신하는 단계 - 얼굴 영역은 눈 및 눈을 둘러싸는 영역을 포함함 -; 얼굴 영역의 이미지에서 눈의 적어도 일부를 포함하는 안구 이미지 영역(ocular image region)을 정의하도록 이미지를 프로세싱하는 단계; 얼굴 영역의 이미지에서 눈을 둘러싸는 영역의 적어도 일부를 각각이 포함하는 복수의 안구 주위 이미지 영역(periocular image region)들을 정의하는 단계 - 안구 주위 영역들은 정의된 안구 영역의 치수들에 기초하여 정의됨 -; 안구 이미지 영역 및 안구 주위 영역들 중 적어도 하나의 안구 주위 영역에 기초하여, 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계; 및 하나 이상의 바이오메트릭 매치 스코어에 기초하여, 얼굴 영역의 이미지를 인증된 것(authentic) 또는 인증되지 않은 것(not authentic)으로 지정하는 단계를 포함한다.
일 구현에서, 복수의 안구 주위 이미지 영역들은 적어도 4개의 안구 주위 이미지 영역을 포함한다. 적어도 4개의 안구 주위 이미지 영역은 안구 이미지 영역의 아래에 배치된 안구 주위 이미지 영역, 안구 이미지 영역의 우측에 배치된 안구 주위 이미지 영역, 안구 이미지 영역의 좌측에 배치된 안구 주위 이미지 영역, 및 안구 이미지 영역의 위에 배치된 안구 주위 이미지 영역을 포함할 수 있다.
복수의 안구 주위 이미지 영역들을 정의하는 단계는 안구 이미지 영역의 아래에 배치된 하부 안구 주위 이미지 영역을 정의하는 단계를 포함할 수 있고, 하부 안구 주위 이미지 영역은 안구 이미지 영역 폭의 폭과 실질적으로 동일한 폭, 및 안구 이미지 영역의 높이의 10% 내지 300%의 범위 내의 높이를 갖는다. 복수의 안구 주위 이미지 영역들을 정의하는 단계는 안구 이미지 영역의 우측에 배치된 우측 안구 주위 이미지 영역을 정의하는 단계를 또한 포함할 수 있고, 우측 안구 주위 이미지 영역은 안구 이미지 영역의 폭의 10% 내지 80%의 범위 내의 폭, 및 안구 이미지 영역의 높이의 120% 내지 550%의 높이를 갖는다. 복수의 안구 주위 이미지 영역들을 정의하는 단계는 안구 이미지 영역의 좌측에 배치된 좌측 안구 주위 이미지 영역을 정의하는 단계를 추가로 포함할 수 있고, 좌측 안구 주위 이미지 영역은 안구 이미지 영역의 폭의 10% 내지 50%의 범위 내의 폭, 및 안구 이미지 영역의 높이의 120% 내지 550%의 높이를 갖는다. 복수의 안구 주위 이미지 영역들을 정의하는 단계는 안구 이미지 영역의 위에 배치된 상부 안구 주위 이미지 영역을 정의하는 단계를 또한 포함할 수 있고, 상부 안구 주위 이미지 영역은 안구 이미지 영역 폭의 폭과 실질적으로 동일한 폭, 및 안구 이미지 영역의 높이의 10% 내지 150%의 범위 내의 높이를 갖는다.
다른 구현에서, 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계는, 안구 이미지 영역 및 안구 등록 템플릿에 기초하여, 제1 바이오메트릭 매치 스코어를 계산하는 단계; 및 제1 바이오메트릭 매치 스코어가 제1 매치 임계치를 충족시키지 않는다는 결정에 응답하여, 안구 이미지 영역, 안구 주위 이미지 영역들 중 제1 안구 주위 이미지 영역, 안구 등록 템플릿, 및 안구 주위 등록 템플릿에 기초하여, 제2 바이오메트릭 매치 스코어를 계산하는 단계를 포함한다. 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계는, 제2 바이오메트릭 매치 스코어가 제2 매치 임계치를 충족시키지 않는다는 결정에 응답하여, 하나 이상의 추가적인 바이오메트릭 매치 스코어를 계산함에 있어서 안구 주위 이미지 영역들 중 추가적인 안구 주위 이미지 영역들을, 특정 추가적인 바이오메트릭 매치 스코어가 대응하는 매치 임계치를 충족시킬 때까지 또는 어떠한 추가적인 안구 주위 이미지 영역들도 포함을 위해 가용이지 않을 때까지 반복적으로 포함시킴으로써, 추가적인 바이오메트릭 매치 스코어를 계산하는 단계를 추가로 포함할 수 있다. 복수의 안구 주위 이미지 영역들은 적어도 변별력(discriminative power) 및/또는 품질에 기초하여 순위가 매겨질 수 있고, 추가적인 안구 주위 이미지 영역들은 추가적인 안구 주위 이미지 영역들의 각각의 순위들에 기초하여 반복적으로 포함될 수 있다. 안구 주위 이미지 영역들로부터 도출되는 하나 이상의 얼굴 피쳐에 기초하여, 복수의 안구 주위 이미지 영역들 중 하나 이상의 안구 주위 이미지 영역이 서브-영역들로 분할될 수 있고, 추가적인 안구 주위 이미지 영역들은 추가적인 안구 주위 이미지 영역들의 클러스터 중요도 또는 각각의 순위들에 기초하여 반복적으로 포함될 수 있다.
추가적인 구현에서, 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계는, 안구 이미지 영역 및 등록 템플릿에 기초하여, 매치된 포인트들의 쌍들의 제1 세트를 식별하는 단계; 및 안구 주위 이미지 영역들 및 등록 템플릿 중 적어도 하나에 기초하여, 매치된 포인트들의 쌍들의 제2 세트를 식별하는 단계를 포함한다. 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계는, 매치된 포인트들의 쌍들의 제1 세트 및 제2 세트의 결합을 아웃라이어(outlier) 검출 알고리즘에 입력함으로써, 하나 이상의 인라이어(inlier) 매치된 포인트를 결정하는 단계; 안구 이미지 영역에 대응하는 인라이어 매치된 포인트들의 수가 최소 안구 인라이어 카운트를 충족시키는 것을 결정하는 단계; 및 인라이어 매치된 포인트들에 적어도 부분적으로 기초하여, 특정 바이오메트릭 매치 스코어를 계산하는 단계를 추가로 포함할 수 있다. 최소 안구 인라이어 카운트는 3과 동일할 수 있다.
또 다른 구현에서, 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계는, 매치된 포인트들의 쌍들의 제1 세트를 아웃라이어 검출 알고리즘에 입력함으로써, 하나 이상의 제1 인라이어 매치된 포인트를 결정하는 단계; 매치된 포인트들의 쌍들의 제2 세트를 아웃라이어 검출 알고리즘에 입력함으로써, 하나 이상의 제2 인라이어 매치된 포인트를 결정하는 단계; 및 제1 및 제2 인라이어 매치된 포인트들의 결합을 입력으로서 사용하는 아웃라이어 검출 알고리즘의 출력에 적어도 부분적으로 기초하여, 특정 바이오메트릭 매치 스코어를 계산하는 단계를 추가로 포함한다. 하나 이상의 바이오메트릭 매치 스코어를 계산하는 단계는, 안구 이미지 영역에 대응하는, 아웃라이어 검출 알고리즘의 출력으로부터 획득된 인라이어 매치된 포인트들의 수가 최소 안구 인라이어 카운트를 충족시키는 것을 결정하는 단계를 추가로 포함할 수 있다. 최소 안구 인라이어 카운트는 3과 동일할 수 있다.
다른 양태에서, 컴퓨터에 의해 구현되는 방법은, 사용자의 얼굴 영역의 이미지를 수신하는 단계 - 얼굴 영역은 눈 및 눈을 둘러싸는 영역을 포함함 -; (i) 얼굴 영역의 이미지에서 눈의 적어도 일부를 포함하는 안구 이미지 영역을 정의하고, (ii) 얼굴 영역의 이미지에서 눈을 둘러싸는 영역의 적어도 일부를 각각이 포함하는 하나 이상의 안구 주위 이미지 영역을 정의하도록 이미지를 프로세싱하는 단계; 안구 이미지 영역 및 하나 이상의 안구 주위 이미지 영역 중 적어도 하나의 이미지 영역에서 복수의 관심 포인트들을 식별하는 단계; 각각의 관심 포인트에 대해, 복수의 패턴화된 히스토그램 피쳐 디스크립터들의 결합에 기초하여, 피쳐 디스크립터를 생성하는 단계; 및 생성된 피쳐 디스크립터들을 바이오메트릭 템플릿에 저장하는 단계를 포함한다.
일 구현에서, 이미지를 프로세싱하는 단계는 LGGP(local gradient Gabor pattern)를 사용하여 이미지의 적어도 일부를 강화하는 단계를 포함한다. LGGP를 사용하여 이미지의 적어도 일부를 강화하는 단계는, 복수의 각도들 각각에서, 이미지의 적어도 일부에 대한 가버 위상 이미지(Gabor phase image)를 계산하는 단계; 계산된 가버 위상 이미지들을 집성하여, 결합된 가버 위상 이미지를 형성하는 단계; 복수의 각도들 각각에서, 결합된 가버 위상 이미지의 국부적인 변화도(local gradient)를 계산하는 단계; 및 각각의 국부적인 변화도의 최대값을 유지하여, 강화된 이미지를 형성하는 단계를 포함할 수 있다.
특정 패턴화된 히스토그램 피쳐 디스크립터는 PH-EMR-LBP(patterned histogram of extended multi-radii local binary patterns), PH-EMR-CSLBP(patterned histogram of extended multi-radii center symmetric local binary patterns), 또는 PH-EMR-LTP(patterned histogram of extended multi-radii local ternary patterns)를 포함할 수 있다. 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계; 이미지 영역 내의 각각의 픽셀에 대한 복수의 LBP(local binary pattern) 코드들을 계산하여, MR-LBP(multi-radii LBP) 이미지를 형성하는 단계; MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계; 각각의 서브-영역 내의 각각의 MR-LBP 비트 위치의 빈도(frequency)들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및 복수의 히스토그램들을 결합하여, PH-EMR-LBP 피쳐 디스크립터를 형성하는 단계에 의해, PH-EMR-LBP 피쳐 디스크립터를 생성하는 단계를 포함할 수 있다. 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계; 이미지 영역 내의 각각의 픽셀에 대한 복수의 CSLBP(center symmetric local binary pattern) 코드들을 계산하여, MR-CSLBP(multi-radii CSLBP) 이미지를 형성하는 단계; MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계; 각각의 서브-영역 내의 각각의 MR-CSLBP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및 복수의 히스토그램들을 결합하여, PH-EMR-CSLBP 피쳐 디스크립터를 형성하는 단계에 의해, PH-EMR-CSLBP 피쳐 디스크립터를 생성하는 단계를 포함할 수 있다. 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계; 이미지 영역 내의 각각의 픽셀에 대한 복수의 LTP(local ternary pattern) 코드들을 계산하여, MR-LTP(multi-radii LTP) 이미지를 형성하는 단계; MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계; 각각의 서브-영역 내의 각각의 MR-LTP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및 복수의 히스토그램들을 결합하여, PH-EMR-LTP 피쳐 디스크립터를 형성하는 단계에 의해, PH-EMR-LTP 피쳐 디스크립터를 생성하는 단계를 포함할 수 있다.
다른 구현에서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 특정 관심 포인트에 대해 PH-EMR-LBP 피쳐 디스크립터, PH-EMR-CS-LBP 피쳐 디스크립터, 및 PH-EMR-LTP 피쳐 디스크립터를 계산하는 단계; 및 PH-EMR-LBP 피쳐 디스크립터, PH-EMR-CS-LBP 피쳐 디스크립터, 및 PH-EMR-LTP 피쳐 디스크립터를 결합하여, 결합된 피쳐 디스크립터를 형성하는 단계를 포함한다. 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 결합된 피쳐 디스크립터에 분산 분석(variance analysis)을 적용하여, 결합된 피쳐 디스크립터로부터의 피쳐들의 서브세트를 포함하는 상위(top) 피쳐 디스크립터를 형성하는 단계를 추가로 포함할 수 있다. 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 상위 피쳐 디스크립터에 대해 차원 축소(dimensionality reduction)를 수행하여, 특정 관심 포인트에 대한 피쳐 디스크립터를 형성하는 단계를 추가로 포함할 수 있다.
추가적인 구현에서, 특정 패턴화된 히스토그램 피쳐 디스크립터를 생성 시에, 코너들이 있거나 또는 코너들이 없는 정사각형에 의해 정의되는 이웃을 사용하여 로컬 바이너리 패턴(local binary pattern) 또는 로컬 터너리 패턴(local ternary pattern) 피쳐 디스크립터들이 계산된다.
다른 양태에서, 컴퓨터에 의해 구현되는 방법은, 사용자의 얼굴 영역의 이미지를 수신하는 단계 - 얼굴 영역은 눈 및 눈을 둘러싸는 영역을 포함함 -; 얼굴 영역의 이미지에서 눈의 적어도 일부를 포함하는 안구 이미지 영역을 정의하는 단계; 얼굴 영역의 이미지에서 눈을 둘러싸는 영역의 적어도 일부를 각각이 포함하는 하나 이상의 안구 주위 이미지 영역을 정의하는 단계; 안구 이미지 영역 및 하나 이상의 안구 주위 이미지 영역 중 적어도 하나의 이미지 영역에서 복수의 관심 포인트들을 식별하는 단계; 관심 포인트 각각에 대해, 관심 포인트를 둘러싸는 텍스쳐에 대한 영역 값을 계산하는 단계; 및 관심 포인트들 및 각각의 계산된 영역 값들에 기초하여, 얼굴 영역의 이미지의 적어도 일부에 대한 적어도 하나의 품질 메트릭을 결정하는 단계를 포함한다.
일 구현에서, 특정 관심 포인트에 대해 영역 값을 계산하는 단계는, 특정 관심 포인트에 대해 정사각형 형태의 이웃에서의 적어도 하나의 로컬 바이너리 패턴(BP)을 계산하는 단계; 및 특정 관심 포인트로부터 오프셋된 하나 이상의 포인트에 대해 적어도 하나의 BP를 계산하는 단계를 포함한다. 특정 관심 포인트에 대해 영역 값을 계산하는 단계는 영역 값을 특정 관심 포인트 및 복수의 오프셋 포인트들에 대해 계산된 영역 값들의 평균으로 설정하는 단계를 추가로 포함할 수 있다. 특정 관심 포인트에 대해 적어도 하나의 BP를 계산하는 단계는 특정 관심 포인트에 대해 상이한 이웃을 각각이 갖는 복수의 BP들을 계산하는 단계를 포함할 수 있고, 오프셋 포인트들에 대해 적어도 하나의 BP를 계산하는 단계는 각각의 오프셋 포인트에 대해 상이한 이웃을 각각이 갖는 복수의 BP들을 계산하는 단계를 포함할 수 있다. 특정 관심 포인트 또는 오프셋 포인트에 대해 복수의 BP들을 계산하는 단계는, 복수의 BP들을 노이지 바이너리 패턴(Noisy Binary Pattern)(NBP)으로 축소하는 단계; 및 NBP로부터 범용 바이너리 패턴(general binary pattern)(genBP)을 생성하는 단계를 포함할 수 있다. 특정 관심 포인트 또는 오프셋 포인트에 대해 복수의 BP들을 계산하는 단계는, genBP로부터 가중화된 패턴 H를 생성하는 단계; 및 특정 관심 포인트 또는 오프셋 포인트에 대한 영역 값을
로서 계산하는 단계 - 여기서, L은 genBP에서 연속적인 0들의 최대 길이를 포함함 -
를 추가로 포함할 수 있다. 오프셋 포인트들은 특정 관심 포인트로부터 상이한 방향들로 균일하게 시프트되는 복수의 픽셀 위치들을 포함할 수 있다.
다른 구현에서, 품질 메트릭을 결정하는 단계는, 관심 포인트들의 각각의 영역 값들에 기초하여, 관심 포인트들의 순서 리스트(ordered list)를 생성하는 단계; 및 순서 리스트에서 연속적인 관심 포인트들 사이의 거리들을 계산하는 단계를 포함한다. 품질 메트릭을 결정하는 단계는 품질 메트릭을
로서 계산하는 단계를 추가로 포함할 수 있으며, 여기서 p는 관심 포인트들의 수를 포함하고, sn은 관심 포인트 n에 대해 계산된 영역 값을 포함하고, swn은 관심 포인트 n에 대한 가중화된 지수를 포함하고, dwn은 순서 리스트에서 포인트 n에 대응하는 거리에 대한 가중치를 포함한다.
추가적인 구현에서, 얼굴 영역의 이미지의 적어도 일부는 안구 영역 또는 안구 주위 영역들 중 적어도 하나의 안구 주위 영역을 포함한다. 방법은, 안구 주위 이미지 영역들 각각에 대해 개별적으로 계산된 각각의 품질 메트릭들에 기초하여, 안구 주위 이미지 영역들을 순위 매기는 단계를 추가로 포함할 수 있다. 방법은, 각각의 안구 주위 이미지 영역의 각각의 변별력 중 적어도 하나의 변별력에 기초하여, 안구 주위 이미지 영역들을 순위 매기는 단계를 추가로 포함할 수 있다. 방법은, 안구 주위 이미지 영역들의 각각의 품질 메트릭 및/또는 변별력 순위들에 적어도 부분적으로 기초하여, 점진적 바이오메트릭 매처(progressive biometric matcher)에서 안구 주위 이미지 영역들을 사용하는 단계를 추가로 포함할 수 있다.
또 다른 구현에서, 방법은, 안구 또는 안구 주위 이미지 영역들 중 제1 이미지 영역과 안구 또는 안구 주위 이미지 영역들 중 제2 이미지 영역 사이에서 계산된 품질 메트릭들의 차이가 임계치를 초과하는 것을 결정하는 단계; 및 결정된 계산된 품질 메트릭들의 차이에 기초하여, 스푸프(spoof)가 존재할 가능성을 지시하는 단계를 추가로 포함한다.
상기의 것의 다른 양태들은 대응하는 시스템들 및 비일시적 컴퓨터 판독가능 매체를 포함한다. 본 명세서에서 설명되는 대상의 하나 이상의 구현의 세부 사항들은 첨부된 도면들 및 이하의 상세한 설명에서 설명된다. 대상의 다른 피쳐들, 양태들 및 이점들은 상세한 설명, 도면들 및 청구 범위로부터 명백해질 것이다.
도면들에서, 동일한 참조 문자들은 일반적으로 상이한 도면들 전반에 걸쳐 동일한 부분들을 나타낸다. 또한, 도면들은 반드시 축척대로 도시된 것은 아니며, 대신에 일반적으로 구현들의 원리들을 예시하는 데 중점을 둔다. 이하의 설명에서, 다양한 구현들이 다음의 도면들을 참조하여 설명된다.
도 1은, 구현에 따라, 안구(ocular) 및 안구 주위(periocular) 등록 템플릿을 생성하기 위한 예시적인 방법을 도시한다.
도 2a 및 도 2b는, 구현에 따라, 안구 및 안구 주위 영역들 및 대응하는 얼굴 이미지들을 정의하기 위한 예시적인 방법을 도시한다.
도 3은, 구현에 따라, 예시적인 수정된 로컬 바이너리 패턴(genBP) 프로세스를 도시한다.
도 4는, 구현에 따라, 등록 및 검증 페이즈들을 갖는 바이오메트릭 점진적 매칭을 위한 예시적인 기술을 도시한다.
도 5는, 구현에 따라, 바이오메트릭 스캐닝 및 분석을 수행하기 위한 예시적인 시스템을 도시한다.
도 1은, 구현에 따라, 안구(ocular) 및 안구 주위(periocular) 등록 템플릿을 생성하기 위한 예시적인 방법을 도시한다.
도 2a 및 도 2b는, 구현에 따라, 안구 및 안구 주위 영역들 및 대응하는 얼굴 이미지들을 정의하기 위한 예시적인 방법을 도시한다.
도 3은, 구현에 따라, 예시적인 수정된 로컬 바이너리 패턴(genBP) 프로세스를 도시한다.
도 4는, 구현에 따라, 등록 및 검증 페이즈들을 갖는 바이오메트릭 점진적 매칭을 위한 예시적인 기술을 도시한다.
도 5는, 구현에 따라, 바이오메트릭 스캐닝 및 분석을 수행하기 위한 예시적인 시스템을 도시한다.
눈의 흰자위는 복잡한 패턴들(주로, 혈관 구조들로 인해)을 포함하는데, 이 패턴들은 쉽게 보일 수 있고 스캔가능할 뿐 아니라, 각각의 개인에게 고유하다. 일부 경우들에서는, 다른 비-혈관성 형성물들이 또한 보일 수 있어, 바이오메트릭 매칭 알고리즘에 의해 고려될 수 있다. 따라서, 눈의 흰자위에서 보이는 이러한 가시적인 구조들은 주로 결막과 상공막의 혈관 구조(vasculature)로 인해 스캔되어, 바이오메트릭으로서 유리하게 사용될 수 있다. 이 바이오메트릭은 특정 개인을 인증하거나 또는 더 많은 후보들의 세트로부터 알려지지 않은 개인을 식별하는 데 사용될 수 있다. 눈의 흰자위의 혈관들의 이미징 및 패턴 매칭, 및 혈관 포인트 검출, 피쳐 추출 및 매칭을 위한 솔루션들의 구현들은, 예를 들어, 2013년 2월 5일자로 발행되고 발명의 명칭이 "Texture Features for Biometric Authentication"인 미국 특허 제8,369,595호, 및 2016년 7월 12일자로 발행되고 발명의 명칭이 "Feature Extraction and Matching for Biometric Authentication"인 미국 특허 제9,390,327호에서 설명되며, 전체적으로 본 명세서에 참조로 포함된다. 이러한 및 다른 바이오메트릭 검증 기술들에 견고함을 추가하기 위해, 본 명세서에는, 예를 들어, 보다 정확한 분석을 위해 추가적인 정보가 필요한 경우에, 안구 주위 또는 부분적이거나 심지어 완전한 얼굴 또는 다른 가시적인 식별가능한 패턴들과 같은 눈의 흰자위 외부의 가시적인 비-안구-혈관성 구조들을 안구-혈관 바이오메트릭 매칭 스킴에 점진적으로 포함시키기 위한 방법들이 설명된다.
안구 피쳐들은 각막 윤부(corneal limbus)의 외부에서 보이고 눈꺼풀들에 의해 경계 지어지는 패턴들로부터 발생하는 것들이며, 이들은 주로 눈의 흰자위에서 보이는 혈관 패턴들에 기인한다. 이후, 이러한 피쳐들은 본 명세서에서 안구 또는 안구-혈관으로 상호 교환적으로 참조된다. 눈의 흰자위는 다수의 층들을 갖는다. 공막(sclera)은 콜라겐과 탄력 섬유가 함유된 눈의 불투명하고 섬유 조직 형태의 보호층이다. 공막은 상공막(episclera)으로 덮여 있으며, 상공막은 이를 통해 그리고 그 위를 지나가는 특히 많은 수의 혈관들 및 정맥들을 갖는다. 상공막은 안구 결막(bulbar conjunctiva)에 의해 덮여 있으며, 안구 결막은, 눈꺼풀이 떠졌을 때, 눈꺼풀 또는 환경과 계면을 이루는 얇은 투명한 막이며, 고유하고 풍부한 혈관 구조들도 포함한다. 혈관들은 눈의 흰자위의 모든 이러한 층들을 통과하고, 눈의 이미지들에서 검출될 수 있다. 눈은 또한 때때로 이미지에서 눈의 흰자위의 부분들을 가릴 수 있는 속눈썹들과 때때로 처지는 눈꺼풀(drooping eyelids)을 포함한다.
안구 주위(periocular)는 눈을 둘러싸는 얼굴의 밀착된 영역(눈꺼풀 가장자리들의 외부, 일부 예들에서는, 눈꺼풀 가장자리들과 접함)을 지칭하며, 이는 텍스쳐 형태이고, 바이오메트릭 애플리케이션들에 사용될 수 있다. 안구 주위 영역은, 연속적일 수 있고(반드시 연속적일 필요는 없음) 형상 및 사이즈에 대해 다양한 형태들을 취할 수 있는 하나 이상의 영역을 포함할 수 있다. 안구 주위 영역은 확실히 정의된 경계들을 갖진 않지만, 관심 영역을 표준화하면 등록 이슈들을 최소화할 수 있으므로, 바이오메트릭 시스템의 정확성이 더욱 향상될 수 있다. 이러한 표준화는 눈의 코너들 사이의 거리, 홍채의 반경, 안구 사이의 거리 및/또는 (눈 검출 알고리즘들을 사용하는 동안에) 도출된 눈의 크롭(crop)의 폭 및 높이와 같이 사용자 얼굴로부터의 특정 측정가능한 값을 사용하여 달성될 수 있다. 사용자 인증 동안에, 사용자의 눈 및 안구 주위 영역의 하나 이상의 디지털 이미지가 캡쳐되고, 캡쳐된 이미지 또는 이미지들로부터 하나 이상의 검증 템플릿들이 생성되고, 등록 및 검증 템플릿들에 표현된 바와 같이 대응하는 안구 및 안구 주위 구조들을 매칭시킴으로써 사용자의 신원이 검증될 수 있다.
다른 구현들에서는, 안구 주위 영역을 넘어 연장되는 얼굴의 추가적인 영역들이 눈을 밀착하여 둘러싸는 영역들에 더하여 또는 그 대신에 사용될 수 있다. 예를 들어, 괴로운 얼굴 표정들이 관찰될 때, 코 위 및/또는 주위 또는 얼굴의 위/주위의 하나 이상의 영역은 연장된 안구 주위 영역들로서 간주될 수 있다. 일 구현에서, 얼굴 피쳐들은 눈-기반 바이오메트릭 매처(biometric matcher)를 위해 안구 피쳐들을 보완할 수 있다. 다른 구현에서, 눈-기반 바이오메트릭 매처에 의해 사용되는 안구 피쳐들은 안구 주위 및 연장된 얼굴 피쳐들 모두에 의해 보완된다. 다른 구현에서는, 눈을 바로 둘러싸는 영역들에 더하여 또는 그 대신에 전체 얼굴이 사용될 수 있다. 얼굴은 눈-기반 바이오메트릭 매처를 위해 안구 피쳐들을 보완할 수 있다. 안구 주위 및 얼굴 영역들 모두 눈-기반 바이오메트릭 매처에 의해 사용되는 안구 피쳐들을 보완할 수 있다.
다양한 다른 구현들에서는, 안구 주위 영역의 피부 톤과 같은 다른 정보가 또한 측정되고, 소프트 바이오메트릭(soft biometric)으로서 사용될 수 있다. 피부 톤은 정규화된 적색, 녹색 및 청색(RGB) 채널들과 같이 이미지의 상이한 컬러 대역들의 강도 값의 히스토그램들을 사용하여 추정될 수 있다. 검증하는 동안에, 등록 및 검증 이미지들의 히스토그램들 사이의 거리가 임계치보다 크면, 등록 템플릿의 히스토그램 정보가 검증 프로세스를 중지하는 데 사용될 수 있다.
일 구현에서, 피부 톤은 가장 두드러진 컬러들을 식별하는 클러스터링 기술에 의해 추정될 수 있다. 일례로서, 안구 주위 영역의 RGB 픽셀들은 Lab 컬러 공간으로 변환되고, N개의 클래스들로 클러스터링된다. 최적의 N은 AIC(Akaike Information Criterion) 또는 BIC(Bayesian Information Criterion)에 의해 결정될 수 있다. 다음으로, 이러한 클러스터들은 그들의 발생에 기초한 오름차순으로 소팅되고, 상위 3개의 클러스터들이 미리 정의된 피부 톤들로 그룹화된다. 가장 가까운 피부 톤은 거리 측정치 및/또는 상관성 측정치에 의해 결정될 수 있다. 일 구현에서, 거리 측정치는 유클리드 거리(Euclidean distance)이지만, 다른 거리 측정치들도 고려된다. 다음으로, 등록 및 검증 이미지 사이의 거리 및/또는 상관성이 임계치보다 높은 경우, 검증 절차가 중지될 수 있다. 홍채와 같은 이미지의 다른 색상 부분들에도 동일한 프로세스가 적용될 수 있다.
도 1은 안구 및 안구 주위 등록 템플릿을 생성하기 위한 예시적인 방법을 도시한다. 단계(102)에서, 사용자의 얼굴 영역(들)의 하나 이상의 이미지가 사용자에 의한 액세스가 인증될 디바이스(예를 들어, 스마트폰, 스마트 시계, 스마트 안경, 노트북 컴퓨터, 태블릿 컴퓨터 등)와 연관될 수 있는 이미지 센서, 예를 들어, 카메라를 사용하여 캡쳐된다. 예시로서, 카메라는 디지털 카메라, 3차원(3D) 카메라, 라이트 필드 센서(light field sensor) 및/또는 근적외선 센서 또는 다른 단색 및/또는 멀티스펙트럼 이미징 센서일 수 있다. 일부 경우들에서, 이미지들은 하나 이상의 안구 영역(사용자의 눈 영역을 정의하는 영역들) 및/또는 하나 이상의 안구 주위 영역뿐만 아니라 다른 얼굴 영역들을 포함할 수 있다. 이미지들은 정지 모드 또는 비디오 모드에서 또는 그 조합으로 캡쳐될 수 있다. 이미지들은 다양한 파장들로 캡쳐될 수 있다. 일부 구현들에서, 사용자는 눈 및/또는 얼굴을 찾기 위한 최적의 거리를 트리거하기 위해 디바이스를 더 가까이/더 멀리 이동시키도록 (시각 또는 청각 또는 햅틱 피드백에 의해) 프롬프트된다.
단계(104)에서, 초기 관심 영역(region of interest)(ROI)이 식별되며, 예를 들어, 하나 또는 두 개의 눈이 위치결정될 수 있다. 다양한 상이한 전방-주시(forward-looking) 눈 이미지들에 대해 훈련된 비올라-존스 알고리즘들(Viola-Jones algorithms) 또는 이와 유사한 학습 알고리즘들이 이러한 목적을 위해 사용될 수 있다. 다른 구현에서는, 다양한 상이한 힐끗 보는(glancing) 눈 이미지들에 대해 훈련된 비올라-존스 알고리즘들이 사용될 수 있다. 그 후, 선택된 시선 방향이 검출되고 나면, 시선의 양을 양자화하기 위해 하르(Haar) 필터들을 사용하는 것과 같이 시선 추적 알고리즘이 사용되어, 하나 이상의 이미지를 취득할 수 있다.
캡쳐된 이미지(들)에서 보이는 얼굴에 초기 ROI가 국한되고 나면, 이미지에 대한 최종 ROI를 획득하기 위해 추가적인 계산이 수행될 수 있다. 통상적으로, 하나 이상의 눈의 RGB 및/또는 근적외선 이미지를 획득하기 위해 최종 ROI들이 크롭된다. 따라서, 본 명세서에서 사용됨에 있어서, "이미지" 또는 "캡쳐된 이미지"는 최종 ROI의 크롭된 이미지를 지칭할 수도 있다.
도 1을 참조하면, 안구 및 안구 주위 스테이지들(Ocular and Periocular Stages)에서, 등록 이미지들 또는 검증 이미지들일 수 있는 하나 이상의 평균화된 또는 다른 방식으로 강화된 또는 자연스럽게 캡쳐된 이미지들이 이미지 강화 서브-스테이지(106) 및 이미지 품질 서브-스테이지(108)에서 사전-프로세싱되고, 사전-프로세싱된 이미지들로부터의 피쳐들이 피쳐 추출 서브-스테이지(110)에서 추출되어, 하나 이상의 안구 및 안구 주위 템플릿들을 생성한다. 사전-프로세싱 서브-스테이지들(106 및 108)은 이하에서 추가로 설명되는 바와 같이 이미지 강화 및 이미지 품질 기술들을 포함할 수 있다. 피쳐 추출 서브-스테이지(110)는 관심 포인트 검출 및 로컬 디스크립터 추출을 포함할 수 있으며, 이들은 이하에서 상세히 설명된다. 안구 및 안구 주위 스테이지들의 서브-스테이지들(106, 108 및 110) 동안에 수행되는 동작들은 동일할 필요가 없다. 오히려, 안구 및 안구 주위 영역들의 특정 피쳐들을 고려하는 상이한 동작들이 해당 각각의 스테이지들에서 사용될 수 있다. 등록 안구 및/또는 안구 주위 템플릿들은, 저장 전에, 단계(112)에서 암호화되거나 또는 다른 방식으로 보호될 수 있다.
안구 주위 경계들
이제 도 2a 및 도 2b를 참조하면, 다양한 방법들을 사용하여 안구 주위 영역들이 추출될 수 있다. 사용자의 얼굴의 이미지를 취득하면(단계(200)), 하나 이상의 눈 영역이 검출된다(단계(202)). 단계(202)에서 식별된 눈 크롭들의 사이즈에 기초하여, 눈 영역 사이즈가 재계산될 수 있다(단계(204)). 안구 스테이지로 진행할 때, 일 구현에서, 미적분 알고리즘(integro-differential algorithm), 허프 원들(Hough circles) 또는 헤시안 블롭 검출기(Hessian blob detector)가 홍채 경계를 검출하는 데 사용된다(단계(208)의 홍채 영역의 세그먼트화). 유사하게, 가버 필터링 기반 알고리즘(Gabor filtering based algorithm)이 위 눈꺼풀 및 아래 눈꺼풀을 검출하는 데 사용될 수 있고, 홍채 영역을 제거한 후에, 눈의 추가적인 흰자위 부분이 분리될 수 있다(단계(206)의 공막 영역의 세그먼트화). 캡쳐된 이미지들로부터 눈의 흰자위 및 홍채 영역들 모두를 뺀 후에, 안구 주위 영역이 도출될 수 있다(단계(210)). 일부 구현들에서, 상기 언급된 영역들을 세그먼트화하기 위해 컬러-기반 방법들이 사용된다.
일 구현에서, 도 2a 및 도 2b의 안구 주위 스테이지(212)에 의해 도시된 바와 같이, 사이즈 폭 W x 높이 H의 최종 안구 ROI 주위의 안구 주위 영역들은 이하에서 설명되는 바와 같이 정의될 수 있다(여기서, W 및 H는 각각 수평 및 수직 방향의 픽셀들의 수임). 안구 ROI는 반드시 직사각형 형상일 필요는 없으며, 오히려, ROI는 도 2b에 도시된 바와 같이 눈의 형상과 유사한 형태를 취할 수 있으며, W 및 H는 각각 안구 ROI를 포함하는 경계 상자의 폭 및 높이로서 정의될 수 있다. 다양한 수의 영역들이 있을 수 있지만, 이하에서 설명되는 구현은 변별력(discriminative power)에 의해 순위가 매겨지는 4개의 안구 주위 영역(1 내지 4)을 포함하며, 이 변별력은 본질적으로 영역이 바이오메트릭 매칭 동작에 얼마나 유용한지를 나타낸다. 보다 구체적으로, 안구 주위 영역 1은 영역 2보다 더 독특하거나 차별적인 특성들을 갖는 얼굴 영역을 나타내며, 영역 3 등과 비교하여 더 큰 변별력을 갖는다. 다양한 안구 주위 영역 사이즈들이 고려된다(여기서는, 폭 W x 높이 H의 경계 상자에 의해 정의된다). 본 명세서에서 개시되는 안구 주위 영역들의 범위들 및 값들은 바이오메트릭 매칭 동작들을 수행할 목적으로 어느 안구 주위 영역들이 충분한 변별력을 갖는지에 대한 대규모의 테스팅에 기초하여 실험적으로 결정되었다. 이하에서 사용되는 바와 같이, "실질적으로 동일한"이란 용어는 특정 값과 동일하거나 또는 그 값의 +/- 10% 이내임을 의미한다.
일 구현에서, 4개의 안구 주위 영역은 다음과 같이 정의되며, 여기서 W 및 H는 각각 안구 영역의 폭 및 높이를 나타낸다.
● 영역 1:
○ 폭은 실질적으로 W와 동일하다.
○ 높이는 안구 영역의 눈 크롭 아래의 0.1*H 내지 3*H의 범위 내이다(경계값 포함). 일 구현에서, 높이는 실질적으로 0.3*H와 동일하다.
● 영역 2:
○ 폭은 0.1*W 내지 0.8*W의 범위 내이다(경계값 포함). 일 구현에서, 폭은 실질적으로 0.2*W와 동일하다.
○ 높이는 1.2*H(안구 영역의 눈 크롭 위의 0.1*H 및 눈 크롭 아래의 0.1*H) 내지 5.5*H(눈 크롭 위의 1.5*H 및 눈 크롭 아래의 3*H)의 범위 내이다(경계값 포함). 일 구현에서, 높이는 실질적으로 1.45*H(눈 크롭 위의 0.15*H 및 눈 크롭 아래의 0.3*H)와 동일하다.
● 영역 3:
○ 폭은 0.1*W 내지 0.5*W의 범위 내이다(경계값 포함). 일 구현에서, 폭은 실질적으로 0.15*W와 동일하다.
○ 높이는 1.2*H(안구 영역의 눈 크롭 위의 0.1*H 및 눈 크롭 아래의 0.1*H) 내지 5.5*H(눈 크롭 위의 1.5*H 및 눈 크롭 아래의 3*H)의 범위 내이다(경계값 포함). 일 구현에서, 높이는 실질적으로 1.45*H(눈 크롭 위의 0.15*H 및 눈 크롭 아래의 0.3*H)와 동일하다.
● 영역 4:
○ 폭은 실질적으로 W와 동일하다.
○ 높이는 안구 영역의 눈 크롭 위의 0.1*H 내지 1.5*H의 범위 내이다(경계값 포함). 일 구현에서, 높이는 실질적으로 0.15*H와 동일하다.
다른 비-직사각형 또는 심지어 비-인접 안구 주위(또는 다른 얼굴) 서브-영역들이 개인, 특정 인구 또는 모든 사용자(들)마다의 해당 영역(들)의 차별성과 신뢰성에 기초하여 사용될 수 있다. 일부 구현들에서, 처지는 눈꺼풀들이 종종 관찰되면, 사이즈가 WxH인 타이트한 크롭 주위의 최적의 안구 주위 영역은 다음과 같이 정의될 수 있다.
● 영역 2 및 3의 폭들은 각각 실질적으로 0.2*W 및 0.15*W와 동일하다.
● 영역 2와 3의 높이들은 (눈 크롭의 상부에서 시작할 때) 각각 실질적으로 1.45*H와 동일하다.
● 영역 1 및 4의 폭들은 실질적으로 W와 동일하다.
● 영역 1 및 4의 높이들은 각각 실질적으로 0.45*H 및 0.1*H와 동일하다.
다양한 영역들의 높이들 및 폭들의 값들의 범위는 위에서 설명된 것과 동일하다. 다른 안구 주위 영역 사이즈들도 고려된다. W 및 H의 값들은 이미징 센서 해상도에 기초하여 달라질 수 있다.
이미지 강화
도 1의 단계(106)에서 수행되는 것과 같은 이미지 강화 기술들이 이제 설명될 것이다. 이미지 센서로부터 캡쳐되는 이미지들은, 예를 들어, 노출 및 모션 블러 아티팩트들로 인해 다양한 품질을 가질 수 있다. 임의적인 단계(106)에서, 이미지 노이즈를 감소시키기 위해 몇몇 이미지들이 등록(즉, 공간 정렬)되고 평균화될 수 있다. 일부 구현들에서, 이미지 상관 방법들은 평균화를 위해 이미지들을 정렬하고 (예를 들어, 모션 블러 또는 눈 깜빡거림으로 인한) 가장 상이한 것들을 폐기하기 위해 획득된 이미지들 사이의 비유사도를 측정하는 데 사용되며, 따라서 등록 및 평균화에 적절하다. 예를 들어, 최소 모션을 갖는 n개의 연속 프레임들이 등록 후에 평균화될 수 있다. 평균화되는 연속 프레임들의 수(위에서 설명된 가끔씩 드롭되는 프레임들은 무시)는 프레임 레이트, 주어진 설정들에서의 이미지 센서의 노이즈 레벨, 이미지들이 캡쳐되고 있는 환경 조건들에 따라 달라질 수 있다.
일례에서, 이미지들 취득 동안에 주변광이 800루멘보다 큰 경우, 2개의 연속 프레임이 등록되고 평균화된다. 주변광이 450-800루멘의 범위 내인 경우, 3개의 연속 프레임이 등록되고 평균화된다. 주변광이 0-450루멘의 범위 내인 경우, 4개의 연속 프레임이 등록되고 평균화된다. 주어진 설정들에서 관심 영역이 센서 노이즈가 무시될 수 있을 정도로 충분히 밝은 경우, 비-평균화 옵션을 포함하여, 주변광에 기초하여 프레임들의 수를 선택하는 다른 조합들이 눈의 흰자위 영역, 안구 주위 영역 및 얼굴에 대해 가능하다.
다른 구현에서, 평균화에 사용되는 프레임들의 수는 또한 연속 프레임들을 통한 모션 아티팩트들에 적응될 수 있다. 예를 들어, 모션은 변화하는 표정들, 눈 및 몸의 이동들 및/또는 환경에 미치는 영향들(environmental aberrations)로 인해 야기될 수 있다. 모션은 프레임들 간의 상관성, 프레임들 간의 상호 정보 등을 사용하여 측정될 수 있다. 일 구현에서, 평균화하는 데 사용되는 프레임들의 수는 환경 조명 및 관찰된 모션 아티팩트들 모두에 의존한다.
일부 구현들에서, 이미지 강화 알고리즘들은 SQI(Self Quotient Image)를 포함한다. SQI 이미지의 간단한 버전(Q)은 다음과 같이 나타낼 수 있다.
여기서, 
는 I의 평활화된 버전이고, F는 평활화 커널이다. SQI 방법은 그것의 조명 불변 속성으로 알려져 있으며, 그림자들 및 다른 조명 조건들로 인해 가변적인 조명을 갖는 안구 주위 영역들에 유용하다. WLD(Weber Linear Descriptors), 일관성 확산 필터들(Coherence Diffuse Filters), 아트루스 웨이블릿들(Atrous Wavelets), 레티넥스(Retinex) (및 그 변형들), 단일 또는 다중 프레임 양방향 필터링, 딥 러닝 방법들 및 다른 스파스 강화(sparse enhancement)와 같은 다른 이미지 강화들이 사용될 수 있다.
일 구현에서는, 이하의 단계들에서 설명되는 바와 같이, 특정 이미지 또는 이미지 영역을 위한 이미지 강화 기술로서 LGGP(local gradient Gabor pattern)가 사용될 수 있다.
단계 1: 다음과 같은 짝수 및 홀수 가버 응답들(Gabor responses)을 사용하여, 이미지 영역의 녹색 채널에 대한 가버의 위상을 계산한다.
단계 1a: 대역-통과 필터들과 유사한 2D 짝수 가버 커널(Gabor kernel)은 2D 가우시안 엔벨로프에 의해 변조된 코사인 함수이고, 2D 홀수 가버는 2D 가우시안 엔벨로프에 의해 변조된 사인 함수이다. 짝수 및 홀수 가버 커널들은 다음과 같이 도출될 수 있다.
가버 커널의 임의의 스케일 및 방위(orientation)는 다음의 좌표 변환을 통해 달성될 수 있으며,
여기서, σx와 σy는 각각 x와 y축을 따른 가우시안 엔벨로프의 확산(spread)을 정의하고, f는 변조 사인 또는 코사인의 주파수이며, Ø는 커널의 방위이다. 일 구현에서, 주파수는 6으로 설정되고, x 및 y 축을 따른 가우시안의 확산은 2.5로 설정된다. 일 구현에서, 방위들의 선택은 각각이 π/6 라디안씩 떨어져 있는 0 내지 5π/6의 범위의 6개로 프루닝된다(pruned).
단계 1b: 가버 이미지의 위상은 다음과 같이 계산되며,
여기서, 
는 컨볼루션 연산자이다. 임의의 주어진 방위에서, 예로서, 
는 이미지 영역의 녹색 채널의 사이즈와 동일한 사이즈의 이미지이다.
단계 2: 다양한 방위들에서의 가버 응답들(이미지들)의 위상이 집성되어 출력 이미지를 형성한다. 이를 달성하기 위한 3가지 예시적인 방법은 (1) 모든 방위들에 걸친 주어진 위치(x, y)에서의 픽셀의 강도의 최대값을 유지하고, (2) 주어진 위치(x, y)에서의 픽셀의 강도를 해당 특정 위치에서의 모든 방위들에 걸친 응답들의 가중화된 평균으로 설정하고, (3) 모든 방위들에 걸친 주어진 위치(x, y)에서의 픽셀의 강도의 최대값에 원본 이미지를 곱한 후, 정규화한다.
단계 3: 그 후, 집성된 응답들에 대해 4개의 방향(0, 45, 90 및 135도)에서의 국부적인 변화도들이 계산되고, 최대 변화도 값이 유지되어 출력 이미지를 형성한다.
일 구현에서는, 회색계 알고리즘(gray world algorithm)을 사용하는 화이트 밸런싱과 같은 컬러 정규화가 전술한 강화 기술들 이전에 사용될 수 있다.
일 구현에서, 강화된 이미지의 추가적인 프로세싱은 CLAHE(Contrast Limited Adaptive Histogram Equalization)와 같은 이미지 히스토그램 및 콘트라스트 조정들을 포함한다. CLAHE는 일반적으로 타일들이라고 지칭되는 이미지의 작은 영역들에서 동작한다. 통상적으로, 각각의 타일의 콘트라스트는 출력의 히스토그램이 특정 분포(예를 들어, 균일, 지수 또는 레일리(Rayleigh) 분포)에 의해 특정되는 히스토그램과 대략 매치되도록 강화된다. 그 후, 이웃하는 타일들은 임의의 인위적으로 유도된 경계들을 제거하기 위해 보간법(예를 들어, 이중 선형 보간법)을 사용하여 결합된다. 일부 구현들에서, 안구 혈관들 또는 안구 주위 피쳐들과 배경 사이에서 최상의 콘트라스트를 갖는 적색, 녹색 또는 청색 성분들의 선형 또는 비선형 결합을 선택하면 이미지 영역을 강화시킬 수 있다. 예를 들어, 녹색 성분은 안구-혈관의 RGB 이미지에서 바람직할 수 있는데, 왜냐하면 혈관들과 배경 사이에서 더 양호한 콘트라스트를 제공할 수 있기 때문이다.
이미지 및 피쳐 품질 메트릭들
다시 도 1의 단계(108)를 참조하면, 각각의 강화된 이미지의 품질이 측정될 수 있고, 특정 품질 임계치를 충족시키는 것들이 추가적인 프로세싱을 위해 유지된다. 이러한 품질은 안구 및 안구 주위 영역에 대해 공동으로 또는 개별적으로 측정될 수 있다. 이미지 품질 메트릭은 또한 매치-예측형 품질 메트릭(매치하는 각각의 바이오메트릭 샘플의 능력의 측정치)으로서 작용할 수 있고, 일부 시나리오들에서는, 최종 매치 스코어에 융합되어 바이오메트릭 시스템 성능을 향상시킬 수 있다.
일 구현에서, 이미지 내에서 검출된 관심 포인트들은 이미지의 품질을 결정할 수 있다. 본 명세서에서는 비-참조 이미지 품질 메트릭인 하나의 포인트 기반 품질 메트릭이 EV_QM로 지칭될 것이다. EV_QM은 관심 포인트 검출(Interest Point Detection), 영역 값 계산(Region Value Calculation) 및 품질 메트릭 스코어 생성(Quality Metric Score Generation)의 세 단계를 사용하여 계산될 수 있다. 관심 포인트들은 이하에서 추가로 설명되는 혈관 포인트 검출(vascular point detection)(VPD)을 사용하여 검출될 수 있다. 영역 값은 각각의 관심 포인트 주위의 텍스쳐의 양을 나타낸다. 각각의 관심 포인트 주위의 텍스쳐는 로컬 터너리 패턴(Local Ternary Pattern)(LTP)을 사용하여 결정될 수 있다. 품질 메트릭 스코어 생성은 코너 위치 및 영역 값을 사용하여 측정된다.
도 3을 참조하면, 일 구현에서, 영역 값은 다음의 수정된 로컬 바이너리 패턴(local binary pattern)(LBP) 프로세스를 사용하여 계산될 수 있다. (픽셀 그리드(304)에 도시된 바와 같이) 관심 포인트 주위에서 대응하는 상이한 절반-길이들을 갖는 3개의 정사각형(코너들을 갖거나 갖지 않음)(이웃들)이 계산되며, 이들의 픽셀 궤적들이 계산되어 있다. 예를 들어, 이러한 절반-길이들은 2, 4, 6개 또는 다른 개수의 픽셀들일 수 있다. (픽셀 그리드(302)에 도시된 바와 같이) 관심 포인트는 8개의 상이한 위치에서 추가로 오프셋(시프트)될 수 있고, 각각의 오프셋 포인트 주위에서 3개의 정사각형(그들의 코너들을 뺌)을 추가로 생성한다(픽셀 그리드(304)에 도시된 것과 유사하게, 오프셋 포인트가 중심 포인트 역할을 한다). 각각의 관심 및 오프셋 포인트들에 대한 LBP가 3개의 정사각형 각각에 걸쳐 계산되며, 이것은 바이너리 패턴들(Binary Patterns)(BP)이라고 추가로 지칭된다. 따라서, 각각의 관심 포인트 및 대응하는 오프셋 포인트들은 이들과 연관된 3개의 상이한 BP를 갖는다.
3개의 BP는 최종 영역 값(텍스쳐 스코어)을 획득하기 위해 다음과 같이 추가로 축소될 수 있다.
단계 1: 각각의 BP가 균일성 스코어를 결정하기 위해 평가된다. BP가 균일하지 않은 경우(예를 들어, 4비트를 초과하여 변경되거나 2비트 미만으로 변경되는 경우), BP는 폐기되고, 대응하는 오프셋 또는 관심 포인트에 걸친 스코어(최종 영역 값)는 0으로 설정된다.
단계 2: 모든 BP들이 균일한 경우, 도 3의 단계(306)에 그래픽으로 도시된 필터링 프로세스가 수행된다. BP1, BP2 및 BP3의 각각의 엘리먼트는 다음의 공식을 사용하여 추가된다.
Result n 의 각각의 엘리먼트에서 보일 수 있는 세 가지 가능한 값(1, 0 및 2)이 있다. 이들 비트 각각은, 단계(308)에 도시된 바와 같이, Value에서 대응하는 값들(각각, -1, 0 및 1)에 따라 추가로 매핑된다. 이 결과는 노이지 바이너리 패턴(Noisy Binary Pattern)(NBP)이라고 추가로 지칭된다.
단계 3: 5개 이상의 노이지 픽셀(noisy pixel)이 있는 경우, 대응하는 관심 포인트에 대한 스코어는 0으로 설정된다. 그렇지 않으면, NBP의 각각의 노이지 픽셀은 가장 가까운 이웃으로 대체된다.
단계 4: 최종 결과는 2의 절반-길이에 대한 BP의 길이를 갖는 단일 바이너리 패턴이다. 이 최종 바이너리 패턴은 genBP라고 추가로 지칭된다.
단계 5: genBP는 단계(310)에서 설명된 공식들에 기초하여 추가로 가중화된다.
결과는 가중 패턴 또는 H로 추가로 지칭된다.
단계 6: genBP에서 연속적인 0들의 최대 길이를 계산하고, 이를 L이라고 추가로 지칭한다.
단계 7: 최종 영역 값 sn은 단계(312)에서 설명된 공식을 사용하여 계산될 수 있다.
단계 8: 관심 포인트 및 대응하는 오프셋 포인트들을 포함하는 포인트들 중 적어도 3개의 포인트가 영역 값을 계산하는 경우, 영역 값을 계산하는 관심 포인트 및 해당 오프셋된 대응하는 포인트들의 영역 값들은 평균화되어, sn에 할당된다. 그렇지 않으면, sn은 0으로 설정된다.
다른 구현에서, 영역 값은 관심 포인트들 및 각각의 관심 포인트 주위의 대응하는 오프셋 포인트들을 둘러싸는 영역의 엔트로피를 사용하여 계산될 수 있다. 관심 포인트 주위 영역의 엔트로피는 다음과 같이 계산된다.
단계 1: 관심 포인트 및 대응하는 오프셋 포인트들 주위의 관심 영역에서 텍스쳐를 양자화하도록 임계치를 초기화한다.
단계 2: 관심 영역에서 중심 픽셀 강도와 모든 다른 강도들을 뺌으로써, 관심 영역의 레벨들의 수(level_map)를 결정한다.
단계 3: level_map은 단계 1에서 결정된 임계치를 사용하여 픽셀 강도들을 그룹화함으로써 추가로 양자화된다.
단계 4: level_map의 각각의 그룹에서 고유한 엘리먼트들의 수가 계산된다.
단계 5: 관심 포인트 주위의 엔트로피에 기초한 영역의 값은 다음과 같이 계산되며,
여기서, N은 그룹 'i'의 엘리먼트들의 길이이다.
단계 6: 관심 포인트 및 대응하는 오프셋 포인트들에 걸쳐 sn을 평균화하고, 평균화된 값을 sn에 할당한다.
다른 구현들에서, 영역 값은 'D' 방향들에서의 관심 포인트들 주위의 변화도 정보의 엔트로피를 사용하여 계산될 수 있다. 일 구현에서, D는 0, 45, 90 및 135도를 포함한다. 변화도 정보는 관심 포인트 주위에서 다수의 스케일들로 계산될 수 있다.
일 구현에서, 코너 위치들 및 대응하는 영역 값들은 품질 메트릭 스코어 생성을 결정하는 데 사용될 수 있다. 품질 메트릭 스코어 생성은 다음과 같이 구현될 수 있다.
단계 1: 관심 포인트들을 내림차순으로 그들의 영역 값들에 기초하여 소팅하고, 대응하는 관심 포인트 위치들을 기록한다.
단계 2: 단계 1에 기초하여 대응하는 관심 포인트들을 재정렬한 후, 이들 사이의 거리를 d={d1, d2, d3, ..., dn-2, dn-1, dn}라고 하며, 여기서 d1은 제1 관심 포인트와 제2 관심 포인트 사이의 거리이다. dn은 0이 될 것이다.
단계 3: 거리들의 가중치들을 거리들의 로그로서, 즉, dwn=log(d)로서 계산되도록 한다.
단계 4: 가중화된 지수를 다음과 같이 계산하며,
여기서, n은 관심 포인트들의 수이다.
최종 품질 메트릭 스코어는 다음 공식을 사용하여 계산될 수 있으며,
여기서, p는 관심 포인트들의 수이다.
FAST(Features from Accelerated Segment Test) 또는 SURF(Speeded Up Robust Features) 알고리즘들을 사용하여 계산될 수 있는 것과 같이, 다른 관심 포인트 검출 알고리즘들이 사용될 수 있다.
EV_QM은 안구 및 안구 주위 영역들에 대해 개별적으로 계산될 수 있고, 추가로, 계산된 EV_QM에 기초하여 각각의 ROI의 순위가 매겨질 수 있다. 점진적 매처(progressive matcher)(이하에서 설명됨)가 사용되는 경우, ROI들은 이들의 순위가 매겨진 순서대로 매치될 수 있다. 주목할 점은, 본 명세서에서 설명된 품질 메트릭들은 스푸프 검출 기술들에 사용될 수 있다는 것이다. 물리적인 사진들 또는 인쇄물들, 또는 악의적인 의도로 스크린 상에서 재생되는 진짜 사용자의 디지털 이미지들 또는 비디오들과 같이, 눈 또는 얼굴의 얼굴 피쳐들의 복제는, 스캔 시의 실제 물리적인 존재에 비해 종종 품질을 저하시킨다(예를 들어, 더 낮은 해상도, 흐릿함, 변색, 노이즈, 블러 등). 검증 프로세스 동안에 저품질의 관심 포인트들을 필터링한 후에는, 저품질을 복제하면 일반적으로 충분한 수의 인식가능한 관심 포인트들을 갖지 않을 것이므로, 따라서 검증에 실패할 것이다.
유사한 기술들이 부분적인 스푸프들 또한 검출하는 데 사용될 수 있다. 예를 들어, 사람은 눈의 검증 프로세스를 통과하려는 시도로 자신의 눈을 통한 유효한 눈의 출력물을 보유할 수 있다. 검증을 수행함에 있어서, 눈의 출력물의 결정된 품질(예를 들어, 인식 가능한 관심 포인트들)이 안구 주위 또는 다른 얼굴 영역들의 결정된 품질과 비교될 수 있다. 눈과 하나 이상의 다른 영역 사이의 품질의 차이가 임계치를 초과하는 경우, 이것은 부분적인 스푸프가 존재함을 지시할 수 있고, 검증이 실패할 수 있다. 개시된 품질 메트릭들을 사용하는 다른 스푸프 검출 기술들이 고려된다.
관심 포인트 검출
안구-혈관, 안구 주위 및 얼굴의 캡쳐된 이미지 영역 내에서 다양한 관심 포인트 검출 알고리즘들이 개별적으로 사용될 수 있다. 예를 들어, SURF(Speeded Up Robust Features) 알고리즘은 관심 포인트를 중심으로 하는 이미지 영역 내의 영역들을 식별하는 데 사용될 수 있는 "블롭(blob)" 타입 피쳐 검출 알고리즘이다. FAST(Features from Accelerated Segment Test) 알고리즘은 이미지 영역 내의 관심 포인트들을 식별하는 데 또한 사용될 수 있는 코너 검출 알고리즘이다. 혈관 포인트 검출기(vascular point detector)(VPD)는 이미지 영역 내에서 혈관 구조에 걸리는 포인트들을 식별하는 데에도 사용될 수 있다. 또한, VPD는 안구 주위 영역 및 얼굴 위의 포인트들을 검출하는 데에도 사용될 수 있다. 일부 구현들에서는, 다수의 이미지 스케일들에서 후보 포인트들도 식별될 수 있다. 예를 들어, 원본 이미지 사이즈가 100x100(Scale 0)인 경우, 100x100 원본 이미지로부터 포인트들이 식별될 수 있고, 원본 이미지의 사이즈가 50x50(Scale 1) 및 25x25(Scale 2)로 조정되는 때에도, 그러하다. 포인트 검출기들의 다른 영역 특정 구성들이 고려될 수 있다.
포인트 억제
관심 포인트 검출 알고리즘을 사용하여 생성되는 후보 포인트들의 수는 텍스쳐의 양 및 이미지의 품질에 기초하여 달라질 수 있다. 더욱이, 이러한 알고리즘들은 특히 비-VPD 알고리즘들을 사용하여 (주어진 애플리케이션과 관련하여) 노이즈가 있거나 또는 관련성이 없는 정보를 래치할 수 있다. 이러한 노이즈가 있거나 또는 관련성이 없는 후보 포인트들은 후보 포인트 억제 알고리즘들에 의해 제거될 수 있다.
일 구현에서, 후보 포인트 품질을 결정하는 데 비-혈관 포인트 억제(non-vascular point suppression)(NVS) 알고리즘이 사용된다. 알고리즘은 다음의 단계들에서 설명된다.
단계 1: 관심 포인트 주위의 영역(Region)(R)을 추출한다. R의 사이즈를 MxM이라고 한다.
단계 2: 사이즈 NxN의 R 내에서 로컬 패치들(Local Patches)(LP)을 추출하며, 여기서 N<M이다. R의 중심에 있는 LP를 중심 패치(Center Patch)(CP)로서 할당한다.
단계 3: 영역 R 내부의 로컬 패치들이 드물게 채워진다.
단계 4: 영역 R에 포함된 모든 LP들의 히스토그램 분포들을 계산하고, LP들에 대해 각각 계산된 히스토그램으로부터 CP의 히스토그램을 뺀다.
단계 5: 각각의 빼기에 대해, 점유되는 빈들의 수를 전체 가용 빈들로 나눔으로써 확산 스코어(spread score)를 계산한다.
단계 6: 원본 이미지의 픽셀들의 분포들에 기초하여, 대역 통과 필터들의 결합을 도출한다(대역 통과 필터 계산(Band Pass Filter Computation)). 이러한 대역 통과 필터들은 혈관 정보 픽셀들에 대한 글레어와 같이 거짓된 픽셀들의 양을 측정하는 데 사용된다.
단계 7: 도출된 대역 통과 필터에 기초하여, 단계 4로부터 빼진 패치들이 필터링되고, 코너 응답(corner response)이 계산된다.
단계 8: 확산 스코어 및 코너 응답을 캐스케이드 프레임워크에 사용한다. 확산 스코어는 바이너리 분류자이며, 포인트를 거부하거나 또는 수락한다. 코너 응답은 0과 1 사이에서 정규화된 스코어를 제공한다. 0은 혈관이 아님을 지시하고, 1은 혈관을 지시한다.
다른 구현에서, 대역 통과 필터 계산은 후보 포인트 세기를 결정하는 데 사용된다. 대역 통과 필터는 눈의 세그먼트화된 흰자위 영역 통계치들에 기초하여 동적으로 생성된다. 대역 통과 필터는 다음과 같이 생성될 수 있다.
단계 1: RGB 이미지로부터 공막 영역의 녹색 층을 추출한다.
단계 2: 영역의 히스토그램을 도출한다. 예를 들어, 'N'개의 빈들을 사용하여 유닛 8 이미지로부터 히스토그램을 추출한다.
단계 3: 단계 2에서 도출된 역 정규화된 히스토그램의 지수 함수를 계산한다.
단계 4: 지수 함수를 팩터 k로 억제한다. 팩터 k는 일반적으로 0.1 내지 0.3까지 다양하며, 애플리케이션 또는 데이터 세트에 기초하여 조정될 수 있다.
단계 5: 1 내지 N의 범위의 정수 값들에 의해 역 지수 함수의 응답을 계산한다.
단계 6: 단계 4로부터의 처음 5개의 엘리먼트와 단계 5로부터의 나머지(remaining)를 연결시킨다. 이것이 대역 통과 필터 1을 제공한다.
단계 7: 대역 통과 필터 2의 경우, 공막 픽셀들의 정규 분포(녹색 채널)에 의해 가우시안(Gaussian)을 구성한다.
단계 8: 대역 통과 필터 1과 대역 통과 필터 2를 병렬로 사용하여, 혈관 포인트의 세기를 확립한다.
이 필터 구성 프로세스는 이미지 픽셀들에 적응적이다. 이미지가 어두운 경우, 대부분의 공막 픽셀들은 히스토그램의 하단 꼬리 근처에 속한다. 따라서, 대역 통과 필터 1가 대역 통과 필터 2보다 높은 응답을 갖는다. 이로 인해 포인트의 스코어가 감소한다. 유사하게, 글레어로 포화된 이미지는 모든 자신의 픽셀들을 상단 꼬리에 가질 것이고, 대역 통과 필터 2가 더 높은 응답을 갖게 되어, 낮은 스코어를 갖는 포인트를 제거할 것이다.
일 구현에서, 후보 포인트의 품질을 결정하기 위해 로컬 바이너리 패턴(LBP)의 균일성(uniformity)이 생성될 수 있다. 8비트 LBP 코드를 사용하여, 0으로부터 1로 또는 그 반대로의 비트 천이들(bitwise transitions)의 수가 LBP 코드의 균일성을 결정한다. LBP 코드는, 'n'개 이하의 천이를 갖는 경우, 균일한 것으로 간주된다. 천이들의 범위는 0 내지 8이다. 일 구현에서, n은 3과 동일하다. 예로서, 0개의 천이를 갖는 LBP 코드 00000000, 2개의 천이를 갖는 01111100, 3개의 천이를 갖는 01000001은 균일하다. 유사하게, 4개의 천이를 갖는 01010000 및 6개의 천이를 갖는 01010010은 균일하지 않다. 균일한 후보 포인트들은 템플릿에서 유지된다.
위에서 언급된 후보 포인트들에 대한 품질 알고리즘들은 주어진 등록 또는 검증 프로세스에 대해 결합되어 또는 개별적으로 사용될 수 있다.
로컬 피쳐 디스크립터들
각각의 관심 포인트 주위의 피쳐 벡터(feature vector)는 안구-혈관, 안구 주위 및 얼굴 영역들에 대한 관심 포인트 주위의 이미지 패치를 사용하여 개별적으로 생성될 수 있다. 관심 포인트에 대한 디스크립터들은 단일 또는 다수의 피쳐 디스크립터 알고리즘들을 사용하여 생성될 수 있다. FREAK(Fast Retina Keypoint) 알고리즘은, 예를 들어, FAST 알고리즘들에 의해 식별된 후보 포인트들에 대한 디스크립터들을 생성하는 데 사용될 수 있는 하나의 예시적인 피쳐 디스크립터 알고리즘이다. FREAK 디스크립터는, 예를 들어, 후보 포인트를 둘러싸는 시각적 피쳐들을 정의하는 이진수들의 문자열일 수 있다. 후보 포인트들 주위의 CSLBP(Center Symmetric Local Binary Patterns)와 같은 로컬 바이너리 패턴들(LBP) 및 그 변형들은 후보 포인트 부근의 이미지 패치들을 설명하는 데 사용될 수 있는 피쳐 디스크립터들의 예들이다. HoG(Histograms of oriented Gradients), HLBP(Histograms of LBP), HCSLBP(Histograms of CSLBP), PH-EMR-LBP(Patterned Histograms of Extended Multi-Radii LBP), PH-EMR-CSLBP(Patterned Histograms of Extended Multi-Radii CSLBP), PH-EMR-LTP(Patterned Histograms of Extended Multi-Radii Local Ternary Patterns), 및 PHBP-DR(Patterned Histograms of Binary Patterns after Dimensionality Reduction)은 후보 포인트들 주위의 이미지 이웃들을 설명하는 데 사용될 수 있는 피쳐 디스크립터들의 다른 예들이다. 다른 피쳐 디스크립터 알고리즘들 또는 알고리즘들의 결합들이 이미지 영역의 후보 포인트들에 대한 로컬 이미지 디스크립터들을 생성하는 데 사용될 수 있다.
일 구현에서, PH-EMR-LBP 디스크립터들을 생성하는 단계에는 다음의 단계들이 포함된다.
단계 1: 각각의 픽셀 주위의 3x3 픽셀 및 5x5 픽셀의 동심의 정사각형들에 대한 LBP 코드들을 모두 계산하여, MR-LBP(multi-radii LBP) 이미지를 형성한다(단, 일반 LBP와 달리, 전술한 기술은 LBP 코드 도출을 위해 중심 픽셀 주위의 원형 궤적의 픽셀들 대신에, 코너들을 포함할 수도 있고 제외할 수도 있는 정사각형 또는 직사각형 이웃을 사용한다는 점에 주목하도록 한다). 3x3 픽셀 영역에서, 중심 픽셀과 그 바로 이웃하는 8개의 픽셀을 비교하여 3x3 LBP 코드를 생성한다. 결과는 그 비트 값들이 0 또는 1인 8비트 코드이다(이웃 픽셀의 강도 값이 중심 픽셀의 강도보다 큰 경우에는 1이고, 그렇지 않은 경우에는 0이다). 유사하게, 5x5 픽셀 영역에서, 중심 픽셀과 그 바로 이웃하는 8개의 픽셀 다음의 픽셀들(즉, 16개의 픽셀)을 비교하여 5x5 LBP 코드를 생성한다(결과는 16비트 코드임). 따라서, MR-LBP는 이미지의 주어진 픽셀에 대해 24비트 코드(3x3 LBP 코드로부터 8, 5x5 LBP 코드로부터 16)를 갖는다.
단계 2: 각각의 관심 포인트 주위의 MxM 패치(단계 1의 출력)는 K개의 오버랩된 픽셀을 가질 수 있는 NxN 서브-영역들로 세그먼트화된다.
단계 3: 각각의 서브-영역 내의 각각의 24비트 MR-LBP에 대한 히스토그램들이 개별적으로 도출되어, PH-EMR-LBP를 전달하도록 연결된다(단, 일반 LBP와 달리, 이 히스토그램은, 바이너리 코드의 10진수(decimal equivalent)의 것이 아니라, 패치에서 LBP 비트 위치들의 빈도(frequency)에 기초하여 계산된다는 것에 주목하도록 한다).
M, N 및 K에 대한 파라미터 값들은 이미지의 공간 주파수, 해상도 및 노이즈에 기초하여 조정될 수 있다.
일 구현에서, PH-EMR-CSLBP 디스크립터들을 생성하는 단계에는 다음의 단계들이 포함된다.
단계 1: 각각의 픽셀에서 3x3 픽셀 및 5x5 픽셀의 CSLBP(center symmetric local binary patterns) 코드들을 모두 계산하여, MR-CSLBP(multi-radii CS-LBP) 이미지를 형성한다. 3x3 영역에서, 8개의 경계 픽셀을 사용하여 대각선 픽셀들의 강도 값들을 비교하여 4비트 3x3 CS-LBP 코드를 생성한다(왼쪽 상단 픽셀부터 시작하여, 경계 픽셀들을 시계 방향으로 1-8의 번호가 매겨진 것으로 간주하면, 픽셀 1, 2, 3 및 4를 각각 5, 6, 7 및 8과 비교함으로써 4비트 CS-LBP 코드가 생성된다). 값들은 0 또는 1이다(1의 강도 값이 5보다 큰 경우에는 1이고, 그렇지 않은 경우에는 0이다. 다른 조합들에 대해서도 마찬가지이다.). 마찬가지로, 5x5 영역에서, 외부 링의 16개의 대각선 픽셀이 비교되어 8비트 5x5 CS-LBP 코드를 생성한다. 따라서, MR-CS-LBP는 이미지의 주어진 픽셀에 대해 12비트 코드(3x3 CS-LBP 코드로부터 4, 5x5 CS-LBP 코드로부터 8)를 갖는다.
단계 2: 각각의 관심 포인트 주위의 MxM 패치(단계 1의 출력)는 K개의 오버랩된 픽셀들을 가질 수 있는 NxN 서브-영역들로 세그먼트화된다.
단계 3: 각각의 서브-영역 내의 각각의 12비트 MR-CS-LBP에 대한 히스토그램들이 개별적으로 도출되어, PH-EMR-CS-LBP를 전달하도록 연결된다.
이전 디스크립터와 유사하게, M, N 및 K에 대한 파라미터 값들은 이미지의 공간 주파수, 해상도 및 노이즈에 기초하여 조정될 수 있다.
일 구현에서, PH-EMR-LTP 디스크립터들을 생성하는 단계에는 다음의 단계들이 포함된다.
단계 1: 각각의 픽셀에서 3x3 픽셀 및 5x5 픽셀 로컬 터너리 패턴 코드들을 모두 계산하여, 스텝 사이즈(Step Size)(SS)를 갖는 MR-LTP(multi-radii LTP) 이미지를 형성한다. 3x3 영역에서, 중심 픽셀을 그 바로 이웃하는 8개의 픽셀과 비교하여 3x3 LTP 코드를 생성한다. 결과는 그 값들이 0 또는 1인 16비트 코드이다(각각의 이웃 픽셀의 강도 값이 중심 픽셀의 강도 플러스 SS보다 큰 경우에는 1이고, 그렇지 않은 경우에는 0이며, 각각의 이웃 픽셀의 강도 값이 중심 픽셀의 강도 마이너스 SS보다 작은 경우에는 1이고, 그렇지 않은 경우에는 0이다). 유사하게, 5x5 영역에서, 중심 픽셀과 그 바로 이웃하는 8개의 픽셀 다음의 픽셀들(즉, 16개의 픽셀)을 비교하여 5x5 LTP 코드를 생성한다(결과는 32비트 코드임). 따라서, MR-LTP는 이미지의 주어진 픽셀에 대해 48비트 코드(3x3 LBP 코드로부터 16, 5x5 LBP 코드로부터 32)를 갖는다.
단계 2: 각각의 관심 포인트 주위의 MxM 패치(단계 1의 출력)는 K개의 오버랩된 픽셀들을 가질 수 있는 NxN 서브-영역들로 세그먼트화된다.
단계 3: 각각의 서브-영역 내의 각각의 48비트 MR-LTP에 대한 히스토그램들이 개별적으로 도출되어, PH-EMR-LTP를 전달하도록 연결된다.
이전 디스크립터와 마찬가지로, M, N 및 K에 대한 파라미터 값들은 이미지의 공간 주파수, 해상도 및 노이즈에 기초하여 조정될 수 있다.
일 구현에서, PHBP-DR은 다음의 단계들을 사용하여 도출될 수 있다.
단계 1: M, N 및 K 값들을 각각 9, 3 및 1로 설정함으로써, 주어진 관심 포인트에 대한 PH-EMR-LBP가 도출된다. 이러한 구성들은 (3x3 서브-영역에서 9개의 픽셀을 갖는 바와 같이) 0 내지 9의 범위의 값들을 갖는 길이 384(24x16; 16개의 서브-영역들에 걸친 24비트 코드들 각각의 히스토그램들. 단, 하나의 픽셀 오버랩을 갖는 9x9 패치에서 16개의 3x3 서브-영역들이 가능하다는 것에 주목하도록 한다)의 피쳐 벡터를 전달한다.
단계 2: M, N 및 K 값들을 각각 7, 3 및 1로 설정함으로써, 주어진 관심 포인트에 대한 PH-EMR-CS-LBP가 도출된다. 이러한 구성들은 (3x3 서브-영역에서 9개의 픽셀을 갖는 바와 같이) 0 내지 9의 범위의 값들을 갖는 길이 108(12x9; 9개의 서브-영역들에 걸친 12비트 코드들 각각의 히스토그램들. 단, 하나의 픽셀 오버랩을 갖는 7x7 패치에서 9개의 3x3 서브-영역들이 가능하다는 것에 주목하도록 한다)의 피쳐 벡터를 전달한다.
단계 3: M, N 및 K 값들을 각각 9, 3 및 1로 설정함으로써, 주어진 관심 포인트에 대한 PH-EMR-LTP PH-EMR-LBP가 도출된다. 이러한 구성들은 (3x3 서브-영역에서 9개의 픽셀을 갖는 바와 같이) 0 내지 9의 범위의 값들을 갖는 길이 768(48x16; 16개의 서브-영역들에 걸친 48비트 코드들 각각의 히스토그램들. 단, 하나의 픽셀 오버랩을 갖는 9x9 패치에서 16개의 3x3 서브-영역들이 가능하다는 것에 주목하도록 한다)의 피쳐 벡터를 전달한다. 이미지의 강도 값들을 0-255로 정규화 한 후, SS가 5로 설정된다.
단계 4: 피쳐 벡터 1, 2 및 3이 연결되어, 길이 1260의 피쳐 벡터를 형성한다.
단계 5: 분산 분석(variance analysis)을 사용하여, 상위 720개의 피쳐들만이 유지된다. 일부 경우들에서는, 이러한 매우 다양한 피쳐들이 사전-계산되기 때문에, 계산 복잡성을 감소시키기 위해 등록 및 검증 프로세스 동안에 이들 720개의 피쳐들만이 생성된다.
단계 6: 마지막으로, PHBP-DR을 추출하기 위해 주성분 분석(principal component analysis)(PCA)과 같은 차원 축소 방법이 사용된다. 103 및 98 길이의 피쳐 벡터들을 생성하기 위해 별개의 PCA 분석이 안구 및 안구 주위 영역들에 대해 각각 수행될 수 있다. 얼굴의 경우, 안구 주위 피쳐들이 있는 그대로 사용될 수도 있고, 또는 별도의 PCA 분석이 수행될 수도 있다. 안구, 안구 주위 및 얼굴에 대한 다른 길이들의 피쳐 벡터들도 가능하다.
바이오메트릭 등록 프로세스의 끝에서, 등록 템플릿은 안구-혈관 ROI에 대한 후보 포인트들 및 디스크립터들의 세트, 및 안구 주위 영역에 대한 후보 포인트들 및 디스크립터들의 세트를 포함할 수 있다. 일부 구현들에서, 등록 템플릿은 또한 얼굴에 대한 후보 포인트들 및 디스크립터들의 세트, 및/또는 연장된 안구 주위 영역들에 대한 후보 포인트들 및 디스크립터들의 세트를 포함할 수도 있다. 단, 좌측 눈과 우측 눈에 대한 안구-혈관 및 안구 주위 ROI 및 템플릿이 개별적으로 처리된다는 것에 주목하도록 한다. 관심 포인트들의 세트에 대한 다수의 디스크립터들이 고려된다. 안구-혈관면 및 안구 주위 영역에 대한 템플릿들을 생성하는 데 사용되는 원본 및 프로세싱된 이미지들은 보안 및 개인 정보 보안의 이유로 인해 폐기될 수 있다.
점진적 매처
바이오메트릭 매칭 프로세스의 일 구현에서, 최종 매치 스코어는 점진적 매처를 사용하여 생성된다. 초기 단계로서, 거리 측정치를 사용하여 안구 및 안구 주위 영역들 모두에 대한 등록과 검증 템플릿들 사이에서 매치된-포인트-쌍들(Matched-Point-Pairs)을 찾기 위해 로컬 이미지 디스크립터들이 매치된다. 예로서, 안구 및 안구 주위 영역들의 등록과 검증 디스크립터 벡터들 사이에서 관심 포인트들의 디스크립터들 사이의 유클리드 거리가 개별적으로 계산될 수 있고, 특정 거리 임계치 아래의 쌍들은 매치된-포인트-쌍으로서 유지될 수 있다.
노이즈 또는 다른 이상(aberration)들이 존재하면, 매치된-포인트-쌍들은 몇 가지 아웃라이어(outlier)들 또는 다르게는 에러 있는 추가의 매치들을 가질 수 있다. 매치된-포인트-쌍들의 등록과 검증 이미지들의 위치들 사이에서 타당한 호모그래피를 가정함으로써, 매치된-포인트-쌍들로부터 아웃라이어들(가정된 호모그래피 하에서의 정렬 후에, 공간적으로 오버랩되지 않는 매치된 포인트들)이 제거될 수 있다.
일부 구현들에서, RANSAC(random sample consensus) 또는 다른 아웃라이어 검출 방법은 검증 이미지에서의 후보 포인트들과 등록 이미지에서의 포인트들을 정렬시키는 데 필요한 변환을 결정하고, 등록 및 검증 템플릿들에 인코딩된 안구 관심 영역들의 기하학적 측면에서, 진짜 매치들 간의 가정된 변환에 맞지 않는 아웃라이어들은 거절하는 데 사용될 수 있다. 일부 구현들에서, (안구-혈관 및 안구 주위 ROI들과 같은) 상이한 ROI들의 RANSAC들은 개별적으로 수행될 수 있고, 잔존하는 인라이어(inlier) 포인트들의 모음이 최종 스코어 계산들 및 다른 관련 계산들을 위해 최종 RANSAC에 전달될 수 있다. 일부 구현들에서, 최종 매칭을 진행하기 전에, 관심 있는 특정 또는 모든 서브-영역들로부터의 최소 개수의 인라이어 포인트들(예를 들어, 공막 ROI의 상부에서 보이는 혈관 패치들 및 포인트들)이 필요할 수 있다. 결과적으로, 스코어는, RANSAC 또는 이와 등가물에 의해 매치된-포인트-쌍들의 위치들에 맞춰진 호모그래피를 사용하여, RANSAC 이후에 발견되는 인라이어들의 수(N), 변환 행렬로부터 복구된 스케일(recovered scale from the transformation matrix)(RS) 및 변환 행렬로부터 복구된 각도(recovered angle from the transformation matrix)(RA)를 결합함으로써 생성된다.
일 구현에서, 매치 스코어는 다음의 공식을 사용하여 계산되며,
여기서, Cx와 Cy는 각각 등록과 검증 템플릿들 사이의 인라이어 매치된 포인트들의 x와 y 좌표들의 벡터들 사이의 상관성이고, N은 이러한 정렬된 포인트들의 수이고, RA는 인라이어 매치된 검증 포인트들의 위치들의 등록을 위한 등록 포인트들로의 변환으로부터 기인하는 각도의 변화를 나타내는 복구된 각도이고, RS는 상기 변환으로부터 기인하는 스케일의 변화를 나타내는 복구된 스케일이다. RA와 RS는 RANSAC 또는 유사한 동작으로부터 기인하는 유사도 또는 유사한 기하학적 변환 행렬로부터 도출된다. 특히, (안구-혈관 및 안구 주위와 같은) 관심 영역들이 공간적으로 사전-정규화되는 경우, 신원으로부터 변환/등록 행렬의 거리와 같은 다른 측정치들이 고려된다.
일부 구현들에서는, M-SAC, Group-SAC 및/또는 Optimal-RANSAC가 RANSAC를 대체할 수 있다
매치 스코어들은 눈의 흰자위(SV)와 안구 주위 영역(SP) 모두에 대해 개별적으로, 결합하여(SVP), 또는 순차적인 방식으로 생성될 수 있다. 점진적 접근 방식에서는, 시작하는 관심 영역에서 견고한 결정을 내리기에 불충분한 정보나 품질이 있는 경우, 상이한 ROI들이 점진적으로 매처에 포함된다. 예를 들어, 눈의 흰자위의 혈관 정보를 사용하여 특정 소스 품질 또는 명확한 결정이 달성될 수 없는 경우, 매처는 바이오메트릭 매치를 주장할 때 원하는 확실성을 달성하기 위해 필요에 따라 안구 주위와 관련된 (및 유사한 코 및 얼굴을 넘어설 가능성이 있는) 위치들로부터 보다 많은 정보를 점진적으로 추가할 수 있다.
일 구현에서, 안구 및 안구 주위 영역들로부터의 매치된-포인트-쌍들은 개별적으로 계산된 후, RANSAC에 대해 결합되어, 최종 매치 스코어를 생성한다.
다른 구현에서, 안구 및 안구 주위 영역들로부터의 매치된-포인트-쌍들은 개별적으로 계산된 후, RANSAC에 대해 결합되어, 최종 매치 스코어를 생성한다. 그러나, 최종 인라이어들의 생성은 안구 영역으로부터 적어도 N개의 포인트를 갖도록 제약된다.
추가적인 구현에서, 안구 및 안구 주위 영역들로부터의 매치된-포인트-쌍들은 개별적으로 계산되고, 그들 각각의 인라이어들이 ROI-특정 RANSAC들에 의해 개별적으로 발견된 후, 영역-특정 RANSAC-필터링된 템플릿 엘리먼트들의 모음이 최종 RANSAC에 대해 결합되어, 최종 매치 스코어를 생성한다. 그러나, 최종 인라이어들의 생성은 안구-혈관 영역의 RANSAC로부터 적어도 N개의 포인트를 갖도록 제약된다. 일부 구현들에서, N에 대한 통상적인 최소값은 3이다.
일부 구현들에서는, 임계치들에 대한 매치 스코어들의 비교에 기초하여 최종 결정을 내리기 위해 점진적 매처가 구현된다. 예를 들어, 다음과 같다.
단계 1: SV>3.2인 경우, 사용자가 인증되고, 단계 2와 3은 건너뛴다.
단계 2: SVP>3.4인 경우, 사용자가 인증되고, 단계 3은 건너뛴다.
단계 3: SP>3.2인 경우, 사용자가 인증된다.
프로세스 종료.
위의 점진적 프로세스가 사용자를 인증하지 못하는 경우, (시간 제한과 같은) 특정 종료 조건에 도달할 때까지, 등록 뱅크로부터의 다른 등록 템플릿이 호출될 수도 있고, 또는 새로운 검증 이미지가 취득될 수도 있다. SV, SVP 및 SP 임계치들의 다른 결합들도 고려된다. 관심 영역들 중 하나 이상의 관심 영역이, 예를 들어, 안경 또는 글레어 아티팩트들로부터 기인하는 수차로 인해 스캐닝에 가용이지 않은 경우, 시스템들은 다른 가용 영역들을 사용할 수 있다.
도 5는 점진적 매칭을 사용하는 바이오메트릭 등록 및 인증을 위한 방법의 일 구현으로서, 이는 안구-혈관 및 안구 주위 영역들에 기초하여 등록 템플릿들이 생성되는 등록 페이즈, 및 캡쳐된 이미지들 및 등록 템플릿들에 기초하여 점진적 매칭이 수행될 수 있는 검증 페이즈를 포함한다. 도 5에 예시된 단계들은 본 명세서에서 설명된 다양한 기술들에 따라 수행될 수 있다.
일부 경우들에서, 단일 바이오메트릭 특성이 다수의 ROI들로 분할될 수 있고, 그 후에 점진적으로 매치된다. 예를 들어, 안구 주위 영역의 중요한 영역들은 n개의 부분으로 분할될 수 있고, 그 후에 점진적으로 매치된다.
일 구현에서, 일부 또는 모든 안구 주위 ROI들의 품질이 측정되어 순위가 매겨질 수 있고, 매칭 프로세스는 바이오메트릭 매치를 주장할 때 원하는 확실성을 달성하기 위해 필요에 따라 그 각각의 순위에 기초하여 각각의 ROI를 점진적으로 추가할 수 있다.
다른 구현에서, 이미지 기반 거리 메트릭 또는 유사물은 안구 주위와 같은 일부 바이오메트릭 관심 영역들을 왜곡할 수 있는 사용자의 포즈들, 조명 조건들, 또는 얼굴 제스쳐들을 검출한다. 이러한 변형들은 등록 동안에 유도될 수도 있고, 또는 템플릿 업데이트 정책에 기초하여 롤링 템플릿 뱅크에 추가될 수 있다. 검증 시에, 매처는 전술한 이미지 유사도 메트릭에 기초하여 뱅크로부터 가장 관련 있는 템플릿들을 리트리브하려고 시도할 수 있다.
다른 구현에서, 매칭 프로세스가 새로운 포즈 또는 얼굴 표정을 접할 경우, 가장 가까운 표정이 사용되고, 점진적 매처의 특별한 경우가 적용된다. 예를 들어, 특별한 경우는 클러스터링 프로세스를 사용하여 안구 주위 영역을 여러 세그먼트들로 분할할 수 있고, 각각의 세그먼트 내에서, 스코어 및 변환 행렬이 생성된다. 최종 스코어는 모든 개별적인 세그먼트 스코어들의 가중화된 융합에 의해 결정될 수 있다. 이러한 가중치들은 모든 변환 행렬들에 걸쳐 관찰되는 변형의 양에 의해 결정된다. 다른 스코어 융합들도 가능하다.
도 5는 본 명세서에서 설명된 기술들에 따라 보안 바이오메트릭 템플릿들을 생성하고 사용자 검증을 수행하기 위한 국부적인 시스템의 일 구현을 예시한다. 사용자 디바이스(500)는 이미지 센서(530), 프로세서(540), 메모리(550), 바이오메트릭 하드웨어 및/또는 소프트웨어(560), 및 메모리(550)를 포함하는 다양한 시스템 컴포넌트들을 프로세서(540)에 연결하는 시스템 버스를 포함할 수 있다. 사용자 디바이스(500)는 스마트폰, 스마트 시계, 스마트 안경, 태블릿 컴퓨터, 휴대용 컴퓨터, 텔레비전, 게임 디바이스, 뮤직 플레이어, 모바일 전화, 랩탑, 팜탑, 스마트 또는 단순(dumb) 단말기, 네트워크 컴퓨터, 개인 휴대 정보 단말기, 무선 디바이스, 정보 어플라이언스, 워크스테이션, 미니 컴퓨터, 메인프레임 컴퓨터, 또는 본 명세서에서 설명된 기능을 실행할 수 있는 범용 컴퓨터 또는 특수 목적 하드웨어 디바이스로서 동작되는 다른 컴퓨팅 디바이스를 포함할 수 있지만, 이에 제한되지 않는다.
바이오메트릭 하드웨어 및/또는 소프트웨어(560)는 이미지 센서(530)에 의해 캡쳐된 이미지들에 대한 동작들을 수행하기 위한 이미지 프로세싱 모듈(562)을 포함한다. 예를 들어, 이미지 프로세싱 모듈(562)은 혈관 구조들 및 다른 관심 피쳐들을 분리하는 데 도움을 주기 위해 사용자(510)의 눈 및 얼굴 영역을 둘러싸는 이미지들에 대한 세그먼트화 및 강화를 수행할 수 있다. 템플릿 모듈(564)은 혈관 구조 화상에 기초하여 바이오메트릭 템플릿들을 생성하고, 템플릿들에 대해 다양한 난독화(obfuscating) 및 스크램블링 동작들을 수행할 수 있다. 검증 모듈(566)은 바이오메트릭 판독치를 캡쳐할 때 형성된 바이오메트릭 검증 템플릿과 이전에 저장된 등록 템플릿 사이에서 매칭 동작들을 수행함으로써 사용자(510)의 신원을 확인한다. 일부 구현들에서, 특정 기능은 사용자 디바이스(500) 이외의 디바이스들 상에서 수행될 수 있다. 예를 들어, 사용자 디바이스는 카메라와 같은 바이오메트릭 센서만을 대신 포함할 수 있고, 이미지 프로세싱 및 검증 기능들은 인터넷과 같은 네트워크를 통해 사용자 디바이스(500)가 액세스 가능한 원격 서버 상에서 수행될 수 있다.
보다 일반적으로, 본 명세서에서 설명된 시스템들 및 기술들은 백엔드 컴포넌트를 (예를 들어, 데이터 서버로서) 포함하거나, 또는 미들웨어 컴포넌트(예를 들어, 애플리케이션 서버)를 포함하거나, 또는 프론트엔드 컴포넌트(예를 들어, 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터, 또는 사용자가 본 명세서에서 설명된 시스템들 및 기술들의 구현과 상호 작용할 수 있는 웹 브라우저)를 포함하는 컴퓨팅 시스템에서, 또는 이러한 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합에서 구현될 수있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크들의 예들은 근거리 네트워크("LAN"), 광역 네트워크("WAN") 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통신 네트워크를 통해 상호 작용할 수 있다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다. 다수의 실시예들이 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다.
본 명세서에 개시된 구조들 및 그들의 구조적 등가물들, 또는 이들 중 하나 이상의 조합들을 포함하여, 본 명세서에서 설명된 대상 및 동작들의 구현들은 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에서 설명된 대상의 실시예들은 하나 이상의 컴퓨터 프로그램, 즉, 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 스토리지 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 이에 추가하여, 프로그램 명령어들은 인위적으로 생성된 전파 신호, 예를 들어, 머신-생성된 전기, 광, 또는 전자기 신호 상에 인코딩될 수 있으며, 이 신호는 데이터 프로세싱 장치에 의한 실행을 위해 적절한 수신기 장치로의 송신을 위해 정보를 인코딩하도록 생성된다. 컴퓨터 스토리지 매체는 컴퓨터 판독가능 스토리지 디바이스, 컴퓨터 판독가능 스토리지 기판, 랜덤 또는 시리얼 액세스 메모리 어레이 또는 디바이스, 또는 이들 중 하나 이상의 조합일 수도 있고, 또는 그에 포함될 수도 있다. 또한, 컴퓨터 스토리지 매체는 전파 신호가 아니지만, 컴퓨터 스토리지 매체는 인위적으로 생성된 전파 신호에 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 컴퓨터 스토리지 매체는 또한 하나 이상의 개별 물리적 컴포넌트 또는 매체(예를 들어, 다수의 CD들, 디스크들 또는 다른 스토리지 디바이스들)일 수도 있고, 또는 이에 포함될 수도 있다.
본 명세서에서 설명된 동작들은 하나 이상의 컴퓨터 판독가능 스토리지 디바이스 상에 저장되거나 다른 소스들로부터 수신되는 데이터에 대해 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.
"데이터 프로세싱 장치"라는 용어는, 예를 들어, 프로그래머블 프로세서, 컴퓨터, 시스템 온 칩, 또는 상기한 것들 중 다수의 것들 또는 이들의 조합을 포함하여, 데이터를 프로세싱하기 위한 모든 종류들의 장치들, 디바이스들 및 머신들을 포함한다. 장치는 특수 목적 로직 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)를 포함할 수 있다. 또한, 장치는, 하드웨어에 더하여, 당해의 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스-플랫폼 런타임 환경, 가상 머신 또는 이들 중 하나 이상의 조합을 포함할 수도 있다. 장치 및 실행 환경은 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라스트럭쳐들과 같은 다양한 상이한 컴퓨팅 모델 인프라스트럭쳐들을 실현할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 알려짐)은 컴파일러형 또는 해석형 언어들, 선언형 또는 절차형 언어들을 포함한 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 이것은 독립 실행형 프로그램, 또는 컴퓨팅 환경에서 사용하기에 적절한 모듈, 컴포넌트, 서브루틴, 객체 또는 다른 유닛을 포함한 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응할 수 있지만, 반드시 그럴 필요는 없다. 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 자원에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일부로, 당해의 프로그램에 전용된 단일 파일로, 또는 다수의 조정된 파일들(예를 들어, 하나 이상의 모듈, 서브-프로그램, 또는 코드의 일부를 저장하는 파일들)로 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터, 또는 하나의 사이트에 위치되거나 또는 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호 접속되는 다수의 컴퓨터들 상에서 실행되도록 배치될 수 있다.
본 명세서에서 설명된 대상의 실시예들은, 예를 들어, 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 또는 미들웨어 컴포넌트, 예를 들어, 애플리케이션 서버를 포함하거나, 또는 프론트엔드 컴포넌트, 예를 들어, 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 사용자가 본 명세서에서 설명된 대상의 구현과 상호 작용할 수 있는 웹 브라우저를 포함하는 컴퓨팅 시스템에서, 또는 하나 이상의 이러한 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합에서 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신, 예를 들어, 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크들의 예들은 근거리 네트워크("LAN") 및 광역 네트워크("WAN"), 인터-네트워크(예를 들어, 인터넷) 및 피어 투 피어 네트워크들(예를 들어, 애드 혹 피어 투 피어 네트워크들)을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통신 네트워크를 통해 상호 작용할 수 있다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다. 일부 실시예들에서, 서버는 (예를 들어, 클라이언트 디바이스와 상호 작용하는 사용자에게 데이터를 디스플레이하고 그와 같은 사용자로부터 사용자 입력을 수신하기 위한 목적으로) 클라이언트 디바이스에 데이터(예를 들어, HTML 페이지)를 송신한다. 클라이언트 디바이스에서 생성된 데이터(예를 들어, 사용자 상호 작용의 결과)는 서버에서 클라이언트 디바이스로부터 수신될 수 있다.
하나 이상의 컴퓨터의 시스템은, 동작 시에, 시스템으로 하여금 액션들을 수행하게 하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 시스템 상에 설치시킴으로써 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램은, 데이터 프로세싱 장치에 의해 실행될 때, 장치로 하여금 액션들을 수행하게 하는 명령어들을 포함함으로써 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다.
본 명세서는 많은 특정 구현의 세부 사항들을 포함하고 있지만, 이들은 임의의 발명들 또는 청구될 수 있는 것의 범위에 대한 제한으로 해석되어서는 안되며, 오히려 특정 발명들의 특정 구현들에 특정된 피쳐들의 설명들로서 해석되어야 한다. 별개의 구현들의 맥락에서 본 명세서에서 설명되는 특정 특징들은 또한 단일 구현들에서 조합하여 구현될 수 있다. 반대로, 단일 구현들의 맥락에서 설명되는 다양한 피쳐들은 다수의 구현들에서 별개로 또는 임의의 적절한 하위 조합으로 구현될 수도 있다. 또한, 피쳐들은 특정 조합들로서 작용하고 심지어 초기에는 이와 같이 청구되는 것으로 위에서 설명될 수 있지만, 일부 경우들에서, 청구되는 조합으로부터의 하나 이상의 피쳐가 조합으로부터 제거될 수 있고, 청구되는 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되어 있지만, 이것이 바람직한 결과들을 달성하기 위해 이러한 동작들이 도시된 특정 순서 또는 순차적인 순서로 수행되거나, 또는 모든 예시된 동작들이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황들에서는, 멀티태스킹 및 병령 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 이러한 분리를 필요로 하는 것으로 이해되어서는 안되고, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품 내에 함께 통합되거나 또는 다수의 소프트웨어 제품들에 패키징될 수 있다는 것이 이해되어야 한다.
따라서, 대상의 특정 구현들이 설명되었다. 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구범위에 인용된 액션들은 상이한 순서로 수행되어도, 여전히 바람직한 결과들을 달성할 수 있다. 또한, 첨부된 도면들에 도시된 프로세스들은 바람직한 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적인 순서를 반드시 필요로 하지는 않는다. 특정 구현들에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다.
Claims (18)
- 컴퓨터에 의해 구현되는 방법으로서,
사용자의 얼굴 영역의 이미지를 수신하는 단계 - 얼굴 영역은 눈 및 눈을 둘러싸는 영역을 포함함 -;
이미지를 프로세싱하여 (i) 얼굴 영역의 이미지에서 눈의 적어도 일부를 포함하는 안구 이미지 영역을 정의하는 단계 및 (ii) 얼굴 영역의 이미지에서 눈을 둘러싸는 영역의 적어도 일부를 각각이 포함하는 하나 이상의 안구 주위 이미지 영역을 정의하는 단계 - 이미지를 프로세싱하는 단계는:
복수의 각도들 각각에서, 이미지의 적어도 일부에 대한 가버 위상 이미지(Gabor phase image)를 계산하는 단계;
계산된 가버 위상 이미지들을 집성하여, 결합된 가버 위상 이미지를 형성하는 단계;
복수의 각도들 각각에서, 결합된 가버 위상 이미지의 국부적인 변화도(local gradient)를 계산하는 단계; 및
각각의 국부적인 변화도의 최대값을 유지하여, 강화된 이미지를 형성하는 단계에 의해 LGGP(local gradient Gabor pattern)를 사용하여 이미지의 적어도 일부를 강화하는 단계를 포함함 -;
안구 이미지 영역 및 하나 이상의 안구 주위 이미지 영역 중 적어도 하나에서 복수의 관심 포인트들을 식별하는 단계;
각각의 관심 포인트에 대해, 복수의 패턴화된 히스토그램 피쳐 디스크립터들의 결합에 기초하여, 피쳐 디스크립터를 생성하는 단계; 및
생성된 피쳐 디스크립터들을 바이오메트릭 템플릿에 저장하는 단계
를 포함하는 방법. - 제1항에 있어서, 특정 관심 포인트에 대한 피쳐 디스크립터를 생성하는 단계는 PH-EMR-LBP(patterned histogram of extended multi-radii local binary patterns), PH-EMR-CSLBP(patterned histogram of extended multi-radii center symmetric local binary patterns), 또는 PH-EMR-LTP(patterned histogram of extended multi-radii local ternary patterns)를 생성하는 단계를 포함하는 방법.
- 제2항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계;
이미지 영역 내의 각각의 픽셀에 대한 복수의 LBP(local binary pattern) 코드들을 계산하여, MR-LBP(multi-radii LBP) 이미지를 형성하는 단계;
MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계;
각각의 서브-영역 내의 각각의 MR-LBP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및
복수의 히스토그램들을 결합하여, PH-EMR-LBP 피쳐 디스크립터를 형성하는 단계
에 의해, PH-EMR-LBP 피쳐 디스크립터를 생성하는 단계를 포함하는 방법. - 제2항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계;
이미지 영역 내의 각각의 픽셀에 대한 복수의 CSLBP(center symmetric local binary pattern) 코드들을 계산하여, MR-CSLBP(multi-radii CSLBP) 이미지를 형성하는 단계;
MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계;
각각의 서브-영역 내의 각각의 MR-CSLBP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및
복수의 히스토그램들을 결합하여, PH-EMR-CSLBP 피쳐 디스크립터를 형성하는 단계
에 의해, PH-EMR-CSLBP 피쳐 디스크립터를 생성하는 단계를 포함하는 방법. - 제2항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계;
이미지 영역 내의 각각의 픽셀에 대한 복수의 LTP(local ternary pattern) 코드들을 계산하여, MR-LTP(multi-radii LTP) 이미지를 형성하는 단계;
MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계;
각각의 서브-영역 내의 각각의 MR-LTP 비트 위치의 빈도(frequency)들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및
복수의 히스토그램들을 결합하여, PH-EMR-LTP 피쳐 디스크립터를 형성하는 단계
에 의해, PH-EMR-LTP 피쳐 디스크립터를 생성하는 단계를 포함하는 방법. - 제2항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트에 대해 PH-EMR-LBP 피쳐 디스크립터, PH-EMR-CS-LBP 피쳐 디스크립터, 및 PH-EMR-LTP 피쳐 디스크립터를 계산하는 단계; 및
PH-EMR-LBP 피쳐 디스크립터, PH-EMR-CS-LBP 피쳐 디스크립터, 및 PH-EMR-LTP 피쳐 디스크립터를 결합하여, 결합된 피쳐 디스크립터를 형성하는 단계
를 포함하는 방법. - 제6항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 결합된 피쳐 디스크립터에 분산 분석(variance analysis)을 적용하여, 결합된 피쳐 디스크립터로부터의 피쳐들의 서브세트를 포함하는 상위(top) 피쳐 디스크립터를 형성하는 단계를 추가로 포함하는 방법.
- 제7항에 대해, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 상위 피쳐 디스크립터에 대해 차원 축소(dimensionality reduction)를 수행하여, 특정 관심 포인트에 대한 피쳐 디스크립터를 형성하는 단계를 추가로 포함하는 방법.
- 제1항에 있어서, 특정 패턴화된 히스토그램 피쳐 디스크립터를 생성 시에, 코너들이 있거나 또는 코너들이 없는 정사각형에 의해 정의되는 이웃을 사용하여 로컬 바이너리 패턴(local binary pattern) 또는 로컬 터너리 패턴(local ternary pattern) 피쳐 디스크립터들이 계산되는 방법.
- 컴퓨터-실행 가능한 지시를 저장하기 위한 적어도 하나의 메모리; 및
적어도 하나의 메모리 상에 저장된 지시를 실행하기 위한 적어도 하나의 프로세싱 유닛을 포함하고,
지시의 실행은:
사용자의 얼굴 영역의 이미지를 수신하는 단계 - 얼굴 영역은 눈 및 눈을 둘러싸는 영역을 포함함 -;
이미지를 프로세싱하여 (i) 얼굴 영역의 이미지에서 눈의 적어도 일부를 포함하는 안구 이미지 영역을 정의하는 단계 및 (ii) 얼굴 영역의 이미지에서 눈을 둘러싸는 영역의 적어도 일부를 각각이 포함하는 하나 이상의 안구 주위 이미지 영역을 정의하는 단계 - 이미지를 프로세싱하는 단계는:
복수의 각도들 각각에서, 이미지의 적어도 일부에 대한 가버 위상 이미지를 계산하는 단계;
계산된 가버 위상 이미지들을 집성하여, 결합된 가버 위상 이미지를 형성하는 단계;
복수의 각도들 각각에서, 결합된 가버 위상 이미지의 국부적인 변화도를 계산하는 단계; 및
각각의 국부적인 변화도의 최대값을 유지하여, 강화된 이미지를 형성하는 단계에 의해 LGGP(local gradient Gabor pattern)를 사용하여 이미지의 적어도 일부를 강화하는 단계를 포함함 -;
안구 이미지 영역 및 하나 이상의 안구 주위 이미지 영역 중 적어도 하나에서 복수의 관심 포인트들을 식별하는 단계;
각각의 관심 포인트에 대해, 복수의 패턴화된 히스토그램 피쳐 디스크립터들의 결합에 기초하여, 피쳐 디스크립터를 생성하는 단계; 및
생성된 피쳐 디스크립터들을 바이오메트릭 템플릿에 저장하는 단계
를 포함하는 동작을 수행하도록 적어도 하나의 프로세싱 유닛을 프로그래밍하는 시스템. - 제10항에 있어서, 특정 관심 포인트에 대한 피쳐 디스크립터를 생성하는 단계는 PH-EMR-LBP(patterned histogram of extended multi-radii local binary patterns), PH-EMR-CSLBP(patterned histogram of extended multi-radii center symmetric local binary patterns), 또는 PH-EMR-LTP(patterned histogram of extended multi-radii local ternary patterns)를 생성하는 단계를 포함하는 시스템.
- 제11항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계;
이미지 영역 내의 각각의 픽셀에 대한 복수의 LBP(local binary pattern) 코드들을 계산하여, MR-LBP(multi-radii LBP) 이미지를 형성하는 단계;
MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계;
각각의 서브-영역 내의 각각의 MR-LBP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및
복수의 히스토그램들을 결합하여, PH-EMR-LBP 피쳐 디스크립터를 형성하는 단계
에 의해, PH-EMR-LBP 피쳐 디스크립터를 생성하는 단계를 포함하는 시스템. - 제11항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계;
이미지 영역 내의 각각의 픽셀에 대한 복수의 CSLBP(center symmetric local binary pattern) 코드들을 계산하여, MR-CSLBP(multi-radii CSLBP) 이미지를 형성하는 단계;
MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계;
각각의 서브-영역 내의 각각의 MR-CSLBP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및
복수의 히스토그램들을 결합하여, PH-EMR-CSLBP 피쳐 디스크립터를 형성하는 단계
에 의해, PH-EMR-CSLBP 피쳐 디스크립터를 생성하는 단계를 포함하는 시스템. - 제11항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트를 포함하는 이미지 영역을 정의하는 단계;
이미지 영역 내의 각각의 픽셀에 대한 복수의 LTP(local ternary pattern) 코드들을 계산하여, MR-LTP(multi-radii LTP) 이미지를 형성하는 단계;
MR-LBP 이미지를 복수의 서브-영역들로 분할하는 단계;
각각의 서브-영역 내의 각각의 MR-LTP 비트 위치의 빈도들을 포함하는 복수의 히스토그램들을 도출하는 단계; 및
복수의 히스토그램들을 결합하여, PH-EMR-LTP 피쳐 디스크립터를 형성하는 단계
에 의해, PH-EMR-LTP 피쳐 디스크립터를 생성하는 단계를 포함하는 시스템. - 제11항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는,
특정 관심 포인트에 대해 PH-EMR-LBP 피쳐 디스크립터, PH-EMR-CS-LBP 피쳐 디스크립터, 및 PH-EMR-LTP 피쳐 디스크립터를 계산하는 단계; 및
PH-EMR-LBP 피쳐 디스크립터, PH-EMR-CS-LBP 피쳐 디스크립터, 및 PH-EMR-LTP 피쳐 디스크립터를 결합하여, 결합된 피쳐 디스크립터를 형성하는 단계
를 포함하는 시스템. - 제15항에 있어서, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 결합된 피쳐 디스크립터에 분산 분석을 적용하여, 결합된 피쳐 디스크립터로부터의 피쳐들의 서브세트를 포함하는 상위 피쳐 디스크립터를 형성하는 단계를 추가로 포함하는 시스템.
- 제16항에 대해, 특정 관심 포인트에 대해 피쳐 디스크립터를 생성하는 단계는, 상위 피쳐 디스크립터에 대해 차원 축소를 수행하여, 특정 관심 포인트에 대한 피쳐 디스크립터를 형성하는 단계를 추가로 포함하는 시스템.
- 제10항에 있어서, 특정 패턴화된 히스토그램 피쳐 디스크립터를 생성 시에, 코너들이 있거나 또는 코너들이 없는 정사각형에 의해 정의되는 이웃을 사용하여 로컬 바이너리 패턴 또는 로컬 터너리 패턴 피쳐 디스크립터들이 계산되는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562217660P | 2015-09-11 | 2015-09-11 | |
| US62/217,660 | 2015-09-11 | ||
| PCT/US2016/050999 WO2017044782A1 (en) | 2015-09-11 | 2016-09-09 | Image and feature quality, image enhancement and feature extraction for ocular-vascular and facial recognition, and fusing ocular-vascular with facial and/or sub-facial information for biometric systems |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197009324A Division KR102067947B1 (ko) | 2015-09-11 | 2016-09-09 | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200007085A KR20200007085A (ko) | 2020-01-21 |
| KR102131104B1 true KR102131104B1 (ko) | 2020-07-07 |
Family
ID=56940461
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207000837A KR102131104B1 (ko) | 2015-09-11 | 2016-09-09 | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
| KR1020187009807A KR101967123B1 (ko) | 2015-09-11 | 2016-09-09 | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
| KR1020197009324A KR102067947B1 (ko) | 2015-09-11 | 2016-09-09 | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187009807A KR101967123B1 (ko) | 2015-09-11 | 2016-09-09 | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
| KR1020197009324A KR102067947B1 (ko) | 2015-09-11 | 2016-09-09 | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
Country Status (14)
| Country | Link |
|---|---|
| US (3) | US10311286B2 (ko) |
| EP (1) | EP3347853A1 (ko) |
| JP (3) | JP6416438B2 (ko) |
| KR (3) | KR102131104B1 (ko) |
| CN (2) | CN110852160B (ko) |
| AU (3) | AU2016319775B2 (ko) |
| BR (2) | BR112018004755A2 (ko) |
| HK (1) | HK1251933A1 (ko) |
| MX (1) | MX2018003051A (ko) |
| PH (1) | PH12018500541A1 (ko) |
| RU (2) | RU2711050C2 (ko) |
| SG (2) | SG10202001382XA (ko) |
| TW (3) | TWI706266B (ko) |
| WO (1) | WO2017044782A1 (ko) |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10275902B2 (en) * | 2015-05-11 | 2019-04-30 | Magic Leap, Inc. | Devices, methods and systems for biometric user recognition utilizing neural networks |
| US10043071B1 (en) * | 2015-07-30 | 2018-08-07 | Morphotrust Usa, Llc | Automated document classification |
| US11329980B2 (en) | 2015-08-21 | 2022-05-10 | Veridium Ip Limited | System and method for biometric protocol standards |
| US10255040B2 (en) * | 2017-05-11 | 2019-04-09 | Veridium Ip Limited | System and method for biometric identification |
| US9830708B1 (en) | 2015-10-15 | 2017-11-28 | Snap Inc. | Image segmentation of a video stream |
| FR3046691B1 (fr) * | 2016-01-13 | 2019-03-29 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif de selection et description de points d'interets dans une sequence d'images, par exemple pour l'appariement de points d'interets |
| CA3015658A1 (en) | 2016-03-11 | 2017-09-14 | Magic Leap, Inc. | Structure learning in convolutional neural networks |
| US10733275B1 (en) * | 2016-04-01 | 2020-08-04 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
| US10956544B1 (en) | 2016-04-01 | 2021-03-23 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
| CH712399A2 (fr) * | 2016-04-27 | 2017-10-31 | Bron Christophe | Système d'identification biométrique basé sur les réseaux veineux et des codages uniques et non falsifiables de structures arborescentes et procédé associé. |
| FR3054905B1 (fr) * | 2016-08-04 | 2019-10-18 | Safran Identity & Security | Procede de generation de cle et procede de controle d'acces |
| US10262187B1 (en) * | 2016-11-10 | 2019-04-16 | Synaptics Incorporated | Systems and methods for spoof detection based on local binary patterns |
| US10565433B2 (en) * | 2017-03-30 | 2020-02-18 | George Mason University | Age invariant face recognition using convolutional neural networks and set distances |
| US10762335B2 (en) | 2017-05-16 | 2020-09-01 | Apple Inc. | Attention detection |
| CN107169535B (zh) * | 2017-07-06 | 2023-11-03 | 谈宜勇 | 生物多光谱图像的深度学习分类方法及装置 |
| CN107480488B (zh) * | 2017-07-18 | 2020-01-14 | Oppo广东移动通信有限公司 | 解锁控制方法及相关产品 |
| CN107492075B (zh) * | 2017-07-28 | 2019-12-10 | 浙江大学 | 一种基于细节增强的单张ldr图像曝光校正的方法 |
| CN109325393B (zh) | 2017-08-01 | 2022-12-09 | 苹果公司 | 使用单一网络的面部检测、姿态估计和距相机距离的估计 |
| WO2019027504A1 (en) | 2017-08-01 | 2019-02-07 | Apple Inc. | METHOD FOR UPDATING MODELS USED IN FACIAL RECOGNITION |
| CN109325394B (zh) | 2017-08-01 | 2022-06-21 | 苹果公司 | 确定稀疏图案照明与密集图案照明 |
| US10210381B1 (en) | 2017-08-01 | 2019-02-19 | Apple Inc. | Multiple enrollments in facial recognition |
| US10719692B2 (en) | 2017-09-09 | 2020-07-21 | Apple Inc. | Vein matching for difficult biometric authentication cases |
| US10552671B2 (en) * | 2017-11-22 | 2020-02-04 | King Fahd University Of Petroleum And Minerals | Multi-kernel fuzzy local Gabor feature extraction method for automatic gait recognition |
| US10579908B2 (en) * | 2017-12-15 | 2020-03-03 | Google Llc | Machine-learning based technique for fast image enhancement |
| US10510145B2 (en) | 2017-12-27 | 2019-12-17 | Industrial Technology Research Institute | Medical image comparison method and system thereof |
| CN108734085A (zh) * | 2018-03-27 | 2018-11-02 | 中国银联股份有限公司 | 虹膜识别方法及虹膜识别系统 |
| JP2019204288A (ja) | 2018-05-23 | 2019-11-28 | 富士通株式会社 | 生体認証装置、生体認証方法及び生体認証プログラム |
| US10769414B2 (en) | 2018-06-03 | 2020-09-08 | Apple Inc. | Robust face detection |
| US10303866B1 (en) | 2018-06-03 | 2019-05-28 | Apple Inc. | Automatic retries for facial recognition |
| TWI674557B (zh) * | 2018-07-31 | 2019-10-11 | 瑞昱半導體股份有限公司 | 影像處理裝置及其方法 |
| CN109389031B (zh) * | 2018-08-27 | 2021-12-03 | 浙江大丰实业股份有限公司 | 演出人员自动定位机构 |
| US11163981B2 (en) | 2018-09-11 | 2021-11-02 | Apple Inc. | Periocular facial recognition switching |
| EP3859663A4 (en) | 2018-09-27 | 2021-09-29 | NEC Corporation | IRIS DETECTION DEVICE, IRIS DETECTION METHOD AND STORAGE MEDIUM |
| CN112911988B (zh) * | 2018-10-09 | 2024-06-14 | 依视路国际公司 | 用于根据配戴者的视觉探索策略适配眼科设备的方法 |
| EP3651057B1 (fr) * | 2018-11-09 | 2023-06-14 | Tissot S.A. | Procede d'authentification faciale d'un porteur d'une montre |
| CN109766925B (zh) * | 2018-12-20 | 2021-05-11 | 深圳云天励飞技术有限公司 | 特征融合方法、装置、电子设备及存储介质 |
| CN109766809B (zh) * | 2018-12-29 | 2021-01-29 | 山东财经大学 | 一种改进的人眼检测及跟踪方法 |
| US10803343B2 (en) * | 2019-01-23 | 2020-10-13 | Ncku Research And Development Foundation | Motion-aware keypoint selection system adaptable to iterative closest point |
| US10796194B2 (en) * | 2019-01-23 | 2020-10-06 | Ncku Research And Development Foundation | Motion-aware keypoint selection system adaptable to iterative closest point |
| CN111666796B (zh) * | 2019-03-08 | 2023-04-07 | 财团法人成大研究发展基金会 | 适用于迭代最近点法的可察觉移动的关键点选择系统 |
| US10599934B1 (en) * | 2019-03-21 | 2020-03-24 | Alibaba Group Hoding Limited | Spoof detection using optokinetic response |
| FR3094122A1 (fr) * | 2019-03-22 | 2020-09-25 | Stmicroelectronics (Grenoble 2) Sas | Dispositif électronique de traitement d’images |
| US10853642B2 (en) * | 2019-03-22 | 2020-12-01 | Advanced New Technologies Co., Ltd. | Fusing multi-spectral images for identity authentication |
| CN110070037B (zh) * | 2019-04-22 | 2022-11-01 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110110637A (zh) * | 2019-04-25 | 2019-08-09 | 深圳市华嘉生物智能科技有限公司 | 一种人脸皮肤皱纹自动识别和皱纹严重程度自动分级的方法 |
| EP3973468A4 (en) | 2019-05-21 | 2022-09-14 | Magic Leap, Inc. | HANDPOSITION ESTIMATING |
| CN112102543A (zh) * | 2019-05-31 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 一种安检系统和方法 |
| CN110472479B (zh) * | 2019-06-28 | 2022-11-22 | 广州中国科学院先进技术研究所 | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 |
| JP7237768B2 (ja) * | 2019-08-02 | 2023-03-13 | 株式会社日立製作所 | 生体情報検出装置 |
| US11087444B2 (en) * | 2019-08-09 | 2021-08-10 | The Boeing Company | Field programmable gate array (FPGA) implementation and optimization of augmented contrast limited adaptive histogram equalization |
| JP7276481B2 (ja) * | 2019-10-01 | 2023-05-18 | 日本電信電話株式会社 | 移動端末及び通信品質予測方法 |
| US11348375B2 (en) | 2019-10-15 | 2022-05-31 | Assa Abloy Ab | Systems and methods for using focal stacks for image-based spoof detection |
| US11294996B2 (en) | 2019-10-15 | 2022-04-05 | Assa Abloy Ab | Systems and methods for using machine learning for image-based spoof detection |
| US11304645B2 (en) * | 2019-10-15 | 2022-04-19 | Biosense Webster (Israel) Ltd. | Local rendering based detail subset presentation |
| US10607077B1 (en) | 2019-10-28 | 2020-03-31 | EyeVerify Inc. | Identity authentication using an inlier neural network |
| KR20210071410A (ko) | 2019-12-06 | 2021-06-16 | 삼성전자주식회사 | 센서 특화 이미지 인식 장치 및 방법 |
| US11276153B2 (en) * | 2020-01-14 | 2022-03-15 | Adobe Inc. | Auto-complete image suggestions for image editing |
| KR102409790B1 (ko) * | 2020-01-30 | 2022-06-17 | 주식회사 알체라 | 생체정보 분산관리 시스템 및 이를 이용한 생체인식 방법 |
| DE102020202946A1 (de) | 2020-03-08 | 2021-09-09 | Volkswagen Aktiengesellschaft | Verfahren zum Bereitstellen des Zugangs zu einem Gerät sowie Kraftfahrzeug |
| CN111415397B (zh) * | 2020-03-20 | 2024-03-08 | 广州虎牙科技有限公司 | 一种人脸重构、直播方法、装置、设备及存储介质 |
| CN111507208B (zh) * | 2020-03-30 | 2021-06-25 | 中国科学院上海微系统与信息技术研究所 | 一种基于巩膜识别的身份验证方法、装置、设备和介质 |
| DE102020109171A1 (de) | 2020-04-02 | 2021-10-07 | Bundesdruckerei Gmbh | Integritätsprüfung eines Dokuments mit personenbezogenen Daten |
| JP7363675B2 (ja) * | 2020-06-15 | 2023-10-18 | 株式会社島津製作所 | イメージング質量分析装置、及びイメージング質量分析方法 |
| US11275959B2 (en) * | 2020-07-07 | 2022-03-15 | Assa Abloy Ab | Systems and methods for enrollment in a multispectral stereo facial recognition system |
| WO2022051775A1 (en) | 2020-09-04 | 2022-03-10 | Abova, Inc. | Method for x-ray dental image enhancement |
| US11689822B2 (en) | 2020-09-04 | 2023-06-27 | Altek Semiconductor Corp. | Dual sensor imaging system and privacy protection imaging method thereof |
| CN112329674B (zh) * | 2020-11-12 | 2024-03-12 | 北京环境特性研究所 | 基于多纹理特征融合的结冰湖泊检测方法和装置 |
| US20220193439A1 (en) * | 2020-12-17 | 2022-06-23 | Desmond Christopher Adler | Treatments for eye infection |
| US11921831B2 (en) | 2021-03-12 | 2024-03-05 | Intellivision Technologies Corp | Enrollment system with continuous learning and confirmation |
| TWI775356B (zh) * | 2021-03-19 | 2022-08-21 | 宏碁智醫股份有限公司 | 用於眼底圖的影像前處理方法及影像處理裝置 |
| TWI758162B (zh) * | 2021-04-15 | 2022-03-11 | 和碩聯合科技股份有限公司 | 生物形體的追蹤系統及方法 |
| WO2023041963A1 (en) * | 2021-09-20 | 2023-03-23 | Sensetime International Pte. Ltd. | Face identification methods and apparatuses |
| CN113785304A (zh) * | 2021-09-20 | 2021-12-10 | 商汤国际私人有限公司 | 人脸识别方法和装置 |
| EP4160548A1 (en) * | 2021-10-01 | 2023-04-05 | Amadeus S.A.S. | System and method for processing biometric characteristics |
| WO2023133072A2 (en) | 2022-01-07 | 2023-07-13 | Jumio Corporation | Biometric authentication using head-mounted devices |
| CN114936361A (zh) * | 2022-01-28 | 2022-08-23 | 中国银联股份有限公司 | 生物特征识别方法、服务器以及客户端 |
| CN116797500B (zh) * | 2022-03-14 | 2024-09-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质、电子设备及产品 |
| CN115442021A (zh) * | 2022-08-09 | 2022-12-06 | 中国银联股份有限公司 | 一种数据匹配方法、装置、系统、设备及介质 |
| US11762969B1 (en) * | 2023-01-12 | 2023-09-19 | King Saud University | Systems and methods for facilitating biometric recognition |
| CN115984952B (zh) * | 2023-03-20 | 2023-11-24 | 杭州叶蓁科技有限公司 | 基于球结膜血管图像识别的眼动跟踪系统及其方法 |
| CN117392225B (zh) * | 2023-12-06 | 2024-07-23 | 中导光电设备股份有限公司 | 一种显示屏检测区域位置校正的方法和系统 |
Family Cites Families (122)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
| US5303709A (en) | 1991-12-16 | 1994-04-19 | Dreher Andreas W | Retinal eye disease diagnostic system |
| US6095989A (en) | 1993-07-20 | 2000-08-01 | Hay; Sam H. | Optical recognition methods for locating eyes |
| US5632282A (en) | 1993-07-20 | 1997-05-27 | Hay; S. Hutson | Ocular disease detection apparatus |
| US6707484B1 (en) | 1994-07-28 | 2004-03-16 | Semiconductor Energy Laboratory Co., Ltd. | Information processing system |
| US6714665B1 (en) * | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
| JPH1063858A (ja) * | 1996-08-21 | 1998-03-06 | Oki Electric Ind Co Ltd | 個人識別方法及び個人識別装置 |
| AU5114498A (en) | 1996-12-04 | 1998-06-29 | Dew Engineering And Development Limited | Biometric security encryption system |
| JPH10340343A (ja) * | 1997-06-06 | 1998-12-22 | Oki Electric Ind Co Ltd | 個体識別装置 |
| JPH10340344A (ja) * | 1997-06-06 | 1998-12-22 | Oki Electric Ind Co Ltd | 個体識別装置 |
| US6185316B1 (en) | 1997-11-12 | 2001-02-06 | Unisys Corporation | Self-authentication apparatus and method |
| JP3315648B2 (ja) | 1998-07-17 | 2002-08-19 | 沖電気工業株式会社 | アイリスコード生成装置およびアイリス認識システム |
| KR100320188B1 (ko) | 1999-03-23 | 2002-01-10 | 구자홍 | 홍채인식 시스템의 위조 판별방법 |
| JP4519963B2 (ja) | 1999-06-21 | 2010-08-04 | 富士通株式会社 | 生体情報の暗号化・復号化方法および装置並びに、生体情報を利用した本人認証システム |
| US6839151B1 (en) | 2000-02-02 | 2005-01-04 | Zoran Corporation | System and method for color copy image processing |
| IL152756A0 (en) | 2000-05-16 | 2003-06-24 | Swisscom Mobile Ag | Biometric identification and authentication method |
| US7536557B2 (en) | 2001-03-22 | 2009-05-19 | Ensign Holdings | Method for biometric authentication through layering biometric traits |
| US6836554B1 (en) | 2000-06-16 | 2004-12-28 | International Business Machines Corporation | System and method for distorting a biometric for transactions with enhanced security and privacy |
| JP2002236666A (ja) * | 2001-02-09 | 2002-08-23 | Matsushita Electric Ind Co Ltd | 個人認証装置 |
| US7103200B2 (en) | 2001-03-05 | 2006-09-05 | Robert Hillhouse | Method and system for adaptively varying templates to accommodate changes in biometric information |
| US8284025B2 (en) | 2001-07-10 | 2012-10-09 | Xatra Fund Mx, Llc | Method and system for auditory recognition biometrics on a FOB |
| FR2831302A1 (fr) | 2001-10-19 | 2003-04-25 | St Microelectronics Sa | Codage d'informations concentriques |
| US7364296B2 (en) | 2002-06-12 | 2008-04-29 | University Of Rochester | Method and apparatus for improving both lateral and axial resolution in ophthalmoscopy |
| JP2004023733A (ja) | 2002-06-20 | 2004-01-22 | Canon Inc | 画像撮影装置及びその制御方法 |
| US7668351B1 (en) | 2003-01-17 | 2010-02-23 | Kestrel Corporation | System and method for automation of morphological segmentation of bio-images |
| WO2004073501A2 (en) | 2003-02-20 | 2004-09-02 | Gutin Mikhail | Optical coherence tomography with 3d coherence scanning |
| US7599524B2 (en) * | 2003-04-04 | 2009-10-06 | Sarnoff Corporation | Method and apparatus for providing a robust object finder |
| KR20050025927A (ko) * | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
| JP3945474B2 (ja) | 2003-11-28 | 2007-07-18 | 松下電器産業株式会社 | 眼画像入力装置および認証装置ならびに画像処理方法 |
| US7336806B2 (en) | 2004-03-22 | 2008-02-26 | Microsoft Corporation | Iris-based biometric identification |
| US7542590B1 (en) | 2004-05-07 | 2009-06-02 | Yt Acquisition Corporation | System and method for upgrading biometric data |
| US20050281440A1 (en) | 2004-06-18 | 2005-12-22 | Pemer Frederick A | Iris feature detection and sensor-based edge detection |
| US7155040B2 (en) | 2004-06-29 | 2006-12-26 | Bio-Key International, Inc. | Generation of quality field information in the context of image processing |
| US20060110011A1 (en) | 2004-11-19 | 2006-05-25 | Cohen Mark S | Method and apparatus for producing a biometric identification reference template |
| US20060120571A1 (en) * | 2004-12-03 | 2006-06-08 | Tu Peter H | System and method for passive face recognition |
| GB0427205D0 (en) | 2004-12-11 | 2005-01-12 | Ncr Int Inc | Biometric system |
| MX2007007561A (es) | 2004-12-22 | 2008-03-10 | Merkatum Corp | Metodo y sistema de autentificacion biometrica multimodal auto-adaptable. |
| WO2006078343A2 (en) | 2005-01-14 | 2006-07-27 | Ultra-Scan Corporation | Multimodal fusion decision logic system |
| KR101224408B1 (ko) * | 2005-01-26 | 2013-01-22 | 허니웰 인터내셔널 인코포레이티드 | 원격 홍채 인식 시스템 |
| RU2365995C2 (ru) * | 2005-01-31 | 2009-08-27 | Самсунг Электроникс Ко., Лтд. | Система и способ регистрации двухмерных изображений |
| US7327860B2 (en) | 2005-05-04 | 2008-02-05 | West Virginia University | Conjunctival scans for personal identification |
| US8370639B2 (en) | 2005-06-16 | 2013-02-05 | Sensible Vision, Inc. | System and method for providing secure access to an electronic device using continuous facial biometrics |
| JP4686284B2 (ja) | 2005-07-13 | 2011-05-25 | 日立オムロンターミナルソリューションズ株式会社 | 生体情報登録装置 |
| CN100336071C (zh) * | 2005-08-19 | 2007-09-05 | 清华大学 | 复杂背景图像中鲁棒的眼睛精确定位方法 |
| US7801335B2 (en) | 2005-11-11 | 2010-09-21 | Global Rainmakers Inc. | Apparatus and methods for detecting the presence of a human eye |
| US8260008B2 (en) | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
| US8005277B2 (en) | 2006-03-03 | 2011-08-23 | Research Foundation-State University of NY | Secure fingerprint matching by hashing localized information |
| US20070217708A1 (en) | 2006-03-20 | 2007-09-20 | International Business Machines Corporation | Method, system, and program product for transforming a biometric image |
| JP4961214B2 (ja) | 2006-03-29 | 2012-06-27 | 株式会社日立情報制御ソリューションズ | 生体認証方法およびシステム |
| RU2304307C1 (ru) * | 2006-03-29 | 2007-08-10 | Юрий Витальевич Морзеев | Способ идентификации человека по изображению его лица |
| WO2007124450A2 (en) | 2006-04-21 | 2007-11-01 | The Trustees Of The University Of Pennsylvania | Motion artifact compensation |
| US20070286462A1 (en) | 2006-04-28 | 2007-12-13 | David Usher | System and method for biometric retinal identification |
| KR100852629B1 (ko) | 2006-06-02 | 2008-08-18 | 연세대학교 산학협력단 | 다초점 영상 시퀀스를 이용한 홍채인식 시스템 및 방법 |
| US20070291277A1 (en) | 2006-06-20 | 2007-12-20 | Everett Matthew J | Spectral domain optical coherence tomography system |
| US8417960B2 (en) | 2006-09-06 | 2013-04-09 | Hitachi, Ltd. | Method for generating an encryption key using biometrics authentication and restoring the encryption key and personal authentication system |
| PL380581A1 (pl) | 2006-09-07 | 2008-03-17 | Naukowa I Akademicka Sieć Komputerowa | Sposób testowania żywotności oka i urządzenie do testowania żywotności oka |
| US7496174B2 (en) * | 2006-10-16 | 2009-02-24 | Oraya Therapeutics, Inc. | Portable orthovoltage radiotherapy |
| US20080298642A1 (en) | 2006-11-03 | 2008-12-04 | Snowflake Technologies Corporation | Method and apparatus for extraction and matching of biometric detail |
| KR100855631B1 (ko) * | 2006-12-26 | 2008-09-01 | (주)엔토시스 | 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 |
| JP4309926B2 (ja) * | 2007-03-13 | 2009-08-05 | アイシン精機株式会社 | 顔特徴点検出装置、顔特徴点検出方法及びプログラム |
| WO2008124832A1 (en) | 2007-04-10 | 2008-10-16 | University Of Rochester | Structured illumination for imaging of stationary and non-stationary, fluorescent and non-flourescent objects |
| US8831299B2 (en) * | 2007-05-22 | 2014-09-09 | Intellectual Ventures Fund 83 Llc | Capturing data for individual physiological monitoring |
| FI20070501A0 (fi) | 2007-06-21 | 2007-06-21 | Timo Tapani Lehto | Menetelmä ja järjestelmä ihmisen tunnistamiseksi |
| JP5110983B2 (ja) | 2007-06-29 | 2012-12-26 | 日立オムロンターミナルソリューションズ株式会社 | 生体認証処理システム |
| WO2009029757A1 (en) | 2007-09-01 | 2009-03-05 | Global Rainmakers, Inc. | System and method for iris data acquisition for biometric identification |
| RU2382408C2 (ru) * | 2007-09-13 | 2010-02-20 | Институт прикладной физики РАН | Способ и система для идентификации человека по изображению лица |
| RU2390844C2 (ru) * | 2007-10-22 | 2010-05-27 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет | Способ распознавания глаз на изображении и устройство для его реализации |
| JP5080944B2 (ja) | 2007-11-08 | 2012-11-21 | 興和株式会社 | パノラマ眼底画像合成装置及び方法 |
| ES2326205B1 (es) | 2007-11-27 | 2010-06-29 | Universidad Complutense De Madrid | Metodo y dispositivo para el reconocimiento de individuos basado en la imagen de la retina que incorpora como constante biometrica el area imagen del punto de fijacion. |
| US8532344B2 (en) | 2008-01-09 | 2013-09-10 | International Business Machines Corporation | Methods and apparatus for generation of cancelable face template |
| JP5277365B2 (ja) | 2008-04-06 | 2013-08-28 | 国立大学法人九州工業大学 | 個人認証方法及びそれに使用する個人認証装置 |
| US8238639B2 (en) | 2008-04-09 | 2012-08-07 | Cognex Corporation | Method and system for dynamic feature detection |
| KR100949801B1 (ko) | 2008-04-17 | 2010-03-30 | 한국전자통신연구원 | 퍼지볼트 시스템에서의 다항식 복원장치 및 그 방법 |
| US8079711B2 (en) | 2008-04-24 | 2011-12-20 | Carl Zeiss Meditec, Inc. | Method for finding the lateral position of the fovea in an SDOCT image volume |
| BRPI0913569A2 (pt) | 2008-06-06 | 2016-10-04 | Google Inc | anotação de imagens |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US8249314B2 (en) | 2008-06-16 | 2012-08-21 | International Business Machines Corporation | Anonymous and revocable fingerprint recognition |
| JP2010020594A (ja) * | 2008-07-11 | 2010-01-28 | Kddi Corp | 瞳画像認識装置 |
| ES2337866B2 (es) | 2008-07-24 | 2011-02-14 | Universidad Complutense De Madrid | Reconocimiento biometrico mediante estudio del mapa de superficie delsegundo dioptrio ocular. |
| US8090246B2 (en) * | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
| KR100996466B1 (ko) | 2008-10-09 | 2010-11-25 | 조선대학교산학협력단 | 비밀분산 기법을 이용한 지문정보 저장 장치, 비밀분산 기법을 이용한 지문 인증 시스템 및 비밀분산 기법을 이용한 지문 인증 방법 |
| US9226798B2 (en) | 2008-10-10 | 2016-01-05 | Truevision Systems, Inc. | Real-time surgical reference indicium apparatus and methods for surgical applications |
| US8514277B2 (en) | 2008-11-05 | 2013-08-20 | Dyer Holdings, Llc | Video infrared retinal image scanner |
| US20100142766A1 (en) | 2008-12-04 | 2010-06-10 | Alan Duncan Fleming | Image Analysis |
| US8280119B2 (en) | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
| KR20100073191A (ko) | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치 |
| US8768014B2 (en) | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
| US20100232659A1 (en) | 2009-03-12 | 2010-09-16 | Harris Corporation | Method for fingerprint template synthesis and fingerprint mosaicing using a point matching algorithm |
| GB2471192B (en) | 2009-06-15 | 2011-08-17 | Honeywell Int Inc | An iris and ocular recognition system using trace transforms |
| US8472681B2 (en) * | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| JP5287550B2 (ja) | 2009-07-01 | 2013-09-11 | 富士通株式会社 | 生体認証システム，生体認証方法，生体認証装置，生体情報処理装置，生体認証プログラムおよび生体情報処理プログラム |
| JP5729302B2 (ja) | 2009-09-09 | 2015-06-03 | 日本電気株式会社 | 生体認証システム、方法およびプログラム |
| KR101255555B1 (ko) | 2009-11-24 | 2013-04-17 | 한국전자통신연구원 | 보안성이 강화된 지문인식 방법 및 장치 |
| JP5218991B2 (ja) | 2009-12-08 | 2013-06-26 | 株式会社日立製作所 | 複数種類のテンプレートを用いた生体認証システム及び生体認証方法 |
| US8818048B2 (en) | 2010-01-22 | 2014-08-26 | Indiana University Research And Technology Corp. | System and method for cancelable iris recognition |
| WO2011111102A1 (ja) | 2010-03-10 | 2011-09-15 | 富士通株式会社 | 生体認証装置及び生体認証方法 |
| US8948467B2 (en) * | 2010-08-06 | 2015-02-03 | Honeywell International Inc. | Ocular and iris processing system and method |
| EP2651072A3 (en) | 2010-09-20 | 2013-10-23 | Security First Corp. | Systems and methods for secure data sharing |
| US8457370B2 (en) | 2011-01-20 | 2013-06-04 | Daon Holdings Limited | Methods and systems for authenticating users with captured palm biometric data |
| US8355544B2 (en) | 2011-02-01 | 2013-01-15 | Universidade Da Coruna-Otri | Method, apparatus, and system for automatic retinal image analysis |
| CN102844766B (zh) | 2011-04-20 | 2014-12-24 | 中国科学院自动化研究所 | 基于人眼图像的多特征融合身份识别方法 |
| US9323980B2 (en) | 2011-05-13 | 2016-04-26 | Microsoft Technology Licensing, Llc | Pose-robust recognition |
| US8385685B2 (en) * | 2011-06-08 | 2013-02-26 | Honeywell International Inc. | System and method for ocular recognition |
| CN104114080B (zh) * | 2011-10-17 | 2017-04-19 | 爱迪尔扫描有限责任公司 | 用于确定眼地形图的方法和设备 |
| US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| CN102496007B (zh) | 2011-12-02 | 2014-06-11 | 陈中山 | 人体身份识别仪 |
| US9082011B2 (en) * | 2012-03-28 | 2015-07-14 | Texas State University—San Marcos | Person identification using ocular biometrics with liveness detection |
| US8457367B1 (en) | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
| US8768049B2 (en) | 2012-07-13 | 2014-07-01 | Seiko Epson Corporation | Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model |
| US8369595B1 (en) | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
| US8483450B1 (en) | 2012-08-10 | 2013-07-09 | EyeVerify LLC | Quality metrics for biometric authentication |
| US8437513B1 (en) | 2012-08-10 | 2013-05-07 | EyeVerify LLC | Spoof detection for biometric authentication |
| CN104584070A (zh) * | 2012-08-28 | 2015-04-29 | 株式会社日立制作所 | 认证装置以及认证方法 |
| CN103679118B (zh) * | 2012-09-07 | 2017-06-16 | 汉王科技股份有限公司 | 一种人脸活体检测方法及系统 |
| US9171226B2 (en) * | 2012-09-26 | 2015-10-27 | Carnegie Mellon University | Image matching using subspace-based discrete transform encoded local binary patterns |
| CN104143078B (zh) * | 2013-05-09 | 2016-08-24 | 腾讯科技（深圳）有限公司 | 活体人脸识别方法、装置和设备 |
| US9076238B2 (en) | 2013-08-21 | 2015-07-07 | Seiko Epson Corporation | Intelligent weighted blending for ultrasound image stitching |
| US9053365B2 (en) * | 2013-09-16 | 2015-06-09 | EyeVerify, Inc. | Template update for biometric authentication |
| US8965066B1 (en) | 2013-09-16 | 2015-02-24 | Eye Verify LLC | Biometric template security and key generation |
| TWI557004B (zh) * | 2014-01-10 | 2016-11-11 | Utechzone Co Ltd | Identity authentication system and its method |
| US9939893B2 (en) * | 2014-02-25 | 2018-04-10 | EyeVerify Inc. | Eye gaze tracking |
| US9922238B2 (en) * | 2015-06-25 | 2018-03-20 | West Virginia University | Apparatuses, systems, and methods for confirming identity |
-
2016
- 2016-09-09 KR KR1020207000837A patent/KR102131104B1/ko active IP Right Grant
- 2016-09-09 KR KR1020187009807A patent/KR101967123B1/ko active IP Right Grant
- 2016-09-09 MX MX2018003051A patent/MX2018003051A/es unknown
- 2016-09-09 US US15/261,224 patent/US10311286B2/en active Active
- 2016-09-09 SG SG10202001382XA patent/SG10202001382XA/en unknown
- 2016-09-09 WO PCT/US2016/050999 patent/WO2017044782A1/en active Application Filing
- 2016-09-09 US US15/261,208 patent/US9836643B2/en active Active
- 2016-09-09 RU RU2019116007A patent/RU2711050C2/ru active
- 2016-09-09 KR KR1020197009324A patent/KR102067947B1/ko active IP Right Grant
- 2016-09-09 CN CN201910948427.7A patent/CN110852160B/zh not_active Expired - Fee Related
- 2016-09-09 RU RU2018112713A patent/RU2691195C1/ru active
- 2016-09-09 SG SG10202001380RA patent/SG10202001380RA/en unknown
- 2016-09-09 AU AU2016319775A patent/AU2016319775B2/en not_active Ceased
- 2016-09-09 EP EP16766809.4A patent/EP3347853A1/en not_active Ceased
- 2016-09-09 US US15/261,217 patent/US9721150B2/en active Active
- 2016-09-09 BR BR112018004755-4A patent/BR112018004755A2/pt active Search and Examination
- 2016-09-09 CN CN201680060614.6A patent/CN108351961B/zh not_active Expired - Fee Related
- 2016-09-09 JP JP2018512910A patent/JP6416438B2/ja not_active Expired - Fee Related
- 2016-09-09 BR BR122018007961-4A patent/BR122018007961B1/pt active IP Right Grant
- 2016-09-10 TW TW109111129A patent/TWI706266B/zh not_active IP Right Cessation
- 2016-09-10 TW TW109111130A patent/TWI706272B/zh not_active IP Right Cessation
- 2016-09-10 TW TW105129475A patent/TWI687832B/zh active
-
2018
- 2018-03-12 PH PH12018500541A patent/PH12018500541A1/en unknown
- 2018-09-03 HK HK18111261.9A patent/HK1251933A1/zh not_active IP Right Cessation
- 2018-10-03 JP JP2018188074A patent/JP6449516B2/ja active Active
- 2018-10-31 AU AU2018256555A patent/AU2018256555B2/en not_active Ceased
- 2018-12-05 JP JP2018227836A patent/JP6778247B2/ja not_active Expired - Fee Related
-
2019
- 2019-06-28 AU AU2019204639A patent/AU2019204639B2/en not_active Ceased
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102131104B1 (ko) | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 | |
| JP6599421B2 (ja) | バイオメトリック認証のための特徴抽出およびマッチングおよびテンプレート更新 | |
| BR122018007964B1 (pt) | Método implementado por computador e sistema |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |