KR100725771B1

KR100725771B1 - 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법

Info

Publication number: KR100725771B1
Application number: KR1020050088897A
Authority: KR
Inventors: 심현식; 박영경; 김중규; 김기완; 김익훈; 서해종
Original assignee: 삼성전자주식회사
Priority date: 2005-09-23
Filing date: 2005-09-23
Publication date: 2007-06-08
Anticipated expiration: 2025-09-23
Also published as: KR20070034327A

Abstract

본 발명은 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법에 관한 것으로, 특히 휴대용 단말기 사용자에 대하여 1차 인증 후에 특정 행동(특정 표정)을 요구하고 그에 따른 반응을 2차로 인증하여 서버와의 정보 전송 없이 정확한 얼굴 인식 및 인증이 가능한 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법에 관한 것이다.

휴대용 단말기, 얼굴 인식, 표정 요청, 2차 인증

Description

휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법{APPARATUS AND METHOD OF FACE RECOGNITION AND AUTHENTICATION FOR A MOBILE TERMINAL}

도 1은 본 발명에 따라 사용자 인식 및 인증을 구현하는 휴대용 단말기의 구성을 도시한 도면,

도 2는 본 발명에 따라 사용자에 대한 1차 인식 및 인증을 구현하는 휴대용 단말기의 구성을 도시한 도면,

도 3은 본 발명에 따라 사용자에 대한 2차 인식 및 인증을 구현하는 휴대용 단말기의 구성을 도시한 도면,

도 4는 본 발명에 따라 사용자에 대한 1차 및 2차 인식 및 인증을 구현하는 휴대용 단말기의 동작 과정을 나타내는 흐름도,

도 5는 본 발명에 따라 사용자에게 특정 방향으로의 이동을 요구하는 메시지가 표시부에 표시되는 것을 나타내는 휴대용 단말기 도면 및,

도 6은 본 발명에 따라 사용자에게 특정 표정을 요구함에 대한 반응에 따라 인증 성공과 실패 메시지가 표시부에 표시되는 것을 나타내는 휴대용 단말기 도면.

본 발명은 본 발명은 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법에 관한 것으로, 특히 휴대용 단말기 사용자(화상인식대상자)에 대하여 1차 인증 후에 특정 행동(특정 표정을 짓게 하는 등)요구하고 그에 따른 반응을 2차로 인증하는 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법에 관한 것이다.

최근 이동 통신 단말기 또는 개인 휴대 정보 단말기(Personal Digital Assistant : 이하 PDA라 함) 등의 휴대용 단말기가 많이 사용되고 있다. 이러한 휴대용 단말기는 통신 수단 이상의 가치를 실현하기 위한 도구로 개발되고 있으며 유비쿼터스(Ubiquitous)라는 새로운 패러다임의 등장은 이제 사용자가 언제 어디서나 원하는 서비스를 받고 누릴 수 있도록 하는 기술을 요구하고 있다. 이것은 불특정 다수에게 제공되는 광범위한 서비스의 범위를 넘어서서 서비스의 개인화 실현을 의미한다.

이러한 요구들을 충족시키기 위해서 사용자 인식이 필수적인 요소로 등장하고 있다. 사용자 인식방법으로서 최근 가장 많은 관심을 불러 모으고 있는 것이 생체 인식 방법이다. 생체 인식 방법은 기존의 ID(IDENTIFICATION)나 패스워드 입력과 달리 사용자가 보다 편리하게 이용할 수 있고 도용 가능성이 적다는 점에서 많은 장점을 가지고 있어 활발히 연구가 되고 있다. 이러한 생체 인식 방법은 얼굴, 지문, 홍채 등 다양한 인식방법이 존재하지만 그 중에서도 얼굴 인식이 높은 사용 자 편의성을 가지고 있고 고가의 센서가 아닌 현재 널리 보급되어 있는 카메라로 인식 시스템의 구현이 가능해 많은 주목을 받고 있으며 관련 연구가 활발히 진행되고 있다.

특히 얼굴은 사용자의 고유한 생체 정보임과 동시에 사용자의 감정을 가장 잘 표현한다는 점에서 장점을 가져 유비쿼터스 환경에 적용되고 휴대 단말기 인프라를 충족시키기에 가장 적합한 방법임을 말해 준다. 즉, 고가의 특정 센서가 아닌 디지털 카메라를 통해 얼굴 고유의 정보를 획득하고 사용자 인식의 범위를 넘어서 사용자의 표정 등을 획득해 보다 다양한 서비스의 제공이 가능해 지는 것이다.

종래의 발명으로 "단말기용 얼굴 기반 개인 신원 검증 방법 및 장치 {출원번호 : 2001-0003492, 출원일: 2001.01.20, 출원인 : (주) 워치비젼 정인수}가 있다. 이 발명은 카메라를 통하여 입력되는 사용자의 얼굴 영상과 미리 등록되어 있는 얼굴 영상을 자동 비교 및 검증하는 기술을 바탕으로 개인의 신원을 검증하는 방법 및 장치에 관한 것으로, 단말기 메모리에 미리 저장된 사용자의 얼굴 정보와 1차 검증을 통하여 사용자의 신원을 확인하고, 2차적으로 단말기에서 검증된 사용자 정보와 얼굴 정보를 암호화하고 통신망을 통하여 원격지의 서버로 전달하고, 원격지의 서버에서는 복호화 과정을 거쳐 전송된 데이터를 수신하고, 원격지 서버에 저장된 사용자의 얼굴 정보, 사용자의 기타 각종 정보와 2차 검증을 수행하는 것을 내용으로 한다.

종래의 다른 발명으로 "화상데이터 통신 단말기의 잠금기능 설정 및 해제 방법"{출원번호 2000-0014775)는 카메라를 통해 촬영된 사용자 얼굴영상을 획득하고 얼굴인식 처리부를 통해 사용자 얼굴정보 데이터를 추출하고, 추출된 사용자 얼굴정보 데이터를 메모리부에 저장하고 화상 데이터 통신 단말기를 등록된 사용자 이외에는 사용할 수 없는 잠금모드로 전환시키고, 추출된 사용자 얼굴정보 데이터와 메모리부에 저장된 사용자 얼굴정보 데이터를 비교하여 현재의 사용자가 등록된 사용자인지 확인하여 단말기의 잠금기능을 해제하고 통화모드로 전환하는 방법에 관한 것이다.

그러나 이들 방법은 원격지 서버와의 정보 교환단말기 자체에서 2차에 걸친 사용자 인식 및 인증을 함에 따라 검증에 시간이 많이 필요하고, 얼굴 인식과정에서 다양한 조명 변화에 대한 해결책을 제시하지 못하고 있는 문제가 있다.

따라서 다양한 조명환경 아래에서 이동 단말기기가 정확한 얼굴의 인식 및 인증 가능한 방법이 요구된다.

또한, 서버와의 정보 전송 없이 이동 단말기기 자체만으로 여러 차례 검증하여 정확한 얼굴의 인식 및 인증이 가능한 방법이 요구된다.

본 발명의 목적은 다양한 조명환경 아래에서 이동 단말기기가 정확한 얼굴의 인식 및 인증 가능한 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 서버와의 정보 전송 없이 이동 단말기기 자체만으로 여러 차례 검증하여 정확한 얼굴의 인식 및 인증이 가능한 방법 및 장치를 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명은 카메라가 촬영한 사용자의 입력 얼굴 영상의 밝기에 따라 상기 카메라에게 플래쉬를 동작하게 하거나 표시부에 사용자의 위치이동을 지시하는 기능을 가지며, 상기 사용자의 입력 얼굴 영상을 얼굴데이터베이스의 얼굴 영상과 비교하여 사용자의 1차 인증을 수행하는 얼굴인식부, 상기 얼굴인식부로부터 상기 1차 인증이 완료되었음을 통보받고, 상기 카메라가 촬영한 입력 표정 영상을 표정 데이터베이스의 표정 영상과 비교하여 2차 인증을 수행하는 표정인식부, 상기 얼굴인식부의 1차 인증 결과를 상기 표정인식부에 통보하게 제어하고, 상기 표정인식부의 2차 인증 결과를 표시부에 표시하게 제어하는 제어부 및 상기 2차 인증 결과를 표시하는 표시부를 포함하는 얼굴 인식 및 인증 장치를 포함하는 휴대용 단말기를 제공한다.

상기한 목적을 달성하기 위한 본 발명은 카메라가 촬영한 사용자의 입력 얼굴 영상의 밝기에 따라 상기 카메라에게 플래쉬를 동작하게 하거나 표시부에 사용자의 위치이동을 지시하는 조명처리 단계; 상기 사용자의 입력 얼굴 영상을 얼굴데이터베이스의 얼굴 영상과 비교하여 사용자의 1차 인증을 수행하는 1차 인증 단계, 상기 얼굴인식부의 1차 인증 결과를 상기 표정인식부에 통보하는 통보단계, 상기 얼굴인식부로부터 상기 1차 인증이 완료되었음을 통보받고, 상기 사용자에게 특정한 표정을 요구하고 상기 카메라가 촬영한 상기 특정한 표정에 대한 입력 표정 영상을 표정 데이터베이스의 표정 영상과 비교하여 2차 인증을 수행하는 2차 인증 단계 및 상기 표정인식부의 2차 인증 결과를 표시부에 표시하는 표시단계를 포함하는 휴대용 단말기의 얼굴 인증방법을 제공한다.

본 발명은 휴대용 단말기 사용자에 대하여 1차 인증 후에 특정 행동(특정 표정)을 요구하고 그에 따른 반응을 2차로 인증하여 서버와의 정보 전송 없이 정확한 얼굴 인식 및 인증이 가능하고, 또한, 휴대용 단말기가 자체적으로 주변 조명 환경을 인지하여 사용자로 하여금 최적의 인식 환경으로 유도하여 얼굴 인식을 함으로써 조명변화에 대처 가능한 휴대용 단말기용 얼굴 인식 및 인증 장치 및 방법에 관한 것이다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

아래에서 도 1내지 도 6을 참조하여 설명한다.

본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따라 사용자 인식 및 인증을 구현하는 휴대용 단말기의 구성을 도시한 도면이다. 도 1를 참조하면, 휴대용 단말기는 제어부(100), 카메라(102), 키패드(108), 표시부(104), 메모리(106), 기저대역처리부(110), RF 모듈(112), 안테나(114), 코덱(116), 마이크(120), 스피커(118), 얼굴인식부(115) 및 표정인식부(117)를 포함한다.

제어부(100)는 휴대용 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어, 음성통화 및 데이터통신을 위한 처리 및 제어를 수행한다. 이하의 설명에 있어서 통상적인 제어부(100)의 처리 및 제어에 관한 설명은 생략한다.

카메라(102)는 사용자의 얼굴 인식을 위하여 사용자 사진을 찍어 얼굴인식부 및 표정인식부(116)로 영상 데이터를 제공한다.

키패드(key pad)(108)는 0～9의 숫자키들과, 메뉴키(menu), 취소키(지움), 확인키, 통화키(TALK), 종료키(END), 인터넷 접속키, 네비게이션 키들(▲/▼/◀/▶) 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키입력 데이터를 제어부(100)로 제공한다.

표시부(104)는 상기 단말기의 (또는 인디케이터), 제한된 숫자와 문자들, 동화상(moving picture) 및 정화상(still picture) 등을 디스플레이 한다. 표시부(104)는 칼라 액정 디스플레이 장치(LCD : Liquid Crystal Display)를 사용할 수 있다.

메모리(106)는 이동통신 단말기의 전반적인 동작을 제어하기 위한 프로그램과, 동작 중에 발생되는 데이터를 일시 저장하고, 저장용 데이터(전화번호, SMS 메시지, 화상 데이터 등) 및, 통화 기록을 저장한다.

RF모듈(Radio Frequency module)(112)은 안테나(114)를 통해 수신되는 무선주파수 신호를 주파수 하강시켜 기저대역처리부(110)로 제공하고, 기저대역처리부(110)의 기저대역신호를 주파수 상승시켜 안테나(114)를 통해 송신한다. 기저대역처리부(110)는 RF모듈(112)과 제어부(100) 사이에 송수신되는 기저대역 신호를 처 리한다. 예를 들어, 송신인 경우 송신할 데이터를 채널코딩(channel coding) 및 확산(spreading)하는 기능을 수행하고, 수신인 경우 수신신호를 역확산(despreading) 및 채널복호(channel decoding)하는 기능을 수행한다.

상기 제어부(100)에 연결된 오디오 코덱(CODEC : Coder-Decoder)(116)과, 코덱(116)에 접속된 마이크(120) 및 스피커(118)는 음성 통화에 사용되는 음성 입출력 블록이다. 코덱(116)은 제어부(100)에서 제공되는 PCM 데이터를 아날로그 음성신호로 변환하여 스피커(118)를 통해 송출하고, 상기 마이크(120)를 통해 수신되는 음성신호를 PCM데이터로 변환하여 상기 제어부(100)로 제공한다.

얼굴인식부(115)와 표정인식부(117)에 대해서는 아래에서 자세히 설명한다.

도 2는 본 발명에 따라 사용자에 대한 1차 인식 및 인증을 구현하는 휴대용 단말기의 구성을 도시한 도면이다. 구체적으로는 휴대용 단말기에서 사용자 인식 및 인증을 하기 위해 사용자의 얼굴을 인식하는 얼굴 인식부(115)를 나타낸다. 상기 얼굴 인식부(115)는 휴대용 단말기에 있는 카메라(102)로부터 영상을 입력받는 입력 영상부(110), 입력영상이 밝기에 따라 주변 환경의 조명변화가 필요하다고 판단하는 경우에는 카메라(102)에게 플래쉬를 동작하게 하거나 표시부에 사용자의 위치이동을 지시하는, 즉, 입력 영상의 조명처리를 해주는 조명프로세서(220), 얼굴검출을 위한 입력 영상의 정규화를 수행하는 영상 정규화부(230), 얼굴영상의 검출을 위한 얼굴 검출부(240), 검출된 얼굴영상을 등록하기 위한 얼굴 등록부(150), 검출된 얼굴영상을 얼굴데이터베이스의 얼굴영상과 비교하여 1차 인증하기 위한 얼굴인증부(260), 얼굴정보를 저장하기 위한 얼굴데이터베이스(270), 1차 인증결과를 사용자에게 알려 주는 표시부(280)로 구성된다. 상기 표시부는 도 1의 표시부(104)로 대체 가능하다.

도 3은 본 발명에 따라 사용자에 대한 2차 인식 및 인증을 구현하는 휴대용 단말기의 구성을 도시한 도면이다. 즉, 휴대용 단말기에서 사용자에 대한 2차 인식 빛 인증을 위해 표정을 인식하는 표정 인식부(117)를 나타낸다. 표정 인식부(117)는 얼굴 인식부(115)와 같이 카메라(102)로부터 영상을 입력받는 입력 영상부(310), 입력영상이 밝기에 따라 주변 환경의 조명변화가 필요하다고 판단하는 경우에는 카메라(102)에게 플래쉬를 동작하게 하거나 표시부에 사용자의 위치이동을 지시하는, 즉, 입력 영상의 조명처리를 해주는 조명프로세서(320), 표정 검출을 위한 영상의 정규화를 수행하는 영상 정규화부(330), 표정 영상의 검출을 위한 표정 검출부(340), 표정데이터베이스의 표정 영상정보와 검출된 입력 표정영상을 비교하여 2차 인증을 하는 표정인증부(350), 표정 영상정보를 저장하기 위한 표정데이터베이스(360), 2차 인증결과를 사용자에게 알리는 표시부(370), 검증결과에 따라 단말기의 동작을 제어하는 단말기 제어부(380)로 구성된다. 상기 표시부(370)는 도 1의 표시부(104)로 대체 가능하다.

도 4는 본 발명에 따라 사용자에 대한 1차 및 2차 인식 및 인증을 구현하는 휴대용 단말기의 동작 과정을 나타내는 흐름도이다. 먼저, 카메라(102)가 촬영한 얼굴 영상을 입력한다(410). 다음에는 얼굴인식부(115)의 조명프로세서(220)에서 입력 얼굴 영상의 밝기에 따라 주변 환경의 조명변화가 필요여부를 판단하는 환경적합성 판단단계를 진행한다(420). 만약, 입력 얼굴 영상이 어둡다고 판단하는 경 우에는 카메라(102)에게 플래쉬를 동작하게 하고, 너무 밝다고 판단하는 경우에는 표시부에 사용자의 위치이동(약간 어두운 곳으로의)을 지시하는 이동명령을 한다(440). 즉, 입력된 영상의 전체적인 밝기 측정을 하고, 영상이 전체적으로 어둡거나 편광으로 인해 얼굴 검출이 어려울 경우에 조명을 밝게 해 주고, 반대로 영상이 너무 밝아서 얼굴 검출이 어려울 경우에는 표시부에서 사용자에게 약간 어두운 곳으로 장소를 이동할 것을 지시한다. 이후 동일한 환경적합성 판단 단계를 거친다(450). 다음에는 얼굴 인식부에서 얼굴 검출(430)과 영상정규화(460)과정을 거쳐 검출된 얼굴영상을 얼굴데이터베이스의 얼굴영상과 비교하여 1차 인증하는 1차 인증단계를 진행한다(470). 1차 인증이 완료된 경우에는 얼굴인식부는 제어부를 통하여 표정인식부에게 1차 인증과정이 완료되었음을 통보한다. 다음에는 같은 얼굴 인증과정과 동일한 과정을 통하여 표정을 인증하는 2차 인증 단계를 진행한다(480). 즉, 표정인식부에서 사용자에게 임의의 표정을 요구하고, 그 표정을 카메라가 촬영한다. 다음에 위 얼굴 인증과정과 동일한 과정을 거쳐 표정 영상을 정규화하고, 입력된 표정 영상을 기존에 등록된 표정 데이터베이스와 비교하여 2차 인증(490)을 진행한다. 물론 1차 인증과 2차 인증에서 실패한 경우에는 인증실패(480,491)가 되어 사용자의 사용이 허락되지 않는다. 1차 인증과 2차 인증이 모두 통과되는 경우에는 인증이 완료되어 사용자에게 휴대용 단말기의 사용권한이나 액세스 권한을 부여(343)한다.

도 5는 본 발명에 따라 사용자에게 특정 방향으로의 이동을 요구하는 메시지가 표시부에 표시되는 것을 나타내는 휴대용 단말기 도면이다. 즉, 영상이 입력되 고 나면 주변 환경의 밝기 정도에 따라 주변이 너무 어두워서 검출 및 인식이 어려울 경우, 카메라에 부착된 조명모듈이 동작하여 밝기를 조절하거나 표시부를 통해 사용자에게 약간 더 밝은 곳으로 움직여 줄 것을 요청하고 반면에, 주변이 너무 밝아서 검출 및 인식이 어려울 경우, 표시부를 통해 사용자에게 약간 더 어두운 곳으로 이동해 줄 것을 요청해 주는 실시 예를 보여 준다.

도 6은 본 발명에 따라 사용자에게 특정 표정을 요구함에 대한 반응에 따라 인증 성공과 실패 메시지가 표시부에 표시되는 것을 나타내는 휴대용 단말기 도면이다. 즉, 본 발명에 따라 사용자에게 특정 표정을 요구함에 대한 반응에 따라 인증 성공과 실패 메시지가 표시부에 표시되는 것을 나타내는 휴대용 단말기 도면이다. 1차 인증을 완료하면, 사용자의 2차 인증을 위하여 사용자에게 임의의 표정을 요청한 후 요청한 대로 표정을 지었을 경우 사용자임을 최종적으로 인증하는 방법을 실시 예로 보여 준다.

이와 같이 본 발명은 별도의 서버와의 정보 전송 없이 이동 단말기기 자체에서 사용자 인식 및 인증을 통해 사용자의 신원을 검증하는 방법 및 그 장치에 관한 것으로, 휴대용 단말기가 자체적으로 주변 조명 환경을 인지하여 최적의 인식 환경을 조성하고, 입력된 얼굴을 이미 등록된 얼굴과 비교하여 1차 인식 및 인증을 거치고 난 후 사용자에게 임의의 표정을 요청하여 2차 검증을 가능하게 한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

본 발명은 휴대용 단말기 사용자에 대하여 1차 인증 후에 특정 행동(특정 표정)을 요구하고 그에 따른 반응을 2차로 인증하여 서버와의 정보 전송 없이 정확한 얼굴 인식 및 인증이 가능하게 하고, 또한, 주변 조명 환경을 인지하여 조명 변화에 따른 얼굴 인식 및 인증이 가능한 휴대용 단말기를 제공함으로써 타인의 휴대용 단말기의 무단 사용방지, 나아가 사진에 의한 타인의 얼굴도용 방지기능도 제공하는 방법 및 장치를 제공한다.

Claims

얼굴 영상을 저장하는 얼굴 데이터 베이스;

카메라가 촬영한 사용자의 입력 얼굴 영상의 밝기에 따라 상기 카메라에게 플래쉬를 동작하게 하거나 표시부에 사용자의 위치이동을 지시하는 기능을 가지며, 입력 얼굴 영상을 상기 얼굴 데이터베이스의 얼굴 영상과 비교하여 사용자의 1차 인증을 수행하는 얼굴인식부;

다수의 표정 영상들을 저장하는 표정 데이터베이스;

상기 얼굴인식부로부터 상기 1차 인증이 완료되었음을 통보받으면, 상기 다수의 표정 영상들 중 임의로 하나의 특정한 표정을 사용자에게 요구하고 상기 카메라가 촬영한 상기 특정한 표정에 대한 입력 표정 영상을 표정 데이터베이스의 표정 영상과 비교하여 2차 인증을 수행하는 표정인식부;

상기 얼굴인식부의 1차 인증 결과를 상기 표정인식부에 통보하게 제어하고, 상기 표정인식부의 2차 인증 결과를 표시부에 표시하게 제어하는 제어부 및;

상기 2차 인증 결과를 표시하는 표시부를 포함하는 얼굴 인식 및 인증 장치를 포함하는 휴대용 단말기.
제1항에 있어서,

상기 얼굴 인식부는 상기 카메라로부터 얼굴 영상을 입력받는 입력 영상부,

상기 입력된 영상이 기준보다 어둡다고 판단하는 경우에는 플래쉬를 동작하게 하고, 상기 입력된 영상이 기준보다 밝다고 판단하는 경우에는 사용자의 위치 이동을 지시하는 조명프로세서를 포함하는 것을 특징으로 하는 얼굴 인식 및 인증 장치를 포함하는 휴대용 단말기.
제1항에 있어서,

상기 표정 인식부는 상기 카메라로부터 얼굴 영상을 입력받는 입력 영상부,

상기 입력된 영상이 기준보다 어둡다고 판단하는 경우에는 플래쉬를 동작하게 하고, 상기 입력된 영상이 기준보다 밝다고 판단하는 경우에는 사용자의 위치 이동을 지시하는 조명프로세서를 포함하는 것을 특징으로 하는 얼굴 인식 및 인증 장치를 포함하는 휴대용 단말기.
카메라가 촬영한 카메라가 촬영한 사용자의 입력 얼굴 영상의 밝기에 따라 상기 카메라에게 플래쉬를 동작하게 하거나 표시부에 사용자의 위치이동을 지시하는 조명처리 단계;

상기 사용자의 입력 얼굴 영상을 얼굴데이터베이스의 얼굴 영상과 비교하여 사용자의 1차 인증을 수행하는 1차 인증 단계;

상기 얼굴인식부의 상기 1차 인증 결과를 상기 표정인식부에 통보하는 통보단계 및;

상기 얼굴인식부로부터 상기 1차 인증이 완료되었음을 통보받으면, 저장된 다수의 표정 영상들 중 임의로 하나의 특정한 표정을 사용자에게 요구하고 상기 카메라가 촬영한 상기 특정한 표정에 대한 입력 표정 영상을 표정 데이터베이스의 표정 영상과 비교하여 2차 인증을 수행하는 2차 인증 단계를 포함하는 휴대용 단말기의 얼굴 인증방법.
제4항에 있어서,

상기 2차 인증단계 다음에 상기 표정인식부의 2차 인증 결과를 표시부에 표시하는 표시단계를 더 포함하는 것을 특징으로 하는 휴대용 단말기의 얼굴 인증방법.