KR100698380B1 - 능동적 다중 카메라를 통한 다중 생체정보 및 환경정보 처리 시스템 및 방법 - Google Patents

Abstract

본 발명은 사람의 복수의 생체정보와 동작 환경정보를 동시에 인식하는 다중 생체정보 처리 시스템으로서, 얼굴과 음성을 인식하는 제1 인식 처리부와, 사람의 움직임 추적 및 동작 환경 인식을 위한 제2 인식 처리부와, 사람의 생체정보를 사전에 저장하고 있는 DB와, 상기 제1 및 제2 인식 처리부로부터 인식 정보를 수신하여 상기 DB내 저장된 생체정보와 비교하여 인증 여부를 결정하고, 상기 인식 정보를 소정의 포맷에 따라 상기 DB 또는 별도의 DB에 통합 저장하는 인증 및 저장부를 포함한다. 아울러, 오디오, 비디오 정보를 포함하는 상기 인식 정보를 소정의 전송 포맷에 부합되게 구성하여 외부로 전송하는 전송부를 더 포함한다.

다중 생체 인식, 능동적 인식, 단어, 인증, 인식 정보 전송, 카메라.

Description

능동적 다중 카메라를 통한 다중 생체정보 및 환경정보 처리 시스템 및 방법{Multi-Biometrics System and method through active multi-camera}

도 1 내지 5는 종래의 생체정보 인식 시스템을 설명하기 위한 도면.

도 6은 본 발명에 따른 다중 생체정보 처리 시스템의 블록도.

도 7은 본 발명에 따른 다중 생체정보 처리 흐름도.

도 8은 본 발명에 따라 통합 저장되는 생체정보 및 환경정보의 데이터 포맷의 예시도.

도 9은 본 발명에 따라 소정의 전송 포맷에 부합되게 구성된 송신용 정보의 데이터 포맷의 예시도.

도 10은 본 발명에 따른 다중 생체정보 처리 시스템의 송신 처리 흐름도.

<도면의 주요부분에 대한 부호의 설명>

600: 얼굴 및 음성 인식부 601: 카메라

602: 영상 입력부 603: 얼굴영역 검출부

604: 얼굴 추적부 605: 마이크

606: 음성 인식부 610: 움직임 추적 및 환경 인식부

611: 카메라 612: 영상 입력부

613: 움직임 추적부 614: 정보 축출부

615: 사물 인식부 620: 저장 및 인증부

621: 정보 입력부 622: 인증부

623: 상황 인식부 624: 정보 저장부

630: 통신부 631: 정보 입력부

632: 패킷화부 633: 다중화부

본 발명은 생체정보 처리 시스템 및 방법에 관한 것으로서, 구체적으로는 하나 이상의 능동적 카메라와 마이크를 이용하여 사용자의 적극적 협조 행위 없이도 자동적으로 생체정보를 획득, 인식하고 필요한 경우 외부로 전송하는 시스템 및 방법에 관한 것이다.

정보화 사회가 성숙되어 갈수록 보안 및 인증 기술의 필요성이 요구되고 있으며, 이에 따라 사용자 인식에 관한 다양한 접근 방식이 개발되어 왔다. 그 중 얼굴 형상, 홍채, 지문, 음성 등 신체적 특성을 인식하는 생체정보 인식 방식은 높은 신뢰도를 가지고, 사용자가 부가적인 장치를 휴대하지 않아도 되는 장점이 있으며 사용자의 거부감을 감소시키고 편의성을 증진시킬 수 있는 면에서 주목받고 있는 분야이다.

최근 들어서는 하나의 생체정보만을 이용하던 것에서, 신뢰도 향상 또는 인식 효율의 증대를 위하여 복수 개의 생체정보를 인식하는 방식이 다수 개시되고 있 다. 즉, 얼굴 인식은 빠르지만 신뢰성이 떨어지고, 지문 인증은 데이터베이스 인출에 있어서 비효율적이므로, 이러한 단점을 보안하기 위해 얼굴, 지문 및 음성 등을 통한 다중 생체측정시스템이 개발되었고, 반응시간 단축과 정확성을 향상시키게 되었다.

예컨대, 한국 공개특허 제10-2004-0048115호(이동통신 네트워크에서 인증을 위한 다중생체정보의 송수신 장치 및 방법)는 이동통신 네트워크 상에서의 인증을 위한 다중생체정보를 송수신하기 위한 장치 및 방법을 개시하고 있다. 도 1 및 도 2를 참조하여 위 공개 특허의 구성 및 처리 흐름을 살펴보면, 인증 서버에서 인증을 위한 생체정보(홍채, 얼굴, 정맥, 손모양)를 요구하면 이동 단말기에서 여러 인식 장치를 이용하여 사용자가 생체정보를 서버로 전송하고, 인증 서버에서는 사용자에 의해 획득된 정보를 바탕으로 인증을 실시한다. 인증여부를 다시 사용자 단말기에 전송하여 서비스를 허용 또는 거부시킨다.

한편, 한국 공개특허 제10-2004-0048048호(다중 생체정보를 이용한 인증방법 및 USB 인증키 장치)는 USB 포트가 구비된 인증 장치(인증키)에 사용자의 다중 생체정보(지문, 이미지, 음성 등)를 사전에 저장하고 이 USB 인증키를 이용하여 인증을 수행하는 방식을 개시하고 있다. 도 3에 도시된 바와 같이, 사용자가 인증을 필요로 할 경우, USB 인증키를 이용하여 인증 시스템과 통신을 하게 되고, 최종적으로 인증 시스템이 USB 인증키의 미리 등록 되어 있는 생체정보를 비교하여, 서비스의 허용 여부를 판별한다. 도 4는 위 공개 특허의 구성도로서, 얼굴 영상, 지문, 음성 특징을 저장, 인식할 수 있는 수단과 USB 통신부를 인증 시스템(110)과 USB키 (120)에 구비하고 인증 필요시 인증 시스템(110)과 USB키(120) 사이의 USB 통신에 의하여 USB키에 저장된 얼굴, 지문, 음성의 특성 정보가 인증 시스템에 전달되어 상호 대비를 거쳐 인증 과정을 수행하도록 구성되어 있음을 알 수 있다.

다른 종래 기술의 예로서, 한국 공개특허 제10-2004-0048114호( 휴대용 단말기에서 다중생체인식을 통한 인증 장치 및 방법)은 홍채, 얼굴, 정맥 및 손모양 중 적어도 하나 이상 촬영이 가능한 장치를 구비한 휴대용 단말기를 사용하고자 할 경우, 사용자의 다중생체정보(홍채, 얼굴, 정맥, 손모양)로부터 특징정보를 추출하여, 추출된 특징정보들과 미리 등록되어 있는 특징정보들을 매칭하여 인증여부를 결정하는 방식을 개시하고 있다. 도 5를 참조하여 처리 흐름을 살펴보면, 위 공개특허는 하나의 생체정보에 대한 인식이 완료되면 다른 생체정보에 대한 인식 처리를 수행하고, 인식된 하나 이상의 생체정보에 기초하여 인증 여부를 결정한다.

전술한 종래 기술은 하나의 생체정보를 이용할 경우 생기는 인식률 저하를 방지하기 위해 복수의 생체정보를 이용하여 인물에 대한 인증률을 높이고 있다. 그러나, 하나의 생체정보를 인식하는 방식이나 복수의 생체정보를 인식하는 방식 모두 인식 대상자의 적극적 행동, 예컨대 센서부에 손가락을 대거나 얼굴, 또는 눈을 위치시키거나, 정해진 단어를 발음하는 등이 요구된다. 대상 인물이 인증을 받기 위해서는, 능동적 동작을 통해, 여러 생체정보를 입력해야 하거나 또는 미리 자신의 생체정보를 소지하고 있어야 하는 단점이 있다. 아울러 사용자의 적극적 행위를 요구한다는 점에서 사용자에게 거부감을 줄 수 있다.

따라서, 종래의 생체인식 방식은 사용자 인증에는 이용될 수 있으나, 모니터 링 등 인증 이외의 분야에서는 이용되기 어렵다.

한편, 주어진 환경에서 인물에 대한 인증이 이루어진 후, 필요에 따라 비디오 및 오디오와 동시에 인증된 인물에 대한 신상이 또 다른 시스템으로 전송되어야 하는 경우가 있다. 한국 공개특허 제10-2004-0048115호(이동통신 네트워크에서 인증을 위한 다중생체정보의 송수신 장치 및 방법)는 생체정보의 송수신 시스템을 정의하고 있으나 위 공개특허의 목적이 인증에 국한된 것이므로, 인증 정보만을 전송하는 것을 시사하고 있을 뿐 모니터링 등에 이용될 수 있는 비디오 및 오디오를 동시에 전송할 수 있는 방법 및 구체적 데이터 유형이 제시되어 있지 않다. 또한 기존 구현되어 있는 시스템과의 연동성이 떨어지는 단점이 있다.

따라서, 생체정보의 다양한 활용, 즉 인증 또는 모니터링 등을 위하여 사용자의 적극적 또는 능동적 인증 행위를 요하지 아니하면서, 사용자의 생체정보를 정확히 인식하고 획득된 생체정보를 오디오 및 비디오 정보와 함께 기존 통신 시스템과의 연동성을 유지하면서 송수신 할 수 있는 시스템을 제공하는 것은 매우 이로운 일이다.

전술한 종래 기술의 문제점을 해결하기 위하여, 본 발명은 자동 추적 기능이 있는 하나 이상의 카메라를 이용하여 인물의 능동적 동작 없이도 여러 인물에 대한 생체정보(음성, 얼굴, 키 높이, 손동작) 및 환경정보(인물의 위치 및 출입시간, 소지한 물건)를 동시에 획득하고, 이러한 정보를 바탕으로 인물을 실시간으로 인식하여, 인식된 정보 및 인증된 결과를 다른 시스템으로 전송할 수 있는 효율적인 시스 템 및 방법을 제공하는 데 있다.

상기 기술적 과제를 달성하기 위하여, 본 발명은 사람의 복수의 생체정보와 동작 환경정보를 동시에 인식하는 다중 생체정보 처리 시스템으로서, 얼굴과 음성을 인식하는 제1 인식 처리부와, 사람의 움직임 추적 및 동작 환경 인식을 위한 제2 인식 처리부와, 사람의 생체정보를 사전에 저장하고 있는 DB와, 상기 제1 및 제2 인식 처리부로부터 인식 정보를 수신하여 상기 DB내 저장된 생체정보와 비교하여 인증 여부를 결정하고, 상기 인식 정보를 소정의 포맷에 따라 상기 DB 또는 별도의 DB에 통합 저장하는 인증 및 저장부를 포함하는 다중 생체정보 처리 시스템을 제공한다.

본 발명의 다른 면에 따라, 상기 통합 저장된 인식 정보의 적어도 일부를 포함하고 소정의 통신 포맷에 부합되도록 구성된 송신용 정보를 생성하고 송신하는 송신부를 더 포함할 수 있다. 상기 송신용 정보는 MPEG-4 오버 MPEG-2 포맷에 부합되는 것이 바람직하다.

본 발명의 또 다른 일 특징에 따라, 복수의 생체 인식 정보와 동작 환경정보를 수집하고 전송하는 다중 생체정보 전송 시스템으로서, 이동 중인 얼굴 영상의 포착 및 추적이 가능한 것으로서, 사람의 얼굴 영상 획득을 위한 제1 카메라와, 사람의 신체적 특징과 동작 상태 및 동작 환경 영상 획득을 위한 제2 카메라와, 사람의 음성 및/또는 주변의 음향을 수집하기 위한 마이크와, 상기 카메라 및 마이크로부터의 데이터를 소정의 알고리즘에 따라 인식하여 생체정보와 환경정보를 생성하 고 이를 통합 저장하는 인식 처리 및 저장부와, 상기 인식 처리 및 저장부로부터 전달된 인식 정보를 소정의 통신 규격에 부합되게 구성하고 이를 전송하는 송신부를 포함하는 다중 생체정보 전송 시스템에 제공된다.

아울러, 본 발명은 사람의 복수의 생체정보와 동작 환경정보를 동시에 인식하는 다중 생체정보 처리 방법으로서, 얼굴과 음성 특성을 포함하는 기본 생체정보를 인식하는 생체 인식 단계와, 사람의 움직임 추적 및 동작 환경 인식을 위한 환경 인식 단계와, 상기 생체 및 환경 인식 단계에서 획득된 인식 정보를 소정의 포맷에 따라 통합하여 저장하는 저장 단계와, 상기 획득된 인식 정보의 적어도 일부를 멀티미디어 통신 규격에 부합되는 송신용 정보로 구성하는 단계와, 상기 송신용 정보를 패킷화하고 다중화 하는 단계와, 상기 다중화된 송신용 정보 패킷을 유무선 통신망을 통하여 전송하는 단계를 포함하는 다중 생체정보 처리 방법을 제공한다.

본 발명의 기술적 요지는 자동 추적 기능이 있는 하나 이상의 카메라를 이용하여 인물의 능동적 동작 없이도 여러 인물에 대한 생체정보(음성, 얼굴, 키 높이, 손동작) 및 환경정보(인물의 위치 및 출입시간, 소지한 물건)를 동시에 획득하고, 이러한 정보를 바탕으로 인물에 대한 인증과 인물의 행동을 실시간으로 파악하여, 인식된 정보 및 인증된 결과를, 필요에 따라 비디오와 오디오 신호와 동시에, 다른 시스템으로 전송할 수 있는 효율적인 방법이다. 음성 인식을 위한 마이크와 같은 부가적인 센서 장비를 구비할 수 있음은 물론이다.

본 발명에서는 움직임을 추적하는 카메라가 연속적으로 인물의 움직임을 추적하여 움직임 위치, 출입시간 카메라 정보를 저장하고, 환경 인식 카메라는 대상 인물의 키 높이 정보와 인물이 소유하고 있는 물건에 대한 정보를 인지하여 저장한다. 또 얼굴 추적 카메라는 PTZ(Pan-Tilt-Zoom) 기능을 이용하여 연속적으로 얼굴 영역을 추적하고, 필요에 따라 얼굴 영상을 저장한다. 최종적으로 획득된 추적 정보를 바탕으로 그 인물의 행동을 파악할 수 있다.

주어진 환경에서 인물에 대한 인증이 이루어진 후, 필요에 따라 비디오 및 오디오와 동시에 인증된 인물에 대한 신상이 또 다른 시스템으로 전송되어야 하는 경우가 있다. 본 발명의 발명자는 비디오 신호와 오디오 신호의 동시 전송을 고려하여 MPEG 시스템을 바탕으로 송수신 시스템을 개발하였다. 이는 디지털 방송 및 DMB 방송에 부합하는 규격을 바탕으로 하기 때문에 방송 채널을 통해서도 획득된 생체정보를 전송할 수 있다.

이하, 첨부 도면 도 6 내지 도 10을 참조하여 본 발명의 구성에 대하여 상세히 설명한다.

도 6에 도시된 바와 같이, 본 발명의 생체정보 처리 시스템은 크게 얼굴 및 음성 인식부(600), 움직임추적 및 환경인식부(610), 저장 및 인증부(620), 통신부(630) 등 4개의 부분으로 나누어지며, 이들 각 부분은 일체로 구성될 수 있고, 소정의 공간에 개별적으로 분리되어 설치될 수 있다. 개별적으로 설치될 경우, 통신부를 제외한 각 부분은 인터넷(Socket) 또는 통상의 유무선 네트워크로 연결되어 있다.

카메라(601, 611)는 PTZ(Pan-Tilt-Zoom) 기능을 가지며, NTSC 영상을 입력 받는다. 카메라(601)는 본 발명에 따른 생체정보 처리 시스템의 관할 영역내에서 정지중 또는 이동중인 사람(이하, "대상자"라 칭함)의 얼굴 부위를 자동으로 포착하여 양호한 영상을 획득하는 데 이용되며, 카메라(611)는 대상자의 얼굴 이외의 부분을 촬영하여 움직임을 추적하고, 대상자의 얼굴 이외의 신체적 특징(예컨대 신장, 등신비율, 손크기, 발크기, 체형 등)과 대상자가 소지한 물건을 파악하는 데 이용된다.

카메라(601) 및 카메라(611)는 별개의 카메라인 것이 바람직하지만, 동일한 하나의 카메라를 이용하여도 무방하다. 하나의 카메라를 이용하여 대상자의 신체 특징을 파악하는 경우에는 먼저 얼굴 영상을 확보한 후, 그 다음 얼굴 이외의 신체적 특징과 동작 특성을 파악하는 것이 바람직하다.

영상 입력부(602, 612)는 카메라(601, 611)에 각각 연결되어 카메라로부터 입력된 영상을 처리하고 카메라를 제어하는 역할을 수행한다. 본 실시예에서, 영상 입력부(602, 612)는 약 30fps(Frame per second)의 속도로 프레임 그래버(Frame Grabber)를 통해 영상을 받아들인다.

얼굴영역 검출부(603)는 얼굴 및 음성 인식부(600)의 카메라(601)에 결합된 영상 입력부(602)로부터 영상을 전달받아, 피부색, SVM 및 Adaboost 등의 알고리즘을 통한 얼굴 영역을 검출한다.

얼굴 추적부(604)는 모션을 이용한 방법 및 연속적인 얼굴 영역 검출 방법으로 얼굴을 추적하고, 피드백 신호를 영상 입력부(602)로 전달하여 카메라(601)가 이동 중인 대상자의 얼굴 영상을 지속적으로 추적할 수 있도록 한다.

음성 인식부(606)는 마이크(605)를 통해 들어온 대상자의 목소리 및 단어를 인식하고 이를 저장하여 저장 및 인증부(620)로 전달한다. 음성 인식부(606)은 음성 자체 또는 음성 패턴을 저장하는 이외에, 음성 인식을 통하여 사용자가 발성한 단어를 확인하여 이를 텍스트로 변환하여 저장 및 전달할 수 있다. 어떤 단어를 텍스트로 변환하여 저장할 것인지에 대해서는 본 발명에 따른 생체정보 인식 시스템의 용도에 따라 사전에 결정될 수 있다. 예컨대, 본 발명의 시스템이 인증용으로 이용될 때는 대상자 음성 특성 추출에 용이한 문장 또는 단어가 결정될 수 있으며, 모니터링 용으로 이용될 때는 설치 장소(예컨대, 은행, 공항, 사무실, 대합실)에 따라 주의해야할 단어 또는 문장(예컨대, "돈 내놔", "뇌물", "잘 봐주세요", "탈세" 등)이 선정될 수 있다. 물론 사전에 텍스트 변환할 문장 또는 단어를 결정하지 않고, 일정 시간 대상자가 발성한 모든 문장과 단어를 변환하여 저장하는 실시 형태를 취할 수 있음은 당연하다.

움직임 추적 및 환경 인식부(610)의 움직임 추적부(613)는 움직이는 물체의 모션과 칼라 에너지를 이용하여 물체를 구별하여 추적하고, 이 결과를 바탕으로 영상 입력부(612)를 통해 카메라(611)가 이동중인 대상자의 움직임을 지속적으로 양호하게 추적할 수 있도록 한다.

정보 축출부(614)는 환경정보를 추출하고 축적하는 역할을 수행하며, 타이머(도시하지 않음) 및 움직임 추적부(613)로부터의 기하학적 환경정보를 이용하여 대상 인물에 대한 정보(키, 손 모양, 출입시간, 위치)를 파악한다.

사물 인식부(615)는 PCA 및 칼라 정보를 이용하여 배경화면에 새로이 등장한 사물을 파악한다. 파악될 사물은 대상자가 소지하고 있는 물건을 포함한다.

이상에서 설명한 얼굴 및 음성 인식부(600)와 움직임 추적 및 환경 인식부(610)에서 획득되고 인식된 정보는 저장 및 인증부(620)에 전달되어 소정의 데이터 포맷에 따라 통합 저장되며, 필요한 경우 인증에 이용된다.

정보 입력부(621)는 인식부(600, 610)으로부터 본 발명의 시스템 설치 환경에 적합한 통상의 유무선 통신 방식을 이용하여 정보를 수신한다.

인증부(622)는 (K)PCA, 2D PCA 등의 방법을 이용한 얼굴 인증 및 음성을 이용한 대상자 인증을 한다. 인증은 기본적으로 얼굴 및 음성 인식부(600)로부터의 얼굴 영상 및 음성 패턴에 기초하여 수행되지만, 선택적으로 움직임 추적 및 환경 인식부(610)로부터의 대상자 신체 특징(신장, 등신비율, 체형, 손크기 등)정보를 함께 고려하여 수행될 수 있다. 본 발명의 생체정보 처리 시스템이 모니터링용으로만 이용될 경우에는 인증부(622)는 생략된다.

상황 인식부(623)는 사물 인식부(615)와 정보 축출부(614)를 통해 얻은 정보를 이용하여 상황을 인지한다. 상황 인식 중 예컨대 공공장소에서의 급작스런 달리기 등 비통상적 행동이 포착되면 통신부(630)에 대상자의 인식 정보를 담당 기관에 전송한다.

정보 저장부(624)는 인증을 위한 등록자의 다중 생체정보와 신상 정보를 저장하거나, 인식부(600, 610)로부터의 인식 생체정보와 환경정보 및 신상 정보를 저장한다. 인증용 정보와 인식된 정보는 하나의 DB에 저장되거나 각각 별도의 DB에 저장될 수 있음은 당업자에게 자명한 사항이다.

본 발명의 주요 특징 중 하나는 기존의 통신 규격에 적합하거나 호환 가능한 포맷으로 외부의 기관 또는 시스템에 다중 생체정보 및 환경정보를 지속적, 또는 주기적, 간헐적으로 전송하거나 이들 정보를 수신할 수 있는 데 있으며, 통신부(630)가 이 역할을 담당한다.

통신부(630)는 정보 입력부(631), 패킷화부(632), 다중화부(633)로 구성되어 있으며, 정보 입력부(631)는 저장 및 인증부(620)으로부터 정보를 수신하는 역할을 하는 동시에 외부 기관 또는 시스템으로부터의 입력 정보를 다중화부(633) 및 패킷화부(632)를 통해 수신하는 역할을 한다.

패킷화부(632)는 다중생체정보 및 환경정보의 전송을 위해 헤더를 추가하고 패킷화한다. 본 명세서에서는 편의상 패킷화부로 칭하지만, 패킷화부(632)는 송신을 위한 패킷화(packetization)이외에 수신을 위한 디패킷화(depacketization)을 수행한다.

다중화부(633)는 전송을 위해 패킷화된 정보를 먹싱(muxing)하거나 또는 수신 데이터 대한 디먹싱(demuxing)을 수행한다.

본 발명에 따른 다중 생체정보 및 환경정보 처리 시스템은 복수의 생체정보를 인식하여 식별력을 높이는 한편, 대상자 주변의 환경정보를 함께 인식하여 이를 외부로 전송할 수 있어 인증용으로뿐만 아니라 모니터링과 같은 기타의 용도에 유효 적절하게 이용될 수 있다. 아울러, 통신부(630)를 통하여 외부로부터 인증용 정보 또는 정보 추출 기준(예컨대, 텍스트 변환할 단어나 전송 시점을 결정할 환경상태 등)을 수신할 수 있다.

이하, 도 7을 참조하여 본 발명의 시스템에 의하여 수행되는 다중 생체정보 및 환경정보 처리 방법에 대해 설명한다.

얼굴 및 음성 인식부의 카메라(601)로부터 영상 입력부로 영상이 입력되면, 얼굴영역 검출부(603)에서 얼굴 영역이 검출되고, 얼굴 추적부(604)에서 연속적으로 얼굴 영역에 대한 추적이 이루어진다. 추출된 얼굴 영상은 저장 및 인증부(620)로 전송된다. 이와 동시에 얼굴 및 음성 인식부(600)의 마이크(605)로부터 획득된 대상 인물의 음성이 저장 및 인증부(620)로 전송된다.

얼굴 및 음성 인식부(600)와는 별도로 움직임 추적 및 환경 인식부(610)의 카메라(611)로부터 영상이 입력되면, 영상 내의 대상물체는 움직임 추적부(613)에서 모션이 연속적으로 추적된다. 정보 축출부(614)에서는 키 높이, 손 모양, 출입시간 및 이동 위치가 인식되고, 저장 및 인증부(620)로 전송된다. 또한 사물은 사물 인식부(615)에서 인식되어 인증 및 저장부로 전송된다.

저장 및 인증부(620)에서는 얼굴 및 음성 인식부(600)로부터 획득된 얼굴 정보를 DB에 저장된 인물에 대한 얼굴 정보와 비교하여 인증이 이루어진다(S700). 또한 얼굴 및 음성 인식부(600)로부터 획득된 음성 정보를 바탕으로 인증이 수행된다(S710). 두 가지 인증 중 하나 이상의 인증 방법에 의해 인증이 성공되면 인물에 대한 인증이 이루어진 것으로 간주하고, 둘 다 실패한 경우 인증은 이루어지지 않는 것으로 간주한다(S720).

일단 인증이 성공되면, 움직임 추적 및 환경 인식부(610)로부터 획득된 키 높이 정보와 얼굴 및 음성 인식부(600)로부터 획득된 음성 그리고 얼굴 정보는 신상정보와 통합되어 인물별로 분류된다(S740). 선택적으로 인증 단계(S720)의 결과 에 따라 특정 어플리케이션에 대한 사용 권한 여부에 대한 인증을 할 수 있다(S730).

또한 움직임 추적 및 환경 인식부에서 획득된 대상 인물의 출입시간과 위치 정보 및 인물이 소지한 사물에 대한 정보를 바탕으로 저장 및 인증부에서는 대상 인물의 행동을 파악한다(S750).

전술한 단계에 의하여 수집된 데이터는 단계(S760)에서 소정의 데이터 포맷에 따라 통합 저장되고, 필요한 경우 패킷화 및 다중화를 거쳐 외부로 전송된다(S770).

도 7에 도시된 실시예에서는 대상자에 대한 인증이 완료된 경우에 신상정보와 아울러 생체 및 환경정보를 통합 저장하고 필요한 경우 외부로 전송하고 있으나, 인증 절차 없이 시스템의 감시 영역내 위치한 모든 대상자의 다중 생체정보 및 환경정보가 획득 가능한 신상정보와 함께 통합저장되고 전송될 수 있음은 물론이다.

또한, 도 7의 실시예에서는 얼굴 인식에 의한 인증 또는 음성에 의한 인증 중 하나만 통과하면 인증된 것으로 판단하지만, 이와는 달리 복수의 생체정보(얼굴, 음성, 신장, 등신비율, 체형 등) 중 적어도 둘 이상 또는 모두에 대한 인증이 수행되어야 대상자에 대한 인증을 결정하는 방식을 취할 수 있다.

아울러, 본 발명에 따른 시스템은 생체정보 이외에 환경정보까지 인식할 수 있으므로, 보안이 특히 중요한 경우에는 대상자가 사전에 출입등 허가를 받은 등록자라 하더라도 환경정보에 기초한 안전 확인이 수행된 경우에만 출입허가를 발하는 실시 유형도 가능하다. 즉, 은행 금고실 주변과 같은 통제시설의 경우, 출입허가를 받은 등록자 이외의 자가 함께 있을 경우는 등록자에 대해서도 출입을 불허하도록 운영될 수 있다.

이하에서는 다중 생체정보 및 환경정보의 통합 저장 형식에 대하여 도 9을 참조하여 상세히 설명한다. 저장되는 항목은 환경정보, 인물정보, 단어정보, 인물위치정보, 신상정보를 포함하며, 이외에 기타의 필요정보가 부가될 수 있다.

태그(Tag)는 정보의 번호를 나타내고, 환경정보는 1, 인물정보는 2, 단어 정보는 3, 인물 위치 정보는 4가 된다. 태그 필드 다음의 길이(Length) 필드는 각 정보의 길이를 나타내고, ID는 대상자의 식별번호를 나타낸다. 각 정보들의 구성 요소 성분은 다음과 같다.

(1) 환경정보

- Entrance(Exit) Time : 인물의 출입시간

- Recognized Object ID : 인식 가능한 물체에 부여된 ID

- Height : 인물의 신장(身長)

(2) 인물정보

- 인물 영상 : 검출된 인물의 JPEG 얼굴 영상

(3) 단어 정보

- 인식 단어 : 인물이 이야기한 문장 또는 단어가 저장된 텍스트 파일의 이진 데이터

(4) 인물 위치 정보

- 인물 위치 : 인물이 움직인 위치(x, y) 좌표가 저장된 이진 데이터

(5) 신상 정보

- 인물 신상 : 인물의 신상 정보가 저장된 이진 데이터

이러한 다중 생체정보는 환경정보와 통합되어 통신부로 전송된다. 전송된 통합 정보는 인물별로 패킷화되고, 다중화되어 또 다른 시스템으로 전송된다. 필요에 따라서 통합 정보는 비디오 신호, 오디오 신호와 함께 다중화되어 전송된다. 이 경우 환경정보는 기술자(descriptor)를 통해 전송되고, 인물정보, 단어정보, 위치 정보는 비디오 및 오디오 신호와 같이 페이로드(payload)로 구성되어 전송된다.

도 9는 페이로드의 구문(syntax) 구성을 도시하고 있다.

본 발명의 바람직한 실시예에서, 페이로드는 인물을 구별하는 ID, 정보 저장부에 저장되어 있는 인물영상(ES 스트림 1), 인식단어(ES 스트림 2), 인물 위치(ES 스트림 3), 비디오(ES 스트림 4) 그리고 오디오(ES 스트림 5)로 구성된다. 그리고 각 ES 스트림은 5 바이트(0x0000000001) ES 구별자를 통해 구별되어 저장된다.

도 10은 정보 저장부, 패킷부, 다중화부로 구성되는 통신부의 동작순서를 나타내고 있다

도시된 바와 같이 환경정보인지 여부를 판단하고(S1000), 환경정보이면 PMT 정보 내에 기술자(descriptor)로 저장한다. 본 실시예에서 환경정보인지의 여부는 태그 번호를 점검하여 이루어지며, 태그가 1일 경우 환경정보로 분류한다(도 8 참조). 환경정보이면 태그가 1이 아니면 대상자의 생체정보 또는 신상정보이므로 ES_ID를 구별하여(S1020), 도 9에 도시된 페이로드를 구성하고(S1030), SL 패킷화(Packetization), 플렉스먹싱(FlexMuxing), PES 패킷화(Packetization)를 수행한다(S1040). 최종적으로 TS 패킷화(Packetization)를 수행하고(S1050), 다중화하여 전송한다(S1060).

전술한 바와 같이, 선택적으로 페이로드에 환경정보(예컨대, 위급 상황에 대한 기초 정보)가 포함되어 전송될 수 있음도 자명하다.

본 발명의 바람직한 일 실시예에서 구성된 페이로드는 MPEG-2 TS와 DMB 방송의 기본이 되는 MPEG-4 오버(over) MPEG-2 규격에 부합되어, 방송채널을 통해서도 생체정보 및 환경정보의 송수신이 가능하다.

이상 설명의 편의와 이해의 증진을 위하여 첨부 도면과 바람직한 실시예를 통하여 본 발명의 구성에 대하여 구체적으로 설명하였으나, 본 발명은 이에 한정되지 아니하며, 당해 기술분야의 통상의 지식을 가지는 자가 용이하게 변형 또는 변경할 수 있는 균등의 범위를 포괄한다. 예컨대, 바람직한 실시예를 통하여 본 발명에 따른 시스템의 전송 방식이 MPEG-4 오버 MPEG-2 규격에 부합되는 것으로 설명하였으나, 전송 규격이 이에 한정되는 것은 아니고, 기타 이용할 수 있는 다양한 방식을 취할 수 있음은 물론이며 페이로드의 구성도 변형될 수 있음은 자명하다.

따라서, 본 발명의 범위는 이하의 특허청구범위의 기재의 해석에 의하여 정하여져야 할 것이다.

이상 설명한 바와 같이, 본 발명에 따르면 복수개의 생체 인식 수단을 이용하여 사용자의 인증에 대한 능동적 동작 없이도 자동적으로 인물의 동작을 추적하고, 다중 생체정보를 검출하여 인증을 수행한다. 따라서 인증으로 인한 불필요한 시간 소모를 최소화 할 수 있고, 인식률을 향상시킬 수 있다.

또한, 본 발명에 따른 다중 생체정보 처리 시스템은 전 시간 녹화를 하지 않고, 인물의 행동을 파악하고 인증할 수 있으므로 DVR 감시 시스템을 효율적으로 대체할 수 있다. DVR이 감시용으로 사용될 경우, 실시간으로 모든 장면을 그대로 저장해야 한다. 따라서 대용량의 저장장치와 네트워크를 사용할 경우 상당한 채널을 필요로 한다. 반면 본 발명을 사용한다면, 인물 행동의 최소 핵심 요소만을 검출하고, 인증하기 때문에 저장장치의 용량을 상당히 감소시킬 수 있고, 쉽게 인물의 행동을 파악할 수 있다. 본 발명에 따른 다중 생체정보 처리시스템은 인물의 능동적 동작 없이도 인물을 파악할 수 있으므로, 인증용 이외에 공항이나 주요 시설의 감시 시스템으로 유효하게 사용 가능하다.

아울러, 본 발명의 시스템은 필요에 따라서, 비디오 신호, 오디오 신호와 동시에 다중 생체정보를 전송할 수 있으며, 디지털 방송 및 DMB 방송 규격에 부합하도록 통신부가 설계되어 방송 채널을 통해서 전송 할 수 있다.

Claims (15)

1. 사람의 복수의 생체정보와 동작 환경정보를 동시에 인식하는 다중 생체정보 처리 시스템에 있어서,

   얼굴과 음성을 인식하는 제1 인식 처리부와,

   사람의 움직임 추적 및 동작 환경 인식을 위한 제2 인식 처리부와,

   사람의 생체정보를 사전에 저장하고 있는 DB와,

   상기 제1 및 제2 인식 처리부로부터 인식 정보를 수신하여 상기 DB내 저장된 생체정보와 비교하여 인증 여부를 결정하고, 상기 인식 정보를 소정의 포맷에 따라 상기 DB 또는 별도의 DB에 통합 저장하는 인증 및 저장부

   를 포함하는 다중 생체정보 처리 시스템.
2. 제1항에 있어서,

   상기 통합 저장된 인식 정보의 적어도 일부를 포함하고 소정의 통신 포맷에 부합되도록 구성된 송신용 정보를 생성하고 송신하는 송신부

   를 더 포함하는 다중 생체정보 처리 시스템.
3. 제1항에 있어서, 상기 제1 인식 처리부는

   PTZ(Pan-Tilt-Zoom) 기능을 구비하여 연속적으로 얼굴 영상을 추적하여 이중에서 양호한 영상을 바탕으로 얼굴 영상을 획득하는 제1 카메라와,

   음성 인식을 위한 마이크와,

   소정의 얼굴 인식 및 음성 인식 알고리즘에 따라 상기 제1 카메라와 상기 마이크로부터의 데이터를 처리하는 처리부

   를 포함하는 것인 다중 생체정보 처리 시스템.
4. 제1항에 있어서, 상기 제2 인식 처리부는

   움직임 추적 및 동작 환경 검출용 영상 획득을 위한 제2 카메라와,

   시각 정보를 획득하기 위한 타이머와,

   상기 제2 카메라로부터의 상기 영상과 상기 타이머로부터의 시각 정보에 기초하여 사람의 동작 행태 및 동작 환경을 파악하는 처리부

   를 포함하는 것인 다중 생체정보 처리 시스템.
5. 제4항에 있어서, 상기 제2 인식 처리부는

   사람의 손모양, 신장, 등신비율을 포함하는 신체 특징을 더 추출하는 것인 다중 생체정보 처리 시스템.
6. 제3항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 및 제2 카메라는 동일한 카메라인 것인 다중 생체정보 처리 시스템.
7. 제1항에 있어서, 상기 통합 저장된 인식 정보는

   시각 정보를 포함하는 환경정보, 얼굴 영상을 포함하는 인물 정보, 획득된 음성 정보에 포함된 적어도 하나 이상의 단어를 기술한 단어 정보, 피사영역 내의 사람의 위치에 대한 위치 정보, 및 신상 정보를 포함하는 것인 다중 생체정보 처리 시스템.
8. 제2항에 있어서, 상기 송신용 정보는

   사람을 구별하기 위한 식별자와, 얼굴 영상, 인식 단어, 사람 위치, 비디오, 오디오 정보를 포함하는 것인 다중 생체정보 처리 시스템.
9. 제8항에 있어서, 상기 송신용 정보는

   MPEG-4 오버 MPEG-2 포맷에 부합되는 것인 다중 생체정보 처리 시스템.
10. 제2항에 있어서, 상기 송신부는

    송신용 정보를 포함하는 페이로드를 구성하는 페이로드 생성부와,

    상기 페이로드에 대하여 SL 패킷화, 플렉스먹싱, PES 패킷화를 수행하는 패킷화부와,

    상기 패킷화부에 연결되어 상기 패킷의 다중화를 수행하는 다중화부와,

    전송을 통신 수단

    을 포함하는 것인 다중 생체정보 처리 시스템.
11. 복수의 생체 인식 정보와 동작 환경정보를 수집하고 전송하는 다중 생체정보 전송 시스템에 있어서,

    이동 중인 얼굴 영상의 포착 및 추적이 가능한 것으로서, 사람의 얼굴 영상 획득을 위한 제1 카메라와,

    사람의 신체적 특징과 동작 상태 및 동작 환경 영상 획득을 위한 제2 카메라와,

    사람의 음성 또는 주변의 음향을 수집하기 위한 마이크와,

    상기 카메라 및 마이크로부터의 데이터를 소정의 알고리즘에 따라 인식하여 생체정보와 환경정보를 생성하고 이를 통합 저장하는 인식 처리 및 저장부와,

    상기 인식 처리 및 저장부로부터 전달된 인식 정보를 소정의 통신 규격에 부합되게 구성하고 이를 전송하는 송신부

    를 포함하는 다중 생체정보 전송 시스템.
12. 제11항에 있어서,

    등록된 사람의 생체정보를 저장하는 DB와,

    상기 인식 처리 및 저장부로부터의 생체정보와 상기 DB 내에 저장된 생체정보를 비교하연 인증 절차를 수행하는 인증부를 더 포함하는 다중 생체정보 전송 시스템.
13. 사람의 복수의 생체정보와 동작 환경정보를 동시에 인식하는 다중 생체정보 처리 방법에 있어서,

    얼굴과 음성 특성을 포함하는 기본 생체정보를 인식하는 생체 인식 단계와,

    사람의 움직임 추적 및 동작 환경 인식을 위한 환경 인식 단계와,

    상기 생체 및 환경 인식 단계에서 획득된 인식 정보를 소정의 포맷에 따라 통합하여 저장하는 저장 단계와,

    상기 획득된 인식 정보의 적어도 일부를 멀티미디어 통신 규격에 부합되는 송신용 정보로 구성하는 단계와,

    상기 송신용 정보를 패킷화하고 다중화 하는 단계와,

    상기 다중화된 송신용 정보 패킷을 유무선 통신망을 통하여 전송하는 단계

    를 포함하는 다중 생체정보 처리 방법
14. 제13항에 있어서,

    사전에 인증용 DB를 마련하여 등록자별로 복수의 생체정보를 저장하는 단계와,

    상기 생체 인식 단계에서 획득된 생체정보와 상기 인증용 DB에 저장된 생체정보를 비교하여 인증 여부를 결정하는 인증 단계

    를 더 포함하는 다중 생체정보 처리 방법.
15. 제13항에 있어서, 상기 송신용 정보를 구성하는 단계는

    사람을 구별하기 위한 식별자와, 얼굴 영상, 인식 단어, 사람 위치, 비디오, 오디오 정보를 포함하는 데이터를 MPEG-4 오버 MPEG-2 포맷에 부합되도록 구성하는 것인 다중 생체정보 처리 방법.

Images