KR20020017576A - 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법 - Google Patents

Abstract

본 발명은 움직임 대상(object)의 움직임(motion)을 추적하여 가상의 캐릭터의 움직임에 적용하기 위한 모션 캡처(motion capture) 장치에 관한 것으로, 영상 취득수단인 카메라를 이용하여 대상 물체에 대한 이미지를 취득하고, 이로부터 움직임을 추적하여 그 움직움을 가상의 캐릭터에 적용할 수 있도록 하는 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법에 관한 것이다.

본 발명에서는 영상 취득수단인 카메라를 이용하여 입력되는 영상으로부터 해당하는 물체를 미리 사전에 학습된 정보로부터 인식하고, 이와 같이 인식된 대상 물체의 움직임을 분석하고, 이를 기반으로 하여, 대상 물체(사람)의 움직임을 해당하는 가상의 캐릭터에 적용할 수 있도록 하는 모션 캡처를 제공하고자 하는 것이다.

Description

화상을 이용한 모션 캡처 시스템과 모션 캡처 방법{System and method for motion capture using camera image}

본 발명은 움직임 대상(object)의 움직임(motion)을 추적하여 가상의 캐릭터의 움직임에 적용하기 위한 모션 캡처(motion capture) 장치에 관한 것으로, 영상 취득수단인 카메라를 이용하여 대상 물체에 대한 이미지를 취득하고, 이로부터 움직임을 추적하여 그 움직움을 가상의 캐릭터에 적용할 수 있도록 하는 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법에 관한 것이다.

컴퓨터 기술의 발달로 현실과는 다른 가상의 세계를 구현할 수 있으며, 또한 현실이 아닌 가상의 영상을 구현할 수 있게 되었다.

이와 같은 가상의 영상들은 영화, 3D 애니메이션 등을 통해 많이 사용되어 오고 있는 데, 이와 같은 영상에서는 현실에서의 대상 물체의 움직임 그대로 움직이는 현실감이 중요하다.

따라서, 대상 물체의 움직임을 추적하고, 이와 같은 움직임을 가상의 캐릭터의 움직임에 적용하기 위하여 많은 장치들이 개발되어 사용되어지고 있다.

이와 같은 장치를 모션 캡처라 하는 데, 일반적으로 모션 캡처란 사람의 움직임을 추출분석하여 3차원 사이버 캐릭터에 접목 시키므로써, 3차원의 캐릭터가 가상의 공간에서 동작을 인간과 동일하게 하도록 접목시키는 기술이다.

이와 같은 모션 캡처에는 다양한 장치가 사용되고 있다.

현재 상용화되고 있는 모션 캡처 시스템은 대부분 인체에 마커(marker)나 센서를 착용한 후 카메라로 잡은 마커 영상이나 센서로부터 나온 데이터를 분석해 인체 각 관절들의 위치와 방향 등을 측정한다.

여기에 사용된 마커나 센서의 작동방식에 따라 네가지 정도로 나눌 수 있으며, 각각을 초음파(acoustic), 보철(prosthetics), 자기(magnetic), 광학(optical) 방식이라 한다.

이중에서 현재에서 현재 자기방식과 광학방식을 이용한 장치들이 가장 널리 사용되고 있다.

초음파 방식은 다수의 초음파를 발생하는 센서와 3개의 초음파 수신부로 구성된다.

움직임을 추적 검출하기 위한 연기자의 각 과절에 부착된 초음파 센서들은 순차적으로 초음파를 발생하고, 그 초음파가 수신장치에 수신되기까지 걸린 시간을 이용해서 센서에서 수신부까지의 거리를 계산한다.

각 센서들의 3차원 공간상 위치는 3개의 수신부에서 각각 계산된 값을 이용한 삼각 측량원리에 의해 구할 수 있다.

이와 같은 초음파 방식의 문제점은 첫째, 샘플링 빈도(sampling rate)가 높지 않고 또 동시에 사용할 수 있는 초음파 발생장치수가 많지 않다는 점이다.

둘째, 센서가 커서 연기자의 동작이 부자연스러워 질 수 있고, 셋째, 음향장치의 특성상 초음파의 반사에 의한 영향을 많이 받는다는 점이다.

그러나, 이 방식은 이러한 문제점들에 비해 환경의 간섭 등을 별로 받지 않고 위치 측정에 필요한 계산량이 적어 실시간 처리가 가능하며 값이 싸다는 게 장점이다.

또한, 보철방식 모션 캡처 시스템은 연기자의 관절 움직임을 측정하기 위한전위차계(potentiometer)와 슬라이더(slider)로 이루어진 복합체로 구성되어 있다.

이 시스템은 수신장치를 갖지 않기 때문에 다른 환경의 간섭이나 영향을 전혀 받지 않는 절대적인 측정장치이다.

따라서 초기 셋업 과정(calibration)이 거의 필요없고 고가의 스튜디어 환경설비도 필요없다.

또한, 이 장치는 다른 장치에 비해 저가이고, 매우 높은 샘플링 빈도로 모션 데이터를 획득할 수 있는 장점이 있다.

그러나 보철방식을 이용한 시스템은 부담스러운 기계장치를 연기자의 몸에 부착해야 하므로 동작이 부자연스러워질 수 있고, 보철장치가 연기자의 각 관절에 얼마나 정확하게 위치했는지에 따라 정확도가 달라진다는 단점이 있다.

일반적으로 보철방식 시스템은 기존의 애니메이션 제작기술인 키프레임방식 및 동작제어방식과 함께 사용돼 키프레임이나 스텝동작의 생성에 이용된다.

또한, 자기식 시스템은 연기자의 각 관절부위에 자기장을 계측할 수 있는 센서를 부착하고 자기장 발생장치 근처에서 연기자가 움직일 때 각 센서에서 측정되는 자기장의 변화를 다시 공간적인 변화량으로 계산, 움직임을 측정하는 방식이다.

각 센서와 자기장 발생장치 및 본체는 케이블로 연결되어 있는데 최근에는 무선으로 이루어진 시스템도 선을 보이고 있다.

자기식 시스템의 장점은 비교적 저렴하며 가격대 성능비가 우수하고 실시간 처리가 가능하다는 점이다.

그러나 유선방식의 센서인 경우, 센서로부터 연결된 케이블들로 인해 연기자의 동작에 제한을 주고, 이것으로 인해 복잡하고 빠른 움직임을 자연스럽게 표현하는 것을 어렵게 한다.

이런 단점을 보완하기 위해 케이블을 무선송신기에 연결한 무선 시스템이 이미 개발, 판매되고 있지만, 역시 연기자의 신체에 커다란 송신기를 부착해야 한다.

또한, 자기장 영역 안에서만 가능하므로 동작반경이 제한되는 단점을 갖는다.

따라서, 자기 방식은 1~3m의 반경내에서 실시간으로 움직이는 동작을 캡처하는 데 적당하다고 할 수 있다.

광학방식 시스템은 연기자의 주요 분절 부분에 적외선을 반사하는 반사 마커(Reflective Marker)들을 부착하고 3~6대의 적외선 필터가 부착된 카메라를 이용해 반사되는 마커들의 2차원 좌표를 생성한다.

여러대의 카메라로 캡처한 2차원 좌표는 전용 프로그램으로 분석되어 3차원 공간상 좌표로 계산, 애니메이션에 활용한다.

광학식 시스템의 장점 중 하나는 높은 샘플링 빈도를 들 수 있는데 스포츠 선수의 동작과 같이 매우 빠른 움직임을 캡처할 때 유용하다.

또한 연기자에 부착되는 마커의 크기가 작고 가벼워서 연기자가 자유롭게 동작을 표현할 수 있으며, 200개 이상의 마커를 처리할 수 있어 다수 연기자의 동작을 동시에 캡처할 수도 있다.

또 다른 시스템에 비해 넓은 공간(5*5*2.5m)에서 캡처가 가능하며 캡처 정밀도면에서도 다른 제품에 비해 높다.

그러나 광학식 시스템의 단점은 마커가 다른 물체에 의해 가려질 때 마커의 궤적을 잠시 잃어버리게 된다는 점이다.

이런 문제로 인해 모션 데이터를 후처리하는 과정이 필요하며 이것은 실시간 모션 캡처를 어렵게 하는 커다란 장애요인이기도 하다.

또한, 이방식은 다른 방식에 비해 매우 고가인점도 하나의 단점이다.

본 발명에서는 영상 취득수단인 카메라를 이용하여 입력되는 영상으로부터 해당하는 물체를 미리 사전에 학습된 정보로부터 인식하고, 이와 같이 인식된 대상 물체의 움직임을 분석하고, 이를 기반으로 하여, 대상 물체(사람)의 움직임을 해당하는 가상의 캐릭터에 적용할 수 있도록 하는 모션 캡처를 제공하고자 한 것이다.

도 1은 본 발명 화상을 이용한 모션 캡처 방법의 실행과정을 개략적으로 나타낸 플로우챠트.

도 2는 도 1에서와 같은 실행수순에 있어서, 대상 물체를 인식하고, 인식된 물체의 이동 좌표를 산출하는 과정을 나타낸 플로우챠트.

도 3a, 도 3b는 입력 2차원 영상에 대한 움직임의 일예를 나타낸 도면.

도 4는 다중 좌표 계산 방법을 이용하기 위한 카메라의 설치예를 나타낸 도면.

도 5는 본 발명 시스템이 적용되는 가상 현실 게임 장치의 구성을 나타낸 블록도.

도 6은 본 발명에 있어서, 사이버 캐릭터 표정 제어를 위하여 사람의 얼굴 윤곽을 인식하기 위한 일예를 나타낸 도면.

도 7a,7b는 본 발명에 있어서, 수화시스템에 적용함에 있어, 수화의 패턴을 학습 또는 검출의 일예를 나타낸 도면.

본 발명 화상을 이용한 모션 캡처 시스템은,

움직임을 추출하기 위한 대상 물체의 영상을 취득하기 위한 영상취득수단과,

영상취득수단으로부터 입력된 영상을 디지털 처리가능한 디지털 신호로 변환하는 디지털신호변환수단과,

변환된 디지털 신호를 처리하여, 입력된 영상을 분석하여 미리 학습된 정보로부터 해당하는 물체를 인식하고, 인식된 물체의 각 부분별 좌표를 연산하는 디지털 신호처리수단과,

입력 영상으로부터 대상 물체의 움직임정보를 추출하여, 해당하는 캐릭터에 적용하기 위한 일련의 과정을 제어하며, 디지털 신호처리수단으로부터 인식된 물체의 해당 좌표 정보를 출력하는 주제어수단과,

주제어수단으로부터 대상 물체의 인식정보와 연산된 해당 좌표정보를 입력받아 해당하는 캐릭터의 움직임을 결정하는 캐릭터 제어처리수단과,

물체에 대한 학습 정보 및 입력된 영상으로부터 움직임 추적 좌표를 연산하기 위한 연산정보를 저장하는 메모리수단을 포함하여 구성됨을 특징으로 한다.

이와 같은 구성을 특징으로 하는 본 발명 화상 캡처 장치는 영상취득수단으로부터 얻어지는 움직임 대상 물체의 순수 입력영상을 분석하여, 물체의 각 부분별 좌표를 얻어, 이로부터 임의의 캐릭터의 움직임 정보를 추출할 수 있도록 함에 그 특징이 있는 것으로,

상기 영상취득수단은 하나 또는 하나이상의 카메라로 구성되어, 움직임 정보를 추출하기 위한 대상 물체의 각 방향의 위치에 설치하게 된다.

이와 같이 영상취득수단으로부터 얻어진 입력 이미지는 디지털 신호 변환수단을 통해 디지털 신호처리가능한 신호로 변환되고, 변환된 디지털 이미지 신호는 디지털 신호처리수단으로 입력된다.

디지털 신호처리수단에서는 입력 이미지에 대하여 이미 학습되어 메모리수단에 저장된 물체에 대한 학습정보와 비교하여 해당하는 물체를 인식하게 되고, 이와 같이 인식된 대상 물체의 움직임 좌표를 검출하게 된다.

이와 같은 인식된 물체에 대한 정보와 검출된 좌표에 따라서 해당하는 임의의 캐릭터의 움직임정보를 결정하여 캐릭터 제어처리수단에서 해당 캐릭터를 제어하여 표시 및 저장하게 된다.

이와 같이 입력 영상으로부터 대상 물체의 움직임을 검출하게 되는 본 발명 화상을 이용한 모션 캡처 시스템과 캡처 방법에 대하여 그 실행과정을 설명하면 다음과 같다.

물체별로 영상 이미지를 통해 학습하고, 그 학습된 정보를 저장하는 과정과,

움직임 정보를 추출하기 위한 대상의 물체를 촬영하여 입력되는 영상을 일정한 크기로 나누어 전처리 과정을 거쳐 입력되는 영상 프레임간에 연결성을 갖도록 하는 과정과,

상기 과정을 통해 얻어진 이미지로부터 학습된 정보를 기반으로 대상 물체를 인식하는 과정과,

인식된 물체는 중앙 좌표 조정을 거친후 인식된 물체를 이미 사전학습된 물체별로 프레임과 프레임간에 이동량을 추출하여 그 이동 좌표를 해당 물체별로 산출하는 과정의 실행수순으로 이루어짐을 특징으로 한다.

그리고, 상기 대상 물체를 인식하는 과정은,

이전 입력 프레임으로부터 대상 물체의 움직임 벡터 성분을 추출하는 단계와,

추출된 움직임 벡터 성분으로부터 다음 프레임의 대상 물체에 대하여 움직임 추정(motion estimation)을 실행하여 대상 물체를 검색하는 단계와,

검색결과 움직임 추정된 해당 좌표에 대상 물체가 존재할 경우에는 물체를 인식하여 라벨링(labeling)하는 단계와,

검색결과 움직임 추정된 해당좌표에 대상 물체가 존재하지 않을 경우에는 해당 위치로부터 각 방향으로 대상 물체를 검색하여 대상 물체를 찾아 라벨링하는 단계로 이루어짐을 특징으로 한다.

그리고, 움직임 추정을 통해 대상 물체를 검색하기 위하여 필요한 이전 입력 프레임이 없는 초기 입력 프레임과 두 번째 입력 프레임에 있어서는 학습에 의해 설정된 좌표상의 대상 물체를 인식하고, 그 이동 좌표의 산출에 있어서도 기준 좌표로 산출하도록 함을 특징으로 한다.

이와 같은 특징을 갖는 본 발명 화상을 이용한 모션 캡처 시스템에 있어서의 모션 캡처방법은 물체의 움직임을 산출하는 과정에 있어서, 먼저 물체의 종류를 인식하여 인식된 물체가 프레임간에 시계열차에 따른 움직임 성분을 감지하여 이를 디지털 데이터화 하도록 하는 것으로, 첨부된 도면 도 1 및 도 2를 참조하여 설명하면 다음과 같다.

도 1은 본 발명 화상을 이용한 모션 캡처 시스템에 있어, 모션 캡처 방법의 실행수순을 개략적으로 나타낸 플로우 챠트이고, 도 2는 도 1에서와 같은 실행수순에 있어서, 대상 물체를 인식하고, 인식된 물체의 이동 좌표를 산출하는 과정을 나타낸 플로우챠트이다.

실제 움직임을 유발하는 개체 자체(대상 물체)를 학습하여 저장하고, 저장된 정보로부터 인식을 하는 것이다.

본 발명은 모션 캡처하기 이전에 인체의 예를 들 경우 머리, 가슴, 각 특정부위를 미리 입력된 일반적인 해당 영상으로부터 학습하게 된다.

이와 같이 학습된 정보는 저장되어 있으며, 이로부터 이후 순차적으로 입력되는 영상 이미지내의 대상 물체를 찾아내도록 하는 것이다.

먼저, 하나 또는 하나이상의 각 영상취득수단으로부터 순차적으로 영상 프레임이 입력되며, 입력되는 영상은 전처리 과정을 거쳐 프레임간에 연결성을 갖는 과정을 실행하게 된다.

이와 같이 전처리 과정이 완료된 영상 프레임을 통해 주제어수단에서는 이미 사전에 학습 저장되어 있던 학습 정보를 기반으로 물체의 형태를 파악한후, 이를 통해 인식한다.

이후, 이와 같이 인식된 물체는 중앙 좌표 조정을 거친후 인식된 물체를 이미 사전에 학습된 정보를 기반으로 하여 프레임과 프레임간에 이동량을 추출하여 그 이동 물체의 좌표를 산출한다.

이때, 이와 같이 해당하는 물체를 인식하고, 좌표를 산출함에 있어, 움직임 추정을 통해 미리 예측된 위치에 해당하는 물체가 있는 가를 검색하여 움직임을 추적할 대상 물체를 찾아내게 되는 바,

도 2에 도시된 바와 같이, 다음 프레임(N+1)이 입력되면, 현재 프레임(N) 이전의 프레임(N-1)이 존재하는 가를 판단하게 된다.

여기서, 현재 프레임(N)이란 현재 처리되는 프레임을 의미하며, 이전 프레임(N-1)은 현재 프레임(N)으로부터 다음 프레임(N+1)에 대하여 움직임 추정을 통해 추적할 대상 물체의 이동 위치를 추정하여 대상 물체를 찾아내고, 그 이동 좌표를 산출할 수 있도록 하기 위한 것이고, 다음 프레임(N+1)은 움직임 추적을 하기 위한 다음 대상의 입력 프레임을 의미하는 것이다.

이전 프레임(N-1)이 존재하게 되면, 이전의 프레임(N-1)으로부터 현재의 프레임(N)간의 움직임 벡터성분을 추출하여 움직임 추정을 실행하여, 다음 입력 프레임(N+1)의 해당하는 물체의 위치를 예측하게 되고, 이 예측된 위치에 찾고자 하는 즉, 추적하고자 하는 물체가 존재하는 가를 학습 정보를 기반으로 검색하게 된다.

해당하는 위치에 대상 물체가 존재할 경우 그 물체를 인식하고, 인식된 물체의 좌표를 설정하게 된다.

그러나, 예측된 위치에 대상 물체가 존재하지 않을 경우에는 예측된 위치로부터 각 방향(4방향)으로 찾고자 하는 대상 물체를 검색하여 좌표를 설정하게 된다.

여기서, 초기 입력되는 첫 번째 프레임인 경우 학습에 의해 설정된 위치를 기준으로 하여 검색하여 대상 물체를 찾게 된다.

예를 들면, 사람의 경우 서있는 형상으로부터 각 위치의 머리, 팔, 다리 등의 각 개체(대상 물체)를 찾게 되는 것이다.

두 번째 프레임에 있어서도, 현재 프레임인 초기 첫 번째 프레임의 이전 프레임이 없으므로, 첫 번째 프레임으로부터 학습에 의해 설정된 위치로부터 대상 물체를 검색하게 되며, 세 번째 프레임부터는 다음 프레임이 입력될 때, 이전 프레임이 존재하게 되므로, 상기에서와 같이 대상 물체를 검색하여 찾아 좌표를 설정하게 되는 것이다.

2차원 영상의 3차원 좌표의 추적은 근본적으로 입력 영상의 거리적 오차를 지원하여야 한다.

이는 입력되는 영상을 단일화면에서 구분을 할 수 없다라는 점이다. 즉, 최소 3차원화 하기 위해서는 카메라를 각기 다른 지점에서 최소한 2대이상 설치하여야 하는데 본 발명에서는 위와 같은 스테레오 비젼을 이용한 영상의 추출보다는 미리 학습된 해당물체를 인식하여 이를 추적한뒤 2차원에서 3차원 성분을 추출할 수 있다.

도 3a 및 도 3b는 이차원 영상이다. 그러나 여기에 각각의 개체들의 움직임을 선과 각으로 표시하여 보면 3차원의 영상을 유추할 수 있다.

먼저, A 지점과 B 지점간의 높이와 각도가 변경이 되었으며, A 지점과 B 지점간의 길이가 짧아진다.

따라서, 각각의 입력 성분인 각도와 지점간의 거리만으로도 3차원의 움직임을 유추할 수 있는 것이다.

즉, 지점 A와 B는 A가 3차원의 공간좌표축으로 이동을 하는 경우 A와 B의 거리가 감소되며, A와 B의 각도 또한 엇각으로 변화하게 되어 물체의 실제적인 공간좌표축을 계산할 수 있게 되는 것이다.

먼저, 움직임을 산출할 물체는 그 좌표 데이터를 2차원에서 추출하며, 그 움직임의 패턴이 겹쳐지거나 망실된 경우 입력 영상 자체를 특수한 경우의 공간좌표축에서 미리 학습된 자료와 비교하여 그 움직임을 예측하는 것이다.

위와 같은 기술은 영상취득수단인 카메라의 설치된 수가 적을 경우 사용되며, 카메라의 설치 개수가 늘어난 경우 다음 카메라로 그 해당 좌표와 물체를 넘겨 계속 추적하여 그 3차원 좌표를 얻을 수 있는 것이다.

도 4는 이와 같은 다중 좌표 계산 방법을 이용하기 위한 카메라의 설치예를 나타낸 것으로, 다중 좌표 계산 방법이란, 2차원 좌표의 3차원 변화는 각각의 이동물체의 각도값을 추출하여 정면 부분의 입력단에서 그 지점 좌표와 물체의 특성을 이관하여 처리하는 것을 말하는 것이다.

물론 보다 정밀한 데이터를 얻기 위해서는 입력단의 수(카메라의 수)가 많아야 되지만, 특정 움직임(즉, 제한동작)을 감지하기 위해서는 매우 저 비용에 효과적으로 이용할 수 있다.

또한 물체의 지점을 인식하는 것이 아니라, 물체 자체를 인식하므로, 보다 정확한 공간좌표를 얻기 위해서 입력단의 수를 늘이는 것은 효율적이다.

이와 같은 본 발명은 캐릭터 제어처리수단으로써, 각 적용가능한 것으로, 도면에 도시된 바와 같은 적용예가 가능한 것으로, 첨부된 도면을 참조하여 설명하면 다음과 같다.

[가상 현실 게임장치]

도 5는 본 발명의 모션 캡처 시스템이 적용되는 가상 현실 게임장치의 구성 블록도를 나타낸 것이다.

이의 구성을 설명하면, 게임머(gamer)의 영상을 취득하기 위한 카메라(10)와, 카메라(10)로부터 입력된 영상을 디지털 신호처리가 가능한 신호로 변환하기 위한 비디오 코덱(video codec)(20)과, 비디오 코덱(20)으로부터 입력되는 영상 프레임에 대하여 분석하여 추적 대상 물체를 인식하고, 인식된 물체의 좌표정보를 연산하는 디지털 신호처리기(DSP)(30)와, 대상 물체를 인식하기 위하여 사전에 학습된 물체의 학습정보와, 좌표를 연산하기 위한 연산정보를 저장하기 위한 메모리(40)와, 검출된 연산좌표로부터 해당하는 대상 캐릭터에 적용하기 위한 일련의 과정을 제어하는 주제어 마이크로프로세서(50)와, 게임프로그램 제어를 위한 일련의 제어프로그램이 내장되며, 주제어 마이크로프로세서(50)로부터 입력되는 대상 물체의 연산 좌표 정보를 이용하여 게임프로그램내의 대상 캐릭터의 움직임을 제어하는 게임 프로세서(60)를 포함하여 구성된다.

이와 같은 본 발명이 적용된 가상현실 게임장치는 소정의 내용 줄거리를 갖는 게임 프로그램 내의 캐릭터를 게임머의 동작에 따라 매치시켜 움직일 수 있도록 함에 그 특징이 있는 것으로,

카메라(10)를 통해 게임머의 움직임을 영상을 입력받아, 영상 프레임을 비디오 코덱(20)을 통해 디지털 신호로 변환시켜 디지털 신호처리기(30)에서 처리 가능한 신호로 변환하게 된다.

디지털 신호처리기(30)에서는 이와 같이 입력되는 게임머의 영상 프레임을 분석하여, 메모리(40)에 미리 학습되어 저장된 정보로부터 게임머의 각 신체부분을 인식하고, 각 부분별 좌표를 연산하게 된다.

이와 같이 연산된 좌표 정보는 주제어 마이크로 프로세서(50)를 통해 게임 프로세서(60)로 입력되고, 게임 프로세서(60)에서는 이와 같은 좌표 정보를 이용하여 지정된 캐릭터의 움직임을 제어하게 된다.

이와 같은 본 발명의 실시예는 게임기 장치에 본 발명의 화상을 이용한 모션 캡처 시스템을 적용하므로써, 게이머의 동작이 그대로 게임에 반영되도록 함에 그특징이 있다 할 것이다.

[ 사이버 캐릭터 표정 제어]

또한, 본 발명은 채팅, 사이버 공간에서의 자신의 분신인 아바타와 같은 경우에 있어서, 얼굴의 표정변화를 사이버 공간내의 캐릭터 표정에 적용할 수도 있다.

도 5에서와 같은 장치를 그대로 적용하며, 다만 게임 프로세서가 채팅 또는 별도의 프로그램 처리장치로 적용할 수 있으며, 카메라를 얼굴에 적용하여 한정적으로 촬영하면 된다.

도 6에서와 같이, 표정의 인식은 먼저 사람의 얼굴 외각을 찾는데 그 중점을 둔다.

먼저, 눈과 미간사이의 영상 패턴을 찾아 이를 기준으로 얼굴을 인식한다.

인식된 얼굴은 각각의 부위별로 미리 학습된 신경망 정보에 따라 눈, 코, 눈썹, 입술, 등의 움직임을 산출하게 된다.

즉, 대상 물체인 얼굴의 각 부분을 인식하고, 앞서 설명한 바와 같이, 좌표정보를 연산하게 되고, 이와 같은 정보로부터 별도의 프로세서에서 사이버 공간상의 가상의 캐릭터에 적용하여 해당하는 모습을 표현할 수 있다.

[수화 시스템에 적용예]

또한, 이와 같은 본 발명을 적용하게 되면, 손의 움직임을 영상으로 분석하는 경우 수화를 텍스트 또는 음성으로 출력할 수 있도록 구성할 수 있게 되는 바,

본 실시예는 손의 움직임중 일치되는 패턴에서 학습된 패턴이 추출된 경우이를 음성 또는 텍스트로 표시하여 주도록 함에 그 특징이 있는 것으로,

도 7a, 도 7b에 도시된 바와 같이, 미리 수화에 있어, 손의 움직임을 학습하여, 그 움직임이 뜻하는 정보를 함께 메모리에 저장하게 된다.

본 실시예에 있어서는 입력 영상 프레임에 대하여 대상 물체를 인식하고, 즉 손의 각 부분을 인식하여, 손가락의 방향 등에 관련한 패턴을 추출하게 된다.

이후, 이와 같이 추출된 패턴을 학습된 정보로 저장된 손의 움직임 패턴과 비교하게 되는 방향성 검사를 실행하게 된다.

동일한 패턴이 검출되면, 그 패턴이 뜻하는 의미를 읽어 텍스트로 출력하기 위한 영상 출력수단 또는 음성으로 출력하기 위한 음성출력수단으로 전달하여 수화에 대한 의미를 문자 또는 음성으로 표시하여 주게 된다.

이와 같은 본 발명은 종래의 모션 캡처 시스템이 적용되는 해당분야에 다양하게 적용될 수 있다.

이상에서 설명한 바와 같이, 화상을 이용하여 대상 물체의 움직임을 분석하여 학습된 정보로부터 대상 물체의 움직임 정보를 추출하여 가상의 캐릭터에 이의 움직임을 적용할 수 있도록 하므로써, 모션 캡처 시스템을 구현한 것으로써, 대상 물체의 움직임을 추출하기 위한 장비의 사용이 간편하며, 고가의 장비를 필요로 하지 않는다.

Claims (5)

1. 움직임을 추출하기 위한 대상 물체의 영상을 취득하기 위한 영상취득수단과,

   영상취득수단으로부터 입력된 영상을 디지털 처리가능한 디지털 신호로 변환하는 디지털신호변환수단과,

   변환된 디지털 신호를 처리하여, 입력된 영상을 분석하여 미리 학습된 정보로부터 해당하는 물체를 인식하고, 인식된 물체의 각 부분별 좌표를 연산하는 디지털 신호처리수단과,

   입력 영상으로부터 대상 물체의 움직임정보를 추출하여, 해당하는 캐릭터에 적용하기 위한 일련의 과정을 제어하며, 디지털 신호처리수단으로부터 인식된 물체의 해당 좌표 정보를 출력하는 주제어수단과,

   주제어수단으로부터 대상 물체의 인식정보와 연산된 해당 좌표정보를 입력받아 해당하는 캐릭터의 움직임을 결정하는 캐릭터 제어처리수단과,

   물체에 대한 학습 정보 및 입력된 영상으로부터 움직임 추적 좌표를 연산하기 위한 연산정보를 저장하는 메모리수단을 포함하여 구성됨을 특징으로 하는 화상을 이용한 모션 캡처 시스템.
2. 물체별로 영상 이미지를 통해 학습하고, 그 학습된 정보를 저장하는 과정과,

   움직임 정보를 추출하기 위한 대상의 물체를 촬영하여 입력되는 영상을 일정한 크기로 나누어 전처리 과정을 거쳐 입력되는 영상 프레임간에 연결성을 갖도록하는 과정과,

   상기 과정을 통해 얻어진 이미지로부터 학습된 정보를 기반으로 대상 물체를 인식하는 과정과,

   인식된 물체는 중앙 좌표 조정을 거친후 인식된 물체를 이미 사전학습된 물체별로 프레임과 프레임간에 이동량을 추출하여 그 이동 좌표를 해당 물체별로 산출하는 과정의 실행수순으로 이루어짐을 특징으로 하는 화상을 이용한 모션 캡처 방법.
3. 제 2항에 있어서, 상기 대상 물체를 인식하고, 인식된 대상 물체의 이동 좌표를 설정하는 과정은,

   이전 입력 프레임으로부터 대상 물체의 움직임 벡터 성분을 추출하는 단계와,

   추출된 움직임 벡터 성분으로부터 다음 프레임의 대상 물체에 대하여 움직임 추정(motion estimation)을 실행하여 대상 물체를 검색하는 단계와,

   검색결과 움직임 추정된 해당 좌표에 대상 물체가 존재할 경우에는 물체를 인식하여 라벨링(labeling)하는 단계와,

   검색결과 움직임 추정된 해당좌표에 대상 물체가 존재하지 않을 경우에는 해당 위치로부터 각 방향으로 대상 물체를 검색하여 대상 물체를 찾아 라벨링하는 단계로 이루어지며,

   그리고, 움직임 추정을 통해 대상 물체를 검색하기 위하여 필요한 이전 입력프레임이 없는 경우 학습에 의해 설정된 좌표상의 대상 물체를 인식하고, 그 이동 좌표의 산출에 있어서도 기준 좌표로 산출하도록 단계를 포함하여 이루어짐을 특징으로 하는 화상을 이용한 모션 캡처 방법.
4. 게임머(gamer)의 영상을 취득하기 위한 카메라와, 카메라로부터 입력된 영상을 디지털 신호처리가 가능한 신호로 변환하기 위한 비디오 코덱(video codec)과, 비디오 코덱으로부터 입력되는 영상 프레임에 대하여 분석하여 추적 대상 물체를 인식하고, 인식된 물체의 좌표정보를 연산하는 디지털 신호처리기(DSP)와, 대상 물체를 인식하기 위하여 사전에 학습된 물체의 학습정보와, 좌표를 연산하기 위한 연산정보를 저장하기 위한 메모리와, 검출된 연산좌표로부터 해당하는 대상 캐릭터에 적용하기 위한 일련의 과정을 제어하는 주제어 마이크로프로세서와, 게임프로그램 제어를 위한 일련의 제어프로그램이 내장되며, 주제어 마이크로프로세서로부터 입력되는 대상 물체의 연산 좌표 정보를 이용하여 게임프로그램내의 대상 캐릭터의 움직임을 제어하는 게임 프로세서를 포함하여 구성되어 가상 현실 게임장치에 적용되는 것을 특징으로 하는 화상을 이용한 모션 캡처 시스템.
5. 제 1항 또는 제 4항에 있어서, 메모리에 저장되는 학습되어 저장되는 정보는 수화를 따르는 손 또는 손가락의 움직임 패턴 정보와, 그 패턴이 의미하는 내용 정보가 더 포함되어 저장되고, 디지털신호처리수단에서 입력 프레임으로부터 메모리에 저장된 손 또는 손가락의 움직임 패턴과 비교하고, 해당하는 움직임 패턴에 따르는 의미정보를 읽어 출력하도록 구성되며,

   주제어수단의 제어를 받아 수화의 의미를 텍스트로 출력하기 위한 문자 출력수단과, 주제어수단의 제어를 받아 수화의 의미를 음성으로 출력하기 위한 음성출력수단을 더 포함하여 수화의 의미를 음성 또는 문자로 나타내는 수화시스템에 적용되는 것을 특징으로 하는 화상을 이용한 모션 캡처 시스템.