KR20010095900A - 3차원 모션캡쳐 분석시스템 및 그 방법 - Google Patents

Abstract

본 발명은 모션캡쳐 기술을 전자게임 또는 스포츠 분야의 자세교정 시스템에 적용시킨 것으로, 실시간으로 사용자의 모션을 캡쳐하고 기준모션과 현재모션을 비교하여 분석한 후 그 결과를 알려줌으로써 사용자의 흥미를 유발시키고, 인터넷 통신망을 이용하여 기준모션 등의 정보를 제공함으로써 일반 사용자가 자신의 컴퓨터를 이용하여 장소 및 시간에 구애됨이 없이 사용할 수 있도록 하는 3차원 모션분석 시스템에 관한 것으로서,

연기자로부터 기준모션을 입력받아 음악파일과 함께 3차원 디지털 자료로 데이터베이스화하고 통신망을 통해 사용자에게 제공하는 기준모션 제공장치와, 통신망을 통해 상기 기준모션 제공장치에 접속되어 기준모션을 호출하여 사용자에게 보여주고 사용자의 모션이 이루어진 후 사용자의 현재모션과 원연기자의 기준모션을 비교하여 그 결과를 전, 후, 좌, 우의 시각에서 뷰포인트 (View Point)를 두어 사용자가 원하는 각도에서 디스플레이하고 필요시에는 각 엔터티별로 차이값을 점수로 사용자에게 알려주는 다수의 모션 분석장치를 포함하는 것을 특징으로 한다.

Description

3차원 모션캡쳐 분석시스템 및 그 방법{3D Motion Capture analysis system and its analysis method}

본 발명은 3차원 모션분석 시스템에 관한 것으로서, 보다 상세하게는 동작 따라하기 전자게임 또는 스포츠 분야의 자세교정 시스템에 적용되어 기준모션과 현재모션을 비교하여 분석할 수 있도록 하는 3차원 모션분석 시스템에 관한 것이다.

2차 세계대전 중의 항공기 시뮬레이터에 관한 연구와 60년대부터 시작된 컴퓨터 그래픽스 기술은 컴퓨터 하드웨어 및 인터페이스 장비의 급속한 발전에 힘입어 점차 가상현실의 기술로 발전하고 있다.

일반적으로, 가상현실(VR : virtual reality)이란 컴퓨터를 이용해 구축한 사이버 공간내 인간의 오감(시각, 청각, 촉각, 미각, 후각)을 통한 상호작용을 실현, 현실세계에서의 활동이나 공간적, 물리적 제약에 의해 직접 경험하지 못하는 상황을 간접 체험할 수 있도록 하는 정보활동의 새로운 패러다임이다.

최근, 상기 가상현실 세계를 보다 구체화하기 위한 방법으로 인간의 오감을 이용한 인간 중심의 사용자 인터페이스 기술이 핵심 요소기술로 연구 및 개발되고 있다. 이중에 시각 및 청각 인터페이스 기술은 현실수준을 80이상 재현할 수 있는 정도로 발전이 이루어진 상태이다.

상기와 같은 가상현실 기술은 여러가지 분야에서 적용이 시도되고 있는데, 예를 들면, 멀티미디어 콘텐츠, 전자게임, 영화, 각종 교육 및 훈련 시스템 등이 있다. 상기 각 분야 중 영화와 게임산업이 발전하고 3차원의 모델링과 랜더링, 에니메이션 기법들이 도입되기 시작하면서 보다 자연스러운 동작을 생성할 수 있는 기술에 관심이 집중되고 있다.

결국, 최근에는 자연스러운 동작 데이터를 빠르고 사실감 있게 얻기 위하여 사람의 동작을 그대로 캡쳐(capture)하고, 수치화된 동작 데이터를 컴퓨터에 입력하고, 이 동작 데이터를 이용해 캐릭터를 움직이게 하는 모션캡쳐 기술이 도입되고 있다.

현재, 사용화된 모션캡쳐 시스템은 대부분 인체에 마커 또는 센서를 붙인 다음 카메라로 마커 영상이나, 센서로부터 나온 데이터를 분석해 인체 각 관절들의 위치와 방향 등을 측정한다. 여기에 사용된 마커 또는 센서의 작동 방식에 따라 초음파(acoustic), 보철(prosthetics), 자기(magnetic), 광학(optical) 방식의 네 가지로 구분된다.

먼저, 초음파방식의 모션캡쳐 시스템은 다수의 초음파를 발생하는 센서와 3개의 초음파 수신부로 구성되고, 연기자의 각 관절에 부착된 초음파 센서들은 순차적으로 초음파를 발생하고, 그 초음파가 수신장치에 수신되기 까지 걸린 시간을 이용해서 센서에서 수신부까지의 거리를 계산한다. 각 센서들의 3차원 공간상 위치는 3개의 수신부에서 각각 계산된 값을 이용한 삼각 측정원리에 의해 구할 수 있다.

그러나, 이 방식은 환경의 간섭을 별로 받지 않고 위치측정에 필요한 계산량이 적어 실시간 처리가 가능하며 값이 싸다는 장점이 있으나, 샘플링 빈도가 높지 않고 동시에 사용할 수 있는 초음파 발생장치의 수가 많지 않다는 문제점이 있다. 또한, 센서가 크기 때문에 연기자의 동작이 부자연스러워질 수 있고, 음향장치의 특성상 초음파의 반사에 의한 영향을 많이 받는다는 문제점이 있다.

한편, 보철방식의 모션캡쳐 시스템은 연기자의 관절 움직임을 측정하기 위한 전위차계와 슬라이더로 이루어진 복합체로 구성되는데, 수신장치를 갖지 않기 때문에 다른 환경의 간섭이나 영향을 받지 않는 장치이다. 따라서, 초기 세트업 과정이 필요없으며 고가의 스튜디오 환경설비도 필요없다. 특히, 이 방식은 매우 높은 샘플링 빈도로 모션 데이터를 획득할 수 있다는 장점이 있다. 그러나, 이 방식은 부담스러운 기계장치를 연기자의 몸에 부착하여야 하므로 동작이 부자연스러워 질 수있고, 보철장치가 연기자의 각 관절에 얼마나 정확하게 위치했는지에 따라 정확도가 달라진다는 문제점이 발생한다.

또한, 자기방식의 모션캡쳐 시스템은 연기자의 각 관절부위에 자기장을 계측할 수 있는 센서를 부착하고 자기장 발생장치 근처에서 연기자가 움직일 때 각 센서에서 측정되는 자기장의 변화를 다시 공간적인 변화량으로 계산하여 움직임을 측정하는 방식이다. 이 방식은 저렴한 가격으로 장치의 구현이 가능하고 실시간 처리가 가능하다는 장점이 있다.

그러나, 이 방식에서 유선방식의 센서를 사용하는 경우에는 센서로부터 연결된 케이블들로 인해 연기자의 동작에 제한을 주고, 이것으로 인해 복잡하고 빠른 움직임을 자연스럽게 표현하는 것을 어렵게 하는 문제점이 있다. 또한, 무선방식의 센서를 사용하는 경우에도 연기자의 몸에 송신기를 부착하여야 하며, 자기장 영역 안에서만 가능하므로 동작반경이 제한되는 문제점이 있다.

광학방식의 모션캡쳐 시스템은 연기자의 주요 관절부분에 적외선을 반사하는 반사마커(reflective marker)들을 부착하고, 2내지 16대의 적외선 필터가 부착된 카메라를 이용해 반사되는 마커들의 좌표를 생성한다. 여러대의 카메라로 캡쳐한 2차원 좌표는 전용 프로그램으로 분석되어 3차원 공간상 좌표로 계산된 후 에니메이션에 활용한다. 광학 방식 시스템의 장점 중 하나는 높은 샘플링 빈도를 들 수 있는데, 스포츠 선수의 동작과 같이 매우 빠른 움직임을 캡쳐할 때 유용하다. 또한, 연기자에 부착되는 마커의 크기가 작고 가벼워서 연기자가 자유롭게 모션을 표현할 수 있으며, 200개 이상의 마커를 처리할 수 있어서 다수 연기자의 모션을 동시에캡쳐할 수 있는 효과가 있다.

그러나, 이 방식은 마커가 다른 물체에 의해 가려질 때 마커의 궤적을 잠시 잃어버리게 되어, 모션 데이터를 후처리하는 과정이 필요하게 되기 때문에 실시간 모션캡쳐가 어렵게 되는 문제점이 있다.

본 발명은 상기와 같은 모션캡쳐 기술을 전자게임 또는 스포츠 분야의 자세교정 시스템에 적용시키기 위하여 안출한 것으로서, 그 목적은 실시간으로 사용자의 모션을 캡쳐하고 기준동작과 현재동작을 비교하여 분석한 후 그 결과를 점수 등으로 알려줌으로써 사용자의 흥미를 유발시킬 수 있도록 하는 3차원 모션분석 시스템을 제공하는데 있다. 실시간에 사용자의 모든 동작을 캡쳐하지 못한다면 몇 개의 마커의 정보와 원연기자의 모션을 기반으로 대략적인 사용자 모션을 실시간에 온라인 (online)으로(동작을 수행하면서) 가시화하거나 분석하여 피드백 정도를 높일 수 있다.

또한, 본 발명의 다른 목적은 인터넷 통신망을 이용하여 기준모션 등의 정보를 제공함으로써 일반 사용자가 자신의 컴퓨터를 이용하여 장소 및 시간에 구애됨이 없이 사용할 수 있도록 하는 3차원 모션분석 시스템을 제공하는데 있다.

도 1은 본 발명에 의한 3차원 모션분석 시스템의 구성을 나타내는 블록도.

도 2는 본 발명에 의한 3차원 모션분석 과정을 나타내는 흐름도.

도 3은 연기자의 모션을 검출하여 서버 시스템에 제공하는 방식을 설명도.

도 4는 본 발명에서 제시하는 학습장의 구성 예를 나타내는 도면.

도 5는 학습자의 모션을 검출한 후 이를 연기자의 모션과 비교하는 방식을 구체적으로 설명하는 설명도.

도 6은 3차원 좌표 데이터와 캐릭터의 영상 데이터를 이용하여 본 발명의 모션 디스플레이 방법을 설명하는 설명도.

도 7은 본 발명에서 사용하는 3차원 영상 프레임의 구조를 보여주는 프레임 구조도.

도 8은 리타겟팅을 처리하는 순서를 보여주는 순서도.

도 9는 도7에서 제시한 영상 프레임을 이용하여 모션을 평가하는 단계를 도시하는 절차도.

도 10은 본 발명에 의한 3차원 영상 좌표 데이터가 저장되는 예를 나타내는 도면.

도 11은 본 발명에 의한 3차원 영상자료 비교분석하는 예를 보여 주는 예시도.

도 12는 본 발명에 의하여 실시간으로 3차원 영상데이터를 상호비교 및 분석하는 동작에서 한 화면의 예를 나타내는 도면.

도 13은 본 발명에 의하여 실시간으로 3차원 영상데이터를 상호비교 및 분석하는 전후좌우의 동작을 한 화면의 예를 나타내는 도면.

< 도면의 주요 부분에 대한 부호의 설명 >

10 : 기준모션 제공장치 11 : 서버 컴퓨터

12 : 기준자료 입력부 13 : 기준자료 데이터베이스

20, 30 : 모션 분석장치 21, 31 : 사용자 컴퓨터

22, 32 : 사용자 자료입력부 23, 33 : 임시자료 입력부

상기와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 원연기자의 3차원 모션 데이터를 이용하여 원연기자의 모션을 디스플레이하고, 이에 따라 동일한 동작을 학습하는 학습자의 3차원 모션을 비교 분석하는 3차원 모션 데이터 분석 방법에 있어서, 원연기자 3차원 모션 데이터를 학습자 신체 치수를 반영하여 변환한 후 변환된(리타겟팅된) 원연기자 3차원 모션 데이터를 저장하는 리타겟팅 단계와 원연기자의 3차원 모션 데이터를 디스플레이하는 원연기자 모션 디스플레이 단계와 디스플레이 되는 상기 원연기자의 모션을 관찰하면서 동일한 동작을 학습하는 학습자의 3차원 모션 데이터를 저장하는 학습자 모션 데이터 저장 단계 및 변환된 원연기자 3차원 모션 데이터를 저장된 학습자 모션 데이터와 비교하는 3차원 모션 데이터 비교 단계를 포함하는 것을 특징으로 하는 3차원 모션 데이터 분석 방법을 제공한다.

본 발명의 상기 목적은 원연기자의 3차원 모션 데이터를 이용하여 원연기자의 모션을 디스플레이하고, 이에 따라 동일한 동작을 학습하는 학습자의 3차원 모션을 비교 분석하는 3차원 모션 데이터 분석 시스템에 있어서, 원연기자 신체 치수와 학습자의 신체 치수 차이를 반영하기 위한 리타겟팅용 프레임과 원연기자의 3차원 모션 디스플레이용 복수 개 모션 프레임을 구비하고, 상기 복수 개 모션 프레임은 연기자 특정 모션을 저장하는 기본모션 프레임과 상기 기본모션 프레임과 구별되는 일반모션 프레임을 포함하고, 상기 기본모션 프레임과 상기 일반모션 프레임을 구분하기 위한 식별정보를 포함하는 원연기자 3차원 모션 데이터을 저장하는 원연기자 모션 데이터 저장부와 리타겟팅된 원연기자 모션 데이터를 저장하는 리타겟팅 원연기자 모션 데이터 저장부와 원연기자의 모션 데이터를 디스플레이하기 위한 디스플레이 장치와 디스플레이되는 원연기자의 모션을 따라 동일한 동작을학습하는 학습자의 3차원 모션을 캡쳐하는 다수의 카메라와 캡쳐 센서를 구비하는 기준자료 입력 장치와 기준자료 입력 장치로 입력된 데이터를 3차원 디지털 자료로 데이터베이스화하는 기준 입력 자료 처리부와 원연기자 모션 데이터를 리타겟팅한 후 상기 리타겟팅 원연기자 모션 데이터 저장부에 저장하고, 상기 리타겟팅된 원연기자의 모션 데이터와 학습자의 3차원 디지털 자료를 비교 분석한 후, 분석 결과를 상기 디스플레이 장치에 디스플레이하는 등의 시스템의 전체 동작을 연산 제어하는 중앙 처리 장치를 구비하는 것을 특징으로 하는 3차원 모션 데이터 분석 시스템에 의해서도 달성 가능하다.

본 발명의 상술한 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해, 첨부된 도면을 참조하여 후술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하, 본 발명에 따른 3차원 모션분석 시스템의 바람직한 일 실시예를 첨부도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 의한 3차원 모션분석 시스템의 구성을 나타내는 블록도이다. 도 1을 참조하면, 참조번호 10은 연기자로부터 기준모션을 입력받아 데이터베이스화하고 통신망을 통해 사용자에게 제공하는 기준모션 제공장치를 나타내고, 20 및 30은 통신망을 통해 상기 기준모션 제공장치(10)에 접속되어 사용자의 현재모션과 기준모션을 비교하는 모션 분석장치를 나타낸다.

이때, 상기 기준모션 제공장치(10)는 본 발명의 동작을 제어하기 위한 서버컴퓨터(11)와, 방송 연예인 또는 유명 스포츠선수를 연기자로 하여 그의 동작에 따른 각 신체부위별 모션자료를 캡쳐하여 상기 서버 컴퓨터(11)로 제공하는 기준자료 입력부(12)와, 상기 기준자료 입력부(12)에서 입력되고 서버 컴퓨터(11)에서 디지털 데이터화된 기준자료 데이터를 저장하는 기준자료 데이터베이스(13)를 포함하여 구성된다. 이때, 상기 기준자료 데이터베이스(13)에는 모션캡쳐 데이터 뿐만 아니라 회원자료, 각종 캐릭터, 통계분석용 어플리케이션 및 정보자료 등이 저장된다.

또한, 상기 모션 분석장치(20,30)는 상기 기준모션 제공장치(10)의 서버 컴퓨터(11)에 통신망을 통해 접속되어 사용자의 현재모션과 기준모션을 비교하는 동작을 수행하는 사용자 컴퓨터(21,31)와, 사용자의 현재모션을 캡쳐하여 상기 사용자 컴퓨터(21,31)로 제공하는 사용자 자료입력부(22,32)를 포함하여 구성된다. 이때, 본 발명이 스포츠 분야의 자세교정 시스템에 적용되는 경우에는 임시적인 기준자료를 제공하기 위한 임시자료 입력부(23,33)를 더 포함하는 것이 바람직하다. 예를 들어, 코치로부터 작성된 원자료와 사용자로부터 캡쳐한 자료를 비교하여 동작상태 비교분석 및 점수를 산출한다.

상기와 같은 구성을 갖는 본 발명의 동작을 첨부도면 도 2를 참조하여 상세히 설명하면 다음과 같다.

먼저, 상기 서버 컴퓨터(11)의 운영자는 기준자료 입력부(12)를 이용하여 연기자의 연기를 영상추출하고, 영상처리를 수행하여 모션캡쳐 데이터로 변환한 후 모션캡쳐 DB에 저장한다.

한편, 상기 캡쳐된 동작에 맞는 음악자료를 녹음하고, 디지털 음악파일을 생성한 후 음악파일 DB에 저장한다. 또한, 연기자의 연기를 대신하기 위한 캐릭터를 제작하여 캐릭터 DB에 저장한다.

상기의 각 과정이 이루어진 후에는 모션캡쳐 DB로부터 이미지를 합성하여 보정하고, 음악파일 DB로부터 음악파일을 호출하여 이미지와 매칭하며, 캐릭터 DB로부터 캐릭터를 호출하여 실시간 캐릭터를 변경함으로써 3차원 그래픽자료를 생성한다.

이때, 상기 사용자 자료입력부(22,32)로부터 사용자의 모션이 캡쳐되면 기준모션과 현재모션을 비교하여 결과를 분석하고 평가를 하게 된다. 상기 평가가 이루어지면 사용자에게는 점수로서 제공하여 한명 또는 다수의 사용자가 게임을 할 수 있도록 한다.

도 3은 연기자의 모션을 검출하여 서버 시스템에 제공하는 방식을 구체적으로 설명하는 설명도이다. 연기자 (140)의 몸에 N 개 센서 (110)를 부착한 후 일정한 장소 내에서 연기를 시작하면, 이를 2개 이상의 카메라 (100)를 통하여 감지한다. 이때 부착되는 센서 (110)의 수는 가능한 모든 관절부위에 부착하는 것이 바람직하며, 카메라의 수도 많을수록 정밀한 데이터를 얻을 수 있다.

카메라로 입수된 정보는 실시간 모션 캡쳐 디텍트 (130, Image Processing Board)로 입력된다. 실시간 모션 캡쳐 디텍트 (130)는 각 카메라 (100)로부터 입수된 영상자료를 분석하여 각 엔터티별로 실시간 3차원 좌표값을 출력한다. 출력된 3차원 좌표값은 연기자의 각 엔터티별 실시간 3차원 영상 좌표를 저장하는 데이터 베이스 (13)로 저장되어 서버 시스템 (11)에 저장된다. 이때 자료가 저장되는 시간 간격은 카메라의 성능 및 시스템의 영상 처리 속도에 따라 좌우되는 데 본 발명에서는 t1 이라고 가정하기로 한다. 이때 가능한 많은 센서를 실시간에 추적할 수 있도록 원연기자의 모션을 포스트 프로세싱하여 사용자의 센서가 어디로 움직일지 예측하는데 이용하도록 한다.

한편, 디자이너가 제공하는 원시 이미지 자료 (150)를 가공하여 가상무대와 캐릭터를 생성한 후 캐릭터 및 가상 무대 데이터 베이스 (160)를 구축한 후 이를 서버 시스템 (11)에 저장한다. 이런 방식으로 구축된 연기자의 3차원 영상 좌표 데이터 베이스 (13), 캐릭터 및 가상무대 데이터 베이스 (160)는 서버시스템에 저장된 후 사용자 시스템 (21)으로부터 요청이 있을 경우 사용자 시스템 (21)으로 전송된다.

도 4는 본 발명에서 제시하는 학습장의 구성 예로서, 복수 개 카메라 (100)와 연기자의 모션과 배경화면을 볼 수 있는 모니터 및 음향 장치를 구비하고 있다. 도 4에는 일정한 무대영역이 구비되어 있으며 상기 영역 내에서 학습자가 모션을 취할 경우 카메라가 정확하게 학습자의 모션 좌표값을 검출할 수 있게 된다.

시작 단계에서 학습자가 무대 영역에 위치할 경우 학습자의 초기 위치를 연기자의 초기 위치와 일치시킬 필요가 있다. 이 경우에는 무대 밑면에 최초 발 위치를 표시하는 초기 발판 식별 위치 표시 장치를 둘 수도 있으나, 바람직하게는 학습자에 부착된 복수 개 센서 위치를 카메라로 식별한 후 이를 디스플레이 장치를 통해서 연기자의 초기 시작 위치와 차이값을 디스플레이 함으로써 일치를 유도시킬 수 있다. 이때 학습자의 초기 위치가 연기자의 초기 위치의 근사 범위 내에 들어올 경우에는 디스플레이 장치에 "Start" 신호 등을 표시함으로써 학습자의 모션을 시작시킬 수 있다. 다음으로 학습자는 디스플레이 되는 연기자의 모션을 따라 움직이게 된다.

이때 모니터를 디스플레이 하는 방식으로는 연기자 또는 학습자의 모션만을 전체화면으로 디스플레이 하거나 또는 연기자와 학습자의 모션을 동시에 디스플레이 하도록 할 수 있다. 본 발명에서 사용 가능한 디지털 카메라 사양은 300만 화소를 가지고, 초당 30 프레임 이상의 프레임을 구비하고 피사체에서 2내지 3미터 이내에서 근접 촬영할 수 있는 것이어야 한다.

도 5는 학습자의 모션을 검출한 후 이를 연기자의 모션과 비교하는 방식을 구체적으로 설명하는 설명도이다. 사용자 시스템 (21)은 서버 시스템 (11)으로부터 전송된 캐릭터 및 가상무대 데이터 베이스 (160)와 연기자의 3차원 좌표값 데이터 베이스 (13)를 구비하고 있다. 이때 도면에는 미도시되었지만 연기자의 3차원 좌표 값 데이터 베이스를 리타겟팅한 후, 리타겟팅된 3차원 좌표값 데이터 베이스를 저장하기 위한 저장부가 구비되는 것이 바람직하다. 연기자의 모션은 사용자 시스템 (21)에 저장된 3차원 좌표값 데이터베이스 (13)와 저장된 캐릭터 데이터베이스를 이용하여 디스플레이 장치에 디스플레이 된다. 이때 디스플레이 되는 연기자의 모습은 연기자의 각 신체부위를 엔터티로 구성한 영상 정보를 이용할 수도 있고 또는 도 3에 제시된 해골 캐릭터와 같이 디자이너가 생성한 캐릭터의 각 엔터티별 영상 정보를 이용할 수도 있다.

학습자 (200)는 디스플레이 되는 연기자의 모션에 따라 일정영역의 학습장에서 N 개의 센서 (110)를 학습자의 몸에 부착한 후 연기를 시작하면, 이를 2개 이상의 카메라 (100)를 통하여 감지한다.

카메라로 입수된 정보는 실시간 모션 캡쳐 디텍트 (130)로 입력된다. 실시간 모션 캡쳐 디텍트 (130)는 각 카메라 (100)로부터 입수된 영상자료를 분석하여 각 엔터티별로 실시간 3차원 좌표값을 출력한다. 출력된 3차원 좌표값은 데이터 베이스 (210) 형태로 사용자 시스템 (21)에 저장된다. 사용자 시스템 (21) 은 연기자의 각 엔터티별 3차원 좌표값과 학습자의 각 엔터티별 3차원 좌표값을 비교 분석하여 이를 평가하여 디스플레이 장치로 디스플레이 한다.

도 6은 3차원 좌표 데이터와 캐릭터의 영상 데이터를 이용하여 본 발명의 모션 디스플레이 방법을 설명하는 설명도이다. 일반적인 비디오 영상 데이터에서는 연기자의 실시간 영상 움직임을 시간 대 별로 모든 춤동작을 저장하는 방식을 사용하고 있다. 따라서 연기자의 춤동작을 저장하기 위해서는 수십 메가의 데이터를 저장하여야 하여야 하는 단점이 있다. 본 발명에서는 이러한 단점을 보완하기 위하여 연기자의 춤동작에 대한 실시간 3차원 좌표의 변화 값과 연기자의 각 엔터티별 영상 데이터를 따로 저장하는 방식을 사용하고 있다. 실재 연기자의 3차원 모션을 플레이하고자 할 경우에는 상기 저장된 엔터티별 실시간 3차원 좌표 데이터의 변화에 따라 각 엔터티에 해당하는 영상 데이터를 영상 처리함으로써 실재 모션을 볼 수 있게 하였다.

도 7은 본 발명에서 사용하는 3차원 원연기자의 영상 프레임의 구조를 보여주는 프레임 구조도이다. (a)도는 원연기자의 모션 프레임을 나타내고, (b)도는 학습자의 모션 프레임을 표시한다. 각 박스는 단위시간 간격으로 보관되는 모션 프레임을 표시하며, 각 박스 위의 기호는 프레임 번호를 도시한다. 원연기자의 영상 프레임은 리타겟팅 프레임과 시작과 끝 프레임, 모션프레임으로 구성되어 있음을 알 수 있다. 모션프레임은 기본모션 프레임과 일반모션 프레임으로 구분되어 있으며, 모션프레임 중 특별히 인상적인 모션 프레임을 기본모션 프레임이라고 정의한다. 기본모션 프레임이라는 정보는 모션 데이터를 생성하는 시점 또는 DB에 저장 한 후, 전문가(content 제작자)가 "특정자세"를 지정하는 관리툴(management program)을 사용해서 지정(marking, check pointing)한다. 이렇게 생성된 기본모션 프레임에 대한 정보는 모션프레임 데이터 파일에 첨부되어 저장 되거나, DB에 별도로 저장되어 사용된다. (a)도의 원연기자 기본모션 프레임 No. 8, 12, 15은 학습자의 3차원 모션 프레임를 표시하는 (b)도의 프레임 No. 10, 15, 20에 각각 대응한다. 도 7에 도시한 바와 같이 각 기본모션 프레임에 딜레이가 생기는 이유는 원연기자의 3차원 모션을 학습자가 따라 행동을 취하는 데 딜레이가 발생되기 때문이다. 이러한 딜레이를 방지하기 위해서 원연기자의 3차원 모션을 보여주는 미리보기 창을 제공할 수도 있다.

원연기자의 신체 사이즈와 학습자의 신체 사이즈가 차이가 발생하므로 모션을 분석하기 전에 먼저 이러한 문제점을 해결하여야 한다. 이러한 문제점을 해결하는 과정을 리타겟팅이라 하며, 도 8은 리타겟팅을 처리하는 순서를 보여준다. 리타겟팅 프레임은 원연기자의 정지된 동작을 디스플레이하고 학습자가 동일한 포즈를 취하도록 유도하여 원연기자와 학습자의 각 요소의 크기 차이를 축출한 후 이를 원연기자의 3차원 영상 좌표 데이터에 반영하기 위한 것이다. 리타겟팅 프레임의 또 다른 기능은 원연기자와 학습자의 초기 위치를 일치시키기 위한 것이다.

먼저 리타겟팅 프레임 또는 기타 외부 데이터를 이용하여 원연기자의 신체 데이터와 학습자의 신체 데이터를 입수한다. 2가지 데이터를 분석한 후 학습자의 신체 칫수에 적합하게금 원연기자의 모션 데이터를 변환한다. 일반적으로 이러한 변환은 도 8에 도시한 바와 같이 원연기자 3차원 모션 데이터를 즉, 모션 데이터를 얻는 기준이 되는 신체 부위를 기점으로(대부분 허리를 기준으로 한다) 원연기자의 3차원 모션 데이터를 확대하거나 축소한 후, 중심 이동을 시킨다. 중심 이동후에는 제약조건을 만족하기 위한 변형을 함으로써 최종적으로 리타겟팅된 원연기자의 모션 데이터를 입수할 수 있다. 제약조건을 만족하기 위한 변형이 필요한 이유를 예로 들어 설명하면, 2m 키를 가진 농구선수의 3차원 모션 데이터를 1m 키의 초등학생 신체 칫수를 고려하여 농구선수의 3차원 모션 데이터를 허리를 중심으로 축소하면 지면에 닿아야 하는 발부분이 허공이 뜨는 현상이 발생하게 된다. 따라서 "발부분은 반드시 지면에 닿아야 한다"라는 제약조건을 부여하고 이러한 제약조건을 고려하여 농구선수의 3차원 모션 데이터를 변환하여야 한다. 일반적으로 3차원 모션 자료를 변환할 경우에는 리타겟팅외에도 자기교차 (self -intersection) 문제를 해결하여야 하나 본 발명과 같이 유사한 신체 칫수를 갖는 사람의 모션 데이터를 동일한 사람의 모션 데이터로 변경할 경우에는 반드시 고려할 필요는 없을 것이다.

본 발명의 3차원 모션 비교방법을 크게 4단계로 분류할 수 있다. 1단계는 리타겟팅 프레임을 이용하여 원연기자와 학습자 신체 칫수 및 초기 위치를 비교한후, 비교 값을 이용하여 원연기자의 3차원 영상 좌표 값 데이터를 변환하는 리타겟팅 단계이며, 2단계는 원연기자의 리타겟팅 변환전의 모션 데이터를 디스플레이하는 단계이며, 3단계는 디스플레이되는 원연기자의 모션 데이터를 따라 연기하는 학습자의 모션을 저장하는 단계이고, 4단계는 리타겟팅된 원연기자의 모션 데이터와 저장된 학습자의 모션 데이터를 비교하는 단계이다. 이하에서는 각 단계를 좀더 자세히 설명하기로 한다.

도 9는 도7에서 제시한 영상 프레임을 이용하여 모션을 평가하는 단계를 도시하는 절차도이다. 우선 리타겟팅 프레임을 이용하여 원연기자와 학습자 신체 칫수 및 초기 위치를 비교한다. (s1 단계) 이때 원연기자 및 학습자의 신체 칫수 데이터는 외부 데이터를 이용할 수도 있다. 이러한 비교 값을 이용하여 원연기자의 3차원 영상 좌표 값 데이터를 변환 (리타겟팅)한다. (s2 단계)

그런 후, 원연기자의 3차원 모션 데이터를 디스플레이 한다. (s3 단계) 디스플레이되는 원연기자의 모션은 리타겟팅된 원연기자의 3차원 모션 데이터를 디스플레이할 수도 있으나 바람직하게는 리타겟팅되기 전의 원연기자 3차원 모션 데이터를 디스플레이하는 것이 원연기자의 모션을 충실히 디스플레이할 수 있는 잇점이 있다. 이때 원연기자의 3차원 모션 자료를 미리 보여주는 기능을 제공하여 학습자가 다음 동작을 미리 대비할 수 있도로 하는 것이 바람직하다. 디스플레이되는 원연기자의 3차원 모션을 따라 학습자가 모션을 취하고 이러한 동작은 실시간으로 저장된다. (s4 단계)

디스플레이되는 원연기자 3차원 모션 프레임이 기본모션 프레임인지를 판단 (s5 단계)한 후 기본모션 프레임이 아닌 경우에는 계속적으로 s3와 s4 단계를 반복하도록 한다. 기본모션 프레임인 경우에는 리타겟팅된 원연기자의 기본모션 프레임과 저장되는 학습자의 모션 프레임의 절대 좌표 차이값을 계산한다. (s6 단계) 이러한 절대 좌표 차이값으로부터 원연기자의 기본모션 프레임에 해당하는 학습자의 기본모션 프레임을 축출한다. (s7 단계) 이러한 축출은 도 7에서 설명한 바와 같이 원연기자의 모션과 학습자의 모션 사이에 딜레이가 있으므로, 원연기자의 기본모션 프레임 이후에 생성되는 임의의 프레임 갯수 내에서 발생하는 학습자의 모션 프레임의 좌표값을 원연기자의 기본모션 프레임과 비교한 후 이러한 좌표값의 절대 차이값이 일정 범위 내에 있는 프레임을 학습자의 기본 프레임으로 축출하는 방식을 사용할 수 있다. 이때 임의의 프레임 갯수는 사용자의 능력에 따라 선택할 수 있는 것이 바람직하다. 즉, 고급 사용자인 경우에는 원연기자의 기본 모션 이후에 발생된 3개의 프레임 내에서 학습자의 기본 모션 프레임이 발생되는지를 검사하고, 초보 사용자인 경우에는 프레임의 갯수를 3개보다 많은 갯수를 선택할 수 있도록 한다. 도 7의 경우를 살펴보면, 원연자의 8번째 모션 프레임은 학습자의 10번째 모션 프레임, 12번째 모션 프레임은 15번째 모션 프레임, 15번째 모션 프레임은 20번째 모션 프레임으로 각각 딜레이 됨을 표시한다. 원연기자의 모션과 절대 좌표 변화량을 계산하는 방법은 도 11을 이용하여 설명하기로 한다.

이러한 방식으로 정해진 기본모션 프레임간의 좌표 절대 차이값 누적값을 저장한다. (s8 단계) 절대 좌표 차이값을 누적하는 대신 기본모션 프레임이 선정되면, 학습자에게 정확하게 동작을 따라 하였다는 것을 나타내기 위해서 각 모션 프레임의 해당 엔터티에 별도의 표식 등을 하게 할 수 있다. 즉 원연기자의 모션과 일치하고 있다는 것을 표시하기 위해 일치된 엔터티의 좌표에 동그라미를 그리거나 시각적으로 특별한 표식을 할 수도 있다. 이후 마지막 프레임인지 여부를 체크한 후(s9 단계), 마지막 프레임이 아닌 경우에는 s3 단계를 시작하고, 마지막 프레임인 경우에는 상기 절대 좌표 변화량 누적량을 이용해서 총점을 디스플레이 한다. (s10 단계) 이때 이러한 총점을 이용하여 단순하게 디스플레이하는 대신 여러가지 기법으로 다양하게 표현하는 것은 당업자에게 매우 손쉬운 방법이다.

도 10은 본 발명에 의한 3차원 영상 좌표 데이터가 저장되는 예를 나태내는 도면이다. 연기자의 각 부위를 관절단위로 하여 요소(entity)로 정의하고, 움직임에 따라 X,Y,Z의 좌표를 읽어서 위상변화의 차이를 이용하여 비교하였다. 연기자는 총 N개 엔터티의 3차원 각 좌표값을 시간 간격 0.01 초 간격으로 판독 및 저장한다. 예를 들어 엔터티 1은 연기자의 오른 쪽 팔목의 위치를 감지하며, 시작시 (t=0)에는 엔터티 1의 좌표 위치는 (x,y,z)=(9,45,-20)이고, t=0.01 시각에는 (7,54,-15)로 변하고, t=0.02 시각에는 (12,55,-5)의 위치로 변화함을 표시하고, 시간당 상기 각 엔터티별 좌표 값을 저장하여야 한다.

도 11은 본 발명에 의한 3차원 영상자료 비교분석하는 예를 보여 주는 예시도이다. 대상 (Object) A는 연기자를 표시하고 대상 (Object) B는 학습자를 표시한다. 대상 A의 엔터티 1의 좌표는 시각이 0.00 --> 0.01 --> 0.02로 변화될 때, (9,45,-20) --> (7,54,-15) --> (12,55,-5)로 변화됨을 표시하고, 대상 B의 엔터티 1의 좌표는 (9,45,-20) --> (10,58,-18) --> (14,69,-8)로 변화됨을 표시한다.

도 11의 하위 부분에는 대상 A와 B의 실시간 3차원 영상데이터 위상변화 차이 값을 표시하고 있다. 표 1에는 대상 A(연기자) 및 대상 B(학습자)의 t1(t=0.00), t2(t=0.01), t3(t=0.02) 에서의 제 1 엔터티 3차원 좌표값을 각각 표시한다.

대상 A	대상 B
	x	y	z		x	y	z
t1	9	45	-20	t1	9	45	-20
t2	7	54	-15	t2	10	58	-18
t3	12	55	-5	t3	14	69	-8

이때 대상 A의 t2가 기본모션 프레임을 나타내는 것이라고 하고 기본모션 프레임을 결정하는 절대 좌표 차이값의 합계 한계를 15라고 가정할 때, 표 2는 이에 대응하는 대상 B의 기본모션 프레임을 축출하는 방법을 설명한다. 대상 A(연기자) 의 t2(t=0.01) 에서의 제 1 엔터티 3차원 좌표값을 기준으로 할 때 대상 B의 절대 좌표 차이값 및 이의 합계값을 각각 표시한다.

	절대 좌표 차이값 (A 기본모션 프레임:t2)
	x	y	z	∑
t2	3 (10-7)	4 (58-54)	3 (-18+15)	10
t3	7 (14-7)	15 (69-54)	7 ( -8+15)	29

이때 표 2에 설명한 바와 같이, 대상 B의 좌표 차이값의 합계액을 검사한 후 일정한 값 (본 설명에서는 15)이하로 되는 프레임을 대상 A의 기본모션 프레임에 대응하는 대상 B의 기본모션 프레임으로 축출할 수 있다. (표 2에서는 대상 B의 t2 프레임) 표 2에서는 단지 제 1 엔터티만을 기준으로 설명하였지만, 실재 적용을 할 경우에는 전체 엔터티의 절대 좌표 차이값을 고려하여 판단하는 것이 바람직하다.

도 12는 본 발명에 의하여 실시간으로 3차원 영상데이터를 상호비교 및 분석하는 동작에서 한 화면의 예를 나타내는 도면이다. 평가가 이루어진 동안에 사용자 컴퓨터(21,31)의 화면에는 도 12에 도시된 바와 같은 화면이 디스플레이 되어, 사용자가 용이하게 확인할 수 있도록 한다. 즉, 기준모션을 프레임A로 제공하고, 현재모션을 프레임B로 제공하여 사용자의 비교가 이루어지도록 하고, 서로 차이가있는 지점을 화살표 등으로 표시하여 사용자가 용이하게 확인할 수 있도록 한다. 또한, 콘트롤바(control bar)를 구비하여 사용자가 원하는 시간적 위치의 모션캡쳐 데이터를 용이하게 비교할 수 있도록 하였다.

도 13은 본 발명에 의하여 실시간으로 3차원 영상데이터를 상호비교 및 분석하는 동작의 화면 예를 나타내는 도면이다. 즉, 연기자와 학습자의 전, 후, 좌, 우 모습을 동시에 디스플레이 함으로써 학습자는 보다 정확하게 자신의 모습을 연기자와 비교할 수 있다. 이 경우에도 콘트롤바(control bar)를 구비하여 사용자가 원하는 시간적 위치의 모션캡쳐 데이터를 용이하게 비교할 수 있도록 하였다.

이상에서 설명한 바와 같은 본 발명의 3차원 모션분석 시스템은 실시간으로 사용자의 동작을 캡쳐하고 기준동작과 현재동작을 비교하여 분석한 후 그 결과를 점수 등으로 알려줌으로써 사용자의 흥미를 유발시킬 수 있는 효과가 있다.

또한, 인터넷 통신망을 이용하여 기준모션 등의 정보를 제공함으로써 일반 사용자가 자신의 컴퓨터를 이용하여 장소 및 시간에 구애됨이 없이 사용할 수 있는 효과가 있다.

본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진자라면 누구나 쉽게 알 수 있을 것이다.

예를 들어, 본 발명은 국방분야의 사격조준 및 자세 교정, 의료분야의 재활운동 및 자세교정, 방송, 영화, 에니메이션 제작, 게임, 각종 스포츠의 자세교정, 교육분야 등에 적용이 가능하다.

Claims (6)

1. 원연기자의 3차원 모션 데이터를 이용하여 원연기자의 모션을 디스플레이하고, 이에 따라 동일한 동작을 학습하는 학습자의 3차원 모션을 비교 분석하는 3차원 모션 데이터 분석 방법에 있어서,

   원연기자 3차원 모션 데이터를 학습자 신체 치수를 반영하여 변환한 후 변환된(리타겟팅된) 원연기자 3차원 모션 데이터를 저장하는 리타겟팅 단계;

   상기 원연기자의 3차원 모션 데이터를 디스플레이하는 원연기자 모션 디스플레이 단계;

   디스플레이 되는 상기 원연기자의 모션을 관찰하면서 동일한 동작을 학습하는 학습자의 3차원 모션 데이터를 저장하는 학습자 모션 데이터 저장 단계; 및

   상기 변환된 원연기자 3차원 모션 데이터를 저장된 상기 학습자 모션 데이터와 비교하는 3차원 모션 데이터 비교 단계를 포함하는 것을 특징으로 하는 3차원 모션 데이터 분석 방법.
2. 제 1항에 있어서,

   상기 원연기자 3차원 모션 데이터는 원연기자의 특별한 모션을 지정하기 위한 적어도 하나의 기본모션 프레임을 포함하고, 상기 3차원 모션 데이터 비교 단계가

   상기 원연기자의 모션 디스플레이 단계에서 디스플레이되는 원연기자의 기본모션 프레임과 학습자의 모션 프레임의 좌표 절대 차이값을 계산하는 단계; 및

   상기 계산된 좌표 절대 차이값이 일정한 한계값 이하인 프레임을 학습자의 기본모션 프레임으로 축출하는 단계를 포함하는 것을 특징으로 하는 3차원 모션 데이터 분석 방법.
3. 제 2항의 상기 기본모션 프레임 축출 단계가

   상기 원연기자의 기본모션 프레임을 기준으로 하여 임의의 프레임 갯수만큼 후에 생성되는 학습자 모션 프레임에 의해서 선정되는 것을 특징으로 하는 3차원 모션 데이터 분석 방법.
4. 제 3항에 있어서,

   상기 임의의 프레임 갯수가 학습자의 등급별로 선택 가능한 것을 특징으로 하는 3차원 모션 데이터 분석 방법.
5. 제 1항의 리타겟팅 단계에 있어서,

   원연기자의 신체 칫수와 학습자의 신체 칫수를 입력받는 단계와

   상기 신체 칫수의 차이값을 구한 후, 원연기자의 3차원 모션 데이트를 신체의 일부를 기준으로 확대 또는 축소하는 단계를 포함하여 원연기자의 3차원 모션 데이터를 변환하는 것을 특징으로 하는 3차원 모션 데이터 분석 방법.
6. 원연기자의 3차원 모션 데이터를 이용하여 원연기자의 모션을 디스플레이하고, 이에 따라 동일한 동작을 학습하는 학습자의 3차원 모션을 비교 분석하는 3차원 모션 데이터 분석 시스템에 있어서,

   원연기자 신체 치수와 학습자의 신체 치수 차이를 반영하기 위한 리타겟팅용 프레임과 원연기자의 3차원 모션 디스플레이용 복수 개 모션 프레임을 구비하고, 상기 복수 개 모션 프레임은 연기자 특정 모션을 저장하는 기본모션 프레임과 상기 기본모션 프레임과 구별되는 일반모션 프레임을 포함하고, 상기 기본모션 프레임과 상기 일반모션 프레임을 구분하기 위한 식별정보를 포함하는 원연기자 3차원 모션 데이터을 저장하는 원연기자 모션 데이터 저장부;

   리타겟팅된 원연기자 모션 데이터를 저장하는 리타겟팅 원연기자 모션 데이터 저장부;

   원연기자의 모션 데이터를 디스플레이하기 위한 디스플레이 장치;

   디스플레이되는 원연기자의 모션을 따라 동일한 동작을 학습하는 학습자의 3차원 모션을 캡쳐하는 다수의 카메라와 캡쳐 센서를 구비하는 기준자료 입력 장치;

   상기 기준자료 입력 장치로 입력된 데이터를 3차원 디지털 자료로 데이터베이스화하는 기준 입력 자료 처리부;

   상기 원연기자 모션 데이터를 리타겟팅한 후 상기 리타겟팅 원연기자 모션 데이터 저장부에 저장하고, 상기 리타겟팅된 원연기자의 모션 데이터와 학습자의 3차원 디지털 자료를 비교 분석한 후, 분석 결과를 상기 디스플레이 장치에 디스플레이하는 등의 시스템의 전체 동작을 연산 제어하는 중앙 처리 장치를 구비하는 것을 특징으로 하는 3차원 모션 데이터 분석 시스템.