KR101632963B1

KR101632963B1 - 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법

Info

Publication number: KR101632963B1
Application number: KR1020117019652A
Authority: KR
Inventors: 나다브 이스라엘; 아이타이 캇츠; 두디 코헨; 암논 셴펠드
Original assignee: 아이사이트 모빌 테크놀로지 엘티디
Priority date: 2009-02-02
Filing date: 2010-02-02
Publication date: 2016-06-23
Also published as: US9405970B2; EP2391972A1; US20160343145A1; JP5816098B2; WO2010086866A1; CN102356398B; CN102356398A; JP2012517044A; EP2391972B1; US20110291925A1; KR20110138212A

Abstract

본 발명은 비디오 스트림에 있어서의 물체 검출 및 트랙킹을 위한 시스템 및 방법을 제공한다. 비디오 스트림의 프레임들을 관심 영역으로 분할하고, 각각의 관심 영역에 대해, 당해 영역이 트랙킹되는 물체의 적어도 일부분을 포함하는 확률을 산출한다. 이어서, 각 프레임의 관심 영역을 산출된 확률에 기초하여 분류한다. 이어서, 비디오 프레임에서의 관심 영역의 분류를 보고하는 관심 영역(RI) 프레임이 각각의 비디오 프레임에 대해 생성된다. 이어서, 상기 물체의 모션을 판정하기 위해, 2개 이상의 RI 프레임을 비교한다. 또한, 본 발명은, 본 발명의 상기 방법을 실행하는 시스템을, 당해 시스템을 포함하는 장치와 함께, 제공한다. 상기 장치는, 예를 들어 휴대형 컴퓨터, 휴대 전화 또는 오락 기기일 수 있다.

Description

비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법{SYSTEM AND METHOD FOR OBJECT RECOGNITION AND TRACKING IN A VIDEO STREAM}

본 발명은 물체 검출 및 트랙킹을 위한 방법 및 시스템, 그리고 이러한 시스템을 포함하는 장치에 관한 것이다.

이하의 종래 기술에 관한 공표물은 본 발명의 이해와 관련있는 것으로 본다.

Digital Image Processing by Rafael C. Gonzalez, Richard E. Woods and Steven L. Eddins, Prentice Hall (2004), 10.4.2-Region Growing.

E. Deja, M.M. Deja, Dictionary of Distances, Elsevier (2006).

Mahalanobis, P C (1936). "On the generalised distance in statistics". Proceedings of the National Institute of Sciences of India 2 (1): 49-55).

Itakura F., "Line spectrum representation of linear predictive coefficients of speech signals," J. Acoust.Soc. Am., 57, 537(A), 1975.

James M. Abello, Panos M. Pardalos, and Mauricio G. C. Resende (editors)(2002). Handbook of Massive Data Sets. Springer.

E.R. Berlekamp, Algebraic Coding Theory, McGraw-Hill 1968.

Richard W. Hamming. Error Detecting and Error Correcting Codes, Bell System Technical Journal 26(2): 147-160, 1950.

Dan Gusfield. Algorithms on strings, trees, and sequences: computer science and computational biology. Cambridge University Press, New York, NY, USA, 1997).

미국특허 제5,767,842호 및 제6,650,318호

데이터 처리 장치에의 데이터 입력은, 키보드, 마우스 또는 조이스틱 등의 데이터 입력 장치를 사용하여 이루어진다. 전자 장치가 계속하여 소형화되어오고 있음에도 불구하고, 각종의 관련 데이터 입력 장치의 사이즈는, 사용자의 손 크기에 맞추어져야 하기 때문에, 실질적으로는 감소시킬 수 없다. 따라서, 사용자의 손을 장치에 접촉시키지 않아도 되는 데이터 입력 방법이 고안되어져 왔다. 코르스(Korth)에게 부여된 미국특허 제5,767,842호 및 아논(Arnon)에게 부여된 미국특허 제6,650,318호에는, 예를 들어 카메라를 사용하여 사용자의 손과 손가락 모션을 모니터하는 광학 시스템이 개시되어 있다. 소프트웨어 애플리케이션은 이들 모션을 물리적으로 존재하지 않는 컴퓨터 키보드나 다른 입력 장치상의 조작으로서 해석한다. 이들 시스템에서는, 카메라가 고정된 위치를 가지며, 따라서 화상의 배경이 일정하게 유지된다. 이와 같이 하면, 소프트웨어 애플리케이션은, 각 화상에서의 사용자의 손을 검출하기 위해 일정한 배경에 존재하는 정보를 사용할 수 있다. 그러므로, 이 시스템은 사용 중에 움직이는 장치에서 사용될 수 없는데, 왜냐하면, 이 경우에는, 화상의 배경이 일정하지 않으며, 따라서 화상 중에 신뢰할 수 있는 배경 정보가 없기 때문이다. 사용 중에 움직이는 장치는, PDA(personal digital assistant), 휴대 전화, 디지털 카메라, 모바일 게임기 등의 휴대형 장치를 포함한다.
국제 특허 공보 WO 2008/139399는 이미지들의 시퀀스에서 물체의 모션에 과한 모션 관련 특징을 판정하기 위한 방법을 개시한다. 이들 이미지는 이미지들로부터 1차 특징을 추출하도록 처리되고, 1차 특징의 통계학적 값은 계산되며, 물체의 모션 관련 특징을 판정하는데 사용된다.
공보 "비주얼 관심 포인트의 학습 및 선택된 제어에 의해 실시간 제스처 인식" (Kirishima et al, IEEE transactions on Pattern analysis and machine Intelligence, IEEE Service Center, Los Alamitos, Caliif, US., pages 351~364)는 이미지들의 시퀀스에서 동적으로 변화하는 관심의 영역으로부터 비주얼 특징을 계산하고, 각각의 비주얼 특징에 확률 밀도 함수를 할당함으로써 제스처의 인식을 개시한다.

본 발명의 제1 양태에서, 본 발명은 비디오 스트림에서의 물체 검출 및 트랙킹을 위한 시스템을 제공한다. 본 발명의 시스템은 두 가지 별개의 논리 체계에 기초하고 있다. 제1 체계는, 비디오 스트림을, 영역에 존재하는 트랙킹된 물체의 확률을 산출하는 책임을 독립적으로 맡는, 환경에서 단독의 모션 센서로서 기능하는 관심 영역으로 분할한다. 제2 체계는 시간에 대하여 영역의 세트의 거동을 모니터하고, 확률의 패턴에 기초하여, 트랙킹된 물체의 위치 및 모션 파라미터를 산출한다.

본 발명의 시스템은 당해 시스템에 의해 해석되는 비디오 스트림의 프레임을 저장하는 메모리를 포함한다. 프로세서는 메모리에 저장된 비디오 스트림의 프레임을 불러온다. 물체 검출 모듈은, 각 프레임의 관심 영역을, 미리 결정된 트랙킹되는 물체의 적어도 일부분이 관심 영역에 포함되는 확률에 따라 분류한다. 후술하는 바와 같이, 물체 검출 모듈에 의한 물체 검출은 프레임에 있어서의 상기 물체의 에지 검출을 수반하지 않는다. 물체 트랙킹 모듈은 상기 물체 검출 모듈로부터 출력된 분류된 프레임을 그 입력 신호로서 수신하고, 계속되는 분류된 프레임과 비교하여 물체의 모션을 판정한다. 본 발명의 시스템은, 키보드, 마우스 또는 조이스틱과 같은 상기 장치와 관련된 임의의 입력 장치 대신에, 또는 그에 부가하여 상기 장치에 오퍼레이팅 시스템(OS) 커맨드를 입력하는데 사용될 수 있다. 본 발명의 시스템은 개인용 컴퓨터(PC), PDA, 랩탑 또는 팜 플롯과 같은 휴대형 컴퓨터, 휴대 전화, 라디오 또는 오락 기기, 운송 기구, 디지털 카메라, 모바일 게임기, 컴퓨터화된 의료용 장치 및 스마트 하우스 제품과 같은 임의 유형의 데이터 처리 장치에서 사용될 수 있다.

적용에 따라, 프로세서는 미리 결정된 물체 모션 세트 중에서 트래킹된 물체의 모션 패턴을 식별하는 패턴 인식 모듈을 선택적으로 포함하여도 된다. 상기 시스템은 하나 이상의 미리 결정된 모션 패턴 각각에 대해 관련된 OS 커맨드를 제공하는 룩업 테이블을 저장하는 OS 커맨드 실행 모듈을 더 포함하여도 된다. 미리 결정된 물체 모션 중의 하나가 식별되는 경우, 그 모션과 관련지어진 OS 커맨드가 시스템에 의해 실행된다.

본 발명의 제2 양태에 있어서, 본 발명은, 본 발명의 시스템을 포함하는 데이터 처리 장치를 제공한다. 데이터 처리 장치는, 예를 들어 개인용 컴퓨터(PC), PDA, 랩탑과 같은 휴대형 컴퓨터, 휴대 전화, 라디오 또는 오락 기기, 운송 기구, 디지털 카메라나 모바일 게임기일 수 있다. 본 발명의 장치는, 전술한 바와 같이, 물체 검출 및 물체 트랙킹을 실행하도록 구성된 비디오 카메라와 프로세서를 구비한다. 검출 및 트랙킹되는 물체는, 예를 들어 사용자의 손 또는 손가락이거나 손에 쥘 수 있는 스타일러스 또는 다른 미리 규정되거나 특정된 장치일 수 있다.

본 발명의 장치는 각각의 인식된 모션에 대해 관련지어진 OS 커맨드를 제공하는 룩업 테이블을 저장하는 메모리를 포함한다. 패턴 인식 모듈에 의해 모션 패턴이 검출되면, 상기 룩업 테이블에서 당해 모션과 관련지어진 OS 커맨드가 참조되고, 당해 모션과 관련지어진 OS 커맨드가 실행된다. OS 커맨드는, 예를 들어 스피커 온/오프, MP3/IPTV에서의 다음/이전 트랙, GPS 애플리케이션에 있어서의 지도 보기의 제어 및 보이스메일 서비스의 스위치 온과 같은 활성 기능이 될 수 있다.

본 발명의 이 양태에 따르면, 비디오 스트림의 프레임들이 2 이상의 관심 영역으로 분할된다. 각각의 관심 영역에 대하여, 그 관심 영역의 화소의 통계학적 해석이 수행된다. 예를 들어, 통계학적 해석은 상기 관심 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대하여 히스토그램을 생성하는 것을 포함한다. 상기 함수는, 예를 들어 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도이거나, 화소의 색상, 순도 또는 휘도 중 어느 하나일 수 있다. 상기 히스토그램은 단일 변수 히스토그램이거나 또는 화소 특성의 n-튜플(n-tuples)의 빈도를 총계낸 다중 변수 히스토그램일 수 있다. 상기 통계학적 해석은 하나 이상의 상기 히스토그램 중 어느 하나의 평균치, 최빈치, 표준 편차 또는 분산과 같은 통계학적 파라미터의 값을 산출하는 것을 포함할 수 있다. 관심 영역의 상기 통계학적 해석 결과를 사용하여 영역이 검출되는 물체의 적어도 일부분을 포함하는 확률에 따라 영역을 분류한다. 해석된 각각의 프레임에 대하여, 프레임의 관심 영역의 분류의 표상인 "관심 영역(RI) 프레임"이 생성된다.

하나 이상의 패턴 검출 모듈이 사용되어 RI 프레임으로부터 물체의 특정한 모션 패턴을 검출한다. 각각의 패턴 검출 모듈은 상기 패턴 검출 모듈에 의해 검출된 특정한 모션 패턴이 시간 구간 동안에 발생하는 확률을 출력한다. 하나 이상의 패턴 인식 모듈의 출력은 가장 일어났을 가능성이 높은 모션 패턴을 판정하는 모션 인식 모듈에 입력된다. 모션 검출 모듈의 판정은 상기 패턴 인식 모듈로부터 입력된 확률을 기초로 하며, 실행 중인 애플리케이션이나 오퍼레이팅 시스템으로부터의 입력 등의 외부 입력을 고려할 수도 있다.

따라서, 본 발명의 제1 양태에 있어서, 본 발명은, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템으로서,

(a) 물체 검출 모듈(45) 및 물체 트랙킹 모듈(47)을 포함하는 프로세서(46)를 포함하며,

상기 물체 검출 모듈(45)은,

(i) 비디오 스트림의 복수의 프레임을 관심의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 픽셀의 통계학적 해석을 실행하고,

(ii) 상기 실행된 통계학적 해석에 기초하여 복수의 프레임의 각각에서 관심 영역을 분류하고, 각각의 비디오 프레임에 대해 관심 영역(RI) 프레임을 생성하되, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성하도록 구성되며,

상기 물체 트랙킹 모듈(47)은,

연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하도록 구성된, 시스템을 제공한다.

본 발명의 시스템의 물체 트랙킹 모듈은 하나 이상의 패턴 검출 모듈을 포함할 수 있으며, 각각의 상기 패턴 검출 모듈은, 어느 시간 구간(time window) 동안에 트랙킹된 물체의 특정한 모션 패턴이 상기 시간 구간 동안에 일어난 확률을 산출하도록 구성된다. 상기 물체 트랙킹 모듈은, 상기 하나 이상의 패턴 검출 모듈에 의해 생성된 확률을 기초로 하여, 가장 일어났을 가능성이 높은 모션 패턴을 판정하는 모션 인식 모듈을 더 포함할 수 있다. 상기 모션 인식 모듈의 판정은 외부 신호를 고려하는 것을 수반할 수도 있다.

상기 본 발명의 시스템은, 식별된 모션 패턴에 관련지어진 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈을 더 포함할 수 있다.

본 발명의 제2 양태에 있어서, 본 발명은, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법으로서,

(i) 비디오 스트림의 복수의 프레임을 관심의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 픽셀의 통계학적 해석을 실행하는 단계와,

(ii) 상기 실행된 통계학적 해석에 기초하여 각각의 비디오 프레임에서 관심 영역을 분류하고, 복수의 비디오 프레임의 각각에 대해 관심 영역(RI) 프레임을 생성하는 단계로서, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성 단계를 포함하고,

(iii) 연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하는 단계를 포함하는 방법을 제공한다.

관심 영역이 상기 트랙킹되는 물체의 적어도 일부분을 포함하는 확률은,

(a) 상기 비디오 스트림에서의 각 프레임의 하나 이상의 관심 영역 각각에 대해, 당해 관심 영역의 화소의 통계학적 해석을 산출하는 단계와,

(b) 상기 비디오 스트림의 하나 이상의 이전 프레임의 관심 영역의 통계학적 해석을 포함하는 계산에서 상기 관심 영역의 별개의 분류를 산출하는 단계를 포함하는 방법으로 취득될 수 있다.

상기 통계학적 해석은, 상기 관심 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대한 히스토그램을 생성하는 것을 포함할 수 있다. 하나 이상의 상기 함수는,

(a) 상기 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도, 및

(b) 상기 화소의 색상, 순도 또는 휘도 중의 어느 하나를 포함하는 그룹으로부터 선택될 수 있다.

상기 본 발명의 방법은, 하나 이상의 상기 함수의 통계학적 파라미터 값의 산출을 더 포함할 수 있다. 하나 이상의 상기 통계학적인 파라미터는,

(a) 평균치

(b) 최빈치

(c) 표준 편차, 및

(d) 분산

을 포함하는 그룹으로부터 선택될 수 있다.

2 이상의 RI 프레임을 비교하는 단계는,

(a) 각각의 프레임에 대해, 그리고 상기 프레임의 상기 분류된 관심 영역 각각에 대해, 상기 관심 영역의 분류를, 상기 프레임을 포함하는 어느 시간 구간에서 얻어진 복수의 프레임의 상기 관심 영역의 분류와 비교하는 것과,

(b) 상기 비교를 기초로 하여, 선택된 상기 관심 영역이 트랙킹되는 상기 물체를 포함하는지의 여부를 판정하는 것과,

(c) 이 판정을 기초로 하여, 상기 관심 영역이 트랙킹되는 상기 물체를 포함하는지의 여부에 따라 상기 관심 영역을 재분류하는 것과,

(d) 어느 시간 구간 동안에 2 이상의 상기 영역의 상태에 있어서의 변화를 기초로 하여, 상기 물체의 모션의 하나 이상의 트랙킹 파라미터를 산출하는 것을 포함할 수 있다.

상기 트랙킹 파라미터는,

(a) 상기 물체의 이동 방향;

(b) 상기 물체의 이동 속도

(c) 상기 물체의 가속도

(d) 화소에 있어서의 상기 물체의 폭

(e) 화소에 있어서의 상기 물체의 높이

(f) 프레임에 있어서의 상기 물체의 위치를 포함하는 그룹으로부터 선택될 수 있다.

본 발명의 다른 양태에 있어서, 본 발명은, 본 발명의 시스템을 포함하는 데이터 처리 장치를 제공한다. 상기 데이터 처리 장치는,

(a) 개인용 컴퓨터(PC);

(b) PDA 또는 랩탑 등의 휴대형 컴퓨터;

(c) 휴대 전화;

(d) 라디오;

(e) 오락 기기;

(f) 스마트 홈(Smart Home);

(g) 운송 기구(vehicle);

(h) 디지털 카메라;

(i) 주방 기구;

(j) 미디어 플레이어 또는 미디어 시스템;

(k) 위치 기반 장치;

(l) 휴대형 게임기;

(m) 피코 프로젝터 또는 내장형 프로젝터;

(n) 의료용 디스플레이 장치;

(o) 차내(in-car)/기내(in-air) 정보 시스템을 포함하는 그룹으로부터 선택될 수 있다.

본 발명의 장치는 비디오 카메라와 디스플레이 스크린 중의 일방 또는 양방을 더 포함할 수 있다.

상기 트랙킹되는 물체의 상기 모션 패턴 중 하나 이상은,

(a) 상기 시간 구간 동안에 상기 물체의 폭이 화소에 있어서 증가됨;

(b) 상기 시간 구간 동안에 상기 물체의 폭이 화소에 있어서 감소됨;

(c) 상기 물체가 상기 카메라에 보다 가까이 이동됨;

(d) 상기 물체가 상기 카메라로부터 멀어지게 이동됨;

(e) 상기 물체가 소정 경로에서 이동됨;

(f) 상기 물체가 회전됨;

(g) 상기 물체가 움직이지 않음;

(h) 상기 물체가 임의의 유형의 모션을 취함;

(i) 상기 물체가 플리킹(flicking) 모션을 취함;

(j) 상기 물체가 가속됨;

(k) 상기 물체가 감속됨;

상기 물체가 이동 후 정지됨을 포함하는 그룹으로부터 선택될 수 있다.

상기 프로세서는, 식별된 모션 패턴에 관련지어진 상기 장치의 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈을 더 포함할 수 있다. 상기 OS 커맨드는,

(a) 상기 장치의 디스플레이 스크린 상에 표시된 가상의 키를 누르는 것;

(b) 상기 장치의 디스플레이 스크린 상에 나타나는 커서를 상기 스크린 상의 새로운 위치로 이동시키는 것;

(c) 선택 캐러셀(carousel)을 회전시키는 것;

(d) 데스크탑 사이에 절환하는 것;

(e) 중앙 처리 유닛 상에 소정의 소프트웨어 애플리케이션을 실행시키는 것;

(f) 애플리케이션을 턴-오프하는 것;

(g) 스피커를 턴-온 또는 턴-오프하는 것;

(h) 볼륨의 높임/줄임;

(i) 미디어 플레이어에서 또는 IPTV 채널간에 다음 또는 이전의 트랙으로 건너 뛰는 것;

(j) GPS 애플리케이션을 제어하는 것;

(k) 보이스메일 서비스를 스위칭-온 하는 것;

(l) 포토/뮤직 앨범 갤러리에서 항행(navigating)하는 것;

(m) 웹 페이지, 이메일, 서류 또는 지도를 스크롤링하는 것;

(n) 모바일 게임에서의 액션을 제어하는 것;

(o) 인터랙티브 비디오 또는 만화 콘텐츠를 제어하는 것;

을 포함하는 그룹으로부터 선택될 수 있다.

본 발명에 따른 시스템은 적합하게 프로그래밍된 컴퓨터가 될 수 있음을 알 수 있다. 마찬가지로, 본 발명은, 본 발명의 방법을 실행하기 위한 컴퓨터 판독가능한 컴퓨터 프로그램을 상정(想定)하고 있다. 또한 본 발명은, 본 발명의 방법을 실행하기 위한 기계에 의해 실행될 수 있는 명령어의 프로그램을 구체적으로 구현하는 기계 판독가능한 메모리도 상정하고 있다.

이하, 본 발명을 이해하고 실제 본 발명을 어떻게 실시할 수 있는지를 알기 위해, 첨부 도면을 참조하여, 제한을 두려는 것이 아닌 실시예를 통해, 본 발명의 실시형태를 설명한다.
도 1은 관심 영역들로 분할된 복수의 프레임으로 이루어진 비디오 스트림을 개략적으로 나타내는 도면.
도 2는 본 발명의 일 실시형태에 따른 물체 검출 및 트랙킹을 위한 시스템을 나타내는 도면.
도 3은 본 발명의 일 실시형태에 따른 물체 검출 방법을 보여주는 도면.
도 4a는 비디오 스트림의 3개의 프레임을 보여주는 도면이며, 도 4b는 도 4a의 프레임들로부터 얻어진 관심 영역(RI) 프레임들을 나타내는 도면.
도 5는 본 발명의 일 실시형태에 따른 물체 트랙킹을 위한 방법을 나타내는 도면.
도 6은 물체 검출 및 트랙킹을 위한 본 발명의 시스템을 포함하는 데이터 처리 장치를 나타내는 도면.
도 7은 모션 패턴의 예와, 각종의 디바이스에서의 OS 커맨드의 실행에 있어서의 당해 모션 패턴의 사용을 보여주는 도면.

도 1은 비디오 프레임(4)의 시퀀스로 이루어진 비디오 시퀀스(2)를 개략적으로 나타내고 있다. 도 1에는 4개의 프레임(4a, 4b, 4c, 4d)이 도시되어 있다. 이것은 단지 예시일 뿐이며, 비디오 시퀀스(2)는 비디오 프레임을 2 이상의 임의의 개수로 포함하면 된다. 각각의 프레임은, 관심 영역(6)으로 분할되는 복수의 화소로 구성되며, 관심 영역은 도 1에서 점선(8)으로 그 경계가 표시되어 있다. 도 1에 도시된 프레임(4)은 36개(6개의 관심 영역 6열)의 관심 영역(6)으로 분할되어 있다. 이것은 단지 예시일 뿐이며, 프레임(4)은 2개 이상의 임의의 개수의 관심 영역으로 분할되어 있으면 된다. 관심 영역은 어떠한 형상을 가져도 좋으며 겹쳐져도 된다.

도 2는 본 발명의 일 실시형태에 따른, 비디오 스트림(2) 등의 비디오 스트림에 있어서의 물체 검출 및 트랙킹을 위한 시스템(40)을 도시하고 있다. 비디오 스트림(2)은 메모리(44)에 입력된다. 메모리(44)는, 그 메모리(44)에 저장된 비디오 스트림(2)의 프레임(6)을 가지고 오는 프로세서(46)에 의해 액세스되어질 수 있다. 후술하는 바와 같이, 프로세서(46)는 비디오 스트림(2)을 해석하는 물체 검출 모듈(45), 및 물체 검출 모듈(45)의 출력을 해석하는 물체 트랙킹 모듈(47)을 포함한다. 물체 검출 모듈(45)은, 각 프레임의 관심 영역을, 당해 관심 영역이 트랙킹되는 물체의 적어도 일부분을 포함할 확률에 따라 분류한다. 물체 트랙킹 모듈(47)은, 물체 검출 모듈(45)에 의해 출력되는 분류된 프레임을 그 입력으로서 수신하고, 계속되는 프레임에서 관심 영역의 분류를 비교함으로써, 물체의 모션을 판정한다.

시스템(40)은 OS 커맨드 실행 모듈(51)을 더 포함하여도 된다. 이 경우에, 메모리(44)는 하나 이상의 미리 결정된 모션 패턴의 각각에 대하여 관련지어진 OS 커맨드를 제공하는 룩업 테이블을 저장한다. 상기 미리 결정된 물체 모션 중 하나가 식별되면, 그 모션과 관련지어진 OS 커맨드가 실행된다.

사용자 입력 장치(48)는, 후술하는 바와 같이, 비디오 스트림(2)의 식별, 또는 프로세서(46)에 의해 해석될 파라미터와 같은 임의의 관련 데이터를 시스템(40)으로 입력하기 위해 사용될 수 있다. 비디오 스트림(2)은, 처리 결과와 함께, CRT 스크린, LCD 또는 프린터 등의 디스플레이 장치(50) 상에 표시될 수 있다.

도 3은, 본 발명의 일 실시형태에 따라 프로세서(46)의 물체 검출 모듈(45)에 의해 실행되는 비디오 스트림(2)의 어느 프레임에 있어서의 물체 검출을 위한 프로세스(20)를 보여준다. 이 프로세스는, 프레임을 메모리(44)로부터 취출하고 2개 이상의 관심 영역(6)으로 분할하는 스텝 18로부터 시작된다. 관심 영역은, Rafael C. Gonzalez, Richard E. Woods and Steven L. Eddins, Digital Image Processing, Prentice Hall (2004), Section 10.4.2 (Region Growing)에 개시된 것처럼, 시드 기반 영역 확장 기법(seeded region growing)과 같은 공지의 물체 분할 기술을 사용하여 동적으로 생성될 수 있다. 혹은, 관심 영역은 프레임을 36개의 영역으로 분할하는 고정된 6 X 6 행렬에 의한 바와 같은 일 군의 영역으로서 정적으로 규정될 수도 있다. 이어서, 스텝 24에서는 프레임에서 관심 영역(6)이 선택되고, 스텝 26에서는 관심 영역에 있는 화소의 통계학적 해석이 행해진다. 예를 들어, 상기 통계학적 해석은 상기 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대한 히스토그램(10)의 생성을 포함할 수 있다. 상기 함수는, 예를 들어 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도이거나, 화소의 색상, 순도 또는 휘도 중 어느 하나일 수 있다. 상기 히스토그램은 단일 변수 히스토그램이거나 또는 화소 특성의 n-튜플(n-tuples)의 빈도를 총계낸 다중 변수 히스토그램일 수 있다. 상기 통계학적 해석은 하나 이상의 상기 히스토그램 중 어느 하나의 평균치, 최빈치, 표준 편차 또는 분산과 같은 통계학적 파라미터의 값을 산출하는 것을 포함할 수 있다. 상기 통계학적 해석의 결과는 메모리(44)에 저장된다.

스텝 30에서는, 막 해석된 관심 영역이 분류된다. 관심 영역의 분류는, 당해 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수이다. 관심 영역의 분류는, 비디오 스트림 중 현재의 프레임에 있어서의 관심 영역의 통계학적 해석과, 하나 이상의 이전 프레임에 있어서의 관심 영역의 통계학적 해석을 포함하는 방법으로 판정된다. 일 실시형태에서는, 거리 함수가 적용되어 당해 영역을 통과하는 트랙킹된 물체를 나타내는 파라미터 및 통계학적 특성에 대한 선택된 영역에 있어서의 각종 파라미터 및 통계학적 특성의 상사도를 산출한다. 영역 및 물체 파라미터는 예를 들어 서로 다른 형상과 윤곽 및 그들의 빈도의 존재를 포함하며, 통계학적 특성은 예를 들어 색상, 휘도 및 순도 및 컬러 패턴의 히스토그램을 포함할 수 있다. 조합된 거리 결과가 이전 프레임에 있어서의 관심 영역의 결과와 비교된다. 예를 들어, 색상 파라미터에 있어서의 거리는 트랙킹된 물체와 동일한 컬러의 물체가 영역에 진입했음을 나타낸다. 이것은 당해 영역이 트랙킹된 물체를 포함하는 보다 높은 확률로 분류되도록 한다. 상기 거리 함수는, 예를 들어 유클리디안 거리(Euclidean Distance) (E. Deja, M.M. Deja, Dictionary of Distances, Elsevier (2006)), 마하라노비스 거리(Mahalanobis Distance) (Mahalanobis, P C (1936). "On the generalised distance in statistics". Proceedings of the National Institute of Sciences of India 2 (1): 49-55), 이타쿠라 사이토 거리(Itakura saito Distance) (Itakura F., "Line spectrum representation of linear predictive coefficients of speech signals," J. Acoust.Soc. Am., 57, 537(A), 1975), 체비세프 거리(Chebyshev Distance) (James M. Abello, Panos M. Pardalos, and Mauricio G. C. Resende (editors) (2002). Handbook of Massive Data Sets. Springer.), 리 거리(Lee Distance) (E.R. Berlekamp, Algebraic Coding Theory, McGraw-Hill 1968), 해밍 거리(Hamming Distance) (Richard W. Hamming. Error Detecting and Error Correcting Codes, Bell System Technical Journal 26(2): 147-160, 1950), 또는 레벤슈타인 거리(Levenshtein Distance) (Dan Gusfield. Algorithms on strings, trees, and sequences: computer science and computational biology. Cambridge University Press, New York, NY, USA, 1997).가 될 수 있다. 선택된 관심 영역의 분류는 메모리(44)에 저장된다(스텝 31).

스텝 32에서는, 검출 모듈(45)에 의해 프레임의 다른 관심 영역을 해석할 것인지의 여부가 판정된다. 만일 "예"일 경우, 프로세스는 현재의 프레임의 다른 관심 영역을 선택하여 스텝 24로 되돌아간다. 그렇지 않으면, 비디오 프레임에 대해 "관심 영역(RI) 프레임"이 생성되는 스텝 34로 프로세스가 이어지고, 당해 프로세스는 종료한다. 입력된 비디오 프레임 중의 RI 프레임은 프레임의 관심 영역의 분류의 표상(representation)이다. 도 4a는, 서로 다른 세 시각(각각 시각 t₀, t₁, t₂)에서 얻어진 비디오 스트림의 세 개의 프레임(110a, b, c)을 나타내고 있다. 본 예에서, 프레임들은 점선(112)으로 나타내는 고정적인 관심 영역으로 임의적으로 분할된다. 혹은, 관심 영역으로의 프레임의 동적 분할 방법을 사용할 수도 있다. 예를 들어, 한 세트의 미리 설정된 시드(seed) 영역을 통계적 동질성을 유지하는 보다 넓은 에리어로 확장시킨다. 예를 들어, 도 4의 허공 에리어에 위치된 시드 영역은, 그 영역이 색상(hue) 히스토그램과 에지 빈도가 현저히 변화하는 그라운드와 만날 때까지 확장한다. 이 분할 프로세스는, 트랙킹될 것으로 예상되는 모션의 축에 대한 사전 지식이나, 본래의 관심 그룹으로부터 제거되어야 하는 고변동 영역을 결정하는, 수개의 프레임의 통계학적 해석에 의해 도움받을 수 있다. 트랙킹 대상 물체(114)가 t₀로부터 t₂까지의 시간 간격 동안 프레임 중에서 이동하였다. 도 4b는 비디오 프레임(110a, 110b, 110c)에 각기 대응하는 관심 영역 프레임(116a, 116b, 116c)를 나타내고 있다. 도 4의 예에서, 각각의 관심 영역은, 물체(114)의 적어도 일부분이 관심 영역에 위치하는 지(도 4b에서 관심 영역을 크로스 해칭하여 표시)의 여부에 따라서, 또는 관심 영역이 물체(114)의 적어도 일부분을 포함하지 않는지(도 4b에서 해칭되지 않은 관심 영역)의 여부에 따라서 두 개의 분류 중 하나로 분류되었다. 따라서, 시각 t₀에서 취득된 RI 프레임(116a)에 있어서, 프레임의 좌측에 위치된 영역(117a)는 물체(114)를 포함하는 것으로서 분류되었다. 이러한 분류는, 예를 들어 트랙킹된 물체의 색상 히스토그램과 선택된 영역의 히스토그램 사이의 유클리디안 거리를 측정함으로써, 영역과 트랙킹된 물체의 상사도(similarity rating)를 산출함으로써 얻을 수 있다. 같은 방법을 사용하여, 중간 프레임(116b)에서 두 영역(117b 및 117c)은 물체(114)를 포함하는 것으로 분류되었고, 나중 프레임(116c)에서 두 영역(117d 및 117e)은 물체(114)를 포함하는 것으로 분류되었다.

트랙킹 모듈(47)은 비디오 스트림의 어느 시간 구간 동안에 검출 모듈(45)에 의해 생성된 RI 프레임을 그 입력으로서 수신한다. 트랙킹 모듈(47)은 검출 모듈(45)과 동시에 동작하여, 검출 모듈(45)에 의해 생성되었을 때 분류된 프레임을 수신하여도 된다. 혹은, 트랙킹 모듈(47)은 검출 모듈(45)과 순차적으로 동작하여, 비디오 스트림의 모든 프레임이 분류된 후에만 그 분류된 프레임을 수신하여도 된다.

도 5는 본 발명의 일 실시형태에 따라 물체 트랙킹 모듈(47)에 의해 실행되는 물체 트랙킹 프로세스를 나타내고 있다. 스텝 52에서, 시간 구간의 RI 프레임들이 트랙킹 모듈(47)에 입력되며, 스텝 54에서는, RI 프레임들이 랜덤 노이즈의 제거를 위해 필터링된다. 이어서, 필터링된 RI 프레임들은 하나 이상의 독립된 패턴 검출 모듈(56)에 입력된다. 각각의 패턴 검출 모듈(56)은 필터링된 RI 프레임들로부터의 물체의 특정 모션 패턴을 검출하고, 당해 시간 구간 동안에 패턴 검출 모듈의 특정 모션 패턴이 일어나는 확률을 출력한다. 각각의 패턴 검출 모듈(56)은 입력된 RI 프레임의 일부 또는 전부에 대하여 패턴 인식 테스트를 적용한다. 예를 들어, 도 4b를 다시 참조하면, 패턴 검출 모듈(56)은 프레임의 좌측에서부터 프레임의 우측으로 물체의 모션을 검출한다. 하나 이상의 패턴 인식 모듈(56)의 출력이 모션 인식 모듈(58)에 입력된다. 모션 인식 모듈(58)은 당해 시간 구간 동안에 가장 일어났을 가능성이 높은 모션 패턴을 판정한다. 모션 검출 모듈(58)의 판정은 하나 이상의 패턴 검출 모듈(56)로부터 입력된 확률을 기초로 하며, 또한, 예를 들어 실행되고 있는 애플리케이션 또는 오퍼레이팅 시스템으로부터의 입력 등의 외부 입력을 고려할 수도 있다. 그리고나서, 모션 인식 모듈(58)의 모션 판정이 출력되고(스텝 60), 당해 프로세스는 종료한다.

도 6은 본 발명의 본 양태의 일 실시형태에 따른, 시스템(40)을 포함하는 데이터 처리 장치(72)를 도시하고 있다. 데이터 처리 장치(72)는, 예를 들어, 개인용 컴퓨터(PC), PDA, 랩탑 또는 팜 플롯(palm plot)과 같은 휴대형 컴퓨터, 또는 휴대 전화, 라디오 또는 기타 오락 기기, 운송 기구, 디지털 카메라 또는 이동형 게임기일 수 있다. 데이터 처리 장치(72)는 비디오 카메라(76)를 구비한다. 데이터 처리 장치(72)에는, 디스플레이 스크린(74) 및 데이터 처리 장치(72)에 데이터를 입력하기 위한 복수의 키(80)를 구비한 키패드(78)와 같은 각종 데이터 입력 장치가 제공될 수 있다.

카메라(76)는 점선으로 표시된 원추형 또는 피라미드형 체적 공간(86)을 바라본다. 카메라(76)는, 데이터 처리 장치(72) 상에 고정된 위치를 가져서, 이 경우 뷰잉 공간(86)이 데이터 처리 장치(72)에 대해 고정될 수도 있으며, 또는 데이터 처리 장치(72) 상에서의 위치를 변경할 수 있어서, 이 경우 뷰잉 공간(86)을 데이터 처리 장치(72)에 대해 선택가능할 수도 있다. 카메라(76)에 의해 촬상된 화상은 카메라(76)에 의해 디지털화되어 프로세서(46)에 입력된다(마찬가지로, 도 2 참조). 프로세서(46)의 물체 검출 모듈(45)은, 상술한 바와 같이, 카메라(76)에 의해 취득된 프레임에서 소정의 물체(94)를 검출한다. 물체(94)는, 예를 들어 사용자의 손가락이나 쫙 펼친 손, 주먹 쥔 손 또는 손등과 같은 여러 자세의 손 전체가 될 수 있다. 사용자는, 장치(72)가 손에 들고 사용하는 장치인 경우에는, 자신의 다른 편 손(89)을 사용하여 사용중에 장치(72)를 붙잡고 있을 수 있다. 손(89)은, 키패드(78) 상의 활성화 키(80)와 같은 데이터 처리 장치(72)와 관련지어진 실제의 입력 장치를 활성화시키는 데 사용될 수도 있다.

메모리(44)는 각 테스트에 대해 관련지어진 OS 커맨드를 제공하는 룩업 테이블을 저장한다. 패턴 식별 모듈(49)에 의해 모션 패턴이 검출되면, 당해 모션과 관련지어진 OS 커맨드가 메모리(44)에 저장된 룩업 테이블에서 참조되고, 이어서 당해 모션과 관련지어진 OS 커맨드가 OS 실행 모듈(51)에 의해 실행된다. OS 커맨드는, 예를 들어 디스플레이 스크린에 표시된 가상의 키를 누르는 것, 디스플레이 스크린 상에 나타나는 커서를 그 스크린 상의 새로운 위치로 이동시키는 것, 메모리(44)에 저장된 소프트웨어 애플리케이션을 프로세서(46) 상에 실행시키는 것, 또는 데이터 처리 장치(72)를 턴 오프하는 것이 될 수 있다. 상기 장치는 OS 커맨드가 실행되었음 나타내는 표시를 제공할 수도 있다. 예를 들어, 가상의 키보드 상의 키를 누르는 것에 대응하는 OS 커맨드는, 스크린(4) 상에 가상의 키보드 상에서 눌려진 키를 잠시 보여주거나, 그 키의 외형을 잠시 변경함으로써 표시될 수 있다. OS 커맨드가 실행되었음을 표시하는 다른 가능한 방법은, 스크린(4) 상에 눌려진 키나 커서의 외형을 잠시 확대하거나 달리 변경하는 것, 스크린(4) 상에 아이콘을 표시하는 것, 소리를 발생시키는 것, 그리고 장치를 진동시키는 것을 포함한다.

도 7은 패턴 검출 모듈(56)에 의해 인식될 수 있는 모션 패턴의 예, 및 정보 처리 장치(72)의 종류에 따라 어떻게 그 모션 패턴들을 사용하여 OS 커맨드를 실행하는지를 보여준다. 모션(100)은 정보 처리 장치(72) 쪽으로 손을 이동하는 것으로 구성된다. 모션(102)은 정보 처리 장치(72) 쪽으로 손을 이동하고 나서, 당해 정보 처리 장치로부터 손을 멀리 이동시키는 것으로 구성된다. 모션(104)은 정보 처리 장치 위에서 손을 좌측으로부터 우측으로 이동시키는 것으로 구성되고, 모션(106)은 정보 처리 장치 위에서 손을 우측으로부터 좌측으로 이동시키는 것으로 구성된다.

Claims

비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템(40)으로서,
(a) 물체 검출 모듈(45) 및 물체 트랙킹 모듈(47)을 포함하는 프로세서(46)를 포함하며,
상기 물체 검출 모듈(45)은,
(i) 비디오 스트림의 복수의 프레임을 복수의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 픽셀의 통계학적 해석을 실행하고,
(ii) 상기 실행된 통계학적 해석에 기초하여 복수의 프레임의 각각에서 관심 영역을 분류하고, 각각의 비디오 프레임에 대해 관심 영역(RI) 프레임을 생성하되, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성하도록 구성되며,
상기 물체 트랙킹 모듈(47)은 연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하도록 구성된, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 1 항에 있어서,
상기 물체 트랙킹 모듈(47)은 하나 이상의 패턴 검출 모듈을 포함하고, 각각의 패턴 검출 모듈은, 어느 시간 구간(time window) 동안에 트랙킹된 물체의 특정한 모션 패턴이 상기 시간 구간 동안에 일어난 확률을 산출하도록 구성된, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 2 항에 있어서,
상기 물체 트랙킹 모듈은, 하나 이상의 패턴 검출 모듈에 의해 생성된 확률을 기초로 하여 가장 일어났을 가능성이 높은 모션 패턴을 판정하는 모션 인식 모듈을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
식별된 모션 패턴에 관련지어진 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈(51)을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
관심 영역이 트랙킹되는 물체의 적어도 일부분을 포함하는 확률은,
(a) 상기 비디오 스트림에서의 각 프레임의 하나 이상의 관심 영역 각각에 대해, 관심 영역의 화소의 통계학적 해석을 산출하는 단계와,
(b) 상기 비디오 스트림의 하나 이상의 이전 프레임의 관심 영역의 통계학적 해석을 포함하는 계산에서 관심 영역의 별개의 분류를 산출하는 단계를 포함하는 방법으로 취득하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 5 항에 있어서,
상기 통계학적 해석은 상기 관심 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대한 히스토그램을 생성하는 것을 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 6 항에 있어서,
하나 이상의 상기 함수는,
(a) 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도(intensity), 및
(b) 화소의 색상(hue), 순도(saturation) 또는 휘도(luminance) 중 어느 하나를 포함하는 그룹으로부터 선택되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 6 항에 있어서,
하나 이상의 상기 함수의 통계학적 파라미터 값의 산출을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 8 항에 있어서,
하나 이상의 통계학적인 파라미터는,
(a) 평균치(average)
(b) 최빈치(mode)
(c) 표준 편차, 및
(d) 분산(variance)을 포함하는 그룹으로부터 선택되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 6 항에 있어서,
상기 통계학적 해석은, 하나 이상의 생성된 히스토그램과 트랙킹되는 물체의 존재를 나타내는 히스토그램 사이의 거리를 산출하는 것을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 4 항에 있어서,
2 이상의 RI 프레임을 비교하는 단계는,
(a) 각각의 프레임에 대해, 그리고 프레임의 분류된 관심 영역 각각에 대해, 관심 영역의 분류를, 프레임을 포함하는 어느 시간 구간에서 얻어진 복수의 프레임의 관심 영역의 분류와 비교하는 것과,
(b) 상기 비교를 기초로 하여, 선택된 관심 영역이 트랙킹되는 물체를 포함하는지의 여부를 판정하는 것과,
(c) 상기 판정을 기초로 하여, 관심 영역이 트랙킹되는 물체를 포함하는지의 여부에 따라 관심 영역을 재분류하는 것과,
(d) 어느 시간 구간 동안에 2 이상의 영역의 상태에 있어서의 변화를 기초로 하여 물체의 모션의 하나 이상의 트랙킹 파라미터를 산출하는 것을 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
제 11 항에 있어서,
상기 트랙킹 파라미터는,
(a) 물체의 이동 방향;
(b) 물체의 이동 속도
(c) 물체의 가속도
(d) 화소에 있어서의 물체의 폭
(e) 화소에 있어서의 물체의 높이
(f) 프레임에 있어서의 물체의 위치를 포함하는 그룹으로부터 선택되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법으로서,
(i) 비디오 스트림의 복수의 프레임을 복수의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 화소의 통계학적 해석을 실행하는 단계와,
(ii) 상기 실행된 통계학적 해석에 기초하여 각각의 비디오 프레임에서 관심 영역을 분류하고, 복수의 비디오 프레임의 각각에 대해 관심 영역(RI) 프레임을 생성하는 단계로서, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성 단계를 포함하고,
(iii) 연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하는 단계를 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법.
제 13 항에 있어서,
관심 영역이 트랙킹되는 물체의 적어도 일부분을 포함하는 확률은,
(a) 비디오 스트림에서의 각 프레임의 하나 이상의 관심 영역 각각에 대해, 관심 영역의 화소의 통계학적 해석을 산출하는 단계와,
(b) 비디오 스트림의 하나 이상의 이전 프레임의 관심 영역의 통계학적 해석을 포함하는 계산에서 관심 영역의 별개의 분류를 산출하는 단계를 포함하는 방법으로 취득되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 따른 시스템을 포함하는 데이터 처리 장치.
제 15 항에 있어서,
트랙킹되는 물체의 모션 패턴 중 하나 이상은,
(a) 시간 구간 동안에 물체의 폭이 화소에 있어서 증가됨;
(b) 시간 구간 동안에 물체의 폭이 화소에 있어서 감소됨;
(c) 물체가 카메라에 보다 가까이 이동됨;
(d) 물체가 카메라로부터 멀어지게 이동됨;
(e) 물체가 소정 경로에서 이동됨;
(f) 물체가 회전됨;
(g) 물체가 움직이지 않음;
(h) 물체가 임의의 유형의 모션을 취함;
(i) 물체가 플리킹(flicking) 모션을 취함;
(j) 물체가 가속됨;
(k) 물체가 감속됨;
(l) 물체가 이동 후 정지됨을 포함하는 그룹으로부터 선택되는, 데이터 처리 장치.
제 15 항에 있어서,
상기 프로세서는 식별된 모션 패턴에 관련지어진 상기 장치의 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈을 더 포함하고,
하나 이상의 OS 커맨드는,
(a) 상기 장치의 디스플레이 스크린 상에 표시된 가상의 키를 누르는 것;
(b) 상기 장치의 디스플레이 스크린 상에 나타나는 커서를 스크린 상의 새로운 위치로 이동시키는 것;
(c) 선택 캐러셀(carousel)을 회전시키는 것;
(d) 데스크탑 사이에 절환하는 것;
(e) 중앙 처리 유닛 상에 소정의 소프트웨어 애플리케이션을 실행시키는 것;
(f) 애플리케이션을 턴-오프하는 것;
(g) 스피커를 턴-온 또는 턴-오프하는 것;
(h) 볼륨의 높임/줄임;
(i) 미디어 플레이어에서 또는 IPTV 채널간에 다음 또는 이전의 트랙으로 건너 뛰는 것;
(j) GPS 애플리케이션을 제어하는 것;
(k) 보이스메일 서비스를 스위칭-온 하는 것;
(l) 포토/뮤직 앨범 갤러리에서 항행(navigating)하는 것;
(m) 웹 페이지, 이메일, 서류 또는 지도를 스크롤링하는 것;
(n) 모바일 게임에서의 액션을 제어하는 것;
(o) 인터랙티브 비디오 또는 만화 콘텐츠를 제어하는 것을 포함하는 그룹으로부터 선택되는, 데이터 처리 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제