KR20120062170A - 가상 모니터 제어장치 및 그 제어방법 - Google Patents

Abstract

가상 모니터 위치 결정용 영상 이미지 및 사용자의 손에 대한 영상 이미지를 촬영하는 카메라 및 윈도우 이미지들을 구비하는 그래픽 장치를 구비하는 증강현실 디스플레임 시스템의 가상 모니터 제어 방법이, 가상 모니터 위치 결정용 영상 이미지와 상기 윈도우 이미지를 PTAM 처리하여 설정된 위치에 윈도우 이미지를 매핑하여 가상 모니터를 생성하는 PTAM처리과정과, 손 영상 이미지로부터 손끝을 추출하는 손끝 추출과정과, 가상 모니터에 손끝 이미지가 렌더링되지 않도록 스텐실 버퍼링하는 스텐실버퍼링 과정과, 스텐실 버퍼링된 가상모니터에 손끝의 충돌여부를 판정하는 충돌판정과정과, 충돌 여부에 따라 가상 모니터의 동작을 제어하는 기능처리과정으로 이루어진다.

Description

가상 모니터 제어장치 및 그 제어방법{METHOD AND DEVICE FOR CONTROLLING A VIRTUAL MULTI-MONITOR}

본 발명은 증강현실 디스플레이 장치 및 방법에 관한 것으로, 특히 물리적 모니터가 아닌 가상의 모니터를 멀티 모니터로 구현할 수 있는 장치 및 방법에 관한 것이다.

최근 멀티미디어 시대에는 여러 개의 모니터를 필요로 하는 다중작업이 요구된다. 멀티모니터는 한 대의 컴퓨터 시스템에서 실행되는 컴퓨터 프로그램의 작업 영역을 넓히기 위해 사용되는데, 여러 대의 모니터를 설치하는 것은 하나의 컴퓨터 사용으로 넓은 화면을 볼 수 있는 장점이 된다. 그러나 상기와 같은 멀티 모니터들을 포함하는 컴퓨터 시스템을 구현하는 경우, 사용자는 각각의 모니터들을 별도로 구매하여야 한다. 그러나 상기와 같이 멀티 모니터 시스템을 구현하는 경우, 멀티모니터의 사용으로 모니터 가격에 대한 부담이 가중되며, 제한된 책상의 크기에서 멀티 모니터를 설치하여야 하므로 공간적 제약을 야기한다.

본 발명은 증강현실 환경에서 가상 모니터를 생성하여 이를 제어하는 방법을 제안한다. 또한 상기 증강 현실 환경에서 공간과 비용을 차지하지 않는 가상 멀티 모니터를 생성 및 생성된 멀티 모니터를 제어하는 방법을 제안한다.

본 발명의 실시예에 따른 증강현실 디스플레임 시스템의 가상 모니터 제어 장치가, 가상 모니터 위치 결정용 영상 이미지 및 사용자의 손에 대한 영상 이미지를 촬영하는 카메라와, 윈도우 이미지들을 구비하는 그래픽 장치와, 상기 가상 모니터 위치 결정용 영상 이미지와 상기 윈도우 이미지를 병렬 처리하여 설정된 위치에 윈도우 이미지를 매핑하여 가상 모니터를 생성하는 PTAM처리부와, 상기 손 영상 이미지로부터 손끝을 추출하는 손끝 추출부와, 상기 가상 모니터에 손끝 이미지가 렌더링되지 않도록 스텐실 버퍼링하는 스텐실버퍼와, 상기 스텐실 버퍼링된 가상모니터에 손끝의 충돌여부를 판정하는 충돌판정기와, 상기 충돌 여부에 따라 가상 모니터의 동작을 제어하는 기능처리부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따라 가상 모니터 위치 결정용 영상 이미지 및 사용자의 손에 대한 영상 이미지를 촬영하는 카메라 및 윈도우 이미지들을 구비하는 그래픽 장치를 구비하는 증강현실 디스플레임 시스템의 가상 모니터 제어 방법이, 상기 가상 모니터 위치 결정용 영상 이미지와 상기 윈도우 이미지를 PTAM 처리하여 설정된 위치에 윈도우 이미지를 매핑하여 가상 모니터를 생성하는 PTAM처리과정과, 상기 손 영상 이미지로부터 손끝을 추출하는 손끝 추출과정과, 상기 가상 모니터에 손끝 이미지가 렌더링되지 않도록 스텐실 버퍼링하는 스텐실버퍼링 과정과, 상기 스텐실 버퍼링된 가상모니터에 손끝의 충돌여부를 판정하는 충돌판정과정과, 상기 충돌 여부에 따라 가상 모니터의 동작을 제어하는 기능처리과정으로 이루어짐을 특징으로 한다.

여기서 상기 가상모니터 제어방법은 상기 손 영상 이미지를 입력하며, 상기 손 영상이미지를 Ratinex 알고리즘을 이용하여 보정하여 조명등에 의해 변질된 상기 손 영상이미지의 고유색을 보상하는 과정을 더 구비할 수 있다.

그리고 상기 PTAM 처리과정은, 상기 위치 결정용 영상이미지를 트랙킹하여 특징점을 추출하는 과정과, 상기 추출된 특징점들을 이용하여 3차원 공간을 형성하여 가상 모니터의 위치를 결정하는 과정과, 상기 결정된 위치에 openGL을 이용하여 면을 형성하는 과정과, 상기 형성된 면에 상기 윈도우이미지를 매핑하여 가상모니터를 형성하는 과정으로 이루어질 수 있다. 또한 상기 PTAM 처리과정은, 사용자의 설정에 따라 위치결정용 영상이미지와 윈도우 이미지를 PTAM 처리하는 동작을 반복하여 서로 따른 위치에 멀티 가상 모니터들을 형성할 수 있다.

그리고 상기 손끝추출과정은 Convex hull 알고리즘을 이용하여 상기 보정된 손 영상이미지로부터 손을 분리하고, 면적의 중심 및 윤곽선의 중심으로부터 손가락의 방향을 결정하여 손끝을 추출한다. 또한 상기 기능처리 과정은, 상기 충돌처리부의 판정 결과에 따라 가상모니터의 동작을 제어하며, 헤드 마운트 디스플레이를 이용하여 볼 수 있도록 상기 가상 모니터의 동작을 3차원 공간상에 표현할 수 있다.

본 발명의 실시예에 가상의 멀티모니터 생성 및 이를 제어하는 방법을 사용하면, 다중 작업을 위해서 다수의 멀티모니터 사용에 따른 비용과 공간적 제약을 줄일 수 있는 효과가 있다. 또한 가상의 멀티 모니터를 제어방법은 HMD(해드 마운트 디스플레이)를 사용하면서 가상의 모니터를 보기 때문에, 실 사용자 외에는 모니터를 볼 수 없어서 보안 기능을 할 수 있다. 하나의 HMD는 고가이지만, HMD를 통해서 가상의 모니터를 다수 생성한다면 멀티모니터로 구입하는 모니터 비용을 줄일 수 있다. 그리고 상기와 같은 가상 멀티 모니터 제어 방법은 데스크탑에서 뿐만 아니라 모바일 기기 등에서도 모니터 크기에 대한 제약을 없앨 수 있는 대안이 될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 증강 현실의 디스플레이 시스템의 동작을 설명하기 위한 도면
도 2는 본 발명의 실시예에 따른 증강현실 디스플레이 시스템에서 물리적 모니터가 아닌 가상의 멀티모니터를 구현하는 장치의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 증강현실 디스플레이 시스템에서 물리적 모니터가 아닌 가상의 멀티모니터를 구현하는 절차를 도시하는 흐름도
도 4는 본 발명의 실시예에 따라 책상 위에서 물리적 모니터를 없애고, PTAM을 이용하여 가상 공간을 구성한 영상 이미지의 예를 도시하는 도면
도 5는 본 발명의 실시예에 따라 가상공간에서 가상 모니터를 생성한 화면을 도시하는 도면
도 6은 본 발명의 실시예에 따라 증강현실 디스플레임 시스템에서 스텐실 버퍼링을 통해 가상 모니터 상에 손끝 이미지가 렌더링되지 않도록 하여 충돌 여부를 판정할 수 있도록 한 예를 도시하는 도면

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 증강 현실의 디스플레이 시스템의 동작을 설명하기 위한 도면이다.

상기 도 1을 참조하면, 영상이미지110은 카메라 등을 통해 획득할 수 있으며, 상기 영상 이미지110은 가상 모니터용 이미지와 가상 모니터의 포인터 기능을 수행하기 위한 사용자의 손 이미지 등이 될 수 있다. 그래픽장치120은 가상의 모니터를 생성하기 위한 윈도우 이미지들을 구비하고 있다. 윈도우이미지추출기130은 상기 그래픽장치120로부터 가상 모니터의 이미지로 사용하기 위한 윈도우 이미지를 추출한다. 가상 모니터에서 모여지는 윈도우는 연속적인 이미지이며, 이런 윈도우의 이미지를 가상 공간에서 출력함으로서 가상 멀티모니터의 생성이 가능해진다. PTAM(Parallel Tracking and Mapping) 처리기140은 병렬 처리를 통해서 가상의 공간에서 카메라의 위치를 추정한다. 상기 PTAM 처리기140은 상기 가상 모니터용 영상이미지와 상기 추출된 윈도우 이미지를 병렬 처리하여 가상 모니터의 위치를 결정하고, 상기 결정된 위치에 가상 모니터를 생성한다. 즉, 상기 PTAM 처리기140은 자연적 특징을 이용하여 가상 공간을 구성할 수 있다.

영상보정기150은 상기 영상이미지110을 통해 사용자의 손 이미지를 수신하며, 상기 손 이미지를 보정한다. 상기 영상보정기150은 Retinex 알고리즘을 이용하여 조명에 강인한 손 영상이미지를 추출한다. 손끝추출기 160은 convex hull을 이용하여 상기 영상 보정된 손의 영상이미지에서 손끝 데이터를 추출한다. 여기서 추출된 상기 손끝 이미지는 가상 모니터를 제어하기 위해서 사용된다.

스텐실버퍼170은 스위치(switch)가 on 상태인 픽셀에만 렌더링을 할 수 있도록 하는 버퍼다. 즉, 상기 스텐실버퍼170은 상기 PTAM 처리기140에서 생성된 가상 모니터에서 상기 손끝추출기160에서 추출된 손끝 이미지가 렌더링되지 않도록 제어하여, 상기 가상 모니터의 물체를 손으로 제어할 수 있도록 한다. 충돌처리기180은 상기 가상 모니터의 물체와 사용자의 손이 상호 작용을 위해서 충돌 처리기능을 수행하며, 상기 충돌처리 기능을 통해 사용자가 손으로 가상 모니터를 조작하는 상태신호를 발생한다.

HMD190은 상기와 같이 생성되는 가상의 멀티모니터들을 표시하며, 충돌처리기180에 의해 발생되는 사용자의 동작상태를 감지하여 각각 대응되는 멀티모니터의 동작을 제어한다.

상기 도 1과 같은 증강현실의 멀티모니터 동작을 구체적으로 살펴본다.

영상이미지110은 카메라를 통해 획득할 수 있다. 여기서 상기 영상이미지110은 가상 모니터를 설치할 위치를 결정하기 위한 이미지들과 가상 모니터의 동작을 제어하기 위해 사용자의 손을 검출하기 위한 이미지가 될 수 있다. 즉, 사용자는 카메라를 이용하여 가상모니터를 설치하기 위해 위치 결정용 영상이미지를 획득하며, 또한 가상 모니터의 동작을 제어하기 위해 사용자의 손에 대한 영상 이미지를 획득한다.

먼저 사용자의 손에 대한 영상 이미지를 처리하는 동작을 살펴본다. 영상보정기150은 상기 사용자의 손에 대한 영상이미지를 Retinex 알고리즘을 이용하여 조명에 강인한 영상을 획득한다. 상기 Retinex 알고리즘이란 하기 <수학식 1>과 같이 인간의 시야에 들어오는 색(B)이 실제 대상의 고유 반사량(R)과 조명(I)의 곱으로 이뤄진다는 이론에서 조명의 영향을 제거하는 동작을 수행한다.

상기 <수학식 1>에서 B는 색, R은 고유반사량, I는 조명

따라서 영상보정기150은 조명 I 등에 의해 손실될 수 있는 손의 고유 색을 보상한 영상 이미지를 발생한다. 그러면 손끝 추출기160은 Convex hull을 이용하여 상기 <수학식 1>에서 얻은 조명 I에 강인한 영상으로부터 손끝을 추출한다. 상기 Convex hull이란 모든 점을 포함하는 최소의 다각형으로 손의 피부색 추출을 통해서 손을 분리하고, Convex hull을 이용하여 손끝을 추출한다. 이 손끝의 정보는 마우스 포인터와 같은 역할로 가상 모니터를 제어하는데 사용된다. 상기 마우스와 같은 단일 포인터를 생성하기 위해서는 손의 방향을 먼저 알아낸다. 손의 방향은 손의 면적의 무게 중심과 윤곽선의 무게 중심으로 알 수 있다. 상기 손의 윤곽선의 무게 중심은 면적의 무게 중심보다 항상 상위에 위치하게 된다. 이유는 손의 윤곽선이 손바닥보다는 손가락에 많이 있기 때문이다. 이처럼 손의 방향을 알아내면, 상기 Convex hull로 구한 손의 중요데이터와 무게 중심으로 하기와 같은 <수학식 2>의 내적을 구한다. 내적의 코사인 값은 작을수록 손의 방향에 가까운 값이 된다. 이렇게 추출된 값을 마우스 포인터와 같은 역할을 한다.

두 번째로 가상 모니터를 생성하는 동작을 살펴본다.

상기한 바와 같이 영상이미지110에서는 가상 모니터의 위치를 결정하기 위한 위치 결정용 영상이미지를 포함한다. 그리고 상기 위치 결정용 영상이미지에 윈도우 이미지를 매핑하여 가상 모니터를 표현할 수 있다. 그래픽장치120은 윈도우 이미지들을 구비하고 있으며, 윈도우이미지 추출기130은 상기 그래픽장치120에서 상기 위치 결정용 영상이미지에 매핑하기 위한 윈도우이미지를 추출한다. 그리고 상기 위치결정용 영상이미지 및 추출된 윈도우 이미지는 PTAM(Parallel Tracking and Mapping) 처리기140에 전달되어 가상 모니터를 구성하게 된다. 일반적으로 리눅스 등의 os에서는 xgetwindows라는 라이브러리 함수를 통해서 가상의 모니터 이미지를 가져올 수 있다. 물리적 모니터에 연속적으로 보여지는 윈도우의 이미지 데이타를 가상의 모니터 위에 매핑(mapping)하는 작업을 하는 것이다. 이러한 가상 모니터를 만드는 환경은 증강현실 환경에서 구현한다. 증강현실이란 현실에 가상의 데이터를 증강하는 환경을 말하는 것으로, ARToolkit 등의 간단한 라이브러리부터 자연적 특징을 이용한 방법이 존재한다. 상기 PTAM140은 자연적 특징을 이용하여 증강현실 환경을 구성한다. 상기 PTAM 처리기140은 병렬 처리를 수행하여 카메라로 읽어들인 연속적인 이미지를 통해서 가상의 자신의 위치를 추정하며, 가상의 3차원 공간을 생성해내는 기술이다. 스테레오(Stereo) 초기화로 2개의 연속적인 프레임을 이용하여 마치 2개의 카메라를 이용하여 깊이를 추정하는 효과로 3차원 공간을 구성한다. 구성된 3차원 공간에서 5에서 추출된 윈도우 data를 이용하여 다수의 멀티모니터를 생성할 수 있다. 상기한 바와 같이 PTAM 처리기140은 상기 위치결정용 영상이미지 및 윈도우 이미지를 이용하여 3차원 공간에 가상의 모니터를 생성한다.

그러면 스텐실버퍼170은 상기 손끝추출기160에서 처리된 사용자의 손과 PTAM 처리기140에서 생성된 가상모니터를 입력하며, 생성된 가상 모니터 위에 손이 올라 갈 수 있도록 한다. 가상의 물체는 OpenGL 등의 그래픽 라이브러리를 통해서 생성되는데, 이 과정에서 가상 물체를 그리는 렌더링 과정이나 나중에 일어나기 때문에, 카메라로 읽어들인 손의 정보보다 가상의 데이터는 항상 위에 위치하게 된다. 그러므로 사실상 가상의 물체를 터치하는 것은 불가능하다. 그래서 가상의 데이터와 실제 사용자 손의 깊이 정보가 필요하다. 본 발명의 실시예에서는 깊이 정보가 아닌 스텐실버퍼170을 통해서 가상의 물체를 조작하는 방법을 사용한다. 상기 영상보정기150에서 보정된 영상 이미지에서 손을 추출하여, 손 위에서는 가상의 물체가 렌더링되지 못하도록 함으로써, 사용자의 손이 가상의 물체를 터치할 수 있도록 한다. 가상의 물체를 터치하는 것은 총돌처리기180에 의해 검출된다. 가상의 물체 위에서 사용자가 손가락을 마우스 포인터와 같이 사용하기 위해서, 3차원 모니터의 위치 정보를 2차원으로 투영하고, 손가락의 클릭 동작이 일어났을 때, 반시계 방향(CCW)으로 손가락 포인터가 모니터 메뉴의 픽셀 안에 위치하였는지를 판단하여 이벤트 동작을 일으킨다.

상기와 같은 동작은 HMD(head mount display)190을 통해 표시된다. 따라서 HMD190을 사용하면서 가상의 모니터를 보기 때문에, 실 사용자 외에는 모니터를 볼 수 없어서 보안 기능을 할 수 있다. 하나의 HMD는 고가이지만, HMD를 통해서 가상의 모니터를 다수 생성한다면 멀티모니터로 구입하는 모니터 비용을 줄일 수 있다. 이러한 방법은 데스크탑에서 뿐만 아니라, 모바일 기기 등에서도 모니터 크기에 대한 제약을 없앨 수 있는 대안이 될 수 있을 것이다.

도 2는 본 발명의 실시예에 따른 증강현실 디스플레이 시스템에서 물리적 모니터가 아닌 가상의 멀티모니터를 구현하는 장치의 구성을 도시하는 도면이다.

상기 도 2를 참조하면, 카메라210은 가상 모니터를 표시하기 위한 위치를 결정하기 위한 영상이미지를 획득하며, 또한 상기 생성된 가상모니터의 동작을 제어하기 위한 사용자의 손에 대한 영상 이미지를 획득한다. 상기 카메라210에서 촬영되는 위치 결정용 영상 이미지는 가상모니터를 설치하기 위한 위치를 결정하기 위한 이미지가 될 수 있다. 또한 그래픽장치220은 가상 모니터를 생성하기 위한 윈도우 이미지들을 구비하고 있다. 상기 위치결정용 영상이미지 및 윈도우 이미지는 PTAM처리부230에 전달되며, 상기 PTAM처리부230은 이들 이미지들을 이용하여 증강현실을 통해 3차원의 가상 모니터들을 생성하게 된다.

상기 PTAM 처리부230의 동작을 살펴보면, 상기 위치결정용 영상이미지를 트랙킹(tracking)하여 특징점들을 추출한다. 이때 상기 PTAM처리부230은 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 상기 위치 결정용 영상이미지의 코너를 검출(corner detecting)하므로서 특징점들을 추출할 수 있으며, 이들 특징점들을 이용하여 3차원 공간을 형성한다. 그리고 형성된 3차원 공간에서 가상 모니터를 생성하기 위한 모니터의 위치를 결정한다. 이후 상기 PTAM처리부230은 상기 위치가 결정된 가상모니터의 면을 만든다. 이때 상기 면은 openGL을 이용하여 만들 수 있다. 그리고 상기 PTAM처리부230은 그래픽장치220으로부터 상기 가상 모니터를 생성하기 위한 윈도우 이미지를 리드한다. 즉, 상기 PTAM처리부230은 상기 카메라로부터 획득한 위치 결정용 영상이미지와 상기 그래픽장치220으로 리드한 윈도우 이미지를 병렬 처리하여 가상모니터의 위치 및 면을 결정하고 상기 결정된 위치의 면에 윈도우 이미지를 매핑하여 가상 모니터를 생성한다.

상기와 같이 사용자가 카메라210을 통해 가상 모니터의 위치를 결정하면, PTAM처리부230은 해당 위치에 가상모니터를 고정하고, 사용자에 의해 선택된 윈도우 이미지를 매핑하여 가상모니터를 생성한다. 그리고 상기와 같은 동작을 반복하면, PTAM 처리부230은 증강현실 환경에서 다른 위치에 다른 또는 같은 윈도우 이미지를 가지는 가상의 멀티 모니터들을 생성할 수 있다.

이후 사용자는 상기와 같이 생성되는 가상 모니터의 동작을 제어하기 위한 손 이미지를 추출할 수 있다. 이를 위하여 사용자는 카메라210을 통해 손을 촬영하고, 상기 촬영된 손에 대한 영상이미지는 영상보정부240에 인가된다. 그러면 상기 영상보정부240은 Retinex 알고리즘을 이용하여 손의 영상이미지를 보정한다. 이때 촬영되는 손에 대한 영상이미지는 조명등의 촬영 조건에 따라 손의 고유 색상이 잃어버릴 수 있다. 따라서 상기 영상보정부240은 상기 Retinex 알고리즘을 이용하여 손의 고유 색상을 잃어버리지 않도록 손에 대한 영상이미지를 보정한다.

이때 상기 영상보정부240에 보정된 영상 이미지는 전체적인 손의 이미지가 될 수 있다. 이때 상기 가상모니터를 제어하는 손은 손가락 끝이 될 수 있으며, 따라서 상기 가상모니터의 동작을 제어하기 위해 사용자의 손끝을 알 수 있어야 한다. 손끝검출부250은 상기 영상보정부240에서 출력되는 손 영상 이미지에서 손끝을 검출한다. 상기 손끝 검출부250은 먼저 손 영상 이미지의 면적을 측정하여 작은 점들(즉, 잡음)을 제거한다. 그리고 손의 고유 색을 이용하여 손의 영역을 추출한다. 이때 2진화 동작을 수행하여 손 영역을 검은색으로 표현할 수 있다. 이후 윤곽선을 이용하여 손의 특징을 확보하고, convex hull 알고리즘을 이용하여 손끝을 추출한다. 상기 손끝 추출시, 손끝추출부250은 면적의 중심과 윤곽선의 중심을 이용하여 손의 방향을 결정하여 손끝을 추출한다. 즉, 면적의 중심은 손등에 위치되고 윤곽선의 중심은 손가락 쪽에 위치되므로, 상기 손끝추출부250은 이를 이용하여 손끝을 추출할 수 있으며, 상기 손끝을 추출한 후 손등 방향의 윤곽선 특징점을 제거하여 불필요한 윤곽선을 제거한다.

상기와 같이 검출되는 손끝은 가상 모니터의 동작을 제어하기 위한 것으로써, 가상모니터 상에 렌더링되면 모니터의 제어동작을 수행할 수 없게 된다. 즉, 상기한 바와 같이, 가상의 물체는 OpenGL 등의 그래픽 라이브러리를 통해서 생성되는데, 카메라로 읽어들인 손의 정보보다 가상의 데이터는 항상 위에 위치하게 된다. 그러므로 사실상 가상의 물체를 터치하는 것은 불가능하다. 그래서 가상의 데이터와 실제 사용자 손의 깊이 정보가 필요하다. 따라서 본 발명의 실시예에서는 상기 깊이 정보가 아닌 스텐실버퍼170을 통해서 가상의 물체를 조작하도록 한다. 이를 위하여 상기 스텐실버퍼260은 상기 PTAM처리부230에서 생성된 상기 가상 모니터와 상기 손끝추출부250에서 추출된 손끝 이미지를 스텐실 버퍼링하여 상기 가상모니터에 손끝이 렌더링되지 않도록 한다. 즉, 상기 스텐실버퍼260은 손끝 영역을 가상 공간 위로 나오게 하여 손끝 이미지가 가상 모니터 상에서 충돌할 수 있도록 한다.

따라서 상기 스텐실버퍼260에서 출력되는 가상모니터는 손끝 이미지와 렌더링되지 않으므로, 상기 손끝이 가상모니터에 터치되는 동작을 수행할 수 있게 된다. 그러면 충돌판정부270은 상기 가상모니터와 손끝의 충돌을 판정하여 모니터의 동작을 제어할 수 있도록 한다. 예를들어 상기 손끝을 마우스 동작으로 인식하도록 설정한 경우, 손가락의 끝 지점을 포인터(즉, 손가락이 위치된 가상모니터의 영역을 마우스 클릭 포인트로 함)로 설정하고, 손가락의 수로 클릭여부를 결정하도록 설정한 경우, 충돌판정부270은 손가락의 끝이 위치된 위치에서 손가락의 수를 확인하여 클릭 여부를 판정할 수 있게 된다.

상기와 같은 가상모니터는 기능처리부280에서 표현되는데, 상기 기능처리부280은 HMD로 구현할 수 있다. 따라서 상기 기능처리부270은 상기 가상모니터를 표시하며 충돌판정부270에 의해 가상 모니터의 동작을 제어 및 제어되는 동작 상태를 표시할 수 있다.

상기한 바와 같이 PTAM처리부230은 카메라210을 통해 획득되는 위치 결정용 영상 이미지를 통해 가상모니터의 위치를 설정하고, openGL을 통해 모니터 면을 만들고 그래픽장치220으로부터 윈도우 이미지로 리드하여 상기 설정된 위치에 가상 모니터의 면을 만들고 상기 만들어 면 위에 윈도우 이미지를 매핑하여 가상 모니터를 형성할 수 있다. 또한 상기 카메라210을 통해 획득되는 사용자의 손 이미지를 손의 고유 색상으로 보정하고, 보정된 손의 영상이미지로부터 사용자의 손끝을 추출하여 이를 상기 가상 모니터의 동작을 제어하기 위한 입력수단으로 사용한다. 이후 스텐실버퍼260은 상기 손의 영역을 가상 공간 위로 나오도록 하여 가상 공간에서 손끝을 이용하여 가상 모니터를 터치 제어할 수 있도록 하고, 충돌판정부270은 상기 가상 모니터에 손끝이 터치 여부(즉, 충돌 여부)를 판정한다. 그러면 기능처리부280은 상기 손끝의 터치 여부에 따라 가상 모니터의 동작을 제어하고, 또한 제어되는 상태를 표현하며, 이는 HMD로 구현할 수 있다.

도 3은 본 발명의 실시예에 따른 증강현실 디스플레이 시스템에서 물리적 모니터가 아닌 가상의 멀티모니터를 구현하는 절차를 도시하는 흐름도이다.

상기 도 3을 참조하면, 증강현실 디스플레이 시스템은 311단계에서 상기 카메라210을 통해 영상 이미지를 획득한다. 여기서 상기 영상 이미지는 가상 모니터의 위치를 결정하기 위한 영상이미지 또는 사용자의 손에 대한 영상이미지가 될 수 있다. 이때 가상 모니티의 위치를 결정하기 위한 영상 이미지인 경우, 상기 증강현실 디스플레이 시스템은 313단계에서 이를 감지하고, 315단계에서 상기 영상 이미지를 트랙킹하여, 즉 PTAM 처리하여 특징점을 추출한다. 즉, 상기 PTAM 처리 동작을 수행하면, 획득 영상 이미지에 따라 가상 모니터의 위치를 결정하고, 상기 결정된 가상 모니터 위치에 면을 형성한다. 이후 상기 증강현실 디스플레이 시스템은 317단계에서 그래픽장치220으로부터 윈도우 이미지를 추출하여 상기 가상 모니터의 면에 매핑하며, 319단계에서 이를 가상 모니터로 표현한다. 여기서 상기 315단계 - 319단계는 PTAM 처리 과정이 될 수 있다.

또한 상기 313단계에서 획득된 영상 이미지가 사용자의 손에 대한 영상 이미지로 판정되면, 상기 증강현실 디스플레이 시스템은 321단계에서상기 획득된 사용자의 손 영상 이미지를 Ratinex 알고리즘을 이용하여 보정하여 조명등에 의해 손의 고유 색이 변질되는 것을 보상한다. 이후 상기 증강현실 디스플레이 시스템은 323단계에서 상기 보정된 손의 영상 이미지에서 손끝을 추출한다. 여기서 상기 손끝 추출 방법은 Convex hull을 이용할 수 있으며, 상기 Convex hull은 모든 점을 포함하는 최소의 다각형으로 손의 피부색 추출을 통해서 손을 분리하고, 손끝을 추출한다. 이 손끝의 정보는 마우스 포인터와 같은 역할로 가상 모니터를 제어하는데 사용하게 된다.

상기와 같이 가상 모니터를 형성하고, 손끝을 추출한 후, 상기 증강현실 디스플레이 시스템은 331단계에서 상기 가상 모니터 및 손끝 영상을 스텐실 버퍼링한다. 상기 스텐실 버퍼링 동작을 수행하면, 가상 모니터와 손끝 이미지가 렌더링되지 않으며, 이로인해 가상 모니터를 손으로 터치할 수 있는 공간감을 제공할 수 있게 된다. 이후 상기 증강현실 디스플레이 시스템은 333단계에서 충돌 여부를 검사한다. 예를들면, 상기 충돌 여부 판정 방법은 손가락의 끝 지점을 포인트로 결정하고(즉, 손가락의 터치된 위치를 마우스의 포인트로 결정), 손가락의 수를 확인하여 클릭 여부를 결정할 수 있다. 상기 충돌로 판정되면, 상기 증강현실 디스플레이 시스템은 335단계에서 해당 기능을 처리한다. 여기서 상기 기능처리 방법은 HMD를 통해 구현할 수 있다. 이때 사용자는 HMD를 사용하면서 가상의 모니터를 볼 수 있으며, 따라서 가상의 모니터 상에 손끝의 충돌 여부를 확인할 수 있고, 이로인해 가상 모니터의 동작이 제어되는 상태를 확인할 수 있다.

도 4는 본 발명의 실시예에 따라 책상 위에서 물리적 모니터를 없애고, PTAM을 이용하여 가상 공간을 구성한 영상 이미지의 예를 도시하는 도면이다. 상기 도 4는 PTAM 처리부230에서 카메라210을 통해 획득된 위치 결정용 영상 이미지를 처리하여 가상 공간을 구성한 예를 도시하는 도면이다. 도 5는 가상공간에서 가상 모니터를 생성한 화면이다. 상기 도 5는 PTAM 처리부230이 카메라210으로부터 획득된 영상 이미지 위치에 openGL을 통해 면을 형성하고, 상기 형성된 면 위에 윈도우 이미지를 매핑하여 가상 모니터를 형성한 예를 도시하는 도면이다. 도 6은 본 발명의 실시예에 따라 증강현실 디스플레임 시스템에서 스텐실 버퍼링을 통해 가상 모니터 상에 손끝 이미지가 렌더링되지 않도록 하여 충돌 여부를 판정할 수 있도록 한 예를 도시하는 도면이다. 이처럼 가상 공간은 실제 존재하는 모든 것과, 또한 불가능한 것까지 창조할 수 있는 환경이다. 본 발명의 실시예에서는 가상 공간 안에서 가상 멀티모니터를 생성하여 조작하며, 멀티모니터를 통한 공간적 제약과 비용을 줄일 수 있다.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (12)

1. 증강현실 디스플레임 시스템의 가상 모니터 제어 장치에 있어서,
   가상 모니터 위치 결정용 영상 이미지 및 사용자의 손에 대한 영상 이미지를 촬영하는 카메라와,
   윈도우 이미지들을 구비하는 그래픽 장치와,
   상기 가상 모니터 위치 결정용 영상 이미지와 상기 윈도우 이미지를 병렬 처리하여 설정된 위치에 윈도우 이미지를 매핑하여 가상 모니터를 생성하는 PTAM처리부와,
   상기 손 영상 이미지로부터 손끝을 추출하는 손끝 추출부와,
   상기 가상 모니터에 손끝 이미지가 렌더링되지 않도록 스텐실 버퍼링하는 스텐실버퍼와,
   상기 스텐실 버퍼링된 가상모니터에 손끝의 충돌여부를 판정하는 충돌판정기와,
   상기 충돌 여부에 따라 가상 모니터의 동작을 제어하는 기능처리부로 구성된 것을 특징으로 하는 가상 모니터 제어장치.
2. 제1항에 있어서, 상기 손 영상 이미지를 입력하며, 상기 손 영상이미지를 Ratinex 알고리즘을 이용하여 보정하여 조명등에 의해 변질된 상기 손 영상이미지의 고유색을 보상하여 손끝추출부에 전달하는 영상보정부를 더 구비하는 것을 특징으로 하는 가상 모니터 제어장치.
3. 제2항에 있어서, 상기 PTAM 처리부가,
   상기 위치 결정용 영상이미지를 트랙킹하여 특징점을 추출하고, 추출된 특징점들을 이용하여 3차원 공간을 형성하여 가상 모니터의 위치를 결정하며, 상기 결정된 위치에 openGL을 이용하여 면을 형성하고, 상기 형성된 면에 상기 윈도우이미지를 매핑하여 가상모니터를 형성하는 것을 특징으로 하는 가상모니터 제어장치.
4. 제3항에 있어서, 상기 PTAM 처리부가,
   사용자의 설정에 따라 위치결정용 영상이미지와 윈도우 이미지를 병렬처리하는 동작을 반복하여 서로 따른 위치에 멀티 가상 모니터들을 형성하는 것을 특징으로 하는 가상모니터 제어장치.
5. 제4항에 있어서, 손끝추출부가,
   Convex hull 알고리즘을 이용하여 상기 보정된 손 영상이미지로부터 손을 분리하고, 면적의 중심 및 윤곽선의 중심으로부터 손가락의 방향을 결정하여 손끝을 추출하는 것을 특징으로 하는 가상 모니터 제어장치.
6. 제5항에 있어서,상기 기능처리부가
   헤드 마운트 디스플레이를 구비하며, 상기 충돌처리부의 판정 결과에 따라 가상모니터의 동작을 제어하며, 상기 가상 모니터의 동작을 3차원 공간상에 표현하는 것을 특징으로 하는 가상모니터 제어장치.
7. 가상 모니터 위치 결정용 영상 이미지 및 사용자의 손에 대한 영상 이미지를 촬영하는 카메라 및 윈도우 이미지들을 구비하는 그래픽 장치를 구비하는 증강현실 디스플레임 시스템의 가상 모니터 제어 방법에 있어서,
   상기 가상 모니터 위치 결정용 영상 이미지와 상기 윈도우 이미지를 PTAM 처리하여 설정된 위치에 윈도우 이미지를 매핑하여 가상 모니터를 생성하는 PTAM처리과정과,
   상기 손 영상 이미지로부터 손끝을 추출하는 손끝 추출과정과,
   상기 가상 모니터에 손끝 이미지가 렌더링되지 않도록 스텐실 버퍼링하는 스텐실버퍼링 과정과,
   상기 스텐실 버퍼링된 가상모니터에 손끝의 충돌여부를 판정하는 충돌판정과정과,
   상기 충돌 여부에 따라 가상 모니터의 동작을 제어하는 기능처리과정으로 이루어짐을 특징으로 하는 가상 모니터 제어방법.
8. 제7항에 있어서, 상기 손 영상 이미지를 입력하며, 상기 손 영상이미지를 Ratinex 알고리즘을 이용하여 보정하여 조명등에 의해 변질된 상기 손 영상이미지의 고유색을 보상하는 과정을 더 구비하는 것을 특징으로 하는 가상 모니터 제어방법.
9. 제8항에 있어서, 상기 PTAM 처리과정이,
   상기 위치 결정용 영상이미지를 트랙킹하여 특징점을 추출하는 과정과,
   상기 추출된 특징점들을 이용하여 3차원 공간을 형성하여 가상 모니터의 위치를 결정하는 과정과,
   상기 결정된 위치에 openGL을 이용하여 면을 형성하는 과정과,
   상기 형성된 면에 상기 윈도우이미지를 매핑하여 가상모니터를 형성하는 과정으로 이루어짐을 특징으로 하는 가상모니터 제어방법.
10. 제9항에 있어서, 상기 PTAM 처리과정이,
    사용자의 설정에 따라 위치결정용 영상이미지와 윈도우 이미지를 PTAM 처리하는 동작을 반복하여 서로 따른 위치에 멀티 가상 모니터들을 형성하는 것을 특징으로 하는 가상모니터 제어방법.
11. 제4항에 있어서, 손끝추출과정이,
    Convex hull 알고리즘을 이용하여 상기 보정된 손 영상이미지로부터 손을 분리하고, 면적의 중심 및 윤곽선의 중심으로부터 손가락의 방향을 결정하여 손끝을 추출하는 것을 특징으로 하는 가상 모니터 제어방법.
12. 제11항에 있어서,상기 기능처리과정이,
    상기 충돌처리부의 판정 결과에 따라 가상모니터의 동작을 제어하며, 헤드 마운트 디스플레이를 이용하여 볼 수 있도록 상기 가상 모니터의 동작을 3차원 공간상에 표현하는 것을 특징으로 하는 가상모니터 제어방법.
    
    
    

Images