KR20170082924A - 제스처를 이용한 사용자 입력 표시 장치 및 방법 - Google Patents

Abstract

본 발명은 사용자의 제스처를 인식 및 인식된 제스처에 따른 사용자 입력을 가상 스크린 상에 표시하는 장치 및 방법에 관한 것으로, 사용자로부터 제1 거리 이상 이격된 가상 스크린 상에 사용자의 제스처에 따른 입력을 표시하는 장치에 있어서, 사용자로부터, 상기 제1 거리보다 짧은 제2 이내의 위치에 설치되어 사용자의 제스처를 근거리에서 감지하는 제1 감지부와, 상기 제1 거리 이상 이격된 위치에 설치되어 사용자의 제스처를 원거리에서 감지하는 제2 감지부와, 사용자와 상기 제1 감지부 사이에 형성되는 가상 인터페이스 화면을 생성하는 가상 인터페이스 생성부와, 상기 가상 인터페이스 화면이 생성된 영역에서 감지된 사용자의 제스처에 따른 입력을, 상기 가상 스크린에 표시하는 표시부, 및, 상기 제1 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 좌표 정보와 상기 제2 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 좌표 정보에, 각각 대응되는 가중치를 부여하는 보정 알고리즘에 따라 보정 좌표를 산출하고, 산출된 보정 좌표에 대응되는 상기 가상 스크린 상의 일 지점에, 상기 감지된 사용자의 제스처에 따른 입력을 표시하는 제어부를 포함하는 것을 특징으로 한다.

Description

제스처를 이용한 사용자 입력 표시 장치 및 방법{APPARATUS AND METHOD FOR USER INPUT DISPLAY USING GESTURE}

본 발명은 사용자의 제스처를 인식 및 인식된 제스처에 따른 사용자 입력을 가상 스크린 상에 표시하는 장치 및 방법에 관한 것이다.

최근 운영허가를 득하고 상업운전을 앞두고 있는 신고리 3,4호기 원자력발전소(이하 원전)는 국내 최초로 디지털 기반 제어실을 적용하고 있다. 디지털 기반 제어실은 기존 가동 중 원전과 비교하여 컴퓨터 기반의 운전원 워크스테이션, 대형의 공용정보표시기(large display panel), 마우스나 터치 방식의 소프트제어기, 전산화절차서 등을 적용하고 있다. 이러한 디지털 기반 제어실은 디지털 정보를 활용하여 제어실 운전원에게 가공된 정보를 효과적인 방식으로 전달할 수 있도록 함으로써, 보다 효과적인 원전 제어가 기대되고 있다.

디지털 기반 제어실의 이러한 특징들 중, 대형 공용정보표시기는 감독자 운전원을 포함한 운전원들이 원전의 상태를 한 눈에 파악할 수 있는 개괄정보를 제공하고 있어 원전의 이상 상태를 즉각적으로 파악하는 데 큰 장점으로 부각되고 있다. 반면에 이러한 공용정보표시기를 활용하여 운전원 간의 의사소통이 진행되어야 보다 효율적이고 정확한 의사소통 및 상황인식의 공유가 가능하다. 즉, 공용정보표시기는 디지털 제어실 내 운전원들 간의 효과적인 의사소통을 위한 핵심적 공용 단서(common cue)를 제공해야 한다.

그러나 현재 설계된 공용정보표시기에는 원전의 안전상태를 운전원에게 전달하기 위해 초기 설계개념보다 많은 정보가 추가되어 인간공학적 관점에서 제한된 화면에 엄청나게 많은 정보량이 제공되고 있는 상황이다. 이에 따라 이러한 정보량으로 인해 정보의 가독성 저하가 우려될 수 있다.

뿐만 아니라 공용정보표시기의 설치 위치가, 감독자 운전원의 위치에 최적화되어 있으므로, 감독자 운전원보다 앞쪽에 자리한 원자로 운전원, 터빈 운전원, 전기계통 운전원에게는 다소 불편한 시야각이 제공되고 있는 상황이다. 이 때문에 공용정보표시기의 활용도가 설계자의 의도와는 다르게 다소 저하될 수 있으며, 이는 운전원 간의 의사소통시 서로가 공유할 수 있는 의사소통의 공용 단서로서의 역할을 하지 못할 수도 있다는 우려를 낳을 수 있다.

따라서 디지털 기반 제어실에 활용되고 있는 대형의 공용정보표시기에 인위적으로 공용 단서를 제공하고 보다 정확한 운전원 간의 의사소통을 통해 상황인식의 공유도를 향상시킬 수 있는 대안이 필요한 실정이다.

한편 이러한 대형의 공용정보표시기에 공용 단서를 제공할 수 있는 기술로서, 가상 공간을 이용한 기술이 적용될 수 있다. 예를 들어 최근에 발명된 Air Writing 기술(일명 공간 화이트보드 기술)은 공간상에 제스처를 인식하고 이를 통하여 사용자가 공간상에 글씨를 쓰거나 그림을 그리거나 혹은 기타 3차원 객체와의 상호작용이 가능하게 하기 위한 장치와 방법에 관한 기술로서 '공간 제스처 인식 장치 및 방법(대한민국 특허 등록번호 제10-1386248호)'이라는 명칭으로 국내에 특허 등록된 상태이다.

그러나 이러한 공간 화이트보드 기술을 원전의 공용정보표시기에 그대로 적용하는 데는 아직 무리가 있다. 즉, 현재 개발된 공간 화이트보드 기술은 카메라를 이용하여 촬영된 사용자의 제스처를 정보표시화면 상에 표시하는 것으로, 정보표시화면과 대응되는 크기로 형성된 가상 인터페이스 화면을 통해 감지된 사용자의 제스처에 따른 좌표에 따른 지점을 근거리, 대략 2∼3m의 거리에 이격된 정보표시화면에 표시하도록 하는 것이다. 이에 따라 정보표시화면과 가상 인터페이스 화면이 동일한 크기로 형성되는 경우에만 가능하므로, 정보표시화면과 사용자와의 사이의 거리가 근거리인 경우에만 그 적용이 가능할 수 있다.

따라서 보다 먼 거리에 그 크기가 더 큰 화면, 예를 들어 원전의 공용정보표시기와 같이, 감독자 운전원으로부터 약 5∼6m 정도 떨어져 설치된 크기 2~3m 의 대형 화면에는, 상기 공간 화이트보드 기술은 그 적용이 어렵다는 문제점이 있다. 이에 따라 원거리, 즉 사용자(감독자 운전원)으로부터 거리가 5~6m 정도 이격된 거리에 설치된 대형 화면에서도 상기 사용자의 제스처를 표시할 수 있도록 하는 기술이 필요한 실정이다.

본 발명의 목적은, 사용자의 제스처에 따른 입력을 표시할 수 있는 화면이 5m 이상인 지점에 설치되는 경우라도 상기 사용자의 제스처에 따른 입력을 표시할 수 있는 사용자 입력 표시 장치 및 방법을 제공하는 것이다.

본 발명의 다른 목적은, 사용자의 제스처에 따른 입력을 표시할 수 있는 화면이 일정 거리 이상인 지점에 설치된 상태에서, 사용자가 직관적으로 상기 일정 거리 이상 이격되어 설치된 화면 상의 일 지점을 지정하고 사용자 입력을 인가할 수 있도록 하는 사용자 입력 표시 장치 및 방법을 제공하는 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은 사용자로부터 제1 거리 이상 이격된 가상 스크린 상에 사용자의 제스처에 따른 입력을 표시하는 장치에 있어서, 사용자로부터, 상기 제1 거리보다 짧은 제2 이내의 위치에 설치되어 사용자의 제스처를 근거리에서 감지하는 제1 감지부와, 상기 제1 거리 이상 이격된 위치에 설치되어 사용자의 제스처를 원거리에서 감지하는 제2 감지부와, 사용자와 상기 제1 감지부 사이에 형성되는 가상 인터페이스 화면을 생성하는 가상 인터페이스 생성부와, 상기 가상 인터페이스 화면이 생성된 영역에서 감지된 사용자의 제스처에 따른 입력을, 상기 가상 스크린에 표시하는 표시부, 및, 상기 제1 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 좌표 정보와 상기 제2 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 좌표 정보에, 각각 대응되는 가중치를 부여하는 보정 알고리즘에 따라 보정 좌표를 산출하고, 산출된 보정 좌표에 대응되는 상기 가상 스크린 상의 일 지점에, 상기 감지된 사용자의 제스처에 따른 입력을 표시하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제1 및 제2 감지부 중 적어도 하나는, 상기 사용자의 눈동자 위치를 더 감지하고, 상기 제어부는, 상기 감지된 사용자 눈동자의 위치로부터, 상기 가상 인터페이스 화면에서 감지된 제스처에 따른 좌표에 이르는 벡터 성분을 검출 및, 검출된 벡터(vector) 성분에 대응되는 가상 스크린 상의 일 지점의 좌표를 더 산출하고, 상기 벡터 성분에 대응되는 가상 스크린 상의 일 지점의 좌표와, 상기 보정 좌표의 차이값을 보정 정보로 생성 및, 생성된 보정 정보를 기준으로 상기 가상 인터페이스 화면 각 영역의 좌표를, 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제1 감지부 및 제2 감지부는, 피사체의 깊이(depth) 정보를 획득 가능한 뎁스 카메라이며, 상기 제어부는, 상기 뎁스 정보 및, 상기 뎁스 카메라에 센싱된 사용자 영상에서 검출된 사용자 눈동자 위치와, 상기 가상 인터페이스 화면에서 감지된 제스처에 따른 좌표로부터 상기 벡터 성분을 검출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제2 감지부는, 상기 제1 감지부가 상기 벡터 성분을 검출하는 경우, 상기 검출된 벡터 성분을 상기 가상 스크린까지 연장시키는데 필요한 정보들을 더 획득하고, 상기 벡터 성분의 연장에 필요한 정보들은, 상기 감지된 제스처로부터 상기 가상 인터페이스 화면이 형성된 영역과 상기 가상 스크린 사이의 이격 거리 및, 상기 가상 스크린이 형성된 영역과 상기 가상 인터페이스 화면이 형성된 영역의 상대적 위치 정보를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 가상 스크린 상에 인가되는 사용자 입력 지점을 더 검출하고, 상기 검출된 사용자 입력 지점의 좌표와, 상기 보정 좌표의 차이값을 보정 정보로 생성 및, 생성된 보정 정보를 기준으로 상기 가상 인터페이스 화면 각 영역의 좌표를, 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 가상 스크린 상에 사용자의 제스처에 따른 입력 표시가 요청되면, 기 저장된 보정 정보가 있는지 여부를 검출하고, 상기 검출 결과에 따라 기 저장된 보정 정보 또는 상기 보정 알고리즘에 따라 상기 감지된 사용자의 제스처에 따른 입력을 표시할 상기 가상 스크린 상의 일 지점의 위치를 결정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 가상 스크린 상에 사용자의 제스처에 따른 입력 표시의 요청되면, 사용자로부터 사용자 식별 정보를 입력받고 입력된 사용자 식별 정보에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 가상 스크린 상에 사용자의 제스처에 따른 입력 표시의 요청되면, 상기 가상 스크린 주변에 상기 가상 인터페이스 화면이 형성된 영역에 대응되는 위치를 감지하고, 감지된 위치에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 것을 특징으로 한다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은 사용자로부터 제1 거리 이상 이격된 가상 스크린 상에 사용자의 제스처에 따른 입력을 표시하는 방법에 있어서, 사용자로부터 상기 제1 거리 보다 짧은 제2 거리 이내의 위치에 설치된 제1 감지부와 상기 사용자 사이에, 가상 인터페이스 화면을 형성하는 단계와, 사용자로부터 상기 제2 거리 이내의 위치에서 감지하는 상기 제1 감지부와, 사용자로부터 상기 제1 거리 이상 이격된 위치에서 감지하는 제2 감지부를 통해, 상기 가상 인터페이스 화면이 형성된 영역에 인가되는 사용자의 제스처를 각각 감지하는 단계와, 상기 제1 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 제1 좌표 정보와, 상기 제2 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 제2 좌표 정보를 획득하는 단계와, 기 설정된 보정 알고리즘에 따라 상기 제1 좌표 정보와 제2 좌표 정보에 각각 대응되는 가중치를 부여하여 보정 좌표를 산출하는 단계, 및, 산출된 보정 좌표에 대응되는 상기 가상 스크린 상의 일 지점에 상기 감지된 사용자의 제스처에 따른 입력을 표시하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 보정 좌표를 산출하는 단계는, 상기 제1 감지부 또는 제2 감지부가 상기 사용자의 눈동자 위치를 더 감지하는 단계와, 상기 감지된 사용자 눈동자의 위치로부터, 상기 가상 인터페이스 화면에서 감지된 제스처에 이르는 벡터 성분을 검출하는 단계와, 검출된 벡터 성분에 대응되는 상기 가상 스크린 상의 일 지점의 좌표를 산출하는 단계, 및, 상기 벡터 성분에 대응되는 가상 스크린 상의 일 지점의 좌표와, 상기 보정 좌표의 차이값을 기준으로, 상기 가상 인터페이스 화면 각 영역의 좌표를 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 단계를 포함하는 것을 특징으로 특징으로 한다.

일 실시 예에 있어서, 상기 보정 좌표를 산출하는 단계는, 상기 가상 스크린 상에 인가되는 사용자 입력 지점을 검출하는 단계와, 상기 검출된 사용자 입력 지점의 좌표와 상기 보정 좌표의 차이값을 산출하는 단계, 및, 산출된 차이값을 기준으로, 상기 가상 인터페이스 화면 각 영역의 좌표를 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 가상 인터페이스 화면을 형성하는 단계는, 사용자 식별 정보를 입력받는 단계를 더 포함하고, 상기 보정 좌표를 산출하는 단계는, 상기 입력된 사용자 식별 정보에 따라 식별된 사용자에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 단계와, 상기 검출 결과에 따라, 상기 보정 알고리즘 및 상기 기 저장된 보정 정보 중 어느 하나에 근거하여, 상기 제스처에 따른 입력을 표시할 상기 가상 스크린 상의 일 지점의 좌표를 산출하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 가상 인터페이스 화면을 형성하는 단계는, 상기 가상 인터페이스 화면이 형성된 영역의 위치를 감지하는 단계를 더 포함하고, 상기 보정 좌표를 산출하는 단계는, 상기 감지된 위치에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 단계, 및, 상기 검출 결과에 따라, 상기 보정 알고리즘 및 상기 기 저장된 보정 정보 중 어느 하나에 근거하여, 상기 제스처에 따른 입력을 표시할 상기 가상 스크린 상의 일 지점의 좌표를 산출하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 사용자의 제스처를 감지하는 단계는, 상기 가상 인터페이스 화면이 형성된 영역 내에서 상기 제스처를 인가하는 사용자의 신체 일부분을 감지하는 단계, 및, 상기 감지 결과에 따라 상기 사용자의 신체 일부분에 피드백 정보를 제공하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 따른 사용자 입력 표시 장치 및 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 사용자로부터 근거리에 설치된 감지부로부터 감지된 제스처를, 사용자로부터 원거리에 설치된 감지부로부터 감지된 제스처에 근거하여 보정하고, 보정된 좌표에 따른 위치를 화면 상에 표시함으로써, 사용자의 제스처에 따른 입력을 표시할 수 있는 화면이 일정 거리 이상인 지점에 설치되는 경우라도 상기 사용자의 제스처에 따른 입력을 표시할 수 있도록 한다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 사용자의 제스처에 따른 일 지점의 좌표 뿐만 아니라 사용자의 시선 방향을 감지하고, 상기 사용자의 시선 방향 및 상기 일 지점의 좌표에 근거하여 사용자의 입력이 표시될 화면상의 위치를 결정함으로써, 일정 거리 이상 이격된 위치에 설치된 상기 화면 상의 일 지점을, 사용자가 직접 지정하여 입력을 인가할 수 있도록 한다는 장점이 있다.

도 1은 본 발명의 실시 예에 따른 사용자 입력 표시 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따라, 원거리에 설치된 가상 스크린 상의 일 지점을 사용자가 직접 지정하여 입력을 인가하는 예를 도시한 개념도이다.
도 3은 본 발명의 실시 예에 따라, 사용자로부터 일정 거리 이상 이격된 거리에 설치된 스크린(screen)에, 사용자의 제스처에 따른 입력을 표시하는 동작 과정을 도시한 흐름도이다.
도 4a는 본 발명의 실시 예에 따라, 사용자의 제스처 감지 결과를 보정할 때, 기 저장된 보정 정보가 있는지 여부에 따라 서로 다르게 보정을 수행하는 동작 과정을 도시한 흐름도이다.
도 4b는 본 발명의 실시 예에 따라, 기 설정된 보정 알고리즘에 따른 좌표를 산출하는 예를 설명하기 위한 개념도이다.
도 5는 본 발명의 실시 예에 따라, 사용자로부터 지정된 가상 스크린 상의 특정 지점에 근거하여 사용자의 제스처 감지 결과를 보정하는 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 실시 예에 따라, 사용자의 시선 방향에 근거하여 사용자의 제스처 감지 결과를 보정하는 동작 과정을 도시한 흐름도이다.
도 7a 내지 도 7c는 본 발명과 관련된 종래 기술을 이용하여 사용자의 입력을 원거리에 설치된 스크린 상의 일 지점에 표시할 수 있도록 하는 예를 설명하기 위한 예시도들이다.
도 8a 내지 도 8b는 본 발명의 실시 예에 따라 사용자로부터 일정 거리 이상 이격된 거리에 설치된 스크린에, 사용자의 제스처에 따른 입력을 표시하는 예를 설명하기 위한 예시도들이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

먼저 본 발명의 완전한 이해를 돕기 위해, 본 발명의 기본 원리를 설명하면 본 발명에서는, 사용자로부터 근거리(2~3m 이내)에 설치된 제1 감지부를 통해 사용자의 제스처를 감지 및, 상기 감지된 제스처를 사용자로부터 원거리(5m 이상)에 설치된 제2 감지부를 통해 상기 사용자의 제스처를 감지한 결과에 근거하여 보정한다. 이에 따라 상기 제1 감지부에서 감지된 사용자의 제스처에 따른 좌표값은, 사용자로부터 원거리(5m 이상)에 설치된 스크린에 대한 좌표값으로 변환될 수 있으며, 이에 따라 상기 스크린이 사용자로부터 일정 거리(5m 이상) 이상 이격되어 설치된 경우라도, 상기 감지된 제스처에 따른 사용자의 입력이 상기 스크린 상에 표시되도록 할 수 있도록 한다.

뿐만 아니라 본 발명은, 사용자의 제스처가 감지되면, 사용자의 시선이 향하는 방향(이하 시선 방향)을 감지하고, 상기 사용자의 시선 방향에 대응되는 스크린 상의 일 지점을 사용자의 제스처에 따른 지점으로 표시할 수도 있다. 이를 위해 본 발명은 피사체의 깊이 정보를 획득가능한 뎁스(depth) 카메라를 감지부로 이용하여, 사용자의 눈동자의 위치와 상기 사용자의 제스처가 감지되는 가상 인터페이스 화면 상의 좌표를 감지할 수 있다. 그리고 상기 사용자의 눈동자 위치와 상기 가상 인터페이스 화면 상의 좌표에 근거하여 사용자의 시선 방향을 감지하고, 사용자로부터 원거리에 설치된 제2 감지부의 감지 결과에 근거하여 상기 시선 방향에 대응되는 스크린 상의 일 지점을 사용자의 제스처에 따른 사용자 입력 지점으로 표시할 수 있다. 이에 따라 본 발명은, 제스처에 따른 상기 스크린 상의 일 지점을 바라보는 사용자의 시선 방향에 근거하여, 상기 제스처에 따른 사용자 입력이 표시되는 지점이 결정되도록 함으로써, 사용자가 보다 쉽고 직관적으로 상기 스크린 상의 원하는 지점에 사용자 입력을 인가할 수 있도록 한다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.

우선 도 1은 본 발명의 실시 예에 따른 사용자 입력 표시 장치의 구성을 도시한 블록도이다.

도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)는 제어부(110)와, 상기 제어부(110)에 연결되는 센싱부(120), 표시부(130), 가상 인터페이스 생성부(150), 메모리(140)를 포함할 수 있다. 상기 도 1에서 도시된 구성 요소들은 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)를 구성하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 사용자 입력 표시 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로 상기 구성 요소들 중, 표시부(130)는 물리적으로 형성된 스크린을 포함할 수 있다. 또는 특정 정보 표시 기기 상에 가상 화면의 형태로 구현되는 가상 스크린을 형성할 수도 있다. 여기서 이러한 가상 스크린은 홀로그램(hologram) 객체의 형태로 사용자가 육안으로 식별 가능하게 표시될 수도 있다.

한편 상기 특정 정보 표시 기기는, 상술한 공용정보표시기(large display panel)가 될 수 있다. 이에 따라 표시부(130)는, 상기 가상 스크린의 뒤에서 표시되는 공용정보표시기의 정보가, 상기 가상 스크린을 통해 식별 가능하도록 투과되는 상태에서, 사용자의 제스처에 따른 상기 가상 스크린 상의 일 지점을 식별가능하게 표시할 수도 있다.

이러한 표시부(130)의 가상 스크린은, 사용자로부터 일정 거리 이상 이격된 거리에 설치되는 것일 수 있다. 예를 들어 상기 가상 스크린은 사용자로부터 5m 이상 이격된 거리에 설치되는 것일 수 있다. 즉, 상술한 바와 같이, 상기 공용정보표시기가 사용자로부터 5 ~ 6m 이격된 거리에 위치하는 경우, 상기 가상 스크린은, 상기 공용정보표시기가 설치된 위치에 따라 사용자로부터 5 ~ 6m 이격된 거리에 형성되는 것일 수도 있다.

한편, 표시부(130)는 사용자의 입력이 인가되는 특정 지점을 구분되게 표시할 수 있다. 그리고 이러한 사용자의 입력은 다양할 수 있다. 예를 들어 상기 사용자의 입력은, 감지되는 사용자의 제스처에 따라 인가되는 특정 문자나 도형, 또는 기호일 수 있다. 여기서 상기 사용자의 입력은 상기 가상 스크린을 통해 식별가능하게 투과되는 공용정보표시기의 특정 변수 또는 정보를 포인팅(pointing)하거나 마킹(marking)하는 것일 수도 있다. 여기서 상기 '포인팅'은 공용정보표시기에서 표시되는 변수나 심벌들 중 사용자로부터 지정된 어느 하나를 구분하기 위해 표시하는 것이며, 상기 '마킹'은 문자 또는 그림이나 기호 등을 표시하는 것일 수 있다.

한편 센싱부(120)는 사용자의 제스처를 감지하기 위한 복수의 감지부를 포함할 수 있다. 여기서 상기 복수의 감지부는, 각각 사용자로부터 서로 다른 거리에 설치되는 것일 수 있다. 이하의 설명에서는 사용자로부터 설치된 거리에 따라 상기 설치되는 감지부들을, 제1 감지부(121) 및 제2 감지부(122)라고 칭하기로 한다. 그리고 상기 제1 감지부(121)를 사용자로부터 상대적으로 가까운 거리에 설치된 감지부로, 상기 제2 감지부(122)를 사용자로부터 상대적으로 먼 거리에 설치된 감지부로 가정하기로 한다.

우선 상기 제1 감지부(121)는 사용자로부터 일정 거리 이내의 거리에 설치되는 것일 수 있다. 예를 들어 상기 제1 감지부(121)는 사용자로부터 1~2m 거리에 설치(예를 들어 사용자의 워크스테이션(workstation)에 설치)되는 것일 수 있으며, 사용자의 근거리에서 사용자의 제스처를 감지 및 감지된 제스처에 따른 좌표를 인식하기 위한 것일 수 있다.

여기서 상기 제1 감지부(121)는 뎁스(depth) 정보를 감지할 수 있는 적어도 하나의 뎁스 카메라(camera)로 구성될 수 있다. 이러한 뎁스 카메라는 사용자의 제스처를 감지하고, 감지된 사용자의 제스처를 특정 X, Y, Z축의 좌표 또는 상기 X, Y, Z축 좌표들로 인식할 수 있다. 예를 들어 상기 감지된 사용자의 제스처가 '포인팅' 인 경우라면, 상기 감지된 사용자의 제스처는 특정 좌표가 될 수 있으나, 상기 감지된 사용자의 제스처가 '마킹' 인 경우라면, 상기 감지된 사용자의 제스처는 서로 연결가능한 복수의 좌표가 될 수도 있다.

한편 제2 감지부(122)는 사용자로부터 보다 멀리 떨어진 거리에 설치되는 것일 수 있다. 예를 들어 상기 제2 감지부(122)는 사용자로부터 5~6m 거리에 설치(예를 들어 상기 가상 스크린이 형성되는 공용정보표시기에 설치)되는 것일 수 있으며, 보다 먼 거리에서 사용자의 제스처를 감지 및 감지된 제스처에 따른 좌표를 인식하기 위한 것일 수 있다.

한편 상기 제2 감지부(122) 역시 뎁스 정보를 감지할 수 있는 적어도 하나의 뎁스 카메라로 구성될 수 있다. 그리고 뎁스 카메라로 제2 감지부(122)가 구성되는 경우, 상기 제2 감지부(122)는 제스처를 취하는 사용자의 신체 일부를 센싱한 영상으로부터, 상기 사용자의 신체 일부에서 제2 감지부(122)까지의 거리를 뎁스 정보로 산출할 수도 있다.

한편 사용자의 제스처는, 기 설정된 제스처 입력 수단을 통해 감지될 수 있다. 여기서 상기 기 설정된 제스처 입력 수단은 기 설정된 사용자의 신체 일부분, 즉 사용자의 손가락 또는 상기 사용자의 신체 일부분에 착용될 수 있는 별도의 웨어러블(wearable) 장치의 형태로 구현될 수 있다. 일 예로 상기 제스처 입력 수단은, 사용자의 손가락에 구비되는 반지 형태로 구현될 수 있으며, 비가시대역의 광 신호(예를 들어 적외선), 또는 초음파 등을 출력하는 형태로 구현될 수 있다.

이러한 경우 상기 제스처 입력 수단은, 가상 인터페이스 화면이 형성된 영역에 접촉되는 경우 상기 광 신호 또는 초음파 등을 출력할 수 있다. 그리고 상기 제1 감지부(121) 또는 제2 감지부(122)는, 상기 제스처 입력 수단에서 출력되는 광 신호 또는 초음파를 감지하여, 상기 제스처 입력 수단을 착용한 사용자 신체 일부분의 움직임을, 사용자 입력을 인가하기 위한 사용자의 제스처로 인식할 수 있다.

한편 기 저장된 인체 모델링 데이터를 이용하는 경우, 제어부(110)는 제1 감지부(121) 및 제2 감지부(122)로부터 센싱되는 영상들로부터 사용자 신체의 특정 부분을 감지할 수도 있다. 즉, 제어부(110)는 기 저장된 인체의 손 모델링 데이터를 이용하여 상기 감지부들(121, 122)에서 센싱되는 사용자의 영상으로부터 사용자의 손가락 끝을 식별할 수 있다. 그리고 제어부(110)는 상기 식별된 사용자의 손가락 끝이 가상 인터페이스 화면이 형성된 영역에서 감지되면, 상기 식별된 사용자 손가락 끝의 움직임에 따라 사용자의 제스처를 감지할 수 있다. 그리고 상기 감지된 제스처에 따른 좌표, 즉 사용자 손가락 끝으로부터 감지되는 좌표들을 인식할 수 있다.

뿐만 아니라, 제어부(110)는 상기 제2 감지부(122)에서 감지된 제스처가, 원거리에서 촬영됨에 따라 일정 수준 이상 명확하게 인식되지 않는 경우라고 할지라도, 상기 제1 감지부(121)에서 감지된 제스처 감지 결과에 근거하여 사용자의 제스처를 인식할 수 있음은 물론이다. 그리고 인식된 제스처 감지 결과를, 상기 제2 감지부(122)가 설치된 거리에 따라 보정하여, 상기 제2 감지부(122)가 설치된 거리, 즉 5m 정도 이상 이격된 거리에 설치된 표시부(130)의 가상 스크린에 대한 좌표로 산출할 수도 있다. 이에 따라 5m 이상 이격된 거리로 인해, 사용자의 제스처가 명확하게 인식되지 않는 경우라고 할지라도, 사용자의 제스처를 명확하게 인식하고 인식된 제스처에 따른 사용자의 입력을 상기 원거리에 설치(5m 이상 이격)된 가상 스크린 상에 표시할 수 있도록 한다.

한편 상기 가상 인터페이스 생성부(150)는 사용자의 제스처에 따른 입력을 감지하기 위한 가상의 인터페이스 화면을 생성하기 위한 것이다. 예를 들어 상기 가상 인터페이스 화면은 상기 제1 감지부(121)와 사용자 사이에 형성될 수 있다. 상기 가상 인터페이스 화면은 기 설정된 크기에 따라 형성될 수 있으며, 상기 표시부(130)에서 형성되는 가상 스크린과 크기만 작고 모양은 유사한 형태로 형성될 수 있다. 즉, 상기 공용정보표시기와 동일한 크기로 형성되는 가상 스크린과 형태는 동일하고 크기는 축소된 형태의 가상 인터페이스 화면이 형성될 수 있다. 그리고 상기 제1 감지부(121)와 사용자 사이에, 그리고 제1 감지부(121)를 통한 제스처의 감지를 위해 상기 제1 감지부(121)로부터 일정 거리만큼 이격된 위치에 형성될 수 있다. 그리고 제스처를 입력하기 위한 사용자의 신체가, 상기 가상 인터페이스 화면이 형성된 영역에서 감지되는 경우 다양한 신호를 출력하여 사용자의 입력, 즉 제스처의 감지가 가능한 상태임을 표시할 수 있다. 이러한 가상 인터페이스 화면은 홀로그램 객체의 형태로 사용자가 육안으로 식별가능하게 표시될 수도 있음은 물론이다.

일 예로 가상 인터페이스 생성부(150)는 LED(Light Emitted Diode)에서 발광되는 광 신호 또는 알람음 등으로 상기 제스처의 감지가 가능한 상태임을 표시할 수 있다. 또는 가상 인터페이스 생성부(150)는 상기 가상 인터페이스 화면이 형성된 영역에 사용자의 신체 일부분이 감지되는 경우, 상기 감지된 사용자의 신체 일부분에 피드백(feed back) 신호를 제공할 수도 있다. 이를 위해 상기 가상 인터페이스 생성부(150)는 햅틱 모듈(151)을 더 포함할 수 있다.

햅틱 모듈(151)은, 상기 가상 인터페이스 화면이 형성된 영역에 접촉한 인체를 감지할 수 있다. 그리고 감지된 인체에 대응되는 좌표 정보를 획득할 수 있다. 그리고 상기 획득된 좌표 정보에 레이저 신호 또는 저주파와 같은 음파 신호, 또는 초음파 신호 등을 상기 가상 인터페이스 화면에의 접촉에 따른 피드백 신호로 출력할 수 있다. 이에 따라 사용자의 신체 일부분이 상기 형성된 가상 인터페이스 화면에 접촉하는 경우, 상기 레이저 신호 또는 음파나 초음파 신호에 따른 피드백 자극을 느낄 수 있도록 함으로써 사용자가 현재 가상 인터페이스 화면에 접촉된 상태임을 인지하도록 할 수 있다.

또는 상술한 바와 같이 착용 가능한 제스처 입력 수단을 이용하는 경우, 제어부(110)는 사용자의 신체 일부분이 상기 가상 인터페이스 화면이 형성된 영역에서 감지되면, 상기 제스처 입력 수단을 통해 햅틱 진동을 발생시킴으로써 사용자가 현재 가상 인터페이스 화면에 접촉된 상태임을 인지하도록 할 수도 있음은 물론이다.

한편, 상기 제1 감지부(121) 및 제2 감지부(122)는 상기 가상 인터페이스 화면에 인가되는 사용자의 제스처를 감지할 수 있다. 즉, 제1 감지부(121) 및 제2 감지부(122)는 상기 가상 인터페이스 화면이 형성된 영역에 인가되는 사용자의 제스처를 감지할 수 있으며, 상기 제스처에 따른 적어도 하나의 좌표를 인식할 수 있다. 예를 들어 제1 감지부(121)는 근거리(사용자로부터 1~2m 이내의 위치)에서 상기 가상 인터페이스 화면 상에 인가되는 사용자의 제스처에 따른 좌표 정보(적어도 하나의 좌표)를 획득할 수 있다. 그리고 제2 감지부(122)는 원거리(사용자로부터 5~6m 이격된 위치)에서 상기 가상 인터페이스 화면 상에 인가되는 사용자의 제스처에 따른 좌표 정보(적어도 하나의 좌표)를 획득할 수 있다.

그리고 상기 제1 감지부(121) 및 제2 감지부(122)의 감지 결과들(근거리에서 획득된 좌표 정보 및 원거리에서 획득된 좌표 정보)은 제어부(110)로 입력될 수 있다. 그러면 제어부(110)는 상기 제1 감지부(121)에서 획득된 좌표 정보 및 상기 제2 감지부(122)에서 획득된 좌표 정보를 모두 이용하여, 상기 표시부(130)의 가상 스크린 상에 상기 감지된 제스처에 따른 사용자 입력을 표시할 수 있다.

여기서 제어부(110)는 기 설정된 보정 알고리즘을 이용할 수 있다. 예를 들어 상기 보정 알고리즘이, 상기 제1 감지부(121)의 감지 결과 및 제2 감지부(122)의 감지 결과를 균등하게 이용하여 가상 스크린 상의 일 지점의 좌표를 산출하는 것이라면, 제어부(110)는 제1 감지부(121)에서 획득된 적어도 하나의 좌표값과, 제2 감지부(122)에서 획득된 적어도 하나의 좌표값으로부터, 각 좌표값들의 X축 평균값, Y축 평균값, Z축 평균값을 산출할 수 있다. 그리고 산출된 평균값들로 구성되는 좌표값에 대응되는 가상 스크린 상의 일 지점에 상기 제스처에 따른 사용자의 입력을 표시할 수 있다. 여기서 상기 각 좌표값들의 X축 평균값, Y축 평균값, Z축 평균값을 산출하는 것은 상술한 보정 알고리즘의 한 예를 들어 설명한 것일 뿐, 본 발명이 이에 한정되는 것이 아님은 물론이다.

그리고 제어부(110)는 상기 사용자의 입력이 표시된 상태에서, 사용자로부터 상기 가상 스크린 상의 특정 지점을 지정하는 사용자 입력이 있는지 여부를 검출할 수 있다. 그리고 상기 특정 지점, 즉 사용자 입력 지점이 있는 경우라면 제어부(110)는 상기 기 설정된 보정 알고리즘에 따라 산출된 좌표를 상기 검출된 사용자 입력 지점의 좌표로 보정할 수 있다. 그리고 상기 검출된 사용자 입력 지점의 좌표값과, 상기 기 설정된 보정 알고리즘에 따라 산출된 좌표값의 차이가 보정 정보로서 저장될 수 있다.

한편 이처럼 보정 정보가 생성되면, 제어부(110)는 가상 인터페이스 화면의 각 영역의 좌표들을, 상기 보정 정보를 기준으로 보정할 수 있다. 이에 따라 상기 가상 인터페이스 화면의 각 영역의 좌표들은 상기 보정에 의해 가상 스크린 상의 일 지점에 대한 좌표들로 변경될 수 있다. 이에 따라 제어부(110)는 상기 가상 인터페이스 화면에서 감지되는 사용자의 제스처에 따른 좌표 정보들을, 상기 보정 정보에 따라 가상 스크린 상의 좌표값으로 변환하고 변환된 좌표에 따라 상기 감지된 제스처에 대응되는 사용자의 입력을 상기 가상 스크린 상에 표시할 수 있다.

한편 제어부(110)는 상기 가상 스크린 상에, 상기 가상 인터페이스 화면 상에서 감지되는 사용자의 제스처에 따른 입력이 표시되는 위치를 결정하기 위해 다른 보정 방법을 사용할 수도 있다.

예를 들어 제어부(110)는 사용자의 시선 방향을 감지하여 상기 감지된 사용자의 제스처에 따른 입력 지점의 가상 스크린 상의 좌표를 결정할 수도 있다. 이러한 경우 제어부(110)는 감지부에서 센싱되는 사용자의 영상으로부터 사용자의 눈동자의 위치를 검출할 수 있다. 즉, 제어부(110)는 제1 감지부(121)에서 센싱되는 영상으로부터 사용자 눈동자의 위치와, 상기 사용자의 눈동자 위치에 대응되는 뎁스 정보를 산출할 수 있다. 그리고 제어부(110)는, 상기 뎁스 정보를 이용하여, 검출된 사용자의 눈동자의 위치로부터, 상기 가상 인터페이스 화면에서 제스처에 따라 인식된 좌표, 즉 상기 제스처 입력 장치 또는 제스처를 입력하는 사용자 신체의 일부분(예를 들어 손가락 끝)의 좌표에 이르는 벡터(vector) 성분(제1 벡터 성분)을 검출할 수 있다.

그리고 제어부(110)는 상기 제2 감지부(122)로부터 상기 사용자의 제스처를 감지한 결과에 따라 상기 검출된 벡터를 가상 스크린까지 연장하는데 필요한 정보들을 검출할 수 있다. 예를 들어 이러한 정보들은 상기 가상 인터페이스 화면으로부터 상기 가상 스크린 사이의 거리를 포함할 수 있으며, 상기 가상 스크린과 상기 가상 인터페이스 화면의 상대적 위치에 대한 위치 정보(가상 스크린이 형성된 위치에 대한 사용자(가상 인터페이스 화면)의 위치, 즉 사용자(가상 인터페이스 화면)가 가상 스크린의 정면에 위치하고 있는지 측면에 위치하고 있는지와 같이, 가상 스크린이 형성된 위치에 대한 사용자의 위치 정보 등)를 포함할 수 있다.

그리고 제어부(110)는 상기 제2 감지부(122)에서 획득된 정보들을 이용하여, 상기 제1 벡터 성분에 대응되는 가상 스크린 상의 일 지점의 좌표를 획득할 수 있다. 예를 들어 제어부(110)는 상기 제1 벡터 성분을 상기 가상 스크린까지 연장하여, 연장된 제1 벡터 성분과 가상 스크린이 교차하는 일 지점의 좌표를 획득할 수 있다.

한편, 여기서 상기 제2 감지부(122)는 상기 제1 감지부(121)에서 검출된 벡터를 연장하는데 필요한 정보들 뿐만 아니라, 제2 감지부(122)에서 별도로 사용자 눈동자의 위치와, 상기 사용자의 눈동자 위치에 대응되는 뎁스 정보, 그리고 상기 가상 인터페이스 화면에서 제스처에 따라 인식된 좌표를 검출하고 검출된 정보들을 이용하여 새로운 벡터 성분(제2 벡터 성분)을 검출할 수도 있음은 물론이다. 이러한 경우 제어부(110)는, 상기 제2 감지부(122)에서 검출된 제2 벡터 성분에 따라 결정되는 가상 스크린 상의 일 지점(제2 지점)과, 상기 제1 감지부(121)에서 검출된 제1 벡터 성분을 가상 스크린까지 연장한 결과에 따라 결정되는 가상 스크린 상의 일 지점(제1 지점)의 좌표값 모두를 반영하여 상기 감지된 제스처에 따른 사용자의 입력을 표시할 가상 스크린 상의 일 지점을 결정할 수도 있다.

한편, 이처럼 사용자의 시선 방향에 근거하여 결정되는 가상 스크린의 일 지점의 좌표와, 제1 감지부(121)의 감지 결과 및 제2 감지부(122)의 감지 결과를 기 설정된 보정 알고리즘에 따라 보정한 좌표의 차이가 보정 정보로서 저장될 수 있다. 이처럼 보정 정보가 생성되면, 제어부(110)는 가상 인터페이스 화면의 각 영역의 좌표들을, 상기 보정 정보를 기준으로 보정할 수 있다. 이에 따라 상기 가상 인터페이스 화면의 각 영역의 좌표들은 상기 보정에 의해 가상 스크린 상의 일 지점에 대한 좌표들로 변경될 수 있다. 이에 따라 제어부(110)는 상기 가상 인터페이스 화면에서 감지되는 사용자의 제스처에 따른 좌표 정보들을, 상기 보정 정보에 따라 가상 스크린 상의 좌표값으로 변환하고 변환된 좌표에 따라 상기 감지된 제스처에 대응되는 사용자의 입력을 상기 가상 스크린 상에 표시할 수 있다.

한편 제어부(110)는 이처럼 생성되는 보정 정보를, 각각의 사용자별로 저장할 수 있다. 예를 들어 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 제어부(110)는 사용자로부터 제스처를 감지하기 전에, 먼저 사용자를 식별하기 위한 사용자 식별 정보를 입력받을 수 있다. 예를 들어 제어부(110)는 사용자로부터 식별 정보를 입력받고 상기 가상 인터페이스 화면 영역을 형성할 수 있다. 그리고 입력된 사용자 식별 정보에 대응되는 기 저장된 보정 정보가 있는 경우에는, 그 보정 정보를 이용하여 가상 인터페이스 화면 상의 각 영역의 좌표들을, 가상 스크린 상의 각 영역의 좌표들로 보정할 수 있다.

한편 이러한 보정 정보는 각 사용자 별로 저장될 뿐만 아니라, 상기 가상 스크린이 형성된 공용정보표시기 주변의 특정 위치별로 저장될 수도 있다. 이처럼 특정 위치별로 보정 정보가 미리 저장된 경우, 제어부(110)는 사용자 제스처에 따른 입력 표시가 요청되면, 상기 사용자 제스처가 감지되는 위치를 먼저 감지할 수 있다. 예를 들어 제어부(110)는 사용자 입력을 인가하기 위해 사용자 식별 정보가 입력된 워크스테이션의 위치 또는 상기 가상 인터페이스 화면이 생성된 워크스테이션의 위치를, 상기 사용자 제스처가 감지되는 위치로 식별할 수 있다.

그리고 제어부(110)는 식별된 위치에 대응되는 보정 정보를 이용하여 가상 인터페이스 화면 상의 각 영역의 좌표들을, 가상 스크린 상의 각 영역의 좌표들로 보정할 수 있다. 그리고 보정된 결과에 따른 가상 스크린 상의 일 지점에 상기 사용자 제스처에 따른 사용자 입력을 표시할 수 있다.

한편 메모리(140)는 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 전반적인 동작을 수행하기 위한 각종 데이터를 저장할 수 있다. 예를 들어 메모리(140)에는 제어부(110)에서 상기 보정을 위해 필요한 보정 알고리즘 또는 상기 제1 감지부(121) 및 제2 감지부(122)에서 제스처를 감지한 결과들이 저장될 수 있다. 또한 상기 제어부(110)의 제어에 따라 보정 정보가 생성되면, 상기 생성된 보정 정보를 저장할 수 있다. 한편 이러한 보정 정보는 상술한 바와 같이 사용자별로 또는 공용정보표시기 주변의 각 위치별로 구분되어 저장될 수 있다. 뿐만 아니라 상기 사용자 입력 표시 장치(100)를 사용하는 사용자를 식별하기 위한 각종 식별 정보(각 사용자의 지문 정보, ID 정보 등)를 포함할 수 있으며, 상기 가상 스크린 및 상기 가상 인터페이스 화면을 생성하기 위한 각종 정보들이 포함될 수 있다.

도 2는 이러한 본 발명의 실시 예에 따라, 원거리에 설치된 가상 스크린 상의 일 지점을 사용자가 직접 지정하여 입력을 인가하는 예를 도시한 개념도이다.

도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)는 도 2에서 보이고 있는 것과 같이 공용정보표시기 화면(260)에 대응되는 크기로 가상 스크린(250)을 생성할 수 있으며, 사용자의 제스처에 대응되는 상기 가상 스크린(250) 상의 일 지점(220)을 구분되게 표시할 수 있다.

여기서 제어부(110)는 도 2에서 보이고 있는 것처럼, 제스처를 인가하는 사용자의 신체 일부분(손가락 끝) 또는 사용자 신체 일부분에 착용된 웨어러블 디바이스가 가상 인터페이스 화면이 형성된 영역에 접촉되는 경우, 상기 사용자의 신체 일부분에 피드백 신호를 제공할 수 있다. 즉, 제어부(110)는 가상 인터페이스 화면이 형성된 영역에서 사용자의 신체 일부분(210)이 감지되면, 상기 사용자의 신체 일부분에 기 설정된 피드백 정보를 제공하여 사용자가 촉각적인 자극을 느낄 수 있도록 한다. 이에 따라 사용자는 현재 상기 사용자의 신체 일부분이 가상 인터페이스 화면이 형성되 영역에 접촉된 상태이며, 이에 따라 제스처를 인가할 수 있음을 인지할 수 있다.

그리고 제어부(110)는 제1 감지부(121) 및 제2 감지부(122)를 이용하여 상기 사용자의 신체 일부분(210)에 대응되는 가상 인터페이스 화면 영역의 좌표 정보를 획득할 수 있다. 그리고 획득된 좌표 정보들을 이용하여 상기 사용자의 신체 일부분(210)의 위치에 대응되는 상기 가상 스크린 상의 일 지점(220)을 구분되게 표시할 수 있다.

이를 위해 제어부(110)는 적어도 하나의 감지부(121 또는 122)에서 센싱되는 사용자의 영상으로부터 사용자 눈동자의 위치(200)를 검출할 수 있다. 그리고 사용자 눈동자가 검출된 위치(200)로부터 상기 가상 인터페이스 화면 상에 감지된 사용자 신체 일부분(210)의 좌표에 이르는 벡터 성분(230)을 검출할 수 있다. 그리고 제2 감지부(122)의 감지 결과에 따라 획득되는 거리 정보 및 사용자와 상기 가상 스크린(240)의 상대적 위치 정보에 따라 상기 검출된 벡터 성분에 따른 가상 스크린 상의 일 지점(220)을 결정할 수도 있다.

예를 들어 제어부(110)는 제1 감지부(121)의 감지 결과 검출된 제1 벡터 성분을 가상 스크린(250)에까지 연장하여 상기 제1 벡터 성분에 따른 가상 스크린 상의 일 지점(제1 지점)의 좌표값을 산출할 수 있다. 그리고 산출된 좌표값에 대응되는 가상 스크린 상(250)의 일 지점(220)을 구분되게 표시할 수 있다.

또는 제어부(110)는 제2 감지부(122)에서 감지된 사용자의 눈동자(200)와 사용자 신체 일부분(210)의 위치에 따라 검출된 제2 벡터 성분에 근거하여 가상 스크린 상의 일 지점(제2 지점)의 좌표값을 산출할 수 있다. 그리고 상기 제2 지점의 좌표값과, 상기 제1 지점의 좌표값의 평균 좌표값을 산출 및, 산출된 좌표값에 대응되는 가상 스크린 상(250)의 일 지점(220)을 구분되게 표시할 수도 있다.

이에 따라 본 발명은, 사용자가 가상 스크린(250) 상에 표시되는 공용정보표시기 화면(260)의 일 지점을 직접 지정할 수 있으며, 상기 사용자의 지정에 따른 입력(포인팅 또는 마킹 등)이 상기 지정된 가상 스크린(250) 상의 일 지점에 표시될 수 있다. 이에 따라 본 발명은 사용자가 바로 가상 스크린 상의 원하는 지점을 지정할 수 있으므로, 보다 쉽게 직관적으로 상기 공용정보표시기 화면(260) 상에 표시되는 특정 정보에 대해 포인팅 또는 마킹을 할 수 있도록 한다.

한편 도 3은 이러한 본 발명의 실시 예에 따라, 사용자로부터 일정 거리 이상 이격된 거리에 설치된 스크린(screen)에, 사용자의 제스처에 따른 입력을 표시하는 동작 과정을 도시한 흐름도이다.

도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 제어부(110)는, 사용자로부터의 요청이 감지되는 경우 사용자의 제스처를 감지할 수 있는 사용자 인터페이스 화면을 생성할 수 있다. 이러한 경우 상기 사용자 인터페이스 화면은 사용자와, 제1 감지부(121) 사이에 형성될 수 있으며, 상기 제1 감지부(121)가 사용자의 제스처를 감지할 수 있도록 하기 위하여, 상기 제1 감지부(121)로부터 일정 거리 이격된 위치에서 형성될 수 있다.

한편 이처럼 가상 인터페이스 화면이 형성되면, 제어부(110)는 사용자로부터 근거리에 설치된 제1 감지부(121) 및 사용자로부터 원거리에 설치된 제2 감지부(122)를 통해 상기 가상 인터페이스 화면이 형성된 영역 내에서 사용자의 제스처를 감지할 수 있다(S300). 예를 들어 제어부(110)는 상기 가상 인터페이스 화면이 형성된 영역 내에 위치한 사용자의 신체 일부를 직접 감지하거나, 또는 상기 사용자의 신체 일부에 착용된 제스처 입력 장치의 위치로부터 상기 사용자의 신체 일부가 상기 가상 인터페이스 화면이 형성된 영역 내에 있음을 감지할 수 있다. 이러한 경우 제어부(110)는 상기 사용자의 신체 일부분에 직접 또는 상기 제스처 입력 장치를 통해 간접적으로 피드백 정보를 제공할 수 있다.

한편, 상기 S300 단계에서 상기 가상 인터페이스 화면이 형성된 영역 내에서의 사용자의 제스처가 감지되면, 제어부(110)는 제1 감지부(121)의 감지 결과를, 상기 제2 감지부(122)의 감지 결과를 이용하여 보정할 수 있다(S302).예를 들어 제어부(110)는 상기 S302 단계에서 상기 가상 인터페이스 화면 상에 인가된 사용자의 제스처를 상기 사용자로부터 근거리(1~2m)에 위치한 제1 감지부(121)에서 감지한 결과와, 상기 사용자로부터 원거리(5~6m)에 위치한 제2 감지부(122)에서 감지한 결과를 서로 비교할 수 있다. 그리고 비교 결과 상기 제1 감지부(121)의 감지 결과에 따른 좌표값과 상기 제2 감지부(122)의 감지 결과에 따른 좌표값을 기 설정된 보정 알고리즘에 따라 가상 스크린에 대한 좌표값으로 산출할 수 있다.

예를 들어 상기 보정 알고리즘은, 복수의 실험 결과에 따라 결정되는 다양한 알고리즘이 사용될 수 있다. 예를 들어 상기 보정 알고리즘은, 상기 제1 감지부(121)의 감지 결과와 제2 감지부(122)의 감지 결과에, 특정 가중치를 적용하여 가상 스크린에 대한 좌표값을 산출하는 것일 수 있다. 이러한 경우 상기 가중치는 서로 다를 수 있으며, 이러한 가중치는 다수의 실험 결과에 따라 결정되는 것일 수 있다.

한편 상기 S302 단계는, 기 저장된 보정 정보가 있는 경우 기 저장된 보정 정보를 이용하여 보정을 수행하는 단계가 될 수도 있다. 즉, 상기 S302 단계는, 사용자 제스처에 따른 입력을 요청한 사용자 또는 상기 입력이 요청된 위치에 대응되는 기 저장된 보정 정보가 있는 경우, 기 저장된 보정 정보에 따라 보정을 수행하는 과정이 될 수 있다. 반면 기 저장된 보정 정보가 없는 경우 기 설정된 보정 알고리즘, 예를 들어 제1 감지부(121)의 감지 결과 및 제2 감지부(122)의 감지 결과의 평균값을 산출하는 알고리즘 등에 따라 보정이 이루어지는 과정을 포함할 수 있다. 이처럼 기 저장된 보정 정보가 있는지 여부에 따라 기 설정된 보정 알고리즘 또는 기 저장된 보정 정보에 따라, 감지된 제스처에 따른 가상 스크린 상의 일 지점의 좌표값을 산출하는 과정을 하기 도 4a 및 도 4b를 참조하여 보다 자세하게 설명하기로 한다.

한편 상기 S302 단계에서 보정된 좌표값이 산출되면, 제어부(110)는 상기 산출된 좌표값에 대응되는 가상 스크린 상의 일 지점을 가상 인터페이스 화면이 형성된 영역에 대해 인가되는 사용자 제스처에 따른 지점으로 표시할 수 있다(S304). 이에 따라 본 발명에서는, 공용정보표시기의 화면이 사용자로부터 5m 이상 이격된 경우라고 할지라도, 상기 공용정보표시기의 화면 상에 형성된 가상 스크린 상에 사용자의 제스처에 따른 입력이 표시되도록 함으로써, 사용자가 상기 5m 이상 이격된 가상 스크린 상을 통해 표시되는 공용정보표시기의 특정 정보를 포인팅하거나 또는 마킹할 수 있도록 한다.

한편 도 4a는 본 발명의 실시 예에 따라, 사용자의 제스처 감지 결과를 보정할 때, 기 저장된 보정 정보가 있는지 여부에 따라 서로 다르게 보정을 수행하는 동작 과정을 도시한 흐름도이다.

우선 도 4a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 제어부(110)는 상기 S302 단계에서 제1 감지부(121)의 감지 결과를 제2 감지부(122)의 감지 결과에 따라 보정하는 경우, 먼저 기 저장된 보정 정보가 있는지 여부를 검출할 수 있다(S400). 그리고 상기 S400 단계의 검출 결과, 기 저장된 보정 정보가 검출된 경우라면, 제어부(110)는 기 저장된 보정 정보에 따라 상기 가상 인터페이스 화면 영역에서 감지되는 사용자 제스처에 따른 가상 스크린 상의 일 지점의 좌표를 산출할 수 있다(S404).

여기서 상기 기 저장된 보정 정보는, 현재 사용자 제스처에 따른 입력 표시를 요청한 사용자 또는 상기 입력 표시가 요청된 위치에 대응되게 미리 저장된 것일 수 있다. 이러한 경우 제어부(110)는 사용자 제스처에 따른 입력 표시가 요청될 때에 사용자에게 식별 정보를 요청할 수 있으며, 상기 요청된 식별 정보가 입력되면 입력된 식별 정보에 따라 사용자를 식별 및 식별된 사용자에 대응되는 보정 정보를 메모리(140)로부터 독출할 수 있다.

한편 상기 보정 정보는, 공용정보표시기 주변의 각 위치에 대응되게 저장된 것일 수 있다. 예를 들어 공용정보표시기 주변에는 그 위치가 서로 다르게 설치된 복수의 워크스테이션이 있을 수 있으며, 본 발명의 실시 예에 따른 제1 감지부(121)가 상기 복수의 워크스테이션 각각에 설치될 수 있다. 이러한 경우 상기 복수의 제1 감지부(121)는, 공용정보표시기 또는 공용정보표시기 주변에 설치된 제2 감지부(122)를 이용하여 각각 서로 다른 보정 정보를 형성할 수 있다. 이러한 경우 제어부(110)는 사용자 제스처에 따른 입력 표시가 요청될 때에 활성화된 제1 감지부(121)의 위치를 검출하고 검출된 제1 감지부(121)의 위치, 즉 제1 감지부(121)가 설치된 특정 워크스테이션의 위치에 대응되는 보정 정보를 메모리(140)로부터 독출할 수도 있다.

반면, 상기 S400 단계의 검출 결과 기 저장된 보정 정보가 검출되지 않은 경우라면, 제어부(110)는 기 설정된 보정 알고리즘을 이용하여, 상기 가상 인터페이스 화면 영역에서 감지되는 사용자 제스처에 따른 가상 스크린 상의 일 지점의 좌표를 산출할 수 있다(S402).

예를 들어 상기 S402 단계에서, 제어부(110)는 상기 제1 감지부(121)로부터 상기 사용자의 제스처를 감지한 결과를 획득할 수 있다. 여기서 상기 제1 감지부(121)의 감지 결과 획득되는 좌표는, 상기 제스처를 인가하는 사용자의 신체 일부 또는 제스처 입력 장치가, 상기 가상 인터페이스 화면이 형성된 영역에서 감지된 좌표일 수 있다.

그리고 제어부(110)는 상기 제2 감지부(122)로부터 상기 사용자의 제스처를 감지한 결과를 획득할 수 있다. 여기서 상기 제2 감지부(122)의 감지 결과는, 상기 제2 감지부(122)가 상기 가상 인터페이스 화면에서 감지된 사용자의 제스처를, 현재 형성된 가상 스크린에 대응되는 좌표로 인식한 결과일 수 있다.

한편 제어부(110)는 제1 감지부(121)의 감지 결과에 따른 가상 스크린 상의 좌표를 획득할 수 있다. 예를 들어 제어부(110)는 상기 가상 스크린에서 현재 형성된 가상 인터페이스 화면 영역에 대응되는 일부 영역에서, 상기 제1 감지부(121)에서 획득된 좌표에 대응되는 일 지점의 좌표를 상기 제1 감지부(121)의 감지 결과로 획득된 좌표로 인식할 수 있다. 그리고 상기 영역에서 획득된 좌표값과, 상기 제2 감지부(122)에서 감지된 결과에 따라 인식된 가상 스크린 상의 좌표값을 기 설정된 보정 알고리즘에 따라 이용하여 가상 스크린 상의 일 지점의 좌표값을 산출할 수 있다.

도 4b는 이러한 본 발명의 실시 예에 따라, 기 설정된 보정 알고리즘에 따른 좌표를 산출하는 예를 설명하기 위한 개념도이다.

도 4b를 참조하여 살펴보면, 제어부(110)는 가상 스크린(450) 상에 가상 인터페이스 화면(470) 영역에 대응되는 영역(460)을 형성할 수 있다. 그리고 상기 가상 인터페이스 화면 영역(470)에서 감지되는 사용자 제스처에 따른 지점의 좌표(480)에 대응되는 상기 영역(460) 상의 일 지점(482)의 좌표값(제1 좌표값)을 획득할 수 있다.

한편 제어부(110)는 상술한 바와 같이 제2 감지부(122)를 이용하여 사용자의 제스처를 인식할 수 있다. 이러한 경우 제어부(110)는 상기 가상 인터페이스 화면(470)에서 감지된 사용자의 제스처를, 현재 형성된 가상 스크린(450)에 대응되는 좌표로 인식할 수 있다. 즉, 상기 도 4b에서 보이고 있는 것과 같이 가상 인터페이스 화면(470) 상의 일 지점(480)을 지정하는 사용자의 제스처가 감지되는 경우, 제어부(110)는 상기 가상 인터페이스 화면(470) 상의 일 지점(480)에 대응되는 가상 스크린(450) 상의 일 지점(486)의 좌표값(제2 좌표값)을 획득할 수 있다.

그리고 한편 이처럼 제1 감지부(121) 및 제2 감지부(122)로부터 각각 감지된 제스처에 따라 서로 다른 좌표값들이 획득되면, 제어부(110)는 기 설정된 보정 알고리즘을 이용하여 보정된 좌표값을 산출할 수 있다. 예를 들어 상술한 바와 같이 상기 보정 알고리즘이 상기 제1 감지부(121) 및 제2 감지부(122)의 감지 결과들을 균등하게 반영하는 경우에는, 제어부(110)는 상기 제1 좌표값을 구성하는 각 축의 값들과 제2 좌표값을 구성하는 각 축의 값들의 평균값들로 형성되는 가상 스크린(450) 상의 일 지점(484)의 좌표값을 산출할 수 있다. 그리고 도 4b에서 보이고 있는 것처럼, 산출된 좌표값에 대응되는 가상 스크린(450) 상의 일 지점(484)에, 상기 감지된 사용자의 제스처에 따른 입력(포인팅 또는 마킹 기능에 대응되는 입력)을 표시할 수 있다.

한편 상기 도 4b는 본 발명의 일 실시 예에 따라 상기 제1 감지부(121)의 감지 결과 인식된 제스처에 따른 가상 스크린 상의 좌표와, 상기 제2 감지부(122)의 감지 결과 인식된 제스처에 따른 가상 스크린 상의 좌표를, 기 설정된 보정 알고리즘에 따라 이용하여 보정 좌표를 산출하는 일 예를 도시한 것이다. 따라서 본 발명이 이에 한정되는 것이 아님은 물론이며, 다른 방법으로 상기 상기 제1 감지부(121)의 감지 결과 인식된 제스처에 따른 가상 스크린 상의 좌표와, 상기 제2 감지부(122)의 감지 결과 인식된 제스처에 따른 가상 스크린 상의 좌표를 검출 및, 검출된 좌표들을 이용하여 기 설정된 보정 알고리즘에 따른 보정 좌표를 산출할 수도 있음은 물론이다.

한편, 제어부(110)는 상기 S402 단계에서 보정된 결과를, 가상 스크린 상에 사용자의 입력에 따른 특정 지점의 좌표값에 따라 다시 보정할 수도 있다. 예를 들어 제어부(110)는 가상 스크린 상에 보정된 값이 표시된 상태에서 사용자의 입력에 따른 가상 스크린 상의 일 지점이 지정되는 경우, 상기 사용자 입력에 따른 일 지점의 좌표값에 따라 상기 보정된 좌표값을 보정할 수도 있다. 이 경우 제어부(110)는 상기 사용자 입력 지점의 좌표와 상기 S402 단계의 보정된 좌표값과의 차이값을 기준으로 가상 인터페이스 화면의 각 영역의 좌표들을 상기 가상 스크린 상의 각 영역의 좌표로 매칭시킬 수 있으며, 매칭 기준이 되는 상기 차이값을 보정 정보로 저장할 수 있다. 이처럼 사용자 입력 지점의 좌표에 따라 보정 정보를 저장 및 상기 보정 정보에 따라 좌표를 보정하는 동작 과정을 하기 도 5를 참조하여 보다 자세하게 살펴보기로 한다.

한편 제어부(110)는 상기 S402 단계에서 보정된 결과를, 사용자의 시선 방향을 이용하여 보정할 수도 있다. 예를 들어 제어부(110)는 제1 감지부(121) 또는 제2 감지부(122)를 통해 센싱되는 영상으로부터 사용자의 눈동자의 위치 및 뎁스 정보를 획득할 수 있다. 그리고 상기 획득된 사용자 눈동자의 위치와 뎁스 정보, 그리고 상기 가상 인터페이스 화면 영역 내에서 감지되는 사용자 신체 일부분의 좌표에 근거하여 사용자의 시선 방향을 감지할 수 있다. 그리고 감지된 사용자의 시선 방향에 따라 상기 사용자 신체 일부분에 대응되는 가상 스크린 상의 일 지점의 위치를 표시할 수 있다. 그리고 제어부(110)는 상기 사용자 시선 방향에 따른 일 지점의 좌표와 상기 S402 단계의 보정된 좌표값과의 차이값을 기준으로 가상 인터페이스 화면의 각 영역의 좌표들을 상기 가상 스크린 상의 각 영역의 좌표로 매칭시킬 수 있다. 그리고 제어부(110)는 매칭 기준이 되는 상기 차이값을 보정 정보로서 저장할 수 있다. 이처럼 사용자 시선 방향에 따른 일 지점의 좌표에 따라 보정 정보를 저장 및 상기 보정 정보에 따라 좌표를 보정하는 동작 과정을 하기 도 6을 참조하여 보다 자세하게 살펴보기로 한다.

먼저 도 5는 본 발명의 실시 예에 따라, 사용자로부터 지정된 가상 스크린 상의 특정 지점에 근거하여 사용자의 제스처 감지 결과를 보정하는 동작 과정을 도시한 흐름도이다.

도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 제어부(110)는 상기 S400 단계에서 기 저장된 보정 정보가 검출되지 않은 경우, 기 설정된 보정 알고리즘에 따라 제1 감지부(121)의 감지 결과와 제2 감지부(122)의 감지 결과에 따른 가상 스크린 상의 좌표를 산출할 수 있다(S500).

그리고 제어부(110)는 상기 가상 스크린의 일 지점이 사용자에 의해 지정되었는지 여부를 검출할 수 있다(S502). 예를 들어 상기 사용자에 의해 지정된 가상 스크린 상의 일 지점, 즉 사용자 입력 지점은 기 설정된 입력 수단을 통해 검출될 수 있다. 예를 들어 이러한 입력 수단은 레이저 포인터나 또는 마우스 포인터 등을 이용한 가상 스크린 상에 대한 사용자의 직접 입력 등을 통해 인가될 수 있다.

한편 상기 S502 단계의 검출 결과, 상기 사용자 입력 지점이 없는 경우라면, 제어부(110)는 사용자 입력 지점에 따른 보정을 수행하지 않고 바로 S304 단계로 진행할 수 있다. 이러한 경우 기 설정된 보정 알고리즘에 따라 결정된 가상 스크린 상의 일 지점의 좌표가, 감지된 사용자의 제스처에 따른 좌표로 결정될 수 있다.

그러나 상기 S502 단계의 검출 결과 사용자 입력 지점이 있는 경우라면, 제어부(110)는 가상 스크린 상에서 상기 사용자 입력 지점의 좌표값과 상기 기 설정된 보정 알고리즘에 따라 결정된 지점의 좌표값의 차이(예를 들어 X, Y, Z축 성분의 차이)를 산출할 수 있다(S504). 그리고 산출된 차이값에 근거하여 상기 S500 단계에서 산출된 좌표값(보정 알고리즘에 따라 결정된 지점의 좌표값)을 보정할 수 있다(S506).

상기 S506 단계에서, 상기 사용자 입력 지점과 상기 보정 알고리즘에 따라 결정된 지점의 위치는 동일한 지점으로 매칭될 수 있다. 그러면 제어부(110)는 상기 산출된 차이값을, 현재 보정 정보로서 저장할 수 있다(S508). 여기서 제어부(110)는 상기 보정 정보를 현재 식별된 사용자에 대응되도록 저장하거나, 또는 사용자 제스처에 따른 입력 표시가 요청된 위치(예를 들어 활성화된 제1 감지부(121)에 대응되는 워크스테이션의 위치)에 대응되도록 저장할 수 있다.

한편, 도 6은 본 발명의 실시 예에 따라, 사용자의 시선 방향에 근거하여 사용자의 제스처 감지 결과를 보정하는 동작 과정을 도시한 흐름도이다.

도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 제어부(110)는 상기 S400 단계에서 기 저장된 보정 정보가 검출되지 않은 경우, 기 설정된 보정 알고리즘에 따라 제1 감지부(121)의 감지 결과와 제2 감지부(122)의 감지 결과에 따른 가상 스크린 상의 좌표를 산출할 수 있다(S600). 그리고 제어부(110)는 사용자의 시선 방향을 감지할 수 있다(S602).

상술한 바와 같이 제어부(110)는 감지부에서 센싱된 영상으로부터 사용자의 눈동자의 위치 및 뎁스 정보를 검출할 수 있다. 그리고 상기 사용자의 눈동자 위치로부터 가상 인터페이스 화면에 이르는 벡터 성분을 검출할 수 있다. 그리고 검출된 벡터 성분은, 상기 S602 단계의 사용자 시선 방향이 될 수 있다.

그러면 제어부(110)는 상기 감지된 사용자의 시선 방향과, 상기 가상 인터페이스 화면에서 감지된 사용자 제스처에 따른 좌표값에 근거하여, 가상 스크린 상의 일 지점의 좌표를 산출할 수 있다(S604). 예를 들어 제어부(110)는 제1 감지부(121)에서 감지된 사용자의 눈동자 위치와 뎁스 정보, 그리고 좌표 정보를 이용하여 상기 벡터 성분을 검출할 수 있다. 그리고 검출된 벡터 성분을, 상기 제2 감지부(122)에서 추가로 획득된 정보들을 이용하여 상기 가상 스크린으로 연장할 수 있다. 그리고 연장된 벡터 성분에 대응되는 가상 스크린 상의 일 지점의 좌표를 산출할 수 있다.

또한 상기 S604 단계에서, 상기 제2 감지부(122)는 상기 벡터 성분을 연장하기 위해 필요한 정보, 즉 가상 인터페이스 화면으로부터 가상 스크린 까지의 거리 정보, 및 상기 가상 인터페이스 화면과 가상 스크린의 상대적 위치에 대한 정보 등을 검출할 뿐만 아니라, 상기 제2 감지부(122)에서 별도로 사용자의 눈동자 위치와 뎁스 정보, 그리고 좌표 정보를 이용하여 벡터 성분을 검출할 수 있다. 이러한 경우 제1 감지부(121)의 감지 결과에 따른 제1 벡터 성분과, 제2 감지부(122)의 감지 결과에 따른 제2 벡터 성분이 검출될 수 있으며, 제어부(110)는 상기 제1 벡터 성분에 따른 가상 스크린 상의 일 지점의 좌표와, 상기 제2 벡터 성분에 따른 가상 스크린 상의 일 지점의 좌표의 평균값을, 상기 사용자 시선 방향에 따른 가상 스크린 상의 일 지점의 좌표로 결정할 수도 있다.

한편 이처럼 S604 단계에서 사용자의 시선 방향에 따른 가상 스크린 상의 일 지점의 좌표가 산출되면, 제어부(110)는 상기 사용자 시선 방향에 따른 일 지점의 좌표값과 상기 기 설정된 보정 알고리즘에 따라 결정된 지점의 좌표값의 차이(예를 들어 X, Y, Z축 성분의 차이)를 산출할 수 있다(S606). 그리고 산출된 차이값에 근거하여 상기 S600 단계에서 산출된 좌표값(보정 알고리즘에 따라 결정된 지점의 좌표값)을 보정할 수 있다(S608).

그러면 제어부(110)는 상기 산출된 차이값을, 보정 정보로서 저장할 수 있다(S610). 여기서 제어부(110)는 상기 보정 정보를 현재 식별된 사용자에 대응되도록 저장하거나, 또는 사용자 제스처에 따른 입력 표시가 요청된 위치(예를 들어 활성화된 제1 감지부(121)에 대응되는 워크스테이션의 위치)에 대응되도록 저장할 수 있다.

이에 따라 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)는 사용자의 시선 방향에 따라 감지된 제스처에 대응되는 가상 스크린 상의 일 지점을 결정함으로써, 사용자가 공용정보표시기 화면의 특정 정보가 표시되는 가상 스크린 상의 일 지점을 직접 지정하고, 지정된 지점에 포인팅 또는 마킹할 수 있도록 한다.

이상의 설명에서는 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)의 동작 과정을 복수의 흐름도를 이용하여 자세히 설명하였다. 이하의 설명에서는, 복수의 예시도를 이용하여 본 발명의 실시 예에 따른 사용자 입력 표시 장치(100)를 이용하여 공용정보표시기 화면 상에 형성된 가상 스크린에 사용자 제스처에 따른 입력을 표시하는 예와, 종래 기술을 응용하여 공용정보표시기 화면 상에 형성된 가상 스크린에 사용자 제스처에 따른 입력을 표시하는 경우의 예를 비교 설명하도록 한다.

우선 도 7a 내지 도 7c는, 본 발명과 관련된 종래 기술을 이용하여 사용자의 입력을 원거리에 설치된 스크린 상의 일 지점에 표시할 수 있도록 하는 예를 설명하기 위한 예시도들이다.

우선 도 7a를 참조하여 살펴보면, 도 7a는 상술한 본 발명에 관련된 종래 기술로, 공간 제스처 인식 장치 및 방법(일명 공간 화이트보드 기술)으로 출원된 기술의 예를 보이고 있는 것이다.

상기 일명 공간 화이트보드 기술은, 상기 도 7a에서 보이고 있는 것과 같이 사용자 제스처를 입력하기 위한 제스처 입력 수단(700)과, 가상 인터페이스 화면(700), 그리고 상기 가상 인터페이스 화면(700)과 동일한 크기로 형성되는 스크린(702) 및 상기 사용자 제스처를 감지하기 위한 카메라(710)로 구성될 수 있다.

상기 일명 공간 화이트보드 기술은, 가상 인터페이스 화면(700)에 인가되는 사용자의 제스처를 감지하고 이를 스크린(702) 상에 표시하는 것을 보이고 있으나, 도 7a에서 보이고 있는 것과 같이, 상기 가상 인터페이스 화면(700)과 상기 스크린(702)이 동일 또는 유사한 크기로 형성되어야 한다. 이는 상기 도 7a에서 보이고 있는 것과 같이, 상기 가상 인터페이스 화면(700)에서 감지되는 사용자의 제스처에 따른 입력을, 상기 스크린(702)에 그대로 표시하는 구성을 가지기 때문이다.

이에 따라 상기 일명 공간 화이트보드 기술은, 본 발명에서 언급하고 있는 공용정보표시기의 화면과 같이, 큰 화면이 필요로 하는 경우에는 적용이 어렵다는 문제점이 있다. 이는 상기 도 7a에서 보이고 있는 것처럼 큰 화면으로 스크린(702)을 형성하는 경우, 이에 따라 가상 인터페이스 화면(700)도 커져야 하며, 이러한 경우 인체의 신체적 한계로 인해 사용자가 공용정보표시기 화면의 원하는 지점에 제스처를 입력하지 못하거나 매우 불편하기 때문(예를 들어 지상으로부터 3m 높이의 지점의 경우)이다.

또한, 상기 일명 공간 화이트보드 기술은, 가상 인터페이스 화면(700)으로부터 일정 거리 이상 이격된 위치에서는 그 적용이 어렵다는 한계가 있다. 즉, 도 7a에서 보이고 있는 것처럼, 상기 일명 공간 화이트보드 기술은, 상기 가상 인터페이스 화면(700)과 상기 스크린(702)이 동일 또는 유사한 크기로 형성되어, 감지부(712)가 상기 제스처를 감지하고 감지된 제스처를, 스크린 상의 동일한 크기 및 위치에 표시할 수 있도록 한다. 이에 따라 상기 스크린(702)이 멀어지면 멀어질수록, 상기 스크린(702)에 형성된 감지부(712)에서 감지되는 사용자의 제스처의 크기가 작아지게 되고, 이에 따라 스크린(702)에 표시되는 사용자 제스처에 따른 입력의 크기는 작아지게 된다. 따라서 스크린(702)이 5m 이상 이격되는 경우, 상기 스크린(702) 상에 표시되는 사용자의 제스처에 따른 입력은 식별이 어려울 정도로 작아지기 때문이다.

한편, 이러한 종래 기술의 단점을 보완하기 위해, 상기 스크린(702)에 감지되는 사용자의 제스처 입력을 상기 공용정보표시기 장치의 화면에 맞도록 확대하는 방안을 고려할 수 있다. 도 7b 및 도 7c는 이러한 경우의 예를 가정한 것이다.

우선 도 7b를 참조하여 살펴보면, 도 7b는 상기 도 7a와 같이 구성된 상태에서, 공용정보표시기의 화면에 대응되는 가상 스크린(750)이 더 추가된 예를 보이고 있는 것이다. 이러한 경우 상기 스크린(702)에서 검출되는 사용자의 입력은, 상기 가상 스크린(750)의 크기에 맞도록 확대되어 표시될 수 있다.

이러한 경우 도 7b에서 보이고 있는 것처럼, 가상 스크린(750)에는 상기 스크린(702)에서 검출된 특정 지점의 좌표에 대응되는 지점의 좌표가, 사용자의 제스처 입력에 따른 좌표로 표시될 수 있다. 이에 따라 사용자는 자신이 가상 스크린(750)에서 입력을 인가하고자 하는 위치를, 가상 스크린(750)이 아니라, 가상 인터페이스 화면(700)에서 찾아서 제스처를 인가하여야 한다. 즉, 도 7c에서 보이고 있는 것처럼, 사용자는 가상 스크린(750) 상에서 자신이 입력을 인가하고자 하는 선택 지점(770)과는 하등 상관없는 가상 인터페이스 화면(700) 상의 일 지점(760)을 선택하여야, 상기 선택 지점(770)에 사용자의 입력이 표시되도록 할 수 있다. 이에 따라 종래 기술로는 사용자가 실제 자신이 지정하고 싶은 가상 스크린 상의 지점과 가상 인터페이스 화면의 지점과의 차이로 인한 괴리감을 가질 수 있고, 그에 따른 불편함을 느끼게 할 수 있다.

반면, 도 8a 내지 도 8b는 본 발명의 실시 예에 따라 사용자로부터 일정 거리 이상 이격된 거리에 설치된 스크린에, 사용자의 제스처에 따른 입력을 표시하는 예를 설명하기 위한 예시도들이다.

우선 도 8a는 본 발명의 실시 예에 따라, 사용자의 시선 방향을 검출하고, 사용자의 시선 방향에 따라, 가상 인터페이스 화면 영역에서 감지된 사용자 제스처 입력 지점에 대응되는 가상 스크린의 일 지점을 표시하는 예를 보이고 있는 것이다.

도 8a에 도시된 본 발명의 일 실시 예에 따르면, 본 발명은 제1 감지부(830)에서 센싱된 영상으로부터 사용자의 눈동자의 위치(800) 및 상기 가상 인터페이스 화면(800)에서 감지되는 사용자 제스처 입력 지점(850)의 좌표를 검출할 수 있다. 그리고 상기 제1 감지부(830)에서 감지된 사용자 제스처 입력 지점(850)까지의 뎁스 정보(제1 감지부(830)에서 가상 인터페이스 화면(800)까지의 거리 정보)와, 상기 센싱된 영상에서 제1 상기 사용자 눈동자의 위치(800)의 뎁스 정보(제1 감지부(830)에서 사용자 눈동자 위치(800)까지의 거리 정보)를 이용하여, 감지된 사용자 제스처 입력 지점(850)에서 사용자 눈동자 위치(800)까지의 뎁스 정보를 획득할 수 있다.

한편 본 발명은, 상기 감지된 사용자 제스처 입력 지점(850)에서 사용자 눈동자 위치(800)까지의 뎁스 정보와, 상기 사용자 눈동자의 위치(800), 그리고 감지된 사용자 제스처 입력 지점(850)의 위치 정보를 이용하여 상기 제스처 입력 지점을 바라보는 사용자의 시선 방향을 검출할 수 있다. 그리고 상기 시선 방향은, 상기 사용자 눈동자의 위치(800)에서, 상기 감지된 사용자 제스처 입력 지점(850)에 이르는 벡터 성분(880)일 수 있다.

한편 상기 벡터 성분(880)이 검출되는 경우, 본 발명은 제2 감지부(840)의 감지 결과에 근거하여 상기 검출된 벡터 성분을 가상 스크린(820)에 이르기까지 연장할 수 있다. 여기서 상기 제2 감지부(840)는 상기 검출된 벡터 성분을 가상 스크린(820)에 이르기까지 연장하기 위해 필요한 정보들을 획득할 수 있다. 그리고 이러한 정보들은, 예를 들어 상기 가상 인터페이스 화면(800)에서 가상 스크린(820)까지의 거리 정보 및, 상기 가상 스크린(820)이 형성된 위치에 대한, 상기 가상 인터페이스 화면(800)이 형성된 위치, 즉 상기 가상 스크린(820)에 대한 상기 가상 인터페이스 화면(800)의 상대적 위치에 대한 정보 등을 포함할 수 있다.

예를 들어 상기 제2 감지부(840)는 상기 가상 인터페이스 화면(800)으로부터 사용자 제스처를 감지한 결과에 근거하여 상기한 정보들을 획득할 수 있다. 즉, 상기 가상 인터페이스 화면(800)이 센싱된 방향이, 상기 가상 스크린(820)에 대한 상기 가상 인터페이스 화면(800)의 상대적 위치 정보가 될 수 있다. 그리고 상기 가상 인터페이스 화면(800)에서 감지된 사용자 제스처의 뎁스 정보는 상기 가상 스크린(820)으로부터 상기 가상 인터페이스 화면(800)의 거리 정보가 될 수 있다.

이에 따라 본 발명은, 상기 제2 감지부(840)에서 획득된 정보들을 이용하여, 상기 검출된 벡터 성분(880)을 가상 스크린(820)에 이르기까지 연장할 수 있다. 이러한 경우 연장된 벡터 성분(890)에 따른 가상 스크린(820)의 일 지점(860)이, 상기 가상 인터페이스 화면(800)에 인가되는 사용자 제스처에 대응되는 일 지점으로 표시될 수 있다.

이에 따라 본 발명은 도 8b에서 보이고 있는 것처럼, 사용자의 육안으로 보았을 때 사용자가 지정하기를 원하는 상기 가상 스크린(820) 상의 일 지점(860)과 동일한 지점의 가상 인터페이스 화면(800)의 지점(850)을 제스처로 지정하면, 상기 가상 스크린(820)의 일 지점(860)이 사용자의 입력에 따른 지점으로 표시될 수 있다. 이에 따라 본 발명은 사용자가 실제 자신이 지정하고 싶은 가상 스크린 상의 지점과 가상 인터페이스 화면의 지점과의 차이로 인한 괴리감이 없어질 수 있고, 가상 스크린 상에서 원하는 지점을 바로 지정하면 되므로 보다 직관적이고 쉽게 사용자 제스처에 따른 입력을 가상 스크린에 입력할 수 있다.

한편 도 8b에서, 가상 인터페이스 화면(800)은 사용자의 육안으로 보이는 가상 스크린(820) 보다 작게 형성된 것을 보이고 있으나, 상기 가상 인터페이스 화면(800)은 가상으로 형성되는 영역이므로 얼마든지 그 크기를 크게 할 수 있음은 물론이다. 예를 들어 본 발명은 사용자의 전면에 상기 8b에서 보이는 것보다 훨씬 큰 가상 인터페이스 화면 영역을 형성할 수 있고, 그에 따라 도 8b에서 보이는 가상 인터페이스 화면 영역 외의 영역에서 인가되는 사용자의 제스처 입력을 감지할 수도 있음은 물론이다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 사용자 입력 표시 장치 110 : 제어부
120 : 센싱부 121 : 제1 감지부
122 : 제2 감지부 130 : 표시부
140 : 메모리 150 : 가상 인터페이스 생성부
151 : 햅틱 모듈

Claims (14)

1. 사용자로부터 제1 거리 이상 이격된 가상 스크린 상에 사용자의 제스처에 따른 입력을 표시하는 장치에 있어서,
   사용자로부터, 상기 제1 거리보다 짧은 제2 이내의 위치에 설치되어 사용자의 제스처를 근거리에서 감지하는 제1 감지부;
   상기 제1 거리 이상 이격된 위치에 설치되어 사용자의 제스처를 원거리에서 감지하는 제2 감지부;
   사용자와 상기 제1 감지부 사이에 형성되는 가상 인터페이스 화면을 생성하는 가상 인터페이스 생성부;
   상기 가상 인터페이스 화면이 생성된 영역에서 감지된 사용자의 제스처에 따른 입력을, 상기 가상 스크린에 표시하는 표시부; 및,
   상기 제1 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 좌표 정보와 상기 제2 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 좌표 정보에, 각각 대응되는 가중치를 부여하는 보정 알고리즘에 따라 보정 좌표를 산출하고, 산출된 보정 좌표에 대응되는 상기 가상 스크린 상의 일 지점에, 상기 감지된 사용자의 제스처에 따른 입력을 표시하는 제어부를 포함하는 것을 특징으로 하는 사용자 입력 표시 장치.
2. 제1항에 있어서,
   상기 제1 및 제2 감지부 중 적어도 하나는,
   상기 사용자의 눈동자 위치를 더 감지하고,
   상기 제어부는,
   상기 감지된 사용자 눈동자의 위치로부터, 상기 가상 인터페이스 화면에서 감지된 제스처에 따른 좌표에 이르는 벡터 성분을 검출 및, 검출된 벡터(vector) 성분에 대응되는 가상 스크린 상의 일 지점의 좌표를 더 산출하고,
   상기 벡터 성분에 대응되는 가상 스크린 상의 일 지점의 좌표와, 상기 보정 좌표의 차이값을 보정 정보로 생성 및, 생성된 보정 정보를 기준으로 상기 가상 인터페이스 화면 각 영역의 좌표를, 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 것을 특징으로 하는 사용자 입력 표시 장치.
3. 제2항에 있어서,
   상기 제1 감지부 및 제2 감지부는,
   피사체의 깊이(depth) 정보를 획득 가능한 뎁스 카메라이며,
   상기 제어부는,
   상기 뎁스 정보 및, 상기 뎁스 카메라에 센싱된 사용자 영상에서 검출된 사용자 눈동자 위치와, 상기 가상 인터페이스 화면에서 감지된 제스처에 따른 좌표로부터 상기 벡터 성분을 검출하는 것을 특징으로 하는 사용자 입력 표시 장치.
4. 제3항에 있어서,
   상기 제2 감지부는,
   상기 제1 감지부가 상기 벡터 성분을 검출하는 경우, 상기 검출된 벡터 성분을 상기 가상 스크린까지 연장시키는데 필요한 정보들을 더 획득하고,
   상기 벡터 성분의 연장에 필요한 정보들은,
   상기 감지된 제스처로부터 상기 가상 인터페이스 화면이 형성된 영역과 상기 가상 스크린 사이의 이격 거리 및, 상기 가상 스크린이 형성된 영역과 상기 가상 인터페이스 화면이 형성된 영역의 상대적 위치 정보를 포함하는 것을 특징으로 하는 사용자 입력 표시 장치.
5. 제1항에 있어서, 상기 제어부는,
   상기 가상 스크린 상에 인가되는 사용자 입력 지점을 더 검출하고,
   상기 검출된 사용자 입력 지점의 좌표와, 상기 보정 좌표의 차이값을 보정 정보로 생성 및, 생성된 보정 정보를 기준으로 상기 가상 인터페이스 화면 각 영역의 좌표를, 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 것을 특징으로 하는 사용자 입력 표시 장치.
6. 제1항에 있어서, 상기 제어부는,
   상기 가상 스크린 상에 사용자의 제스처에 따른 입력 표시가 요청되면, 기 저장된 보정 정보가 있는지 여부를 검출하고,
   상기 검출 결과에 따라 기 저장된 보정 정보 또는 상기 보정 알고리즘에 따라 상기 감지된 사용자의 제스처에 따른 입력을 표시할 상기 가상 스크린 상의 일 지점의 위치를 결정하는 것을 특징으로 하는 사용자 입력 표시 장치.
7. 제6항에 있어서, 상기 제어부는,
   상기 가상 스크린 상에 사용자의 제스처에 따른 입력 표시의 요청되면, 사용자로부터 사용자 식별 정보를 입력받고 입력된 사용자 식별 정보에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 것을 특징으로 하는 사용자 입력 표시 장치.
8. 제6항에 있어서, 상기 제어부는,
   상기 가상 스크린 상에 사용자의 제스처에 따른 입력 표시의 요청되면, 상기 가상 스크린 주변에 상기 가상 인터페이스 화면이 형성된 영역에 대응되는 위치를 감지하고, 감지된 위치에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 것을 특징으로 하는 사용자 입력 표시 장치.
9. 사용자로부터 제1 거리 이상 이격된 가상 스크린 상에 사용자의 제스처에 따른 입력을 표시하는 방법에 있어서,
   사용자로부터 상기 제1 거리 보다 짧은 제2 거리 이내의 위치에 설치된 제1 감지부와 상기 사용자 사이에, 가상 인터페이스 화면을 형성하는 단계;
   사용자로부터 상기 제2 거리 이내의 위치에서 감지하는 상기 제1 감지부와, 사용자로부터 상기 제1 거리 이상 이격된 위치에서 감지하는 제2 감지부를 통해, 상기 가상 인터페이스 화면이 형성된 영역에 인가되는 사용자의 제스처를 각각 감지하는 단계;
   상기 제1 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 제1 좌표 정보와, 상기 제2 감지부의 감지 결과 인식된 제스처에 따른 상기 가상 스크린 상의 제2 좌표 정보를 획득하는 단계;
   기 설정된 보정 알고리즘에 따라 상기 제1 좌표 정보와 제2 좌표 정보에 각각 대응되는 가중치를 부여하여 보정 좌표를 산출하는 단계; 및,
   산출된 보정 좌표에 대응되는 상기 가상 스크린 상의 일 지점에 상기 감지된 사용자의 제스처에 따른 입력을 표시하는 단계를 포함하는 것을 특징으로 하는 사용자 입력 표시 방법.
10. 제9항에 있어서, 상기 보정 좌표를 산출하는 단계는,
    상기 제1 감지부 또는 제2 감지부가 상기 사용자의 눈동자 위치를 더 감지하는 단계;
    상기 감지된 사용자 눈동자의 위치로부터, 상기 가상 인터페이스 화면에서 감지된 제스처에 이르는 벡터 성분을 검출하는 단계;
    검출된 벡터 성분에 대응되는 상기 가상 스크린 상의 일 지점의 좌표를 산출하는 단계; 및,
    상기 벡터 성분에 대응되는 가상 스크린 상의 일 지점의 좌표와, 상기 보정 좌표의 차이값을 기준으로, 상기 가상 인터페이스 화면 각 영역의 좌표를 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 단계를 포함하는 것을 특징으로 하는 사용자 입력 표시 방법.
11. 제9항에 있어서, 상기 보정 좌표를 산출하는 단계는,
    상기 가상 스크린 상에 인가되는 사용자 입력 지점을 검출하는 단계;
    상기 검출된 사용자 입력 지점의 좌표와 상기 보정 좌표의 차이값을 산출하는 단계; 및,
    산출된 차이값을 기준으로, 상기 가상 인터페이스 화면 각 영역의 좌표를 상기 가상 스크린 상의 각 영역의 좌표로 보정하는 단계를 포함하는 것을 특징으로 하는 사용자 입력 표시 방법.
12. 제9항에 있어서,
    상기 가상 인터페이스 화면을 형성하는 단계는,
    사용자 식별 정보를 입력받는 단계를 더 포함하고,
    상기 보정 좌표를 산출하는 단계는,
    상기 입력된 사용자 식별 정보에 따라 식별된 사용자에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 단계; 및,
    상기 검출 결과에 따라, 상기 보정 알고리즘 및 상기 기 저장된 보정 정보 중 어느 하나에 근거하여, 상기 제스처에 따른 입력을 표시할 상기 가상 스크린 상의 일 지점의 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 사용자 입력 표시 방법.
13. 제9항에 있어서,
    상기 가상 인터페이스 화면을 형성하는 단계는,
    상기 가상 인터페이스 화면이 형성된 영역의 위치를 감지하는 단계를 더 포함하고,
    상기 보정 좌표를 산출하는 단계는,
    상기 감지된 위치에 대응되는 기 저장된 보정 정보가 있는지 여부를 검출하는 단계; 및,
    상기 검출 결과에 따라, 상기 보정 알고리즘 및 상기 기 저장된 보정 정보 중 어느 하나에 근거하여, 상기 제스처에 따른 입력을 표시할 상기 가상 스크린 상의 일 지점의 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 사용자 입력 표시 방법.
14. 제9항에 있어서, 상기 사용자의 제스처를 감지하는 단계는,
    상기 가상 인터페이스 화면이 형성된 영역 내에서 상기 제스처를 인가하는 사용자의 신체 일부분을 감지하는 단계; 및,
    상기 감지 결과에 따라 상기 사용자의 신체 일부분에 피드백 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 사용자 입력 표시 방법.

Images