KR20170026164A

KR20170026164A - Virtual reality display apparatus and display method thereof

Info

Publication number: KR20170026164A
Application number: KR1020160106177A
Authority: KR
Inventors: 웨이밍 리; 김도완; 정재윤; 김용규; 겅유 마
Original assignee: 삼성전자주식회사
Priority date: 2015-08-31
Filing date: 2016-08-22
Publication date: 2017-03-08
Also published as: CN110275619A; CN106484085B; CN106484085A; EP3281058A4; EP3281058A1; CN110275619B

Abstract

Disclosed is a display method of a virtual reality display device, comprising: a step of displaying virtual reality to a user according to a virtual point of the virtual reality display device; a step of obtaining object information about an object in the real word on the basis of a binocular viewpoint of the user; and a step of displaying the obtained object information with the virtual reality to the user.

Description

TECHNICAL FIELD [0001] The present invention relates to a virtual reality display apparatus and a display method thereof,

가상 현실 디스플레이 장치 및 그 장치의 표시 방법에 관한 것이다.A virtual reality display apparatus and a display method of the apparatus.

최근 가상 현실 관련 기술과 장치가 발전함에 따라, 이를 활용한 장치들이 각광받고 있다. 이러한 가상 현실 장치는 엔터테인먼트, 교육, 사무, 의료 등 다양한 분야에 폭넓게 적용되고 있다. As technologies and devices related to virtual reality are developed in recent years, devices utilizing such technologies are attracting attention. Such a virtual reality apparatus is widely applied to a variety of fields such as entertainment, education, office work, and medical care.

가상 현실 장치의 대표적인 예로, 헤드-마운티드 디스플레이(head-mounted display) 장치가 있다. 헤드-마운티드 디스플레이 장치는 가상 현실 이미지를 생성하여 표시하고, 사용자는 가상 현실 디스플레이 장치를 착용하여 생성된 가상 현실 이미지를 보게 된다. 사용자가 가상 현실 디스플레이 장치를 통해 가상 현실 이미지를 보는 도중에도, 주변 실제 환경이나, 실제 물체를 볼 필요가 있는 상황이 발생할 수 있다. 예를 들어, 주변 환경에 위험한 상황이 발생하거나, 음식물을 섭취하는 상황 등이 그러하다. 하지만, 사용자가 주변 실제 환경이나, 실제 물체를 보기 위하여 착용한 가상 현실 디스플레이 장치를 벗는 것은 불편할 뿐만 아니라, 가상 현실의 몰입감을 떨어뜨리게 된다. A representative example of a virtual reality device is a head-mounted display device. The head-mounted display device generates and displays a virtual reality image, and the user views the generated virtual reality image by wearing the virtual reality display device. Even when a user views the virtual reality image through the virtual reality display device, there may be a situation where the surrounding real environment or the actual object needs to be viewed. For example, a dangerous situation may arise in the surrounding environment, or a situation in which food is consumed. However, it is inconvenient for the user to take off the virtual reality display device worn for viewing the surrounding real environment or the real object, and the immersion feeling of the virtual reality is lowered.

따라서, 사용자가 가상 현실 장치를 계속해서 사용하면서도 현실 정보를 사용자에게 제공할 수 있는 방법 및 장치가 필요하다.Therefore, there is a need for a method and apparatus that allows the user to continue to use the virtual reality device while still providing real-world information to the user.

개시된 일 실시예는 가상 현실 디스플레이 장치 및 그 장치의 디스플레이 방법을 제공할 수 있다. 보다 구체적으로, 보다 편리하고 몰입감을 향상시킬 수 있는 가상 현실 디스플레이 장치 및 그 장치의 표시 방법을 제공할 수 있다.One disclosed embodiment can provide a virtual reality display device and a display method thereof. More specifically, it is possible to provide a virtual reality display device and a display method of the virtual reality display device which are more convenient and can improve the immersion feeling.

개시된 일 실시예에 따른 가상 현실 디스플레이 장치의 표시 방법은, 가상 현실 디스플레이 장치의 가상 시점에 따라 사용자에게 가상 현실을 표시하는 단계, 상기 사용자의 양안 시점을 바탕으로 현실 세계의 물체에 대한 물체 정보를 획득하는 단계 및 상기 사용자에게 상기 가상 현실과 함께 상기 획득한 물체 정보를 표시하는 단계를 포함한다. According to another aspect of the present invention, there is provided a display method of a virtual reality display device including displaying a virtual reality to a user according to a virtual viewpoint of a virtual reality display device, displaying object information on an object in a real world based on the binocular viewpoint of the user, And displaying the obtained object information together with the virtual reality to the user.

또한, 개시된 일 실시예에 따른 가상 현실 디스플레이 장치는, 사용자의 양안 시점을 바탕으로 현실 세계의 물체에 대한 물체 정보를 획득하는 물체 정보 획득부, 가상 현실 및 상기 획득한 물체 정보를 표시하는 디스플레이부 및 상기 물체 정보를 획득하고, 상기 가상 현실과 함께 상기 획득한 물체 정보를 표시하도록 상기 물체 정보 획득부 및 상기 디스플레이부를 제어하는 제어부를 포함한다. In addition, the virtual reality display apparatus according to one embodiment includes an object information acquisition unit that acquires object information on an object in the real world based on the binocular viewpoint of the user, a display unit that displays the obtained virtual object, And a control unit for obtaining the object information, and controlling the object information obtaining unit and the display unit to display the obtained object information together with the virtual reality.

도 1은 가상 현실 장치의 사용하는 일 예를 나타내는 도면이다.
도 2는 일 실시예에 따른 가상 현실 디스플레이 장치의 내부 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 가상 현실 디스플레이 장치의 표시 방법을 나타내는 순서도이다.
도 4는 일 실시예에 따라 가상 현실 디스플레이 장치에 물리 키보드를 표시하는 방법을 나타내는 순서도이다.
도 5는 가상 현실 디스플레이 장치에 물리 키보드가 사용자에게 표시되도록 요구되는 일 실시예를 나타내는 도면이다.
도 6은 일 실시예에 따라 사용자를 키보드의 방향으로 회전하도록 유도하는 화면을 나타내는 도면이다.
도 7(a) 내지 도 7(d)는 일 실시예에 따라 가상 현실 디스플레이 장치에 물리 키보드의 양안 시점을 나타내는 도면이다.
도 8(a) 내지 도 8(d)는 일 실시예에 따라 가상 현실 내에 물리 키보드를 표시하는 도면이다.
도 9는 일 실시예에 따라 가상 현실 디스플레이 장치에서 가상 현실 내에 음식을 표시하는 방법을 나타내는 순서도이다.
도 10은 일 실시예에 따른 버튼을 나타내는 도면이다.
도 11은 일 실시예에 따른 프레이밍 동작을 나타내는 도면이다.
도 12는 일 실시예에서 사용자에게 표시할 물체를 선택하는 화면을 나타내는 도면이다.
도 13(a) 및 13(b)는 일 실시예에서 가상 현실과 실제 물체의 간섭을 피하기 위한 방법을 도시한 도면이다.
도 14는 일 실시예에 따라 가상 현실 내에 디스플레이 되는 실제 물체를 삭제하는 방법을 나타내는 도면이다.
도 15는 일 실시예에 따라 가상 현실 디스플레이 장치에 디스플레이 아이템을 표시하는 방법을 나타내는 도면이다.
도 16은 일 실시예에 따라 가상 현실 디스플레이 장치에 외부 장치의 화면을 표시하는 방법을 나타내는 도면이다.1 is a diagram showing an example of using a virtual reality apparatus.
2 is a block diagram illustrating an internal configuration of a virtual reality display apparatus according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a display method of a virtual reality display apparatus according to an exemplary embodiment.
4 is a flowchart illustrating a method of displaying a physical keyboard on a virtual reality display device according to an embodiment.
5 is a diagram showing an embodiment in which a physical keyboard is required to be displayed to a user in a virtual reality display device.
6 is a diagram illustrating a screen for guiding the user to rotate in the direction of the keyboard according to an embodiment.
7A to 7D are views showing the binocular viewpoints of a physical keyboard on a virtual reality display device according to an embodiment.
8 (a) to 8 (d) are views showing a physical keyboard in a virtual reality according to an embodiment.
9 is a flowchart illustrating a method of displaying food in a virtual reality in a virtual reality display device according to an embodiment.
10 is a diagram illustrating a button according to an embodiment.
11 is a diagram illustrating a framing operation according to an embodiment.
12 is a diagram illustrating a screen for selecting an object to be displayed to a user in an embodiment.
13 (a) and 13 (b) are diagrams illustrating a method for avoiding interference between a virtual reality and an actual object in an embodiment.
14 is a diagram illustrating a method for deleting an actual object displayed in a virtual reality according to an embodiment.
15 is a diagram illustrating a method of displaying a display item on a virtual reality display device according to an embodiment.
16 is a diagram illustrating a method of displaying a screen of an external device on a virtual reality display device according to an embodiment.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

일 실시예에서 가상 시점(virtual view)은 가상 현실 장치에서 사용자가 바라보는 시점(view)을 의미한다. In one embodiment, a virtual view refers to a view viewed by a user in a virtual reality apparatus.

일 실시예에서 양안 시점(binocular view)은 가상 현실 장치를 사용하는 사용자의 양 눈이 바라보는 시점을 의미한다. In one embodiment, a binocular view refers to a viewpoint viewed by both eyes of a user using a virtual reality apparatus.

도 1은 가상 현실 장치의 사용하는 일 예를 나타내는 도면이다. 1 is a diagram showing an example of using a virtual reality apparatus.

도 1을 참조하면, 사용자(110)는 가상 현실 디스플레이 장치(100)는 사용자(110)가 있는 공간과 다른 공간의 이미지를 사용자에게 제공한다. 예를 들어, 사용자(110)는 집 안에서 가상 현실 디스플레이 장치(100)를 착용하고, 게임 속의 공간이나, 외국의 도시 등을 가상 현실을 통해 경험할 수 있다. Referring to FIG. 1, a user 110 provides a virtual reality display apparatus 100 with an image of a space different from a space in which the user 110 is present. For example, the user 110 wears the virtual reality display device 100 in the house, and can experience a space in a game, a foreign city, or the like through a virtual reality.

가상 현실 디스플레이 장치(100)는 사용자(110)의 움직임에 따라 이미지를 표시할 수 있다. 사용자(110)는 몸 전체를 움직이거나, 머리만 움직일 수도 있다. 이 경우, 가상 현실 디스플레이 장치(100)는 사용자(110)의 움직임에 따라 다른 이미지를 표시할 수 있다. The virtual reality display device 100 can display an image according to the movement of the user 110. [ The user 110 may move the whole body or only the head. In this case, the virtual reality display apparatus 100 may display another image according to the movement of the user 110. [

일 실시예에 따르면, 가상 현실 디스플레이 장치(100)는 헤드 마운트 디스플레이(Head Mounted Display) 또는 헤드셋(headset) 등으로 명명될 수도 있다.According to one embodiment, the virtual reality display device 100 may be referred to as a head mounted display, a headset, or the like.

도 2는 일 실시예에 따른 가상 현실 디스플레이 장치의 내부 구성을 나타내는 블록도이다. 2 is a block diagram illustrating an internal configuration of a virtual reality display apparatus according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 가상 현실 디스플레이 장치(200)는 물체 정보 획득부(210), 디스플레이부(220) 및 제어부(230)를 포함할 수 있다. Referring to FIG. 2, the virtual reality display apparatus 200 may include an object information obtaining unit 210, a display unit 220, and a controller 230.

물체 정보 획득부(210)는 사용자의 양안 시점을 바탕으로 현실 세계의 물체(object)에 대한 물체 정보를 획득한다. 본 발명의 일 실시예에 따른 물체 정보 획득부(210)는 센서, 통신부, 촬영 장치 중 적어도 하나 이상을 포함할 수 있다. The object information obtaining unit 210 obtains object information on an object in the real world based on the binocular viewpoint of the user. The object information obtaining unit 210 according to an embodiment of the present invention may include at least one of a sensor, a communication unit, and a photographing apparatus.

센서는, 모션 센서, 근접 센서, 위치 센서, 음향 센서 등 외부 정보를 감지할 수 있는 각종 센서를 포함하고, 센싱 동작을 통해 물체 정보를 획득할 수 있다. 통신부는 유선 또는 무선으로 네트워크와 연결되어 외부 장치와의 통신을 통해 데이터를 수신하여 물체 정보를 획득할 수 있다. 통신부는 근거리 통신 모듈, 이동 통신 모듈, 유무선 인터넷 모듈 등을 포함할 수 있다. 또한, 통신부는 하나 이상의 구성 요소를 포함할 수도 있다. 촬영 장치는 이미지를 캡쳐하여 물체 정보를 획득할 수 있다. 이때, 촬영 장치는 카메라, 비디오 카메라, 깊이 카메라 등을 포함할 수 있으며, 복수 개의 카메라를 포함할 수 있다. The sensor includes various sensors capable of detecting external information such as a motion sensor, a proximity sensor, a position sensor, and an acoustic sensor, and can acquire object information through a sensing operation. The communication unit may be connected to the network by wire or wirelessly, and may receive the object information by receiving data through communication with the external apparatus. The communication unit may include a short-range communication module, a mobile communication module, a wired / wireless Internet module, and the like. Further, the communication unit may include one or more components. The photographing apparatus can acquire object information by capturing an image. At this time, the photographing apparatus may include a camera, a video camera, a depth camera, or the like, and may include a plurality of cameras.

디스플레이부(220)는 가상 현실 및 획득한 물체 정보를 표시한다. 디스플레이부(220)는 제어부(230)의 제어에 따라 가상 현실을 표시하거나, 가상 현실과 획득한 물체 정보를 함께 표시할 수 있다. The display unit 220 displays the virtual reality and the acquired object information. The display unit 220 may display a virtual reality under the control of the controller 230 or may display the acquired virtual object information and the acquired object information together.

제어부(230)는 가상 현실 디스플레이 장치(200)의 전체적인 동작을 제어함으로써 물체 정보를 획득하고, 가상 현실과 함께 획득한 물체 정보를 표시할 수 있다. 이때, 제어부(230)는 물체의 실제 위치에 대응되는 위치에 물체 정보를 표시하도록 디스플레이부(220)를 제어할 수 있다. The control unit 230 can acquire object information by controlling the overall operation of the virtual reality display apparatus 200, and can display object information acquired together with the virtual reality. At this time, the control unit 230 may control the display unit 220 to display the object information at a position corresponding to the actual position of the object.

제어부(230)는 가상 현실 디스플레이 장치(200)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 주변기기의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다. 이때, 프로세서는 코어(core)와 GPU를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서는 복수의 프로세서를 포함할 수도 있다. 나아가, 프로세서는 그래픽 처리 장치(GPU, Graphic Processing Unit)을 포함할 수도 있다. The control unit 230 stores signals or data input from the outside of the virtual reality display device 200, a RAM used as a storage area corresponding to various jobs performed in the electronic device, and a control program for controlling peripheral devices A ROM, and a processor. At this time, the processor may be implemented as a SoC (System On Chip) in which a core and a GPU are integrated. The processor may also include a plurality of processors. Further, the processor may include a graphics processing unit (GPU).

일 실시예에 따르면, 제어부(230)는 물체 정보 획득부(210)를 제어하여 현실 세계의 물체에 대한 데이터를 수집함으로써 물체 정보를 획득할 수 있다. 또한, 제어부(230)는 가상 현실 및 물체 정보와 관련된 데이터를 처리하여 이미지를 생성하고, 생성한 이미지를 표시하도록 디스플레이부(220)를 제어할 수 있다. According to one embodiment, the control unit 230 can acquire object information by collecting data on an object in the real world by controlling the object information obtaining unit 210. [ In addition, the control unit 230 may process data related to the virtual reality and object information to generate an image, and may control the display unit 220 to display the generated image.

지금까지는 일 실시예에 따른 가상 현실 디스플레이 장치(200)의 구성에 대해서 살펴 보았다. 아래에서는 가상 현실 디스플레이 장치(200)의 표시 방법을 보다 구체적으로 살펴보도록 한다. The configuration of the virtual reality display device 200 according to one embodiment has been described so far. Hereinafter, a display method of the virtual reality display device 200 will be described in more detail.

도 3은 일 실시예에 따른 가상 현실 디스플레이 장치의 표시 방법을 나타내는 순서도이다. 3 is a flowchart illustrating a display method of a virtual reality display apparatus according to an exemplary embodiment.

먼저, 310 단계에서 가상 현실 디스플레이 장치(200)는 가상 시점에 따라 사용자에게 가상 현실을 표시한다. 일 실시예에서 가상 시점은 가상 현실 장치에서 사용자가 바라보는 시점을 의미한다. 310 단계에서는 도 1에 도시한 것과 같이 가상 현실 디스플레이 장치(200)가 사용자가 있는 공간과 다른 공간의 이미지를 사용자에게 가상 현실로 제공하는 것이다. First, in step 310, the virtual reality display device 200 displays a virtual reality to the user according to the virtual viewpoint. In one embodiment, the virtual viewpoint refers to a viewpoint viewed by the user in the virtual reality apparatus. As shown in FIG. 1, the virtual reality display device 200 provides an image of a space different from the space in which the user is located to the user as a virtual reality.

그 후, 320 단계에서 가상 현실 디스플레이 장치(200)는 사용자의 양안 시점을 바탕으로 현실 세계의 물체(object)에 대한 물체 정보를 획득한다. 일 실시예에서 양안 시점(binocular view)은 가상 현실 장치를 사용하는 사용자의 양 눈이 바라보는 시점을 의미한다. 사람은 양 눈이 바라보는 시점을 통해 공간감을 인지할 수 있다. 따라서, 가상 현실 디스플레이 장치(200)는 사용자에게 물체에 대한 공간감을 제공하기 위하여 사용자의 양안 시점을 바탕으로 현실 세계의 물체에 대한 물체 정보를 획득하는 것이다. 일 실시예에 따르면, 물체 정보는 현실 세계의 물체의 이미지를 포함할 수 있다. 또한, 물체 정보는 물체의 깊이 정보, 3D 공간에서의 물체의 위치 및 자세에 대한 정보를 포함할 수 있다. 가상 현실 디스플레이 장치(200)는 획득한 물체 정보를 이용하여 가상 현실 내에 물체를 표시함으로써 사용자에게 실제 물체를 보여주는 것과 동일한 경험을 제공할 수 있다. Thereafter, in step 320, the virtual reality display device 200 acquires object information on an object in the real world based on the user's binocular viewpoint. In one embodiment, a binocular view refers to a viewpoint viewed by both eyes of a user using a virtual reality apparatus. One can perceive the sense of space through the viewpoint of both eyes. Accordingly, the virtual reality display device 200 acquires object information on an object in the real world based on the binocular vision of the user in order to provide the user with a sense of space for the object. According to one embodiment, the object information may include an image of an object in the real world. In addition, the object information may include depth information of the object, information on the position and posture of the object in the 3D space. The virtual reality display device 200 can display the object in the virtual reality using the acquired object information, thereby providing the user the same experience as showing the real object.

일 실시예에 따르면, 물체는 물체의 속성 또는 애플리케이션 시나리오에 따라 사전에 구성되는 물체일 수 있고, 상기 사용자 주변의 물체, 기 설정된 라벨을 갖는 물체, 상기 사용자에 의해 지정된 물체, 상기 가상 현실 디스플레이 장치에서 실행되는 애플리케이션이 사용하도록 요구하는 물체 및 상기 가상 현실 디스플레이 장치의 제어를 수행하기 위해 요구되는 물체 중 적어도 하나 이상을 포함할 수 있다.According to one embodiment, an object may be an object previously configured according to an attribute of an object or an application scenario, and may be an object around the user, an object with a predetermined label, an object designated by the user, And an object required to perform the control of the virtual reality display device.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 촬영 장치를 이용하여 물체의 이미지를 캡쳐하고, 캡쳐한 이미지를 바탕으로 다른 시점에서의 물체의 이미지를 획득하며, 다른 시점에서 물체의 이미지 및 캡쳐한 이미지를 바탕으로 물체에 대한 양안 시점 이미지를 획득할 수 있다. 이때, 가상 현실 디스플레이 장치(200)는 사용자의 눈과 촬영 장치 사이의 위치 관계에 기반하여 캡쳐한 이미지와 획득한 다른 시점에서 물체의 이미지에 대하여 시점 보정(view point correction)을 수행할 수 있다. According to one embodiment, the virtual reality display apparatus 200 captures an image of an object using a photographing apparatus, acquires an image of an object at another viewpoint based on the captured image, Based on the captured image, the binocular vision image for the object can be acquired. At this time, the virtual reality display apparatus 200 may perform view point correction on the captured image and the image of the object at another acquired time point based on the positional relationship between the user's eye and the photographing apparatus.

보다 구체적으로, 일 실시예에 따르면, 현실 세계의 물체의 이미지는 단일 촬영 장치에 의해 획득될 수 있고, 물체에 대한 양안 시점 이미지는 캡쳐한 이미지를 바탕으로 획득될 수 있다. 단일 촬영 장치는 하나의 시점을 갖는 일반적인 촬영 장치일 수 있다. 단일 촬영 장치를 이용하여 캡쳐한 이미지는 깊이 정보를 갖지 않으므로, 다른 시점에서 현실 세계의 물체의 이미지는 캡쳐한 이미지로부터 획득될 수 있다. 현실 세계의 물체에 대한 양안 시점 이미지는 캡쳐한 이미지 및 다른 시점에서 현실 세계의 물체의 이미지를 바탕으로 획득될 수 있다. More specifically, according to one embodiment, an image of an object in the real world can be acquired by a single imaging device, and a binocular view image for an object can be acquired based on the captured image. The single photographing apparatus may be a general photographing apparatus having one viewpoint. Since an image captured using a single imaging device does not have depth information, an image of a real-world object at another point in time can be obtained from the captured image. The binocular vision image for an object in the real world can be acquired based on the captured image and the image of the object in the real world at another point in time.

일 실시예에 따르면, 현실 세계의 물체의 이미지는 캡쳐된 전체 이미지에서 현실 세계의 물체가 위치한 영역의 이미지일 수 있다. 다양하게 존재하는 이미지 인식 방법들이 캡쳐된 이미지에서 실제 물체의 이미지를 감지하는데 사용될 수 있다. According to one embodiment, an image of an object in the real world may be an image of an area in which the object in the real world is located in the captured whole image. Various existing image recognition methods can be used to detect an image of an actual object in the captured image.

일 실시예에 따르면, 현실 세계의 물체의 양안 시점 이미지는 깊이 정보를 가지는 스테레오 이미지 샷에 기반하여 획득될 수도 있다. 이 경우, 촬영 장치는 깊이 카메라 또는 적어도 두 개 이상의 단일 시점 카메라들을 포함할 수 있다. 여기서, 적어도 두 개 이상의 단일 시점 카메라는 겹쳐진 시야를 갖도록 구성될 수 있다. According to one embodiment, a binocular view image of an object in the real world may be obtained based on a stereo image shot having depth information. In this case, the photographing apparatus may include a depth camera or at least two or more single view cameras. Here, at least two or more single-view cameras may be configured to have overlapping fields of view.

일 실시예에 따르면, 단일 촬영 장치, 깊이 카메라 또는 단일 시점 카메라는 가상 현실 디스플레이 장치(200) 내의 내부 촬영 장치일 수도 있고, 가상 현실 디스플레이 장치(200)와 연결된 외부 장치, 예를 들어, 다른 장치의 카메라일 수도 있다. According to one embodiment, a single imaging device, a depth camera, or a single viewpoint camera may be an internal imaging device within the virtual reality display device 200 and may be an external device connected to the virtual reality display device 200, Lt; / RTI > camera.

또한, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 표시되도록 예측되는 현실 세계의 물체의 이미지가 감지되지 않는 경우, 표시되도록 예측되는 현실 세계의 물체를 포함하는 이미지를 캡쳐하기 위하여 촬영 화각을 확대할 수 있다. 또는, 가상 현실 디스플레이 장치(200)는 표시되도록 예측되는 현실 세계의 물체의 이미지가 감지되지 않는 경우, 표시되도록 예측되는 현실 세계의 물체를 포함하는 이미지를 캡쳐하기 위하여 사용자가 표시되도록 예측되는 현실 세계의 물체의 방향으로 회전하도록 사용자를 유도할 수도 있다. 예를 들어, 사용자는 이미지, 텍스트, 오디오 또는 비디오를 통해 표시되도록 예측되는 현실 세계의 물체의 방향으로 유도될 수 있다. 일 실시예에서, 현실 세계의 물체에 대한 기 저장된 3D 공간 위치 또는 위치 장치에 의해 획득된 현실 세계의 물체의 3D 공간 위치를 바탕으로, 표시되도록 예측되는 현실 세계의 물체를 포함하는 이미지를 획득하기 위하여 사용자가 표시되도록 예측되는 현실 세계의 물체의 방향으로 회전하도록 사용자를 유도할 수도 있다.In addition, according to one embodiment, when an image of a real-world object predicted to be displayed is not sensed, the virtual reality display apparatus 200 displays an image of a real- Can be enlarged. Alternatively, the virtual reality display device 200 may be configured to display a real world that is predicted to be displayed by a user for capturing an image including a real-world object that is predicted to be displayed when an image of a real- The user may be guided to rotate in the direction of the object of FIG. For example, a user may be directed in the direction of an object in the real world that is predicted to be displayed through an image, text, audio, or video. In one embodiment, based on the pre-stored 3D spatial location for an object in the real world or the 3D spatial location of an object in the real world acquired by the location device, obtaining an image containing a real- The user may be guided to rotate in the direction of the object of the real world expected to be displayed.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 물체 정보가 사용자에게 표시되도록 요구되는지 여부를 판단하고, 물체 정보가 사용자에게 표시되도록 요구된다고 판단하는 경우, 물체 정보를 획득할 수 있다. 특히, 물체 정보를 표시하도록 요구하는 사용자 입력을 수신하는 경우, 물체 정보가 사용자에게 표시되도록 설정된 물체 정보라고 판단하는 경우, 가상 현실 내의 애플리케이션 인터페이스에서 물체가 특정 동작을 수행하도록 요구하는 제어 명령이 감지되는 경우, 사용자의 신체 일부가 물체에 가깝다는 것이 감지되는 경우, 사용자의 신체 일부가 물체 방향으로 이동하는 것이 감지되는 경우, 가상 현실 디스플레이 장치에서 실행되는 애플리케이션이 물체 정보를 지금 사용하도록 요구한다고 판단되는 경우, 사용자 주변의 물체와 상호작용하도록 설정된 시간에 도달한 것으로 판단되는 경우 중 적어도 하나의 경우, 가상 현실 디스플레이 장치(200)는 물체 정보가 사용자에게 표시되도록 요구된다고 판단할 수 있다. According to one embodiment, the virtual reality display apparatus 200 may determine whether object information is required to be displayed to the user, and may acquire object information when determining that the object information is required to be displayed to the user. Particularly, when receiving a user input requesting display of object information, when it is determined that the object information is object information set to be displayed to the user, a control command requesting the object to perform a specific operation in the application interface within the virtual reality is detected When it is detected that a part of the user's body is close to the object when the user's body part is detected to move in the direction of the object when the user's body part is detected The virtual reality display device 200 can determine that the object information is required to be displayed to the user in at least one of the cases where the virtual reality display device 200 is determined to have arrived at a set time for interacting with an object around the user.

예를 들어, 가상 현실 디스플레이 장치(200)는 사용자가 현실 세계의 물체를 이용하여 입력 동작을 수행하는 경우(예를 들어, 키보드, 마우스, 핸들 등을 이용하여 입력 동작을 수행하는 경우), 현실 세계의 물체와 충돌이 방지되어야 하는 경우, 사용자가 현실 세계의 물체를 손으로 잡아야 하는 경우(예를 들어, 음식을 먹거나 물을 마시는 경우)에 물체 정보가 사용자에게 표시되도록 요구된다고 판단할 수 있다.For example, when the user performs an input operation using an object in the real world (for example, when performing an input operation using a keyboard, a mouse, a steering wheel, etc.) When a collision with an object of the world is to be prevented, it can be determined that the object information is required to be displayed to the user when the user has to hold the object of the real world by hand (for example, when eating food or drinking water) .

이때, 물체 정보를 표시하도록 하는 사용자 입력은 터치 스크린 입력, 물리 버튼 입력, 원격 제어 명령, 음성 제어, 제스처, 머리 움직임, 신체 움직임, 눈 움직임, 홀드 동작 중 적어도 하나에 의해 수행될 수 있다.At this time, a user input for displaying object information may be performed by at least one of a touch screen input, a physical button input, a remote control command, a voice control, a gesture, a head movement, a body movement, an eye movement and a hold operation.

또한, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 외부 장치로부터 이벤트가 발생하였다는 알림 및 이벤트의 내용 중 적어도 하나 이상을 획득할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)는 사물 인터넷(IoT) 디바이스로부터 디스플레이 아이템을 획득하여, 표시할 수 있다. 이때, 디스플레이 아이템은 조작 인터페이스, 조작 상태, 알림 정보 및 지시 정보 중 적어도 하나를 포함할 수 있다. In addition, according to one embodiment, the virtual reality display device 200 can acquire at least one of the contents of the notification and the event that the event has occurred from the external device. For example, the virtual reality display device 200 can acquire and display a display item from the Internet of Things (IoT) device. At this time, the display item may include at least one of an operation interface, an operation state, notification information, and instruction information.

이때, 알람 정보는 텍스트, 오디오, 비디오, 이미지 또는 다른 정보일 수 있다. 예를 들어, 사물 인터넷 디바이스가 통신 디바이스인 경우, 알람 정보는 부재중 통화에 대한 텍스트 정보일 수 있다. 또한, 사물 인터넷 디바이스가 접속 제어 디바이스인 경우, 알람 정보는 캡쳐된 모니터링 이미지일 수 있다. 또한, 지시 정보는 사용자가 사물 인터넷 디바이스를 검색하도록 지시하는데 사용되는 텍스트, 오디오, 비디오, 이미지 또는 이미지일 수 있다. 예를 들어, 지시 정보가 화살표 기호인 경우, 사용자는 화살표가 가리키는 방향에 따라 사용자와 관련 있는 사물 인터넷 디바이스의 위치를 획득할 수 있다. 지시 정보는 사용자와 사물 인터넷 디바이스 간의 위치 관계를 지시하는 텍스트일 수도 있다(예를 들어, 통신 디바이스가 너의 2미터 앞에 있다).At this time, the alarm information may be text, audio, video, image or other information. For example, if the thing Internet device is a communication device, the alarm information may be textual information about the missed call. Further, if the object Internet device is a connection control device, the alarm information may be a captured monitoring image. In addition, the indication information may be text, audio, video, image or image used to direct the user to search for the object Internet device. For example, if the instruction information is an arrow symbol, the user can obtain the location of the object Internet device associated with the user according to the direction indicated by the arrow. The indication information may be text indicating the positional relationship between the user and the object Internet device (e.g., the communication device is in front of your 2 meters).

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 다음의 처리 방법을 통해 사물 인터넷 디바이스의 디스플레이 아이템을 획득할 수 있다. 가상 현실 디스플레이 장치(200)는 사물 인터넷 디바이스의 이미지를 캡쳐하고, 캡쳐된 사물 인터넷 디바이스의 이미지로부터 사물 인터넷 디바이스의 디스플레이 아이템을 검색하며, 사용자의 시야의 안 또는 밖의 사물 인터넷 디바이스로부터 사물 인터넷 디바이스의 디스플레이 아이템을 수신하고, 가상 현실 디스플레이 장치(200)와의 관계에서 사용자의 시야의 밖의 사물 인터넷 디바이스의 위치를 센싱하고 위치를 지시 정보로 획득할 수 있다. 나아가, 가상 현실 디스플레이 장치(200)는 사용자의 조작에 따라 대응되는 프로세스를 수행하도록 원격으로 사물 인터넷 디바이스를 제어할 수도 있다. According to one embodiment, the virtual reality display device 200 can acquire a display item of the object Internet device through the following processing method. The virtual reality display device 200 captures an image of the object Internet device, retrieves the display item of the object Internet device from the image of the captured object Internet device, Receive the display item, sense the location of the object Internet device outside the user's viewpoint in relation to the virtual reality display device 200, and acquire the position as the indication information. Further, the virtual reality display device 200 may remotely control the thing Internet device to perform a corresponding process according to a user's operation.

일 실시예에 따르면, 사용자는 가상 현실 디스플레이 장치(200)를 착용하는 경우, 주변 사물 인터넷 디바이스와 관련된 정보를 획득할 수 있다. 또한, 사용자는 가상 현실 디스플레이 장치(200)를 이용하여 사용자 조작에 대응되는 프로세스를 수행하도록 원격으로 사물 인터넷 디바이스를 제어할 수도 있다. According to one embodiment, when a user wears the virtual reality display device 200, the user can obtain information related to the surrounding object Internet device. In addition, the user may use the virtual reality display device 200 to remotely control the thing Internet device to perform a process corresponding to the user operation.

나아가, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 현실 정보의 중요도 및 긴급도 중 적어도 하나 이상을 바탕으로 사용자에게 물체 정보를 제공할 것인지 여부를 결정할 수 있다. In addition, according to one embodiment, the virtual reality display device 200 can determine whether to provide object information to a user based on at least one of importance and urgency of the real information.

마지막으로, 330 단계에서 가상 현실 디스플레이 장치(200)는 사용자에게 가상 현실과 함께 획득한 물체 정보를 표시한다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 물체의 실제 위치에 대응되는 위치에 물체 정보를 표시할 수 있다. 사용자는 가상 현실 내에서 현실 세계의 물체의 물체 정보를 볼 수 있다. 보다 구체적으로 사용자는 가상 현실 내에서 현실 세계의 물체를 볼 수 있다. Finally, in step 330, the virtual reality display device 200 displays the acquired object information together with the virtual reality to the user. According to one embodiment, the virtual reality display apparatus 200 can display object information at a position corresponding to an actual position of the object. The user can see the object information of the object in the real world within the virtual reality. More specifically, the user can see an object in the real world within the virtual reality.

또한, 가상 현실 디스플레이 장치(200)는 가상 현실과 표시하는 물체 정보가 서로를 가리는 경우, 가상 현실 및 물체 정보 중 적어도 하나 이상의 표시 방법을 조정할 수 있다. In addition, when the virtual reality and object information to be displayed overlap each other, the virtual reality display apparatus 200 can adjust at least one of the display method of the virtual reality and the object information.

일 실시예에 따르면, 가상 현실과 물체 정보는 겹쳐서 표시될 수 있다. 즉, 사용자에게 표시되는 가상 현실에 물체 정보가 공간적으로 합쳐져 표시될 수 있다. 이 경우, 사용자는 가상 현실 디스플레이 장치(200)의 일반적인 가상 현실 내에서 피드백이 요구되는 현실 세계의 물체와 상호작용을 구현할 수 있다. According to one embodiment, the virtual reality and object information can be displayed in a superimposed manner. That is, the object information can be spatially combined and displayed in the virtual reality displayed to the user. In this case, the user can implement an interaction with a real-world object requiring feedback in a general virtual reality of the virtual reality display device 200. [

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)에서 표시하는 가상 현실은 가상 현실 디스플레이 장치(200) 내에서 실행되는 애플리케이션에서의 사용자의 가상 시점에 따라 사용자에게 표시되는 이미지일 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200) 내에서 현재 실행되고 있는 애플리케이션이 가상 모션 감지 게임, 예를 들어, 복싱 또는 골프인 경우, 사용자에게 표시되는 가상 현실은 게임 내에서 사용자의 가상 시점에 따른 이미지일 수 있다. 가상 현실 디스플레이 장치(200) 내에서 현재 실행되고 있는 애플리케이션이 영화 상영을 위한 애플리케이션인 경우, 가상 현실은 사용자의 가상 시점에 따라 사용자에게 표시되는 가상의 영화 스크린 장면을 반영할 수 있다. According to one embodiment, the virtual reality displayed on the virtual reality display device 200 may be an image displayed to the user according to the virtual time point of the user in the application executed in the virtual reality display device 200. [ For example, when the application currently being executed in the virtual reality display device 200 is a virtual motion detection game, for example, boxing or golf, the virtual reality displayed to the user is determined by the virtual time point of the user in the game Image. When an application currently being executed in the virtual reality display device 200 is an application for movie screening, the virtual reality may reflect a virtual movie screen scene displayed to the user according to the virtual time point of the user.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 다음 방법 중 하나를 선택하여 가상 현실과 함께 획득한 물체 정보를 표시할 수 있다. 즉, 가상 현실 디스플레이 장치(200)는 가상 현실과 물체 정보를 공간적으로 합쳐 표시하거나 물체 정보를 가상 현실 내에 화면 속의 화면(PIP, Picture in Picture)으로 표시하거나 또는 가상 현실을 물체 정보 위에 화면 속의 화면으로 표시할 수 있다. According to one embodiment, the virtual reality display apparatus 200 can display object information acquired with the virtual reality by selecting one of the following methods. That is, the virtual reality display device 200 displays the virtual reality and the object information spatially together or displays the object information in a virtual reality (PIP) or a picture in picture (PIP), or displays the virtual reality on the object information As shown in FIG.

일 실시예에서 물체 정보는 반투명, 윤곽선 및 3D 격자선 중 적어도 하나 이상의 방법으로 표시될 수 있다. 예를 들어, 가상 현실 내의 가상 물체와 물체 정보가 3D 공간에서 서로를 가리는 경우, 사용자가 가상 현실 내의 가상 물체를 보는 것을 방해하지 않기 위하여, 가상 현실 내의 가상 물체의 셰이딩을 감소시키고, 물체 정보는 반투명, 윤곽선 및 3D 격자선 중 적어도 하나 이상의 방법으로 표시할 수 있다.In one embodiment, the object information may be displayed in at least one of semi-transparent, contour, and 3D grid lines. For example, when a virtual object and object information in a virtual reality overlap each other in a 3D space, shading of a virtual object in the virtual reality is reduced in order to prevent the user from viewing the virtual object in the virtual reality, It can be displayed by at least one of translucent, outline, and 3D grid lines.

나아가, 일 실시예에 따르면, 가상 현실 내의 가상 물체와 물체 정보가 3D 공간에서 서로를 가리는 경우, 가상 물체가 줌 되거나 및/또는 이동될 수 있다. 이때, 가상 현실 내에 모든 가상 물체를 줌 하거나 및/또는 이동시키는 것도 가능하다. Further, according to an embodiment, when a virtual object and object information in a virtual reality cover each other in 3D space, the virtual object can be zoomed and / or moved. At this time, it is also possible to zoom and / or move all the virtual objects in the virtual reality.

가상 현실 디스플레이 장치(200)는 가상 현실 내의 가상 물체와 물체 정보가 3D 공간에서 서로를 가리는 상황을 판단하고, 가상 물체 또는 물체 정보의 표시 방법을 조정할 수 있다. 나아가, 사용자의 입력에 의해 가상 물체 또는 물체 정보의 표시 방법을 조정하는 것도 가능하다.The virtual reality display apparatus 200 can determine a situation in which virtual objects and object information in the virtual reality are covered with each other in the 3D space and adjust the display method of the virtual object or the object information. Furthermore, it is also possible to adjust the display method of the virtual object or the object information by the user's input.

또한, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 표시하는 물체 정보를 제외하고, 가상 현실을 표시할 수도 있다. 가상 현실 디스플레이 장치(200)는 현실 세계의 물체와 더 이상 상호작용할 필요가 없다고 판단하는 경우, 표시하는 물체 정보 제외하고, 가상 현실을 표시할 수도 있다. 특히, 물체 정보를 표시하지 않도록 하는 사용자 입력을 수신하는 경우, 물체 정보가 사용자에게 표시되도록 설정된 것이 아니라고 판단하는 경우, 가상 현실 내의 애플리케이션 인터페이스에서 물체 정보가 특정 동작을 수행하도록 요구하는 제어 명령이 감지되지 않는 경우, 사용자의 신체 일부가 물체 정보에 대응되는 물체와 멀다는 것이 감지되는 경우, 사용자의 신체 일부가 물체 정보에 대응되는 물체에서 멀어지는 방향으로 이동하는 것이 감지되는 경우, 가상 현실 디스플레이 장치(200)에서 실행되는 애플리케이션이 물체 정보를 사용할 필요가 없다고 판단하는 경우, 기 설정된 시간 동안 사용자가 물체 정보를 이용하여 동작을 수행하지 않는 경우, 사용자가 물체 정보를 보지 않고도 동작을 수행하는 것이 가능하다고 판단되는 경우 중 적어도 하나의 경우, 가상 현실 디스플레이 장치(200)는 표시하는 물체 정보 제외하고, 가상 현실을 표시할 수 있다. In addition, according to one embodiment, the virtual reality display device 200 may display a virtual reality, excluding object information to be displayed. When the virtual reality display device 200 determines that it no longer needs to interact with an object in the real world, it may display the virtual reality, excluding the object information to be displayed. Particularly, when receiving a user input that does not display object information, when it is determined that object information is not set to be displayed to the user, a control command requesting the object information to perform a specific operation in the application interface within the virtual reality is detected When it is detected that the user's body part is far from the object corresponding to the object information, if it is detected that the user's body part moves in the direction moving away from the object corresponding to the object information, 200 does not need to use the object information, it is possible for the user to perform the operation without viewing the object information if the user does not perform the operation using the object information for a predetermined period of time At least one of the cases In one case, the virtual reality display device 200 can display the virtual reality, excluding the object information to be displayed.

이때, 물체 정보를 표시하지 않도록 하는 사용자 입력은 터치 스크린 입력, 물리 버튼 입력, 원격 제어 명령, 음성 제어, 제스처, 머리 움직임, 신체 움직임, 눈 움직임, 홀드 동작 중 적어도 하나에 의해 수행될 수 있다.At this time, the user input for not displaying the object information may be performed by at least one of a touch screen input, a physical button input, a remote control command, a voice control, a gesture, a head movement, a body movement, an eye movement and a hold operation.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 가상 물체 또는 물체 정보의 표시 방법을 조정하거나, 물체 정보를 삭제하고 가상 현실을 표시함으로써, 사용자가 가상 현실을 원활하게 경험할 수 있도록 할 수 있다. According to one embodiment, the virtual reality display apparatus 200 can allow a user to smoothly experience a virtual reality by adjusting a display method of virtual object or object information, deleting object information, and displaying a virtual reality .

또한, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)가 외부 장치로부터 상기 이벤트가 발생하였다는 알림 및 상기 이벤트의 내용 중 적어도 하나 이상을 획득한 경우, 외부 장치의 위치를 표시할 수도 있다. According to an embodiment, when the virtual reality display device 200 acquires at least one of the notification that the event has occurred from the external device and the content of the event, the location of the external device may be displayed.

나아가, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 현실 정보의 중요도 및 긴급도 중 적어도 하나 이상을 바탕으로 물체 정보를 표시하는 표시 방법을 결정하고, 결정된 표시 방법에 따라 물체 정보를 사용자에게 표시할 수 있다. 특히, 가상 현실 내의 가상 물체와 현실 세계의 물체가 서로를 가리는 경우, 가상 현실 디스플레이 장치(200)는 표시 우선 순위를 결정하여 표시 방법을 결정할 수 있다. 이때, 표시 우선 순위 리스트가 미리 설정될 수 있고, 가상 현실 디스플레이 장치(200)는 가상 현실 내의 가상 물체와 현실 세계의 물체의 표시 우선 순위가 중요도 및 긴급도에 따라 분류할 수 있다. 표시 우선 순위 리스트는 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정되거나 또는 사용 습관에 따라 사용자에 의해 설정될 수도 있다. In addition, according to one embodiment, the virtual reality display apparatus 200 determines a display method of displaying object information based on at least one of importance and urgency of real information, Lt; / RTI > Particularly, when a virtual object in a virtual reality and an object in the real world overlap each other, the virtual reality display device 200 can determine the display priority by determining the display priority. At this time, the display priority list can be set in advance, and the virtual reality display device 200 can classify the display priority of virtual objects and objects in the virtual world in accordance with importance and urgency. The display priority list may be set automatically by the virtual reality display device 200 or may be set by a user according to usage habits.

아래에서는 도 4 내지 7을 참조하여 일 실시예에 따라 가상 현실 디스플레이 장치(200)에 물리 키보드를 표시하는 방법을 설명하도록 한다. Hereinafter, a method of displaying a physical keyboard on the virtual reality display apparatus 200 according to an embodiment will be described with reference to FIGS.

도 4는 일 실시예에 따라 가상 현실 디스플레이 장치(200)에 물리 키보드를 표시하는 방법을 나타내는 순서도이다. 4 is a flowchart showing a method of displaying a physical keyboard on the virtual reality display device 200 according to an embodiment.

도 4를 참조하면, 410 단계에서 현실 디스플레이 장치(200)는 사용자 주변의 물리 키보드가 사용자에게 표시되도록 요구되는지 여부를 판단한다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 가상 현실 내의 애플리케이션 인터페이스에서 물체가 특정 동작을 수행하도록 요구하는 제어 명령이 감지되는 경우, 사용자 주변의 물리 키보드가 사용자에게 표시되도록 요구된다고 결정할 수 있다. 이 경우, 가상 현실 디스플레이 장치(200)는 가상 현실 내의 애플리케이션 인터페이스의 제어 명령의 속성 정보에 따라 해당 제어 명령이 특정 동작을 수행하기 위한 상호작용 디바이스를 사용할 필요가 있는 제어 명령인 것을 감지할 수 있다. 가상 현실 디스플레이 장치(200)가 특정 동작을 수행하기 위한 상호작용 디바이스를 사용할 필요가 있는 제어 명령이 있다고 감지하는 경우, 가상 현실 디스플레이 장치(200)는 사용자 주변의 상호작용 디바이스가 표시되도록 요구된다고 결정할 수 있다. 이때, 물리 키보드가 사용자에게 표시될 상호작용 디바이스로 구성될 수 있다. 도 5를 참조하여 설명하도록 한다. Referring to FIG. 4, in step 410, the real display device 200 determines whether the physical keyboard around the user is required to be displayed to the user. According to one embodiment, the virtual reality display device 200 may determine that a physical keyboard around the user is required to be displayed to the user when a control command is detected that requires an object to perform a specific action in the application interface within the virtual reality have. In this case, the virtual reality display device 200 can sense that the control command is a control command that needs to use an interactive device for performing a specific operation in accordance with the attribute information of the control command of the application interface in the virtual reality . When the virtual reality display device 200 detects that there is a control command that needs to use an interactive device for performing a specific operation, the virtual reality display device 200 determines that the interactive device around the user is required to be displayed . At this time, the physical keyboard may be configured as an interactive device to be displayed to the user. This will be described with reference to FIG.

도 5는 가상 현실 디스플레이 장치(200)에 물리 키보드가 사용자에게 표시되도록 요구되는 일 실시예를 나타내는 도면이다. 5 is a diagram showing an embodiment in which a physical keyboard is required to be displayed to a user in the virtual reality display device 200. [

도 5를 참조하면, 가상 현실 디스플레이 장치(200)의 디스플레이(510)에 텍스트 정보를 입력하도록 유도하는 대화 상자(520)이 표시된다. 이 경우, 가상 현실 디스플레이 장치(200)는 대화 상자(520)를 표시하도록 지시한 애플리케이션 인터페이스의 제어 명령의 속성 정보를 분석하고, 해당 제어 명령은 텍스트 정보 입력을 위해서 물리 키보드를 사용할 필요가 있는 제어 명령임을 감지할 수 있다. 따라서, 가상 현실 디스플레이 장치(200)는 디스플레이(510)에 텍스트 정보를 입력하도록 유도하는 대화 상자(520)이 표시되는 경우, 물리 키보드가 표시되도록 요구된다고 결정할 수 있다. Referring to FIG. 5, a dialog 520 is displayed to prompt the user to input text information on the display 510 of the virtual reality display device 200. In this case, the virtual reality display device 200 analyzes the attribute information of the control command of the application interface instructing to display the dialog box 520, and the control command is a control that needs to use the physical keyboard for inputting text information Command. Accordingly, the virtual reality display device 200 can determine that the physical keyboard is required to be displayed when a dialog box 520 is displayed to guide the user to input text information on the display 510. [

여기서는 사용자에게 표시될 상호작용 디바이스로 물리 키보드를 예를 들어 설명하였으나, 애플리케이션에 따라 다양한 디바이스가 사용자에게 표시될 상호작용 디바이스로 결정될 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)에서 실행되고 있는 애플리케이션이 가상 게임 애플리케이션인 경우, 물리 키보드 외에 조이스틱 또는 마우스 등이 사용자에게 표시될 상호작용 디바이스가 될 수 있다. Although a physical keyboard has been described as an example of an interactive device to be displayed to a user, various devices may be determined as an interactive device to be displayed to the user depending on the application. For example, when the application being executed in the virtual reality display device 200 is a virtual game application, a joystick or a mouse or the like in addition to the physical keyboard may be an interactive device to be displayed to the user.

나아가, 사용자에게 표시되도록 결정된 상호작용 디바이스, 즉, 물리 키보드는 향후 이용을 위하여 표시할 물체 리스트에 추가되어 관리될 수 있다. Furthermore, the interaction device determined to be displayed to the user, i.e., the physical keyboard, can be added and managed in the object list to be displayed for future use.

도 5에 도시된 실시예와 달리, 일 실시예에 따르면, 물리 키보드를 요구하는 사용자 입력을 수신하는 경우에도 가상 현실 디스플레이 장치(200)는 사용자 주변의 상호작용 디바이스가 표시되도록 요구된다고 결정할 수 있다. 나아가, 가상 현실 디스플레이 장치(200)는 물체 정보를 표시하지 않도록 하는 사용자 입력을 수신하는 경우, 가상 현실 디스플레이 장치(200)에 표시되고 있는 사용자 주변의 상호작용 디바이스를 제외하고, 가상 현실을 표시할 수도 있다.5, according to one embodiment, the virtual reality display device 200 may determine that the interactive device around the user is required to be displayed even when receiving a user input that requires a physical keyboard . Further, when the virtual reality display device 200 receives a user input that does not display the object information, the virtual reality display device 200 displays the virtual reality on the virtual reality display device 200, It is possible.

여기서, 사용자 입력은 터치 스크린 입력, 물리 버튼 입력, 원격 제어 명령, 음성 제어, 제스처, 머리 움직임, 신체 움직임, 눈 움직임, 홀드 동작 중 적어도 하나일 수 있다. Here, the user input may be at least one of a touch screen input, a physical button input, a remote control command, a voice control, a gesture, a head movement, a body movement, an eye movement, and a hold operation.

일 실시예에 따르면, 터치 스크린 입력 및 물리 버튼 입력은 가상 현실 디스플레이 장치(200)에 구비되는 터치 스크린 또는 물리 버튼을 이용한 입력일 수 있다. 또한, 및 원격 제어 명령은 가상 현실 디스플레이 장치(200)를 원격으로 제어할 수 있는 다른 디바이스(예를 들어, 핸들과 같은)에 있는 물리 버튼 입력으로부터 수신된 제어 명령일 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)가 물리 버튼 A의 입력 이벤트를 감지하는 경우, 가상 현실 디스플레이 장치(200)는 사용자 주변의 물리 키보드가 사용자에게 표시되도록 요구된다고 결정할 수 있다. 가상 현실 디스플레이 장치(200)가 물리 버튼 B의 입력 이벤트를 감지하는 경우, 사용자 주변의 물리 키보드가 사용자에게 표시되도록 요구되지 않는다고 결정된다. 또한, 하나의 물리 버튼을 통해 물리 키보드를 표시하거나 표시하지 않도록 스위치 하는 것도 가능하다. According to one embodiment, the touch screen input and the physical button input may be inputs using a touch screen or a physical button provided in the virtual reality display device 200. [ In addition, and the remote control command may be a control command received from a physical button input in another device (e.g., a handle) that can remotely control the virtual reality display device 200. For example, when the virtual reality display device 200 detects an input event of the physical button A, the virtual reality display device 200 can determine that the physical keyboard around the user is required to be displayed to the user. When the virtual reality display device 200 detects the input event of the physical button B, it is determined that the physical keyboard around the user is not required to be displayed to the user. It is also possible to switch to display or not to display the physical keyboard through one physical button.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 촬영 장치를 통해 물리 키보드를 표시하도록 지시하는 사용자 제스처를 감지하여 물리 키보드가 사용자에게 표시되도록 요구되는지 여부를 결정할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)가 물리 키보드가 표시되도록 요구된다고 지시하는데 사용되는 제스처 A를 감지하는 경우, 가상 현실 디스플레이 장치(200)는 물리 키보드가 표시되도록 요구된다고 결정할 수 있다. 가상 현실 디스플레이 장치(200)가 물리 키보드가 표시되도록 요구되지 않는다고 지시하는데 사용되는 제스처 B를 감지하는 경우, 가상 현실 디스플레이 장치(200)는 물리 키보드가 표시되지 않는다고 결정할 수 있다. 또한, 동일한 제스처를 통해 물리 키보드를 표시하거나 표시하지 않도록 스위칭하는 것도 가능하다.According to one embodiment, the virtual reality display device 200 may detect a user gesture that instructs the physical keyboard to be displayed through the imaging device and determine whether the physical keyboard is required to be displayed to the user. For example, if the virtual reality display device 200 senses a gesture A used to indicate that a physical keyboard is required to be displayed, the virtual reality display device 200 may determine that the physical keyboard is required to be displayed. When the virtual reality display device 200 detects the gesture B used to indicate that the physical keyboard is not required to be displayed, the virtual reality display device 200 can determine that the physical keyboard is not displayed. It is also possible to switch the physical keyboard to display or not to display through the same gesture.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 촬영 장치를 통해 물리 키보드를 표시하도록 지시하는 사용자의 머리 움직임, 신체 움직임 및 눈 움직임을 감지하여 물리 키보드가 사용자에게 표시되도록 요구되는지 여부를 결정할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200) 사용자의 머리 회전 또는 시선을 감지하여 물리 키보드가 사용자에게 표시되도록 요구되는지 여부를 결정할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)가 사용자의 시선이 조건 A(예를 들어, 가상 현실 내에서 사용자가 텍스트 정보를 입력하도록 유도하기 위한 대화 상자를 보는 경우)를 만족하는 것이 감지되는 경우, 가상 현실 디스플레이 장치(200)는 물리 키보드가 사용자에게 표시되도록 요구된다고 결정할 수 있다. 가상 현실 디스플레이 장치(200)가 사용자의 시선이 조건 B(예를 들어, 사용자가 가상 현실 내에서 가상 물체 또는 가상 영화 스크린을 보는 경우)를 만족하는 것이 감지되는 경우, 가상 현실 디스플레이 장치(200)는 물리 키보드가 사용자에게 표시되도록 요구되지 않는다고 결정할 수 있다. 이때, 조건 A 및 B는 상호보완적인 조건일 수도 있고, 아닐 수도 있다. According to one embodiment, the virtual reality display device 200 senses the user's head, body, and eye movements that direct the user to display the physical keyboard through the imaging device, and determines whether the physical keyboard is required to be displayed to the user . For example, the virtual reality display device 200 may detect the user's head rotation or gaze and determine whether the physical keyboard is required to be displayed to the user. For example, when the virtual reality display apparatus 200 detects that the user's gaze satisfies the condition A (for example, when the user views a dialog box for guiding the user to input text information in the virtual reality) , The virtual reality display device 200 may determine that the physical keyboard is required to be displayed to the user. When the virtual reality display apparatus 200 detects that the user's gaze satisfies the condition B (for example, when the user views the virtual object or the virtual movie screen in the virtual reality), the virtual reality display apparatus 200 displays, May determine that the physical keyboard is not required to be displayed to the user. At this time, the conditions A and B may or may not be mutually complementary conditions.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 촬영 장치를 통해 물리 키보드 위에 손이 올려진 것이 감지되는 경우, 물리 키보드가 사용자에게 표시되도록 요구된다고 결정할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)는 사용자 주변의 손이 있는지 여부, 사용자 주변에 키보드가 있는지 여부, 손이 키보드 위에 올려져 있는지 여부를 촬영 장치를 통해 감지할 수 있다 (예를 들어, 피부색을 감지). 가상 현실 디스플레이 장치(200)는 위 3가지 조건이 모두 만족되는 경우, 물리 키보드가 사용자에게 표시되도록 요구된다고 결정할 수 있다. 가상 현실 디스플레이 장치(200)는 위 3가지 조건 중 어느 하나가 만족되지 않는 경우, 물리 키보드가 사용자에게 표시되도록 요구되지 않는다고 결정할 수 있다. 사용자 주변에 손이 있는지 여부 및 사용자 주변에 키보드가 있는지 여부의 조건은 동시에 또는 순차적으로 결정될 수 있으며, 순서는 제한되지 않는다. 사용자 주변에 손과 키보드가 있다고 결정되는 경우, 추가적으로, 손이 키보드 위에 올려져 있는지 여부를 결정할 수도 있다.According to one embodiment, the virtual reality display device 200 may determine that the physical keyboard is required to be displayed to the user when it is sensed that the hand is placed on the physical keyboard via the photographing device. For example, the virtual reality display device 200 can sense through the photographing apparatus whether or not a hand around the user exists, whether a keyboard is present around the user, and whether the hand is placed on the keyboard (for example, Detection of skin color). The virtual reality display device 200 can determine that the physical keyboard is required to be displayed to the user when all three conditions are satisfied. The virtual reality display device 200 can determine that the physical keyboard is not required to be displayed to the user if any of the above three conditions is not satisfied. Whether or not there is a hand around the user and whether or not there is a keyboard around the user can be determined simultaneously or sequentially, and the order is not limited. If it is determined that there is a hand and a keyboard around the user, it may additionally determine whether the hand is placed on the keyboard.

다시 도 4의 설명으로 돌아와서, 410 단계에서 가상 현실 디스플레이 장치(200)가 물리 키보드가 사용자에게 표시되도록 요구되지 않는다고 판단하는 경우, 가상 현실 디스플레이 장치(200)는 계속해서 물리 키보드가 사용자에게 표시되도록 요구되는지 여부를 판단한다. 4, when the virtual reality display device 200 determines in step 410 that the physical keyboard is not required to be displayed to the user, the virtual reality display device 200 continues to display the physical keyboard to the user It is determined whether or not it is required.

410 단계에서 가상 현실 디스플레이 장치(200)가 물리 키보드가 사용자에게 표시되도록 요구된다고 판단하는 경우, 가상 현실 디스플레이 장치(200)는 420 단계로 진행하여 물리 키보드의 이미지를 캡쳐한다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 촬영 장치를 사용하여 사용자 주변의 이미지를 캡쳐하고, 캡쳐된 이미지로부터 물리 키보드 이미지를 감지하여, 해당 물리 키보드의 이미지를 캡쳐할 수 있다. If the virtual reality display device 200 determines in step 410 that the physical keyboard is required to be displayed to the user, the virtual reality display device 200 proceeds to step 420 and captures an image of the physical keyboard. According to one embodiment, the virtual reality display device 200 can capture an image of a user around the user using a photographing device, detect a physical keyboard image from the captured image, and capture an image of the physical keyboard.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 캡쳐된 이미지 내의 특징점을 감지하고, 감지된 특징점을 기저장된 키보드 이미지의 특징점과 비교하여 물리 키보드의 이미지를 감지할 수 있다. 예를 들어, 물리 키보드의 네 모서리의 좌표는 기저장된 물리 키보드 이미지의 특징점과 기저장된 물리 키보드 이미지의 특징점의 좌표와 매칭되는 캡쳐된 이미지 내의 특징점의 좌표에 따라 결정될 수 있다. 그 후, 물리 키보드의 윤곽선이 캡쳐된 이미지 내의 네 모서리의 좌표에 따라 결정될 수 있고, 결과적으로 가상 현실 디스플레이 장치(200) 는 캡쳐된 이미지 내의 키보드의 이미지를 결정할 수 있다. 여기서, 특징점은 스케일 불변의 특징 변환점(Scale-Invariant Feature Transform, SIFT) 또는 통상의 기술자에게 알려진 다른 특징점일 수 있다. 따라서, 캡쳐된 이미지 내의 어떠한 물체의 윤곽선의 점(즉, 물체의 윤곽선 위의 점)의 좌표는 동일 도는 유사한 방법에 따라 계산될 수 있다. 나아가, 키보드 이미지는 캡쳐된 이미지로부터 다른 방법에 의해 감지될 수 있음을 이해할 수 있을 것이다. In one embodiment, the virtual reality display device 200 can sense an image of the physical keyboard by sensing feature points within the captured image and comparing the sensed feature points with feature points of the pre-stored keyboard image. For example, the coordinates of the four corners of the physical keyboard may be determined according to the coordinates of the minutiae in the captured image matching the minutiae points of the pre-stored physical keyboard image and the minutiae points of the pre-stored physical keyboard image. The outline of the physical keyboard can then be determined according to the coordinates of the four corners in the captured image, and consequently the virtual reality display device 200 can determine the image of the keyboard within the captured image. Here, the feature point may be a Scale-Invariant Feature Transform (SIFT) or other feature point known to the ordinary skilled artisan. Thus, the coordinates of the points on the outline of any object in the captured image (i.e., points on the outline of the object) can be calculated in the same or similar way. Further, it will be appreciated that the keyboard image may be sensed from the captured image by other methods.

여기서, 캡쳐된 이미지 내의 키보드의 윤곽선의 계산은 아래에서 키보드의 네 모서리 점을 예로 들어 상세히 설명할 것이다. 기저장된 키보드 이미지 특징점의 좌표를 P_world(키보드의 지역 좌표 시스템 내에서)라 하고, 기저장된 키보드 이미지의 윤곽선 위의 좌상 모서리의 좌표를 P_corner(키보드의 지역 좌표 시스템 내에서)라 하며, 저장된 키보드 이미지 내의 특징점과 매치되는 캡쳐된 이미지 내의 특징점의 좌표를 P_image라 하고, 키보드의 지역 좌표 시스템에서 촬영 장치의 좌표 시스템으로 변환을 R 및 t라 하며, 이때, R은 회전, t는 이동, 촬영 장치의 프로젝션 매트릭스를 K라 하면, 다음과 같은 수학식(1)을 얻을 수 있다.Here, the calculation of the outline of the keyboard in the captured image will be described in detail below with four corner points of the keyboard as an example. The coordinates of the pre-stored keyboard image feature points are referred to as P _world (within the local coordinate system of the keyboard), the coordinates of the upper left corner above the contour of the pre-stored keyboard image are referred to as P _corner (within the local coordinate system of the keyboard) The coordinates of the minutiae in the captured image that match the minutiae in the keyboard image are called P _image and the conversion from the local coordinate system of the keyboard to the coordinate system of the imaging device is called R and t, If the projection matrix of the photographing apparatus is K, the following equation (1) can be obtained.

P_image = K * (R * P_world + t) 수학식(1)P _image = K * (R * P _world + t) Equation (1)

기저장된 키보드 이미지 내의 특징점의 좌표 및 기저장된 물리 키보드 이미지의 특징점의 좌표와 매칭되는 캡쳐된 이미지 내의 특징점의 좌표는 각각 R 및 t를 획득하기 위하여 수학식 (1)에 대입된다. 그 후, 캡쳐된 이미지 내의 좌상 모서리의 좌표는 K * (R * P_corner + t)로 획득될 수 있다. 동일한 방법으로, 캡쳐된 이미지 내의 키보드의 다른 세 모서리 역시 획득될 수 있다. 캡쳐된 이미지 내의 키보드의 윤곽선은 모서리의 연결을 통해 획득될 수 있다. 따라서, 가상 현실 디스플레이 장치(200)는 캡쳐된 이미지 내의 물체의 투영된 윤곽선을 획득하기 위하여 캡쳐된 이미지 내의 어떠한 물체의 윤곽선 점의 좌표도 계산될 수 있다. The coordinates of the minutiae point in the pre-stored keyboard image and the coordinates of the minutiae point in the captured image matching the coordinates of the minutiae point of the pre-stored physical keyboard image are substituted into equation (1) to obtain R and t, respectively. Thereafter, the coordinates of the upper left corner in the captured image may be obtained as K * (R * P _corner + t). In the same way, three other corners of the keyboard in the captured image can also be obtained. The outline of the keyboard in the captured image can be obtained through the connection of edges. Thus, the virtual reality display apparatus 200 can calculate the coordinates of the contour point of any object in the captured image to obtain the projected contour of the object in the captured image.

나아가, 물리 키보드의 이미지가 캡쳐된 이미지 내에서 감지되지 않은 경우, 가상 현실 디스플레이 장치(200)는 사용자 주변의 이미지를 다시 캡쳐하고, 캡쳐한 이미지로부터 물리 키보드를 감지하기 위하여 촬영 화각을 확대할 수 있다(예를 들어, 광각 촬영 장치를 이용). 또한, 가상 현실 디스플레이 장치(200)는 물리 키보드를 포함하는 이미지를 다시 캡쳐하기 위하여 사용자를 물리 키보드의 방향을 회전하도록 유도할 수 있다. 도 6을 참조하여 설명하도록 한다.Further, if an image of the physical keyboard is not detected within the captured image, the virtual reality display device 200 can recapture the image of the user's surroundings and enlarge the photographing angle of view to detect the physical keyboard from the captured image (For example, using a wide angle photographing apparatus). In addition, the virtual reality display device 200 may induce the user to rotate the direction of the physical keyboard to recapture the image including the physical keyboard. This will be described with reference to FIG.

도 6은 일 실시예에 따라 사용자를 키보드의 방향으로 회전하도록 유도하는 화면을 나타내는 도면이다.6 is a diagram illustrating a screen for guiding the user to rotate in the direction of the keyboard according to an embodiment.

도 6을 참조하면, 가상 현실 디스플레이 장치(200)는 사용자의 시선을 무리 키보드의 방향으로 회전하도록 유도하기 위하여 가상 현실(610) 내에 방향 지시 이미지(620)를 표시할 수 있다. 이때, 방향 지시 이미지(620)는 화살표, 손가락 등의 이미지를 포함할 수 있다. 도 6에서는 화살표를 이용하여 방향 지시 이미지(620)를 나타내었다. Referring to FIG. 6, the virtual reality display device 200 may display a direction indicating image 620 in the virtual reality 610 to induce the user to rotate his / her line of sight in the direction of the flock keyboard. At this time, the direction indicating image 620 may include an image of an arrow, a finger, and the like. In Fig. 6, a direction indicating image 620 is shown using arrows.

또한, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 이전에 캡쳐되어 메모리에 저장된 이미지 또는 무선 포지셔닝 방법(예를 들어, 블루투스 전송, RFID 라벨, 적외선, 초음파, 자기장 등)으로부터 감지되는 위치 정보에 따라 물리 키보드의 위치를 결정할 수도 있다.In addition, according to one embodiment, the virtual reality display device 200 may include a location (e.g., a location) detected from an image or wireless positioning method previously captured and stored in memory (e.g., Bluetooth transmission, RFID label, infrared, ultrasound, magnetic field, The position of the physical keyboard may also be determined based on the information.

430 단계에서 가상 현실 디스플레이 장치(200)는 캡쳐한 물리 키보드 이미지를 바탕으로 다른 시점에서 물리 키보드의 이미지 및 양안 시점 이미지를 획득한다. 일 실시예에서, 가상 현실 디스플레이 장치(200)는 사용자의 눈과 촬영 장치 사이의 위치 관계에 기반하여 캡쳐한 물리 키보드의 이미지와 획득한 다른 시점에서 물리 키보드의 이미지에 대하여 시점 보정(view point correction)을 수행할 수도 있다. In operation 430, the virtual reality display device 200 acquires an image of the physical keyboard and a binocular viewpoint image at different points on the basis of the captured physical keyboard image. In one embodiment, the virtual reality display device 200 may include a viewpoint correction function for an image of a physical keyboard captured based on a positional relationship between a user's eye and a photographing device, ).

일 실시예에서, 가상 현실 디스플레이 장치(200)는 물리 키보드의 양안 시점 이미지를 획득하기 위하여, 사용자의 눈의 좌표 시스템과 촬영 장치의 좌표 시스템 사이의 회전 및 이동(shift) 관계에 따라 감지된 물리 키보드 이미지에 호모그래피 변환(homograph transform)을 수행할 수 있다. 사용자의 눈의 좌표 시스템과 촬영 장치의 좌표 시스템 사이의 회전 및 이동 관계는 오프라인 방법에 따라 결정되거나 또는 제조사에 의해 제공되는 데이터를 읽고 사용하는 것을 통해 결정될 수 있다. In one embodiment, the virtual reality display device 200 is configured to display the physical sensed physics according to the rotation and shift relationship between the coordinate system of the user ' s eyes and the coordinate system of the photographing device, A homograph transform can be performed on the keyboard image. The rotation and movement relationship between the coordinate system of the user's eye and the coordinate system of the imaging device may be determined by an off-line method or by reading and using data provided by the manufacturer.

또한, 일 실시예에서, 촬영 장치가 단일 시점 촬영 장치인 경우, 가상 현실 디스플레이 장치(200)는 캡쳐한 물리 키보드 이미지를 바탕으로 다른 시점에서 물리 키보드 이미지를 획득할 수 있다. 그 후, 물리 키보드의 양안 시점 이미지를 획득하기 위하여, 가상 현실 디스플레이 장치(200)는 사용자의 눈과 단일 촬영 장치 사이의 위치 관계에 기반하여 캡쳐한 물리 키보드 이미지 및 다른 시점에서 물리 키보드 이미지에 대하여 시점 보정을 수행한다. 이때, 촬영 장치가 단일 시점 촬영 장치이므로, 캡쳐된 물리 키보드 이미지는 하나의 시점만을 갖는다. 따라서, 물리 키보드 이미지를 깊이 정보와 함께 스테레오 이미지로 변환하는 방법이 필요하다. Further, in one embodiment, when the photographing apparatus is a single-view photographing apparatus, the virtual reality display apparatus 200 may acquire a physical keyboard image at a different point in time based on the captured physical keyboard image. Then, in order to obtain the binocular viewpoint image of the physical keyboard, the virtual reality display apparatus 200 displays the captured physical keyboard image based on the positional relationship between the user ' s eyes and the single photographing apparatus, And performs a viewpoint correction. At this time, since the photographing apparatus is a single viewpoint photographing apparatus, the captured physical keyboard image has only one viewpoint. Therefore, there is a need for a method of converting a physical keyboard image into a stereo image with depth information.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 스테레오 이미지를 획득하기 위하여, 현재 시점의 물리 키보드 이미지를 바탕으로 계산을 통해 다른 시점에서 물리 키보드 이미지를 획득할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)는 물리 키보드에 대하여 모델을 생성하기 위하여 평면의 직사각형을 사용할 수 있다. 특히, 단일 시점 촬영 장치의 3D 좌표 시스템 내에서 물리 키보드의 위치 및 자세는 호모그래피 변환 관계를 바탕으로 획득할 수 있다. 단일 촬영 장치의 회전 및 이동과 사용자의 눈의 두 시점을 알고 있는 경우, 물리 키보드는 사용자의 왼쪽 눈 시야와 오른쪽 눈 시야 각각으로 투영될 수 있다. 따라서, 가상 현실 내에 표시되는 사용자의 양안 시점은 물리 키보드의 실제 자세를 올바르게 반영하는 스테레오 효과 및 시각 신호(visual cue)를 갖도록 형성될 수 있다. According to one embodiment, the virtual reality display apparatus 200 may acquire a physical keyboard image at another point of view through calculation based on the physical keyboard image at the current point of time, in order to acquire a stereo image. For example, the virtual reality display device 200 can use a rectangular plane to generate a model for a physical keyboard. In particular, the position and attitude of a physical keyboard within a 3D coordinate system of a single viewpoint imaging device can be obtained based on a homography transformation relationship. If the rotation and movement of the single imaging device and the two points of view of the user's eye are known, the physical keyboard can be projected to each of the left and right eye views of the user. Therefore, the binocular viewpoint of the user displayed in the virtual reality can be formed to have a stereo effect and a visual cue that correctly reflects the actual posture of the physical keyboard.

나아가, 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 더 복잡한 형태를 갖는 물체에 대하여, 부분 평면 모델에 의해 물체 표현의 형태를 근사화할 수도 있다. 그리고, 물체의 위치 및 자세를 추정하는데 유사한 방법이 사용될 수 있고, 투영을 통해 물체의 양안 시점을 생성할 수 있다. Further, according to one embodiment, the virtual reality display device 200 may approximate the shape of the object representation by a partial plane model, for an object having a more complex shape. Then, a similar method can be used to estimate the position and posture of the object, and the binocular viewpoint of the object can be generated through projection.

아래에서는, 하나의 시점에서 물리 키보드 이미지를 물리 키보드의 양안 시점의 계산을 설명하기 위한 예시로 사용하도록 한다. In the following, we will use the physical keyboard image at one point as an example to illustrate the computation of the binocular viewpoint of the physical keyboard.

일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 사전에 측정되거나 또는 다른 시점에서 복수 이미지 촬영 및 스테레오 시각 방법(stereo visual method)을 사용한 3D 복원을 수행 등을 통해 물리 키보드의 특징점의 3D 좌표(키보드의 지역 좌표 시스템에서)를 획득할 수 있다. 물리 키보드의 지역 좌표 시스템에서 물리 키보드의 특징점의 3D 좌표를 P_obj라 하고, 촬영 장치의 좌표 시스템에서 물리 키보드의 특징점의 좌표를 P_cam이라 하며, 물리 키보드의 지역 좌표 시스템에서 촬영 장치의 좌표 시스템으로 회전 및 이동을 각각 R 및 t라 하고, 촬영 장치의 좌표 시스템으로 사용자의 왼쪽 및 오른쪽 눈의 회전 및 이동을 각각 R₁, t₁, R_r 및 t_r 이라 하며, 물리 키보드의 특징점에 대응하는 캡쳐 이미지 내의 투영점을 P_img라 할 수 있다. 또한, 촬영 장치의 내부 파라미터 매트릭스 K는 사전에 설정을 통해 획득될 수 있다. According to one embodiment, the virtual reality display device 200 can display the 3D coordinates of the minutiae of the physical keyboard, such as by performing preliminary measurement or 3D image pickup using a stereo visual method, (In the local coordinate system of the keyboard). In the local coordinate system of the physical keyboard, the 3D coordinates of the minutiae points of the physical keyboard are referred to as P _obj , and the coordinates of the minutiae points of the physical keyboard in the coordinate system of the photographing apparatus are _denoted as P _cam . In the local coordinate system of the physical keyboard, And the rotation and movement of the left and right eyes of the user are referred to as R ₁ , t ₁ , R _r, and t _r , respectively, in the coordinate system of the photographing apparatus, and correspond to the minutiae points of the physical keyboard The projection point in the captured image may be P _img . Further, the internal parameter matrix K of the photographing apparatus can be obtained through presetting.

R 및 t는 관찰된 투영점 통제를 통해 획득될 수 있다. R and t can be obtained through the controlled projection point control.

P_img = K * P_cam = K*(P_obj * R + t) 수학식(2)P _img = K * P _cam = K * (P _obj * R + t)

이때, 왼쪽 눈의 투영 공식은 다음과 같다. At this time, the projection formula of the left eye is as follows.

P_left = K * (P_obj * Rl + t_l) 수학식(3) _Left = K * P (P _obj Rl * t + _l) Equation (3)

P_obj가 하나의 평면에 있으므로, P_img와 P_left가 호모그래피 변환을 만족한다. 따라서, 변환 매트릭스 H는 P_left =H * P_img 를 통해 획득될 수 있다. 변환 매트릭스 H에 따르면, 캡쳐된 물리 키보드 이미지 Icam 는 왼쪽 눈에 의해 보여지는 이미지 I_left로 변환될 수 있다. 오른쪽 눈의 이미지는 왼쪽 눈의 이미지를 획득한 방법과 비슷한 방법으로 획득될 수 있다.Since P _obj is in one plane, P _img and P _left satisfy the homography transformation. Thus, the transformation matrix H can be obtained through P _left = H * P _img . According to the transformation matrix H, the captured physical keyboard image Icam can be converted to the image I _left shown by the left eye. The image of the right eye can be obtained in a similar way to the method of acquiring the image of the left eye.

도 7(a) 내지 도 7(d)는 일 실시예에 따라 가상 현실 디스플레이 장치에 캡쳐된 물리 키보드 이미지를 바탕으로 물리 키보드의 양안 시점을 나타내는 도면이다.7A to 7D are views showing the binocular viewpoints of the physical keyboard based on the physical keyboard image captured by the virtual reality display device according to an embodiment.

먼저, 도 7(a)에 도시한 것과 같이, 가상 현실 디스플레이 장치(200)는 촬영 장치를 사용하여 사용자 주변의 이미지(710)를 캡쳐하여 물리 키보드 이미지(720)를 감지한다. 이때, 가상 현실 디스플레이 장치(200)는 단일 시점에 따라 3D 공간 내에서 물리 키보드의 위치 및 자세를 감지할 수 있다. 그 후, 도 7(b)에 도시한 것과 같이 가상 현실 디스플레이 장치(200)는 도 7(a)에서의 시점(730)과 다른 시점(740)에 따라 3D 공간 내에서 물리 키보드의 위치 및 자세를 감지한다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 사용자의 눈과 촬영 장치 사이의 위치 관계에 기반하여 캡쳐한 이미지와 획득한 다른 시점에서 물체의 이미지에 대하여 시점 보정을 수행할 수 있다. 도 7(c)에 다른 시점(740)에서 감지한 3D 공간 내에서 물리 키보드(750)의 위치 및 자세가 도시되어 있다. 마지막으로, 도 7(d)를 참조하면, 가상 현실 디스플레이 장치(200)는 시점 보정을 통해 획득한 물리 키보드의 양안 시점을 가상 현실 내에 표시(760)한다. First, as shown in FIG. 7 (a), the virtual reality display device 200 captures an image 710 around the user using the photographing device to sense the physical keyboard image 720. At this time, the virtual reality display device 200 can sense the position and attitude of the physical keyboard in the 3D space according to a single viewpoint. Thereafter, as shown in FIG. 7 (b), the virtual reality display device 200 displays the position and attitude of the physical keyboard in the 3D space according to the viewpoint 740 and the viewpoint 740 at the time point 730 in FIG. 7 (a) Lt; / RTI > According to an exemplary embodiment, the virtual reality display apparatus 200 may perform a viewpoint correction on an image of an object at an acquired image and an acquired image based on a positional relationship between the user's eye and the photographing apparatus. 7C shows the position and posture of the physical keyboard 750 in the 3D space sensed at another point in time 740. [ 7 (d), the virtual reality display device 200 displays (760) the binocular viewpoint of the physical keyboard acquired through the viewpoint correction in the virtual reality.

도 7에서 설명한 실시예는 단일 시점 촬영 장치를 이용하여 물리 키보드의 양안 시점을 가상 현실 내에 표시하는 방법을 설명한 것이다. 이와 달리 깊이 카메라 또는 적어도 2개 이상의 단일 시점 카메라를 촬영 장치로 사용하는 것도 가능하다. 예를 들어, 촬영 장치가 깊이 카메라인 경우, 물리 키보드의 위치 및 자세는 3D 이미지와 깊이 카메라와의 관계에서 획득될 수 있다. 또한, 촬영 장치가 적어도 2개의 단일 시점 카메라를 포함하는 경우, 물리 키보드의 위치 및 자세는 적어도 2개의 단일 시점 카메라를 통해 획득될 수도 있다. The embodiment described with reference to FIG. 7 describes a method of displaying the binocular viewpoint of a physical keyboard in a virtual reality using a single viewpoint imaging device. Alternatively, it is also possible to use a depth camera or at least two or more single-view cameras as a photographing device. For example, when the photographing apparatus is a depth camera, the position and posture of the physical keyboard can be obtained in relation to the 3D image and the depth camera. Further, when the photographing apparatus includes at least two single viewpoint cameras, the position and posture of the physical keyboard may be obtained through at least two single viewpoint cameras.

다시 도 4의 설명으로 돌아가면, 440 단계에서, 가상 현실 디스플레이 장치(200)는 사용자에게 가상 현실과 함께 물리 키보드의 이미지를 표시 한다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 가상 현실을 먼저 표시하고, 물리 키보드를 가상 현실 내에 겹쳐서 표시할 수 있다. 도 8을 참조하여 설명한다. Referring again to FIG. 4, in operation 440, the virtual reality display device 200 displays an image of the physical keyboard together with the virtual reality to the user. According to one embodiment, the virtual reality display device 200 can display the virtual reality first and overlay the physical keyboard in the virtual reality. Will be described with reference to FIG.

도 8(a) 내지 도 8(d)는 일 실시예에 따라 가상 현실 내에 물리 키보드를 표시하는 도면이다.8 (a) to 8 (d) are views showing a physical keyboard in a virtual reality according to an embodiment.

먼저, 도 8(a)에 도시한 것과 같이, 가상 현실 디스플레이 장치(200)는 촬영 장치를 사용하여 사용자 주변의 이미지(810)를 캡쳐하여, 도 8(b)와 같이 물리 키보드 이미지(820)를 획득한다. 또한, 도 8(c)에 도시한 것과 같이, 가상 현실 디스플레이 장치(200)는 물리 키보드와 별개로, 가상 현실(830)을 표시한다. 마지막으로 가상 현실 디스플레이 장치(200)는 도 8(d)에 도시한 것과 같이 가상 현실 내에 물리 키보드를 표시한다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)는 물리 키보드 이미지(820)를 먼저 획득할 수도 있고, 가상 현실(830)을 먼저 표시하는 것도 가능하다. First, as shown in FIG. 8A, the virtual reality display apparatus 200 captures an image 810 around the user by using the photographing apparatus, and displays the physical keyboard image 820 as shown in FIG. 8 (b) . 8 (c), the virtual reality display device 200 displays the virtual reality 830 separately from the physical keyboard. Finally, the virtual reality display device 200 displays a physical keyboard in the virtual reality as shown in FIG. 8 (d). According to one embodiment, the virtual reality display device 200 may first acquire the physical keyboard image 820 and display the virtual reality 830 first.

다시 도 4의 설명으로 돌아가면, 450 단계에서, 가상 현실 디스플레이 장치(200)는 물리 키보드가 계속해서 사용자에게 표시되도록 요구되는지 여부를 판단한다. 일 실시예에서 가상 현실 디스플레이 장치(200)는 물리 키보드의 사용이 종료되었음을 감지하는 경우, 물리 키보드가 더 이상 사용자에게 표시되도록 요구되지 않는다고 판단할 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)는 사용자의 키보드 입력 상황을 계속적으로 감지하여 물리 키보드의 사용 종료 여부를 감지할 수 있다. 기설정된 시간 동안 사용자가 물리 키보드를 사용하여 아무런 입력도 하지 않는 경우, 가상 현실 디스플레이 장치(200)는 사용자가 물리 키보드의 사용을 종료하였다고 감지할 수 있다. 짧은 멈춤을 감지하는 경우에 가상 현실 디스플레이 장치(200)는 사용자가 물리 키보드의 사용을 종료하였다고 판단하지 않을 수 있다. 가상 현실 디스플레이 장치(200)는 기설정된 시간 이상으로 물리 키보드의 사용을 중지한 경우에만, 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. 여기서, 기설정된 시간은 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정되거나, 사용자에 의해 설정될 수 있다. 예를 들어, 기설정된 시간은 5분일 수 있다. Referring again to FIG. 4, in operation 450, the virtual reality display device 200 determines whether or not the physical keyboard is continuously required to be displayed to the user. In one embodiment, the virtual reality display device 200 may determine that the physical keyboard is no longer required to be displayed to the user when detecting that the use of the physical keyboard has ended. For example, the virtual reality display device 200 can continuously detect the keyboard input state of the user and detect whether the physical keyboard is used or not. If the user does not make any input using the physical keyboard for a preset time, the virtual reality display device 200 can detect that the user has finished using the physical keyboard. In the case of detecting a short pause, the virtual reality display apparatus 200 may not determine that the user has finished using the physical keyboard. The virtual reality display apparatus 200 can determine that the user has finished using the physical keyboard only when the use of the physical keyboard has been stopped at a predetermined time or longer. Here, the predetermined time may be automatically set by the virtual reality display device 200 or may be set by the user. For example, the preset time may be five minutes.

사용자가 물리 키보드를 사용하여 입력하는 경우, 사용자의 손이 물리 키보드로부터 멀리 떨어져 있지 않다. 따라서, 일 실시예에서, 가상 현실 디스플레이 장치(200)는 사용자의 손과 물리 키보드 간의 거리가 기설정된 임계 사용 거리를 초과하는 것이 감지되는 경우, 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. 예를 들어, 사용자의 각 손과 물리 키보드 간의 거리가 제1 임계 사용 거리를 초과하는 것이 감지되는 경우, 가상 현실 디스플레이 장치(200)는 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. 일 실시예에서, 사용자의 한 손은 물리 키보드로부터 멀리 떨어져 있으나 다른 손은 계속해서 물리 키보드 위에 있는 경우가 있을 수 있다. 이 경우에도, 가상 현실 디스플레이 장치(200)는 사용자는 더 이상 물리 키보드를 사용하지 않는다고 판단할 수 있다. 따라서, 사용자의 한 손과 물리 키보드 간의 거리가 제2 임계 사용 거리를 초과하는 것이 감지되는 경우, 가상 현실 디스플레이 장치(200)는 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. When a user types using the physical keyboard, the user's hand is not far from the physical keyboard. Thus, in one embodiment, the virtual reality display device 200 may determine that the user has terminated use of the physical keyboard if it is detected that the distance between the user's hand and the physical keyboard exceeds a predetermined threshold usage distance . For example, when it is detected that the distance between each hand of the user and the physical keyboard exceeds the first critical distance, the virtual reality display apparatus 200 may determine that the user has finished using the physical keyboard. In one embodiment, one hand of the user may be remote from the physical keyboard, while the other hand may continue to be on the physical keyboard. In this case as well, the virtual reality display apparatus 200 can determine that the user is no longer using the physical keyboard. Therefore, when it is detected that the distance between the user's one hand and the physical keyboard exceeds the second critical distance, the virtual reality display apparatus 200 can determine that the user has finished using the physical keyboard.

일 실시예에서 제1 임계 사용 거리 및 제2 임계 사용 거리는 동일하거나 다를 수 있다. 제1 임계 사용 거리 및 제2 임계 사용 거리는 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정되거나, 사용자에 의해 설정될 수 있다. 나아가, 손과 물리 키보드 사이의 거리를 측정하는 방법은 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정되거나, 사용자에 의해 설정될 수 있다. In one embodiment, the first critical usable distance and the second critical usable distance may be the same or different. The first threshold use distance and the second threshold use distance can be set automatically by the virtual reality display device 200 or can be set by the user. Furthermore, the method of measuring the distance between the hand and the physical keyboard can be set automatically by the virtual reality display device 200, or can be set by the user.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 물리 키보드를 표시하는 것을 멈추도록 하는 사용자 입력이 수신된 것이 감지된 경우, 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. 사용자는 특정 버튼을 누르는 것과 같은 입력 방법으로 가상 현실 디스플레이 장치(200)에 물리 키보드의 표시를 멈추도록 하는 신호를 입력할 수 있다. 또한, 일 실시예에서, 가상 현실 디스플레이 장치(200)는 가상 현실 디스플레이 장치(200)에서 실행되는 애플리케이션이 현재 물리 키보드를 요구하지 않는 경우, 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. 예를 들어, 가상 현실 내에서 애플리케이션 인터페이스의 동작을 수행하기 위해 물리 키보드의 사용을 요구하는 제어 명령이 존재하지 않는 것이 감지되는 경우(가상 현실 내에 표시된 텍스트 입력 박스가 사라진 경우) 또는 물리 키보드가 요구되는 애플리케이션이 종료된 것이 감지되는 경우에 가상 현실 디스플레이 장치(200)는 사용자가 물리 키보드의 사용을 종료하였다고 판단할 수 있다. In one embodiment, the virtual reality display device 200 may determine that the user has terminated use of the physical keyboard when it is detected that a user input to stop displaying the physical keyboard has been received. The user can input a signal for stopping the display of the physical keyboard on the virtual reality display device 200 by the same input method as pressing a specific button. Also, in one embodiment, the virtual reality display device 200 may determine that the user has terminated the use of the physical keyboard if the application running on the virtual reality display device 200 does not currently require the physical keyboard. For example, if it is detected that there is no control command that requires the use of a physical keyboard to perform the operation of the application interface within the virtual reality (when the text input box displayed within the virtual reality disappears) The virtual reality display device 200 may determine that the user has finished using the physical keyboard.

나아가, 일 실시예에서, 사용자가 물리 키보드를 사용하여 입력을 하는 동안 다른 애플리케이션으로 스위치 하는 것이 감지되는 경우, 가상 현실 디스플레이 장치(200)는 스위치 된 애플리케이션에서 물리 키보드를 사용할 필요가 있는지 여부를 판단할 수도 있다.Further, in one embodiment, when it is sensed that the user is switching to another application while making input using the physical keyboard, the virtual reality display device 200 determines whether the switched application needs to use the physical keyboard You may.

450 단계에서 가상 현실 디스플레이 장치(200)가 물리 키보드가 계속해서 사용자에게 표시되도록 요구된다고 판단하는 경우, 가상 현실 디스플레이 장치(200)는 계속해서 물리 키보드가 사용자에게 표시되도록 요구되는지 여부를 판단한다. If the virtual reality display device 200 determines in step 450 that the physical keyboard is continuously required to be displayed to the user, the virtual reality display device 200 continues to determine whether or not the physical keyboard is required to be displayed to the user.

450 단계에서 가상 현실 디스플레이 장치(200)가 물리 키보드가 계속해서 사용자에게 표시되도록 요구되지 않는다고 판단하는 경우, 가상 현실 디스플레이 장치(200)는 460 단계로 진행하여 물리 키보드를 제외하고 가상 현실을 표시한다. If the virtual reality display apparatus 200 determines in step 450 that the physical keyboard is not continuously requested to be displayed to the user, the virtual reality display apparatus 200 proceeds to step 460 to display the virtual reality except for the physical keyboard .

지금까지는 가상 현실 디스플레이 장치(200)에 물리 키보드를 표시하는 방법을 예로 들었으나, 이에 한정되지 않고 다양한 물체를 표시하는 것도 가능하다. Although the method of displaying the physical keyboard on the virtual reality display device 200 has been described as an example, the present invention is not limited thereto and various objects may be displayed.

예를 들어, 위에서 설명한 방법은 가상 현실 디스플레이 장치(200)를 사용하는 가상 게임을 플레이 할 때 사용되는 핸들에도 적용될 수 있다. 먼저, 가상 현실 디스플레이 장치(200)에서 실행되는 가상 게임의 실행 상황을 감지하여 가상 현실 디스플레이 장치(200)가 가상 게임이 현재 핸들을 사용하여 동작할 필요가 있다고 판단하는 경우, 사용자가 핸들을 잡고 있는지 여부를 감지한다. 사용자가 핸들을 잡고 있는 경우, 가상 현실 디스플레이 장치(200)는 가상 게임만을 사용자에게 표시하고, 사용자가 핸들을 잡고 있지 않는 경우, 사용자 주변의 이미지를 촬영 장치를 통해 캡쳐하고, 캡쳐한 이미지 내에 핸들을 표시할 수 있다. For example, the above-described method may be applied to a handle used when playing a virtual game using the virtual reality display device 200. [ First, when the virtual reality display apparatus 200 detects the execution status of a virtual game executed in the virtual reality display apparatus 200 and determines that the virtual game needs to be operated using the current handle, the user holds the handle Or not. When the user holds the handle, the virtual reality display apparatus 200 displays only the virtual game to the user, and when the user does not hold the handle, the virtual reality display apparatus 200 captures the image of the user's surroundings through the photographing apparatus, Can be displayed.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 핸들의 주위 온도 및/또는 습도를 감지하여 사용자가 핸들을 잡고 있는지 여부를 결정할 수 있다. 일반적으로 사용자 주변의 온도는 사용자의 신체보다 낮고, 사용자 손의 습도는 사용자 주변의 습도보다 높으므로, 핸들에 온도 센서 및/또는 습도 센서를 구비하여 사용자가 핸들을 잡고 있는지 여부를 결정할 수 있다. 보다 구체적으로, 기설정된 임계 온도 및/또는 임계 습도와 측정된 주위 온도 및/또는 습도의 비교를 통해 사용자가 핸들을 잡고 있는지 여부를 결정할 수 있다. In one embodiment, the virtual reality display device 200 can sense ambient temperature and / or humidity of the handle to determine whether the user is holding the handle. Generally, the temperature around the user is lower than the body of the user, and the humidity of the user's hand is higher than the humidity around the user, so that the handle may have a temperature sensor and / or a humidity sensor to determine whether the user is holding the handle. More specifically, a comparison of the predetermined threshold temperature and / or the threshold humidity with the measured ambient temperature and / or humidity can determine whether the user is holding the handle.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 핸들의 움직임을 감지하여 사용자가 핸들을 잡고 있는지 여부를 결정할 수도 있다. 예를 들어, 핸들에 모션 센서(자이로스코프, 관성 가속계 등)를 구비하여 움직임의 강도 및 지속 시간 등을 통해 사용자가 핸들을 잡고 있는지 여부를 결정할 수 있다. In one embodiment, the virtual reality display device 200 may sense movement of the handle to determine whether the user is holding the handle. For example, motion sensors (gyroscopes, inertial accelerometers, etc.) may be provided on the handle to determine whether the user is holding the handle, such as through the intensity and duration of the motion.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 전류 및/또는 인덕턴스를 감지하여 사용자가 핸들을 잡고 있는지 여부를 결정할 수 있다. 인체는 수분을 포함하는 전기 도체이므로, 핸들 표면에 전극을 구비하고 전극 사이의 전류를 측정하거나 단일 전극의 인덕턴스를 측정하여 전극이 사용자의 신체에 연결되어 있는지 여부를 결정할 수 있다. In one embodiment, the virtual reality display device 200 may sense current and / or inductance to determine whether the user is holding a handle. Since the human body is an electric conductor including moisture, it is possible to determine whether the electrode is connected to the user's body by measuring the current between the electrodes or by measuring the inductance of the single electrode by providing an electrode on the surface of the handle.

또한, 캡쳐된 이미지에서 핸들이 감지되지 않는 경우, 가상 현실 디스플레이 장치(200)는 사용자 주변에 핸들이 없다는 알림을 표시할 수 있다. 이때, 가상 현실 디스플레이 장치(200)는 사용자의 결정에 따라 사용자 주변의 실제 물체의 양안 시점은 사용자에게 표시하여 사용자가 주위에서 핸들을 찾아볼 수 있도록 하거나, 핸들 없이 가상 게임을 조작할 수 있도록 애플리케이션의 상황을 스위치 할 수 있다. Further, when no handle is detected in the captured image, the virtual reality display device 200 can display a notification that there is no handle around the user. At this time, the virtual reality display device 200 displays the binocular viewpoint of the actual object around the user according to the user's decision, so that the user can look up the handle around the user, Can be switched.

가상 현실 디스플레이 장치(200)가 캡쳐된 이미지에서 핸들을 감지하는 경우, 핸들이 사용자의 실제 시야(즉, 가상 현실 디스플레이 장치(200)를 착용하지 않은 상태의 사용자의 시야) 내에 있는지 여부를 결정할 수 있다. 핸들이 사용자의 시야 내에 있는 경우, 가상 현실 디스플레이 장치(200)는 가상 현실과 함께 핸들의 양안 시점을 표시할 수 있다. 핸들이 사용자의 시야에 있지 않은 경우, 가상 현실 디스플레이 장치(200)는 사용자의 현재 시야에 핸들이 없다는 알림을 표시할 수 있다. 이때, 가상 현실 디스플레이 장치(200)는 사용자의 시야에 핸들이 포함될 수 있도록 사용자를 핸들이 위치한 방향으로 회전하도록 유도할 수 있다. 일 실시예에서, 사용자는 이미지, 텍스트, 오디오 및 비디오를 통해 유도될 수 있다. When the virtual reality display device 200 detects a handle in the captured image, it can determine whether the handle is within the user's true field of view (i.e., the field of view of the user without wearing the virtual reality display device 200) have. When the handle is within the user's field of view, the virtual reality display device 200 can display the binocular viewpoint of the handle together with the virtual reality. If the handle is not in the user's field of view, the virtual reality display device 200 may display a notification that there is no handle in the user's current field of view. At this time, the virtual reality display device 200 may guide the user to rotate in the direction in which the handle is positioned so that the handle may be included in the user's view. In one embodiment, the user may be guided through images, text, audio and video.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 사용자가 주위에서 핸들을 찾을 수 있도록 가상 현실 내에 유도 박스를 표시할 수 있다. 유도 박스는 사용자가 핸들을 찾을 수 있도록 핸들과 사용자 간의 위치 관계에 따라 시점을 조절하도록 사용자를 유도할 수 있다. 또한, 가상 현실 디스플레이 장치(200)는 음성, 화살표 등을 통해 사용자를 유도할 수도 있다. In one embodiment, the virtual reality display device 200 may display a guidance box within the virtual reality so that the user can find a handle around it. The guidance box can guide the user to adjust the viewpoint according to the positional relationship between the handle and the user so that the user can find the handle. In addition, the virtual reality display device 200 may guide the user through voice, arrows, and the like.

지금까지 가상 현실 디스플레이 장치(200)를 이용하여 현실 세계의 물체를 표시하는 방법을 구체적인 예를 들어 설명하였다. 일 실시예에 따르면, 가상 현실 디스플레이 장치(200)를 이용 시, 보다 편리하고 몰입감을 향상시킬 수 있다.A method of displaying an object in the real world using the virtual reality display device 200 has been described with specific examples. According to one embodiment, when using the virtual reality display device 200, it is more convenient and can improve the immersion feeling.

아래에서는 도 9 내지 도 19를 참조하여 가상 현실 디스플레이 장치(200)를 착용하고 음식을 먹는 방법을 설명하도록 한다. Hereinafter, a method of wearing the virtual reality display device 200 and eating food will be described with reference to FIGS. 9 to 19.

도 9는 일 실시예에 따라 가상 현실 디스플레이 장치에서 가상 현실 내에 음식을 표시하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of displaying food in a virtual reality in a virtual reality display device according to an embodiment.

도 9를 참조하면, 910 단계에서 가상 현실 디스플레이 장치(200)는 음식이 사용자에게 표시되도록 요구되는지 여부를 판단한다. Referring to FIG. 9, in operation 910, the virtual reality display device 200 determines whether food is required to be displayed to the user.

일 실시예에서, 현실 디스플레이 장치(200)는 기설정된 버튼 동작이 감지되는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 도 10을 참조하여 일 실시예에 따른 버튼을 설명한다. In one embodiment, the real-time display device 200 may determine that food is required to be displayed to the user when a predetermined button operation is detected. A button according to an embodiment will be described with reference to FIG.

도 10은 일 실시예에 따른 버튼을 나타내는 도면이다. 10 is a diagram illustrating a button according to an embodiment.

도 10을 참조하면, 버튼은 가상 현실 디스플레이 장치(200)에 포함된 하드웨어 버튼이(1030, 1040)거나 또는 가상 현실 디스플레이 장치(200)의 화면(1010)에 표시되는 가상 버튼(1020)일 수 있다. 10, the button may be a virtual button 1020 included in the virtual reality display device 200 or a virtual button 1020 displayed on the screen 1010 of the virtual reality display device 200 have.

가상 현실 디스플레이 장치(200)는 사용자가 기설정된 버튼을 기설정된 방법으로 누르는 것을 감지하는 경우, 사용자에게 음식 및/또는 음료가 표시되도록 요구된다고 판단할 수 있다. 여기서, 기설정된 방법은, 짧은 누름, 긴 누름, 기 설정된 횟수만큼 짧은 누름, 짧고 길게 번갈아 누름 등, 중 적어도 하나 이상의 방법일 수 있다. The virtual reality display device 200 may determine that the user is required to display food and / or beverage when he / she senses that the user has pressed the predetermined button in a preset manner. Here, the predetermined method may be at least one of a short press, a long press, a short press a predetermined number of times, a short press, and a long press.

다시 도 9의 설명으로 돌아가면, 일 실시예에서, 가상 현실 디스플레이 장치(200)는 사용자 주변에 특정 라벨을 갖는 물체가 감지되는 경우, 특정 라벨을 갖는 물체가 사용자에게 표시되도록 요구된다고 판단될 수 있다. 이때, 사용자에게 표시되도록 요구되는 모든 물체는 동일한 특정 라벨을 가지고 있을 수 있다. 또는 사용자에게 표시되도록 요구되는 다른 물체는 다른 종류의 물체를 식별하기 위하여 다른 종류의 라벨을 가지고 있을 수도 있다. 예를 들어, 첫번째 종류의 라벨은 테이블을 식별하기 위해 테이블에 부착될 수 있다. 두번째 종류의 라벨은 의자를 식별하기 위하여 의자에 부착될 수 있다. 세번째 종류의 라벨은 식기를 식별하기 위하여 식기에 부착될 수 있다. 세번째 종류의 라벨이 사용자 주변에 감지되는 경우, 가상 현실 디스플레이 장치(200)는 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 특정 라벨은 다양한 방법으로 인식 및 감지될 수 있다. Referring again to the description of FIG. 9, in one embodiment, the virtual reality display device 200 may be determined that an object having a specific label is required to be displayed to the user when an object having a specific label is detected around the user have. At this time, all objects required to be displayed to the user may have the same specific label. Or other objects that are required to be displayed to the user may have other types of labels to identify other types of objects. For example, a first type of label may be attached to a table to identify the table. A second type of label may be affixed to the chair to identify the chair. A third type of label may be affixed to the tableware to identify the tableware. If a third kind of label is detected around the user, the virtual reality display device 200 may determine that the food is required to be displayed to the user. Certain labels can be recognized and sensed in a variety of ways.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 기설정된 식사 시간이 도달한 것을 감지하는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 이때, 기 설정된 식사 시간은 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정될 수도 있고, 사용자에 의해 설정될 수도 있다. 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정된 식사 시간과 사용자에 의해 설정된 식사 시간이 모두 존재하는 경우, 우선 순위에 따라 음식이 사용자에게 표시되도록 요구된다고 판단될 수 있다. 예를 들어, 사용자에 의해 설정된 식사 시간의 우선 순위가 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정된 식사 시간의 우선 순위보다 높은 경우, 사용자에 의해 설정된 식사 시간이 도달하는 경우에만 사용자가 음식을 먹고 싶다고 판단할 수 있다. 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정된 식사 시간과 사용자에 의해 설정된 식사 시간 모두에 반응하는 것도 가능하다. In one embodiment, the virtual reality display device 200 may determine that food is required to be displayed to the user when detecting that the predetermined meal time has been reached. At this time, the preset meal time may be automatically set by the virtual reality display device 200 or may be set by the user. If both the meal time set automatically by the virtual reality display device 200 and the meal time set by the user exist, it can be determined that the food is requested to be displayed to the user according to the priority order. For example, when the priority of the meal time set by the user is higher than the priority of the meal time automatically set by the virtual reality display device 200, only when the meal time set by the user reaches the user, You can judge that you want to eat. It is also possible to respond to both the meal time automatically set by the virtual reality display device 200 and the meal time set by the user.

일 실시예에서, 가상 현실 디스플레이 장치(200)에 실제 물체의 타입을 결정하기 위하여 주변의 물체를 인식할 수 있다. 가상 현실 디스플레이 장치(200)는 음식, 음료 및 식기 중 적어도 하나가 감지되는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 가상 현실 디스플레이 장치(200)는 음식, 음료 및 식기를 감지하기 위하여 이미지 인식 방법을 사용할 수 있다. 나아가, 가상 현실 디스플레이 장치(200)는 음식, 음료 및 식기를 감지하기 위하여 다른 방법들을 사용할 수도 있다. In one embodiment, the virtual reality display device 200 may recognize an object in the vicinity in order to determine the type of the actual object. The virtual reality display device 200 may determine that food is required to be displayed to the user when at least one of food, beverage and tableware is detected. The virtual reality display device 200 can use an image recognition method to detect food, beverage, and tableware. Further, the virtual reality display device 200 may use other methods to detect food, beverage, and tableware.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 기설정된 식사 시간 중 사용자 주변의 음식, 음료 및 식기 중 적어도 하나가 감지되는 경우, 사용자가 음식을 먹고 싶다고 판단할 수도 있다. 즉, 두 가지 이상의 조건을 함께 고려하여 판단을 내릴 수도 있다. In one embodiment, the virtual reality display device 200 may determine that the user desires to eat food when at least one of food, beverage, and tableware around the user is detected during a predetermined meal time. That is, two or more conditions may be considered together to make a judgment.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 기설정된 제스처를 감지하는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 이때, 기설정된 제스처는 한 손 또는 두 손에 의해 구현될 수 있다. 기설정된 제스처는 손 흔들기, 원 그리기, 사각형 그리기, 삼각형 그리기, 프레이밍 제스처 등, 중 적어도 하나일 수 있다. 또한, 가상 현실 디스플레이 장치(200)는 기설정된 자세를 감지하는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 이때, 기 설정된 자세는, 머리 회전, 몸을 왼쪽으로 기대기, 몸을 오른쪽으로 기대기 등 중 적어도 하나일 수 있다. 도 11에 일 실시예에 따른 프레이밍 동작을 나타내고 있다. In one embodiment, when the virtual reality display device 200 detects a predetermined gesture, it may determine that the food is required to be displayed to the user. At this time, the preset gesture can be implemented by one hand or two hands. The predetermined gesture may be at least one of a hand waving, a circle drawing, a rectangle drawing, a triangle drawing, a framing gesture, and the like. Further, when the virtual reality display device 200 senses the predetermined attitude, it can determine that the food is required to be displayed to the user. At this time, the predetermined posture may be at least one of head rotation, body leaning to the left, body leaning to the right, and the like. FIG. 11 shows a framing operation according to an embodiment.

도 11은 일 실시예에 따른 프레이밍 동작을 나타내는 도면이다. 11 is a diagram illustrating a framing operation according to an embodiment.

도 11을 참조하면, 가상 현실 디스플레이 장치(200)는 사용자(1110)의 프레이밍 제스처에 의해 사각형으로 표시된 프레이밍 영역(1120)에 포함된 물체들을 사용자에게 표시할 물체로 결정할 수 있다. 제스처나 자세는 제스처 감지 디바이스 또는 자세 감지 디바이스를 통해 감지될 수 있다. Referring to FIG. 11, the virtual reality display apparatus 200 may determine objects included in the framing area 1120 indicated by a rectangle by the framing gesture of the user 1110 as objects to be displayed to the user. The gesture or posture may be sensed through a gesture sensing device or a posture sensing device.

다시 도 9의 설명으로 돌아가면, 일 실시예에서, 가상 현실 디스플레이 장치(200)는 기 설정된 원격 제어 명령이 감지되는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 특히, 가상 현실 디스플레이 장치(200)는 사용자가 다른 디바이스에 입력한 원격 제어 명령을 감지하여 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 이때, 다른 디바이스는 모바일 단말, 태블릿 PC, 개인 컴퓨터, 외부 키보드, 웨어러블 디바이스, 핸들 등 중 적어도 하나 이상을 포함할 수 있다. 이때, 웨어러블 디바이스는 스마트 팔찌, 스마트 와치 등 중 적어도 하나 이상을 포함할 수 있다. 다른 디바이스는 유선 또는 무선으로 가상 현실 디스플레이 장치(200)와 연결될 수 있고, 이때, 무선 연결은, 블루투스, 울트라 와이드 밴드, 지그비, 와이파이, 매크로 네트워크 등을 포함할 수 있다. Returning to the description of FIG. 9, in one embodiment, the virtual reality display device 200 may determine that food is required to be displayed to the user when a predetermined remote control command is detected. In particular, the virtual reality display device 200 may sense a remote control command input by the user to another device, and determine that the food is required to be displayed to the user. At this time, the other device may include at least one of a mobile terminal, a tablet PC, a personal computer, an external keyboard, a wearable device, a handle, and the like. At this time, the wearable device may include at least one of a smart bracelet, a smart watch, and the like. Other devices may be wired or wirelessly coupled to the virtual reality display device 200 where the wireless connection may include Bluetooth, ultra wideband, ZigBee, WiFi, macro network, and the like.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 음성 제어 동작이 되는 경우, 음식이 사용자에게 표시되도록 요구된다고 판단할 수 있다. 사용자의 음성 또는 다른 소리 신호는 마이크로폰을 통해 수집될 수 있다. 가상 현실 디스플레이 장치(200)는 음성 인식 기술을 사용하여 사용자의 음성 명령 또는 소리 제어 명령을 인식할 수 있다. 예를 들어, 사용자가 “먹기 시작” 이라는 음성 명령을 내리는 경우, 가상 현실 디스플레이 장치(200)는 음성 명령을 수신 및 인식할 수 있다. 이때, 음성 명령과 음식을 사용자에게 표시하는 명령 간의 대응되는 관계는 가상 현실 디스플레이 장치(200)에 미리 테이블 형태로 저장될 수 있다. 이때, 가상 현실 디스플레이 장치(200)는 언어에 구애 받지 않으며, 음성 명령 역시 위 예시에 한정되지 않고 다양하게 적용할 수 있다. 음성 명령은 가상 현실 디스플레이 장치(200)에 의해 설정될 수도 있고, 사용자에 의해 미리 설정될 수도 있다. In one embodiment, the virtual reality display device 200 may determine that food is required to be displayed to the user when it becomes a voice control operation. The user's voice or other sound signal can be collected via the microphone. The virtual reality display device 200 can recognize a voice command or a sound control command of the user by using the voice recognition technology. For example, when the user issues a voice command " start eating ", the virtual reality display device 200 can receive and recognize voice commands. At this time, the corresponding relationship between the voice command and the command for displaying the food to the user can be stored in advance in the form of a table in the virtual reality display device 200. [ At this time, the virtual reality display device 200 is not limited to the language, and the voice command is not limited to the above example, and can be variously applied. The voice command may be set by the virtual reality display device 200 or may be preset by the user.

910 단계에서 가상 현실 디스플레이 장치(200)가 음식이 사용자에게 표시되도록 요구되지 않는다고 판단하는 경우, 가상 현실 디스플레이 장치(200)는 계속해서 음식이 사용자에게 표시되도록 요구되는지 여부를 판단한다.If the virtual reality display device 200 determines in step 910 that the food is not required to be displayed to the user, the virtual reality display device 200 continues to determine whether the food is required to be displayed to the user.

910 단계에서 가상 현실 디스플레이 장치(200)가 음식이 사용자에게 표시되도록 요구된다고 판단하는 경우, 가상 현실 디스플레이 장치(200)는 920 단계로 진행하여 사용자에게 표시할 음식을 결정한다. If the virtual reality display device 200 determines in step 910 that the food is required to be displayed to the user, the virtual reality display device 200 proceeds to step 920 and determines the food to be displayed to the user.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 미리 다양한 종류의 물체(음식과 같은)의 이미지를 저장하고 있고, 실제 물체의 감지된 이미지를 미리 저장된 음식의 이미지와 비교한다. 실제 물체의 감지된 이미지와 미리 저장된 음식의 이미지가 일치하는 경우, 가상 현실 디스플레이 장치(200)는 캡쳐된 이미지로부터 감지된 실제 물체가 음식을 포함한다고 판단하고, 캡쳐된 이미지로부터 감지된 음식을 사용자에게 표시할 물체로 결정한다. In one embodiment, the virtual reality display device 200 stores an image of various types of objects (such as food) in advance, and compares the sensed image of the actual object with the image of the pre-stored food. If the sensed image of the real object matches the image of the pre-stored food, the virtual reality display device 200 determines that the sensed actual object from the captured image contains the food, As the object to be displayed.

일 실시예에서, 사용자는 캡쳐된 이미지로부터 감지된 실제 물체가 가능한 적게 표시될 것을 희망할 수 있다. 따라서, 캡쳐된 이미지로부터 감지된 실제 물체가 음식을 포함하는 경우, 가상 현실 디스플레이 장치(200)는 해당 음식을 캡쳐된 이미지 내의 다른 실제 물체들로부터 분리하여 단지 음식만을 사용자에게 표시할 물체로 결정하고 다른 실제 물체들은 사용자에게 표시하지 않을 수 있다. 나아가, 손과 음식과의 상대 위치는 음식을 정확히 잡기 위하여 중요하므로, 가상 현실 디스플레이 장치(200)는 손의 이미지를 다양한 알고리즘에 따라 캡쳐된 이미지로부터 감지할 수 있다. 손이 감지되는 경우, 가상 현실 디스플레이 장치(200)는 손을 사용자에게 표시할 물체로 결정할 수 있다. In one embodiment, the user may desire that the actual object sensed from the captured image be displayed as few as possible. Accordingly, when the actual object sensed from the captured image includes food, the virtual reality display device 200 separates the food from other real objects in the captured image, and determines only the food as an object to be displayed to the user Other real objects may not be displayed to the user. Furthermore, since the relative position of the hand and the food is important for accurately capturing the food, the virtual reality display device 200 can sense the image of the hand from the captured image according to various algorithms. When a hand is detected, the virtual reality display device 200 can determine the hand as an object to be displayed to the user.

일 실시예에서는, 라벨, 제스처, 음성 명령 및 원격 제어 명령 중 적어도 하나 이상을 이용하여 사용자에게 표시할 물체를 결정하는 것도 가능하다. 또한, 도 12에 도시한 것과 같이 가상 현실 디스플레이 장치(200)는 사용자에게 표시할 물체를 선택할 수도 있다. In one embodiment, it is also possible to determine an object to be displayed to a user using at least one of a label, a gesture, a voice command, and a remote control command. In addition, as shown in Fig. 12, the virtual reality display device 200 may select an object to be displayed to the user.

도 12는 일 실시예에서 사용자에게 표시할 물체를 선택하는 화면을 나타내는 도면이다. 12 is a diagram illustrating a screen for selecting an object to be displayed to a user in an embodiment.

도 12를 참조하면, 가상 현실 디스플레이 장치(200) 내에 표시되는 화면(1210)에서 체크박스(1220)를 통해 사용자에게 표시할 물체를 선택할 수 있는 화면이 도시되어 있다. 도 12에서는 물체를 선택하기 위한 수단으로 체크박스(1220)를 도시하고 있지만, 이에 한정되지 않고 사용자에게 표시할 물체를 선택할 수 있는 다양한 수단을 제공할 수 있다. Referring to FIG. 12, there is shown a screen for selecting an object to be displayed to a user through a check box 1220 on a screen 1210 displayed in the virtual reality display device 200. Although the check box 1220 is shown as a means for selecting an object in Fig. 12, the present invention is not limited to this, and various means for selecting an object to be displayed to the user can be provided.

또한, 일 실시예에서 가상 현실 디스플레이 장치(200)는 마우스를 통해 사용자 입력을 수신할 수 있다. 이때, 마우스는 물리 마우스일 수도 있고, 가상의 마우스 일 수도 있다. 사용자는 가상 현실 디스플레이 장치(200) 내에 표시되는 화면(1210)에서 체크박스(1220)를 이용하여 여러 물체를 선택하기 위하여 가상 마우스를 조작할 수 있고, 가상 현실 디스플레이 장치(200)는 이를 감지하여 사용자에게 표시할 물체를 선택할 수 있다. Also, in one embodiment, the virtual reality display device 200 may receive user input via a mouse. At this time, the mouse may be a physical mouse or a virtual mouse. The user can operate the virtual mouse to select various objects using the check box 1220 on the screen 1210 displayed in the virtual reality display device 200. The virtual reality display device 200 detects the virtual mouse The user can select an object to be displayed.

다시 도 9의 설명으로 돌아오면, 930 단계에서 가상 현실 디스플레이 장치(200)는 사용자에게 표시할 음식의 양안 시점 이미지를 획득한다. 일 실시예에서, 사용자 주변의 이미지는 촬영 장치를 이용하여 캡쳐되고, 사용자에게 표시할 음식의 이미지는 캡쳐된 이미지로부터 감지되며, 사용자에게 표시할 음식의 양안 시점은 사용자에게 표시할 음식의 감지된 이미지로부터 획득될 수 있다. 9, the virtual reality display device 200 acquires the binocular view image of the food to be displayed to the user in step 930. [ In one embodiment, the image of the user's perimeter is captured using the imaging device, the image of the food to be displayed to the user is sensed from the captured image, the binocular view of the food to be displayed to the user is sensed Can be obtained from the image.

그 후, 940 단계에서 가상 현실 디스플레이 장치(200)는 사용자에게 가상 현실과 함께 음식을 표시하고 사용자 입력에 따라 표시되는 실제 물체를 삭제할 수 있다. Then, in step 940, the virtual reality display device 200 displays the food together with the virtual reality to the user, and can delete the actual object displayed according to the user input.

일 실시예에서 가상 현실 디스플레이 장치(200)는 가상 현실 내에 음식을 겹쳐서 표시할 수 있다. 이 경우, 가상 현실과 음식이 3D 공간에서 서로를 가릴 수 있어, 서로 간에 셰이딩 및 간섭을 감소시키기 위하여 다양한 방법으로 표시될 수 있다. In one embodiment, the virtual reality display device 200 may display the food overlaid within the virtual reality. In this case, the virtual reality and the food may be hidden in the 3D space, and may be displayed in various ways to reduce shading and interference between each other.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 가상 현실 내에 디스플레이 되는 음식을 화면 속의 화면으로 표시(즉, 줌아웃된 실제 물체의 양안 시점을 가상 장면 이미지의 특정 위치에 표시), 가상 현실을 표시하지 않고, 음식만을 표시(즉, 사용자가 안경을 통해 실제 물체를 보는 것과 같이 가상 장면 이미지 내에 실제 물체의 양안 시점만을 표시), 가상 현실을 화면 속의 화면으로 표시(즉, 줌아웃된 가상 장면 이미지를 음식의 양안 시점의 특정 위치에 표시), 음식의 양안 시점과 가상 현실을 공간적으로 합쳐서 표시(즉, 실제 물체의 양안 시점을 가상 장면 이미지 위에 반투명하게 표시)하는 방식으로 가상 현실과 음식의 셰이딩 및 간섭을 감소시킬 수 있다. In one embodiment, the virtual reality display apparatus 200 displays food displayed in a virtual reality on a screen in a screen (i.e., displays the binaural point of the zoomed-out physical object at a specific position of the virtual scene image) And displays only the food (that is, only the binocular view of the real object is displayed in the virtual scene image such that the user views the actual object through the glasses), and displays the virtual reality on the screen in the screen (i.e., (In other words, displayed at a specific position in the binocular viewpoint of the food), and display the binocular view of the food and the virtual reality spatially (i.e., display the binocular viewpoint of the real object on the virtual scene image in a translucent manner) Interference can be reduced.

보다 구체적으로, 가상 현실 디스플레이 장치(200)는 음식을 반투명하게 표시할 수 있다. 이때, 가상 현실 디스플레이 장치(200)는 가상 현실 내에 표시되는 애플리케이션 인터페이스의 컨텐츠 타입 및/또는 애플리케이션 인터페이스와 사용자 간의 상호작용 상황에 따라 음식을 반투명하게 표시할지 여부를 결정하는 것이 가능하다. 예를 들어, 사용자가 가상 현실 디스플레이 장치(200)를 사용하여 가상 게임을 플레이 하는 경우, 가상 게임의 인터페이스 내에서 잦은 이동과 많은 양의 사용자 상호작용 입력이 요구되는 경우, 가상 현실 디스플레이 장치(200)는 음식을 반투명하게 표시될 수 있다. 또한, 가상 현실 내에 표시되는 애플리케이션 인터페이스가 가상 영화관 또는 사용자의 입력 제어 빈도가 감소하는 경우, 음식은 반투명하게 표시하는 것을 종료할 수 있다. 이와 유사한 방법으로 가상 현실 디스플레이 장치(200)는 음식을 윤곽선 또는 3D 격자선으로 표시할 수도 있다. More specifically, the virtual reality display device 200 can display the food in a translucent manner. At this time, the virtual reality display device 200 can determine whether to display the food semi-transparently according to the content type of the application interface displayed in the virtual reality and / or the interaction situation between the application interface and the user. For example, when a user plays a virtual game using the virtual reality display device 200, when a frequent movement and a large amount of user interaction input is required in the interface of the virtual game, the virtual reality display device 200 ) Can be displayed translucent food. In addition, when the application interface displayed in the virtual reality decreases the frequency of input control of the virtual movie theater or the user, the food can be terminated in a semi-transparent manner. In a similar manner, the virtual reality display device 200 may display the food as a contour or a 3D graticule.

일 실시예에서, 가상 현실 내의 가상 물체와 표시되는 음식 간에 셰이딩을 효과적으로 피하기 위하여, 가상 물체 또는 음식 중 적어도 하나 이상이 줌 되거나 및/또는 이동될 수 있다. 예를 들어, 가상 현실 디스플레이 장치(200)에 가상 영화관 애플리케이션이 실행되는 경우, 가상 현실 내에 표시되는 가상 스크린은 음식을 가리는 것을 피하기 위하여 줌-아웃 되거나 이동될 수 있다. 도 13을 참조하여 설명한다. In one embodiment, in order to effectively avoid shading between the virtual object in the virtual reality and the displayed food, at least one of the virtual object or the food may be zoomed and / or moved. For example, when a virtual cinema application is run on the virtual reality display device 200, the virtual screen displayed within the virtual reality may be zoomed out or moved to avoid covering the food. Will be described with reference to FIG.

도 13(a) 및 13(b)는 일 실시예에서 가상 현실과 실제 물체의 간섭을 피하기 위한 방법을 도시한 도면이다. 13 (a) and 13 (b) are diagrams illustrating a method for avoiding interference between a virtual reality and an actual object in an embodiment.

도 13(a)을 참조하면, 가상 현실(1311)과 음식을 포함하는 실제 물체(1321)가 겹쳐서 표시되어 사용자가 가상 현실(1311)과 음식을 포함하는 실제 물체(1321)를 명확히 식별하기 어렵다. 따라서, 가상 현실 디스플레이 장치(200)는 도 13(b)와 같이 음식을 포함하는 실제 물체(1321)는 그대로 두고, 가상 현실(1311)을 줌-아웃 시켜 이동시킬 수 있다. 다만 이는 하나의 실시예에 불과하며, 다양한 방법으로 가상 현실과 실제 물체의 간섭을 피할 수 있다. 예를 들어, 실제 물체(1321)를 줌-아웃 시키거나 이동 시킬 수도 있다. 13A, it is difficult for the user to clearly identify the virtual reality 1311 and the actual object 1321 including food, by displaying the virtual reality 1311 and the actual object 1321 including food in a superimposed manner . Therefore, the virtual reality display device 200 can zoom-out the virtual reality 1311 by moving the actual object 1321 containing food as it is, as shown in FIG. 13 (b). However, this is only one embodiment, and it is possible to avoid the interference between the virtual reality and the real object in various ways. For example, the actual object 1321 may be zoomed out or moved.

다시 도 9의 설명으로 돌아가면, 가상 현실 디스플레이 장치(200)는 디스플레이 우선 순위를 결정하여 표시 방법을 결정할 수 있다. 이때, 표시 우선 순위 리스트가 미리 설정될 수 있고, 가상 현실 디스플레이 장치(200)는 가상 현실 내의 가상 물체와 현실 세계의 물체의 표시 우선 순위가 중요도 및 긴급도에 따라 분류할 수 있다. 표시 우선 순위 리스트는 가상 현실 디스플레이 장치(200)에 의해 자동적으로 설정되거나 또는 사용 습관에 따라 사용자에 의해 설정될 수도 있다. Referring again to FIG. 9, the virtual reality display device 200 can determine the display priority by determining the display priority. At this time, the display priority list can be set in advance, and the virtual reality display device 200 can classify the display priority of virtual objects and objects in the virtual world in accordance with importance and urgency. The display priority list may be set automatically by the virtual reality display device 200 or may be set by a user according to usage habits.

사용자 주변에 많은 수의 실제 물체가 존재하는 경우, 모든 실제 물체가 가상 현실과 함께 표시되면 사용자가 가상 현실을 보는 것을 방해할 수 있다. 따라서, 일 실시예에서 가상 현실 디스플레이 장치(200)는 사용자 입력을 수신하여 가상 현실 내에 어떤 물체가 표시할 것인지 또는 삭제할 것인지를 선택할 수 있다. 도 14를 참조하여 설명하도록 한다. When a large number of real objects exist around a user, if all real objects are displayed together with the virtual reality, the user may be prevented from seeing the virtual reality. Thus, in one embodiment, the virtual reality display device 200 may receive user input and select which objects to display or delete within the virtual reality. This will be described with reference to Fig.

도 14는 일 실시예에 따라 가상 현실 내에 표시되는 실제 물체를 삭제하는 방법을 나타내는 도면이다. 14 is a diagram illustrating a method for deleting an actual object displayed in a virtual reality according to an embodiment.

도 14를 참조하면, 가상 현실 디스플레이 장치(200)는 삭제할 물체를 스윕(sweep)하는 제스처를 통한 사용자 입력을 수신하여 표시되고 있는 실제 물체를 삭제할 수 있다. Referring to FIG. 14, the virtual reality display device 200 can receive a user input through a gesture that sweeps an object to be deleted, thereby deleting the actual object being displayed.

추가적으로, 가상 현실 디스플레이 장치(200)는 음식이 계속해서 사용자에게 표시되도록 요구되는지 여부를 판단하여, 더 이상 실제 물체가 사용자에게 표시되도록 요구되지 않는다고 판단하면 해당 음식을 삭제하고 더 이상 표시하지 않을 수 있다. 일 실시예에서 가상 현실 디스플레이 장치(200)는 사용자가 음식 섭취 종료를 감지하여 더 이상 음식이 사용자에게 표시되도록 요구되지 않는다고 판단할 수 있다. 이때, 현실 디스플레이 장치(200)는 버튼, 제스처, 라벨, 원격 제어 명령, 음성 명령 중 적어도 하나 이상을 통해 사용자 입력을 수신하여 음식이 계속해서 사용자에게 표시되도록 요구되는지 여부를 판단할 수 있다. In addition, the virtual reality display device 200 determines whether the food is continuously required to be displayed to the user, and if it is determined that the actual object is no longer required to be displayed to the user, have. In one embodiment, the virtual reality display device 200 may detect that the user is no longer required to display the food to the user by detecting the end of the food intake. At this time, the real-time display device 200 may receive user input through at least one of a button, a gesture, a label, a remote control command, and a voice command to determine whether the food is continuously displayed to the user.

지금까지 가상 현실 디스플레이 장치(200)를 착용하고 음식을 먹는 방법을 구체적인 예를 들어 설명하였다. 다만, 가상 현실 디스플레이 장치(200)는 이에 한정되지 않고 다양한 상황에 맞추어 가상 현실을 표시할 수 있다. The method of wearing the virtual reality display device 200 and eating food has been described with specific examples. However, the virtual reality display device 200 is not limited to this, and can display a virtual reality according to various situations.

일 실시예에서 가상 현실 디스플레이 장치(200)를 착용한 상태에서 현실 세계의 물체와의 충돌을 방지하는 방법을 설명하도록 한다. A method of preventing a collision with an object in the real world while wearing the virtual reality display device 200 will be described.

사용자가 가상 현실 디스플레이 장치(200)를 착용한 상태에서, 현실 세계의 물체를 향해 이동하거나 신체의 일부가 현실 세계의 물체에 가까워 지는 경우, 사용자와 현실 세계의 물체의 충돌이 일어날 수 있다. 따라서, 가상 현실 디스플레이 장치(200)는 이러한 충돌을 방지하기 위하여, 가상 현실 디스플레이 장치(200)에 사용자가 이동하는 방향 또는 신체의 일부와 가까워진 현실 세계의 물체를 가상 현실과 함께 표시할 수 있다. When a user wears the virtual reality display device 200 and moves toward an object in the real world or a part of the body approaches the object in the real world, a collision between the user and an object in the real world may occur. Accordingly, the virtual reality display apparatus 200 can display an object of a real world, which is close to a part of the body or a direction in which the user moves the virtual reality display apparatus 200, together with the virtual reality, in order to prevent such a collision.

먼저, 가상 현실 디스플레이 장치(200)는 사용자 주변에 사용자가 충돌할만한 물체가 있는지 여부를 판단한다. First, the virtual reality display device 200 determines whether there is an object that the user is likely to collide with the user.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 촬영 장치 및 센서 중 적어도 하나 이상을 이용하여 사용자 주변의 물체, 사용자의 위치, 동작, 사용자의 움직임 등을 획득할 수 있다. 가상 현실 디스플레이 장치(200)가 사용자와 주변 물체가 너무 가깝다고 판단하는 경우 (예를 들어, 거리가 위험 거리 임계값보다 작은 경우), 가상 현실 디스플레이 장치(200)는 사용자 주변의 물체를 표시하도록 요구된다고 판단할 수 있다. In one embodiment, the virtual reality display device 200 can acquire an object, a user's position, an operation, a user's motion, etc., around the user using at least one of the photographing apparatus and the sensor. If the virtual reality display device 200 determines that the user and the surrounding object are too close (e.g., the distance is less than the critical distance threshold value), the virtual reality display device 200 requests to display an object around the user .

그 후, 가상 현실 디스플레이 장치(200)는 사용자가 충돌할 수 있는 물체의 이미지를 캡쳐하고, 촬영 장치와 사용자의 눈 간의 위치 관계를 바탕으로 사용자가 충돌할 수 있는 물체의 이미지에 시점 보정을 수행하며, 물체의 양안 시점을 생성하여 가상 현실과 함께 표시할 수 있다. Thereafter, the virtual reality display device 200 captures an image of an object that the user may collide with, and performs a viewpoint correction on an image of an object that the user may collide based on the positional relationship between the photographing device and the user's eyes The binocular view of the object can be created and displayed together with the virtual reality.

일 실시예에서, 사용자가 충돌할 수 있는 물체는 반투명, 윤곽선 및 3D 격자선 중 적어도 하나 이상으로 표시될 수 있다. 가상 현실 디스플레이 장치(200)는 사용자가 충돌할 수 있는 물체의 가장자리만 표시할 수도 있다. 또한, 가상 현실 디스플레이 장치(200)는 사용자에게 텍스트, 이미지, 오디오, 비디오를 통해 사용자가 충돌할 수 있는 물체에 대하여 상기시킬 수도 있다. 예를 들어, 가상 현실 디스플레이 장치(200)는 사용자와 사용자가 충돌할 수 있는 물체 사이의 거리를 유도 정보(예를 들어, 텍스트 및/또는 그래픽 형태의)로 표시할 수도 있다. In one embodiment, an object from which a user may collide may be represented by at least one of translucent, contour, and 3D grid lines. The virtual reality display device 200 may display only an edge of an object that the user may collide with. In addition, the virtual reality display device 200 may remind the user of an object that the user may collide via text, image, audio, and video. For example, the virtual reality display device 200 may display the distance between the user and the object with which the user may collide, as induction information (e.g., in text and / or graphical form).

아래에서는 도 15 및 도 16을 참조하여 가상 현실 디스플레이 장치(200)에 디스플레이 아이템을 표시하는 방법을 설명하도록 한다. 특히, 외부 장치의 디스플레이 아이템을 가상 현실 디스플레이 장치(200)에서 표시하는 방법을 설명하도록 한다. 외부 장치의 디스플레이 아이템을 가상 현실 디스플레이 장치(200)에서 표시함으로써, 사용자는 해당 외부 장치와 관련된 정보 및 외부 장치의 작업 상태 등을 알 수 있다. Hereinafter, a method of displaying a display item on the virtual reality display device 200 will be described with reference to FIGS. 15 and 16. FIG. In particular, a method of displaying a display item of an external device on the virtual reality display device 200 will be described. By displaying the display items of the external device on the virtual reality display device 200, the user can know the information related to the external device and the operation status of the external device.

도 15는 일 실시예에 따라 가상 현실 디스플레이 장치에 디스플레이 아이템을 표시하는 방법을 나타내는 도면이다. 15 is a diagram illustrating a method of displaying a display item on a virtual reality display device according to an embodiment.

도 15를 참조하면, 사용자 주변에는 전자레인지(1510), 보안 카메라(1520), 에어컨(1530), 시계(1540), 모바일 단말(1550) 등과 같은 다양한 외부 장치가 존재할 수 있다. 가상 현실 디스플레이 장치(200)는 이러한 외부 장치로부터 디스플레이 아이템을 수신하여 가상 현실(1560) 내에 표시할 수 있다. 여기서, 디스플레이 아이템은 조작 인터페이스, 조작 상태, 알림 정보 및 지시 정보 등을 나타내는 아이템이다. 또한, 외부 장치는 가상 현실 디스플레이 장치(200)와 통신 가능한 장치, 예를 들어, IoT 장치일 수 있다. 15, various external devices such as a microwave oven 1510, a security camera 1520, an air conditioner 1530, a clock 1540, and a mobile terminal 1550 may exist around the user. The virtual reality display device 200 can receive display items from such external devices and display them in the virtual reality 1560. [ Here, the display item is an item representing an operation interface, an operation status, notification information, and instruction information. Further, the external device may be an apparatus capable of communicating with the virtual reality display device 200, for example, an IoT device.

일 실시예에서, 가상 현실 디스플레이 장치(200)는 사용자의 실제 시야를 실시간으로 모니터링 할 수 있다. 가상 현실 디스플레이 장치(200)는 외부 장치가 사용자의 실제 시야에 들어오는 경우, 외부 장치의 타입에 따라 대응되는 디스플레이 아이템을 획득할 수 있다. 일 실시예에서 가상 현실 디스플레이 장치(200)는 각종 센서 등을 통해 측정 되는 정보 및 사용자가 위치한 방의 시설물 지도 등의 정보를 이용하여 사용자의 시야를 실시간으로 모니터링 할 수 있다. 또한, 가상 현실 디스플레이 장치(200)는 가상 현실 디스플레이 장치(200)에 설치된 촬영 장치의 시점을 분석하여 사용자의 시야를 획득할 수도 있다. In one embodiment, the virtual reality display device 200 may monitor the real view of the user in real time. The virtual reality display device 200 can acquire a corresponding display item according to the type of the external device when the external device comes into the actual view of the user. In one embodiment, the virtual reality display device 200 can monitor the user's field of view in real time using information such as information measured through various sensors and facilities map of the room where the user is located. In addition, the virtual reality display apparatus 200 may analyze the viewpoint of the photographing apparatus installed in the virtual reality display apparatus 200 to obtain the user's view.

일 실시예에서 가상 현실 디스플레이 장치(200)가 사용자의 실제 시야에 전자레인지(1510), 보안 카메라(1520), 에어컨(1530), 시계(1540), 모바일 단말(1550)과 같은 외부 장치가 감지된다고 판단하는 경우, 각 외부 장치에 대응되는 정보, 예를 들어, 요리 완료 알림(1511), 보안 카메라(1520)에 의해 보여지는 화면(1521), 에어컨(1530)의 온도(1531), 시간(1541), 모바일 단말 인터페이스(1551) 등을 획득하여 표시할 수 있다. In one embodiment, the virtual reality display device 200 detects an external device, such as a microwave oven 1510, a security camera 1520, an air conditioner 1530, a clock 1540, a mobile terminal 1550, It is possible to display the information corresponding to each external device such as the cooking completion notification 1511, the screen 1521 shown by the security camera 1520, the temperature 1531 of the air conditioner 1530, 1541, a mobile terminal interface 1551, and the like.

일 실시예에서 가상 현실 디스플레이 장치(200)는 사용자의 실제 시야 밖의 외부 장치로부터 디스플레이 아이템을 수신하여 표시할 수도 있다. 예를 들어, 손님이 문에 도착한 경우, 문에 설치된 인텔리젼스 초인종은 가상 현실 디스플레이 장치(200)에 알람 및 문 밖의 이미지를 전송할 수 있다. 또한, 가상 현실 디스플레이 장치(200)는 사용자의 모바일 단말은 서로 통신하여 모바일 단말의 인터페이스를 조작할 수도 있다. 도 16을 참조하여 설명한다. In one embodiment, the virtual reality display device 200 may receive and display a display item from an external device outside of the user's actual field of view. For example, when the guest arrives at the door, the intelligence doorbell installed at the door can transmit alarms and out-door images to the virtual reality display device 200. In addition, the virtual reality display device 200 may allow the user's mobile terminals to communicate with each other to manipulate the interface of the mobile terminal. Will be described with reference to FIG.

도 16은 일 실시예에 따라 가상 현실 디스플레이 장치에 외부 장치의 화면을 표시하는 방법을 나타내는 도면이다.16 is a diagram illustrating a method of displaying a screen of an external device on a virtual reality display device according to an embodiment.

도 16을 참조하면, 가상 현실 디스플레이 장치(200)는 디스플레이 아이템에 대한 조작을 수행하여 모바일 단말(1640)을 원격으로 제어할 수도 있다. 이때, 모바일 단말(1640)과 가상 현실 디스플레이 장치(200)는 통신하는 것을 전제로 한다. Referring to FIG. 16, the virtual reality display device 200 may perform an operation on a display item to remotely control the mobile terminal 1640. At this time, it is assumed that the mobile terminal 1640 and the virtual reality display device 200 communicate with each other.

일 실시예에서, 모바일 단말(1640)에 전화벨이 울리는 경우, 가상 현실 디스플레이 장치(200)는 모바일 단말(1640)의 인터페이스(1620)를 표시하고, 사용자는 가상 현실 디스플레이 장치(200)에 표시되는 모바일 단말(1640)의 인터페이스(1620)를 조작하여 전화를 수신할 수 있다. 가상 현실 디스플레이 장치(200)는 사용자가 전화를 수신하지 않기로 결정하는 경우, 사용자 입력을 수신하여 직접 전화를 끊거나, 모바일 단말(1640)을 원격으로 제어하여 끊을 수도 있다. 나아가, 사용자는 아무런 동작을 수행하지 않을 수도 있으며, 사용자가 나중에 다시 전화를 걸기를 원하는 경우, 가상 현실 디스플레이 장치(200)는 통해 다시 전화를 걸도록 설정되거나, 다시 전화를 거는 리마인더를 설정하도록 모바일 단말(1640)을 원격으로 제어할 수도 있다. In one embodiment, when the mobile terminal 1640 rings, the virtual reality display device 200 displays the interface 1620 of the mobile terminal 1640, and the user is presented to the virtual reality display device 200 The user can manipulate the interface 1620 of the mobile terminal 1640 to receive the call. When the user decides not to receive a call, the virtual reality display device 200 may disconnect the user by directly receiving the user input, or by remote controlling the mobile terminal 1640. Further, the user may not perform any action, and if the user wants to make a call again at a later time, the virtual reality display device 200 may be set to make a call again through the virtual reality display device 200, The terminal 1640 may be remotely controlled.

또한, 일 실시예에서, 모바일 단말(1640)이 사용자로부터 응답이 필요한 메시지를 수신한 경우, 모바일 단말(1640)의 인터페이스(1620)를 가상 현실 디스플레이 장치(200)에 표시할 수 있다. 사용자는 가상 현실 디스플레이 장치(200)에 표시되는 인터페이스(1620)를 조작하여 메시지에 응답할 수 있다. 사용자가 나중에 메시지에 회신하고자 하는 경우, 가상 현실 디스플레이 장치(200)는 회신 작업 정보를 설정하거나 또는 모바일 단말(1640)을 원격 제어하여 회신 리마인더를 설정할 수도 있다. 사용자가 메시지 전송자에게 전화를 걸고자 하는 경우, 가상 현실 디스플레이 장치(200)는 사용자의 조작에 따라 가상 현실 디스플레이 장치(200)를 사용하여 전화를 걸 수도 있다(예를 들어, 헤드-마운티드 디스플레이를 블루투스 이어폰으로 사용하는 경우).Also, in one embodiment, the mobile terminal 1640 may display the interface 1620 of the mobile terminal 1640 on the virtual reality display device 200 when the mobile terminal 1640 receives a message requiring a response from the user. The user can respond to the message by operating the interface 1620 displayed on the virtual reality display device 200. [ When the user later desires to reply to the message, the virtual reality display device 200 may set the reply operation information or remotely control the mobile terminal 1640 to set the reply reminder. When the user wishes to call the message sender, the virtual reality display device 200 may make a call using the virtual reality display device 200 according to a user's operation (e.g., a head-mounted display When used with Bluetooth earphones).

일 실시예에 따르면, 사용자는 가상 현실 디스플레이 장치(200)를 착용하여 가상 현실(1610)을 체험하면서도, 가상 현실 디스플레이 장치(200)를 이용하여 모바일 단말(1640)을 조작할 수 있어 편리하고 몰입감을 향상시킬 수 있다. According to one embodiment, the user can operate the mobile terminal 1640 using the virtual reality display device 200 while experiencing the virtual reality 1610 by wearing the virtual reality display device 200, Can be improved.

또한, 일 실시예에서, 가상 현실 디스플레이 장치(200)는 모바일 단말(1640)이 사용자의 시야 밖에 존재하는 경우, 화살표, 지시 기호, 텍스트와 같은 지시자(1630)를 표시하여 모바일 단말(1640)의 위치를 표시할 수도 있다. 나아가, 가상 현실 디스플레이 장치(200)는 사용자가 모바일 단말(1640)의 사용을 종료하는 경우, 더 이상 디스플레이 아이템이 표시되지 않도록 제거할 수도 있다. Also, in one embodiment, the virtual reality display device 200 may display an indicator 1630, such as an arrow, an indicator, or text, to indicate that the mobile terminal 1640 is located outside of the user ' The location can also be displayed. Further, the virtual reality display device 200 may remove the display item so that the display item is no longer displayed when the user ends the use of the mobile terminal 1640.

다시 도 15의 설명으로 돌아오면, 가상 현실 디스플레이 장치(200)는 획득한 디스플레이 아이템을 다양한 방법으로 표시할 수 있다. 일 실시예에서 디스플레이 아이템은 가상 현실과 겹쳐져서 표시될 수 있다. 그러나, 이러한 방법은 하나의 실시예에 불과하며, 디스플레이 아이템은 사용자가 외부 장치와 보다 나은 상호작용이 가능하도록 적절한 레이아웃에 따라 표시될 수 있다. 이때, 사용자와 가상 현실 및 외부 장치 간의 상호작용이 동시에 이루어지도록 고려되는 것이 바람직 할 것이다. Returning to the description of FIG. 15, the virtual reality display device 200 can display the acquired display items in various ways. In one embodiment, the display item may be displayed superimposed on the virtual reality. However, this method is only one embodiment, and the display items can be displayed according to an appropriate layout so that the user can interact with the external device better. At this time, it is desirable that the interaction between the user, the virtual reality, and the external device is considered to be performed at the same time.

나아가, 가상 현실 디스플레이 장치(200)는 표시되는 디스플레이 아이템의 종류를 선택할 수도 있다. 일 실시예에서 각 외부 장치들은 목록화 되어 리스트로 관리될 수 있고, 가상 현실 디스플레이 장치(200)는 사용자 입력에 따라 리스트에서 선택된 외부 장치에서 획득한 디스플레이 아이템만을 표시할 수 있다. 또한, 각 외부 장치에 대해 상세한 설정을 하는 것도 가능하다. 예를 들어, 외부 장치로부터 수신할 수 있는 메시지의 형태가 목록화 되어 리스트로 관리될 수 있다. 가상 현실 디스플레이 장치(200)는 사용자 입력에 따라 선택된 메시지만을 표시할 수 있다. Further, the virtual reality display device 200 may select the type of display item to be displayed. In one embodiment, each external device may be listed and managed as a list, and the virtual reality display device 200 may display only display items obtained from an external device selected in the list according to user input. It is also possible to make detailed settings for each external device. For example, the types of messages that can be received from an external device can be listed and managed as a list. The virtual reality display device 200 can display only the selected message according to the user input.

추가적으로, 가상 현실 디스플레이 장치(200)는 가상 현실 디스플레이 장치(200)에서 실행되고 있는 애플리케이션이 방해될 수 있는지 여부에 따라 정보를 수신할 수 있는 차단 레벨을 설정하여, 설정한 레벨에 따라 디스플레이 아이템을 표시할 수 있다. 예를 들어, 애플리케이션 실행 시 방해 받고 싶지 않은 애플리케이션(예를 들어 실시간 가상 네트워크 게임의 격렬한 싸움)의 경우, 높은 차단 레벨로 설정하여 가능한 적은 영향을 주는 방법(번쩍이는 점과 같은)으로 디스플레이 아이템을 표시할 수 있다. 낮은 차단 레벨을 갖는 애플리케이션은 자유롭게 디스플레이 아이템을 표시할 수 있다. 하나의 애플리케이션에 상황에 따라 복수의 차단 레벨을 설정하는 것도 가능하다. In addition, the virtual reality display apparatus 200 may set a blocking level at which information can be received depending on whether or not the application being executed in the virtual reality display apparatus 200 can be interrupted, Can be displayed. For example, in an application that does not want to be disturbed when running an application (for example, a violent battle of a real-time virtual network game), the display item Can be displayed. Applications with low interrupt levels are free to display display items. It is also possible to set a plurality of interrupt levels in one application depending on the situation.

일 실시예에서는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. But may be embodied in the form of a computer-readable recording medium, such as a program module, which is executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium can include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

210: 물체 정보 획득부
220: 디스플레이부
230: 제어부210: Object information acquisition unit
220:
230:

Claims

Displaying virtual reality to a user according to a virtual view of the virtual reality display device;
Acquiring object information on an object in the real world based on a binocular view of the user; And
And displaying the obtained object information together with the virtual reality to the user.

The method according to claim 1,
The step of displaying the obtained object information together with the virtual reality to the user includes:
And displaying the object information at a position corresponding to an actual position of the object.

The method according to claim 1,
The step of acquiring object information on an object in the real world based on the binocular viewpoint of the user includes:
Capturing an image of an object using the photographing apparatus; And
Obtaining an image of the object at another viewpoint based on the captured image; And
And acquiring a binocular viewpoint image for the object based on the image of the object and the captured image at the different viewpoints.

The method according to claim 1,
Acquiring a binocular viewpoint image for the object based on the image of the object at the different viewpoint and the captured image,
And performing a view point correction on the captured image and the image of the object at the acquired other view point based on a positional relationship between the user's eyes and the photographing apparatus How to.

The method according to claim 1,
The step of displaying the obtained object information together with the virtual reality to the user includes:
And determining whether to provide the object information to the user based on at least one of importance and urgency of the real information.

6. The method of claim 5,
The step of displaying the obtained object information together with the virtual reality to the user includes:
Determining a display method of displaying the object information based on at least one of importance and urgency of the real information; And
And displaying the object information to the user according to the determined display method.

The method according to claim 1,
The step of displaying the obtained object information together with the virtual reality to the user includes:
And adjusting the display method of at least one of the virtual reality and the object information when the virtual reality and the object information overlap each other.

The method according to claim 1,
The step of acquiring object information on an object in the real world based on the binocular viewpoint of the user includes:
Determining whether the object information is required to be displayed to the user; And
And acquiring the object information when it is determined that the object information is required to be displayed to the user.

The method of claim 3,
Wherein the step of determining whether the object information is required to be displayed to the user comprises:
And a control unit that, when receiving a user input requesting display of the object information, determines that the object information is object information set to be displayed to the user, When an instruction is detected, when it is detected that the body part of the user is close to the object, when it is detected that the body part of the user moves in the direction of the object, When it is determined that the object information is requested to be used now, or when it is determined that the predetermined time is set to interact with the object around the user, it is determined that the object information is required to be displayed to the user that And displaying the virtual reality display device.

The method according to claim 1,
Further comprising the step of displaying the virtual reality except for the displayed object information.

11. The method of claim 10,
Displaying the virtual reality, excluding the displayed object information,
When receiving a user input for not displaying the object information, when it is determined that the object information is not set to be displayed to the user, a control command for requesting the object to perform a specific operation in an application interface in the virtual reality When it is detected that a part of the body of the user is distant from the object, if it is detected that a part of the user's body moves in a direction away from the object, When it is determined that it is not necessary to use the object information and the user does not perform the operation using the object information for a preset time period, it is determined that it is possible for the user to perform the operation without viewing the object information If at least one of the right, the display method of the virtual reality display device, characterized in that except for the object information to the display.

The method according to claim 1,
The step of acquiring object information on an object in the real world based on the binocular viewpoint of the user includes:
An object to be used by the application executed in the virtual reality display device and an object required to perform the control of the virtual reality display device, The method comprising the steps of: acquiring information about an object including at least one of the virtual reality object and the virtual reality object.

The method according to claim 1,
The step of acquiring object information on an object in the real world based on the binocular viewpoint of the user includes:
And receiving at least one of a notification that the event has occurred from the external device and the content of the event.

14. The method of claim 13,
The step of displaying the obtained object information together with the virtual reality to the user includes:
And displaying the position of the external device on the display unit.

An object information acquiring unit that acquires object information on an object in the real world based on the binocular viewpoint of the user;
A display unit for displaying the virtual reality and the obtained object information; And
And a controller for controlling the object information obtaining unit and the display unit to obtain the object information and display the obtained object information together with the virtual reality.

16. The method of claim 15,
The object information obtaining unit obtains,
A sensor, a communication unit, and a photographing device.

16. The method of claim 15,
Wherein,
And controls the display unit to display the object information at a position corresponding to an actual position of the object.