KR101850544B1

KR101850544B1 - Method, system and non-transitory computer-readable recording medium for determining visual reference point of user

Info

Publication number: KR101850544B1
Application number: KR1020160078891A
Authority: KR
Inventors: 김석중
Original assignee: 주식회사 브이터치
Priority date: 2015-06-24
Filing date: 2016-06-23
Publication date: 2018-04-19
Also published as: KR20170000801A; WO2016209010A1

Abstract

본 발명은 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
본 발명의 일 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.The present invention relates to a method, system and non-temporal computer readable recording medium for determining a visual reference point of a user.
According to an aspect of the present invention, there is provided a method for determining a visual reference point of a user, the method comprising the steps of: determining a position of a first virtual object displayed through a display device; A first visual axis is specified with reference to the position of the first physical object corresponding to the first virtual object at the time of the user and the position of the second virtual object displayed through the display device Identifying a second time axis with reference to a position of a second physical object corresponding to the second virtual object at the user's viewpoint when the user watches the second virtual object, Determining a visual reference point applied to the user with reference to a common point between the time axis and the second time axis, The method also is provided.

Description

&Lt; Desc / Clms Page number 1 > METHOD, SYSTEM AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM FOR DETERMINING VISUAL REFERENCE POINT OF USER,

본 발명은 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.The present invention relates to a method, system and non-temporal computer readable recording medium for determining a visual reference point of a user.

증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)을 구현하기 위한 헤드 마운트 디스플레이(HMD; Head Mounted Display)나 씨 쓰루 디스플레이(See Through Display)와 같은 니어 아이 디스플레이(Near Eye Display)에서는, 그것을 착용하고 있는 사용자(특히, 사용자의 눈)의 위치 또는 자세에 따라 사용자의 시점이 달라질 수 있다. 따라서, 사용자의 눈의 위치 또는 자세를 정확하게 인식하고, 그 인식된 위치 또는 자세에 맞추어 니어 아이 디스플레이 상에서 영상이 표시되는 위치 또는 방향을 세밀하게 조절할 필요가 있다.A near-eye display such as a head-mounted display (HMD) or a see-through display for implementing Augmented Reality (AR) or virtual reality (VR) The viewpoint of the user can be changed depending on the position or posture of the user wearing it (particularly, the user's eyes). Therefore, it is necessary to precisely recognize the position or the posture of the user's eye, and to fine tune the position or direction in which the image is displayed on the near-eye display according to the recognized position or posture.

예를 들면, 디스플레이 장치가 인식하고 있는 시점과 사용자가 실제로 느끼는 시점이 일치하지 않는 경우에, 사용자가 부정확한 영상을 제공 받게 될 수 있을 뿐만 아니라, 영상에 대응하여 입력되는 사용자 조작(핸드 제스쳐 등)의 정확성도 담보될 수 없게 된다.For example, when the viewpoint recognized by the display device and the viewpoint actually felt by the user do not coincide with each other, not only can the user be provided with an incorrect image, but also user manipulations (hand gestures, ) Can not be guaranteed.

위와 같은 기술적 과제를 해결하기 위한 종래 기술로서, 사용자의 눈동자의 위치, 방향 또는 움직임을 추적하고, 그 추적된 위치 및 움직임에 기초하여 사용자의 시점에 최적화된 영상을 제공하는 기술(미국공개특허공보 제2012/0154277호에 개시된 기술)이 소개된 바 있다. 하지만, 이러한 종래 기술에 따르면, 사용자의 눈동자의 위치 및 움직임을 실시간으로 추적하기 위한 별도의 카메라(또는 센서)가 필요하고, 눈동자의 위치 및 움직임을 실시간으로 추적하고 그 추적 결과에 따라 사용자의 시점에 적합한 영상을 실시간으로 만들어내기 위하여 지나치게 많은 연산 자원이 소요된다는 문제점이 존재한다.As a conventional technique for solving the above technical problem, there is a technique of tracking the position, direction or movement of a pupil of a user and providing an image optimized at a user's point of view based on the tracked position and movement A technique disclosed in Japanese Patent Application Laid-Open Publication No. 2012/0154277) has been introduced. However, according to the related art, a separate camera (or sensor) for tracking the position and motion of the user's pupil in real time is required. The position and motion of the pupil are tracked in real time, There is a problem that an excessive amount of operation resources are required to generate an image suitable for real-time.

이에, 본 발명자는, 둘 이상의 시축(visual axis) 사이의 공통점에 기초하여 사용자의 안구의 회전 중심에 대응하는 시야 기준점을 결정하고 그 결정된 시야 기준점을 기준으로 하여 사용자에게 제공될 영상의 표시 상태를 제어함으로써, 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상이 표시되는 위치나 방향을 변경하지 않으면서도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있도록 하는 기술을 제안하는 바이다.Accordingly, the present inventor has determined a visual reference point corresponding to the center of rotation of the user's eye based on a common point between two or more visual axes, and based on the determined visual reference point, It is possible to precisely provide a video corresponding to the user's viewpoint without changing the position or direction of the image displayed every time the position or direction of the user's pupil is tracked in real time or the position or direction of the user's pupil changes We propose a technique that can do this.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.It is an object of the present invention to solve all the problems described above.

또한, 본 발명은, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 디스플레이 디바이스를 착용하는 사용자가 제1 가상 객체를 주시하는 경우에 사용자의 시점에서 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 사용자가 제2 가상 객체를 주시하는 경우에 사용자의 시점에서 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 제1 시축 및 제2 시축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정함으로써, 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상이 표시되는 위치나 좌표를 변경하지 않으면서도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.In addition, the present invention provides a method for displaying a first virtual object displayed on a display device and a first virtual object displayed in correspondence with a first virtual object at a user's view when a user wearing a display device watches the first virtual object, The first visual axis is specified with reference to the position of the physical object, the position of the second virtual object displayed through the display device, and the position of the second virtual object at the user's view when the user watches the second virtual object The second visual axis is identified with reference to the position of the second physical object corresponding to the object and the visual reference point applied to the user is determined with reference to the common point between the first visual axis and the second visual axis, The position, orientation, or movement of the user's eye in real time, or whenever the position or orientation of the user's pupils changes, It is another object of the present invention to provide a method, system, and non-temporal computer-readable recording medium that can accurately provide an image that matches a user's viewpoint without changing a value or a coordinate.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.In order to accomplish the above object, a representative structure of the present invention is as follows.

본 발명의 일 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, there is provided a method for determining a visual reference point of a user, the method comprising the steps of: determining a position of a first virtual object displayed through a display device; A first visual axis is specified with reference to the position of the first physical object corresponding to the first virtual object at the time of the user and the position of the second virtual object displayed through the display device Identifying a second time axis with reference to a position of a second physical object corresponding to the second virtual object at the user's viewpoint when the user watches the second virtual object, Determining a visual reference point applied to the user with reference to a common point between the time axis and the second time axis, The method also is provided.

본 발명의 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 참조로 하여 제1 기준축을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 참조로 하여 제2 기준축을 특정하는 단계, 및 상기 제1 기준축 및 상기 제2 기준축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.According to another aspect of the present invention, there is provided a method for determining a visual reference point of a user, comprising the steps of: determining a position of a first virtual object displayed through a display device and a position of a pupil of a user watching the first virtual object; Specifying one reference axis and specifying a second reference axis with reference to a position of a second virtual object displayed through the display device and a position of a pupil of the user looking at the second virtual object, And determining a visual reference point applied to the user with reference to a common point between the reference axis and the second reference axis.

본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 시스템으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 인식하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 인식하는 객체 감지부, 및 상기 제1 가상 객체의 위치 및 상기 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, there is provided a system for determining a visual reference point of a user, the system comprising: a first virtual object displayed through a display device and a user watching the first virtual object Recognizes a position of a first virtual object displayed in correspondence with the first virtual object at a time of the user, and displays the position of the second virtual object displayed through the display device and the position of the second virtual object An object detection unit for recognizing a position of a second virtual object corresponding to the second virtual object at a time point of the user, and a position of the first virtual object and a position of the first virtual object, And specifies the position of the second virtual object and the position of the second virtual object as true And determining a visual reference point applied to the user with reference to a common point between the first visual axis and the second visual axis.

본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 시스템으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 인식하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 인식하는 객체 감지부, 및 상기 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 참조로 하여 제1 기준축을 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 참조로 하여 제2 기준축을 특정하고, 상기 제1 기준축 및 상기 제2 기준축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, there is provided a system for determining a visual reference point of a user, the system comprising: a recognition unit for recognizing a position of a first virtual object displayed through a display device and a position of a pupil of a user watching the first virtual object, An object sensing unit for recognizing a position of a second virtual object displayed through the display device and a position of a pupil of the user looking at the second virtual object; The first reference axis is specified with reference to the position of the pupil of the user who is watching and the second reference axis is specified with reference to the position of the second virtual object and the position of the pupil of the user who is watching the second virtual object A visual reference point applied to the user with reference to a common point between the first reference axis and the second reference axis The system including a prescribed field of vision reference point determination is provided.

본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 제1 실물 객체의 위치 및 사용자가 상기 제1 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 실물 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 제3 실물 객체의 위치 및 상기 사용자가 상기 제3 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제3 실물 객체와 대응되어 보여지는 제4 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.According to another aspect of the present invention, there is provided a method for determining a user's visual reference point, comprising the steps of: determining a position of a first physical object at a user ' s viewpoint when a user looks at the first physical object; A first visual axis is specified with reference to the position of the second physical object corresponding to the position of the third physical object, and a position of the third physical object is determined at the user's point of view when the user watches the third physical object The method of claim 1, further comprising: identifying a second time axis with reference to a location of a fourth physical object corresponding to the third physical object; A method is provided that includes determining a visual reference point.

본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 시스템으로서, 제1 실물 객체의 위치, 사용자가 상기 제1 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 실물 객체와 대응되어 보여지는 제2 실물 객체의 위치, 제3 실물 객체의 위치 및 상기 사용자가 상기 제3 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제3 실물 객체와 대응되어 보여지는 제4 실물 객체의 위치를 인식하거나 상기 인식된 결과에 관한 정보를 획득하는 객체 감지부, 및 상기 제1 실물 객체의 위치 및 상기 제2 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 제3 실물 객체의 위치 및 상기 제4 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부를 포함하는 시스템이 제공된다.According to still another aspect of the present invention there is provided a system for determining a visual reference point of a user, the system comprising: a location of a first physical object at a user ' s viewpoint when the user watches the first physical object; A fourth physical object corresponding to the third physical object at the user's point of view when the user watches the third physical object, And a first visual axis is identified by referring to the position of the first physical object and the position of the second physical object, The second time axis is specified with reference to the position of the third physical object and the position of the fourth physical object, and the phase difference between the first time axis and the second time axis, And a viewing reference point determining section for determining a viewing reference point to be applied to the base user.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition, there is provided another method, system, and non-transitory computer readable recording medium for recording a computer program for carrying out the method for implementing the present invention.

본 발명에 의하면, 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상이 표시되는 위치나 좌표를 변경하지 않으면서도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있으므로, 니어 아이 디스플레이를 구현하기 위한 시스템의 구성을 간소화하고 연산 자원의 소모량을 줄여 시스템의 성능과 효율성을 모두 향상시킬 수 있게 되는 효과가 달성된다.According to the present invention, when a position, direction, or motion of a user's pupil is tracked in real time or whenever a position or direction of a user's pupil changes, It is possible to improve the performance and efficiency of the system by simplifying the configuration of the system for realizing the near eye display and reducing the consumption of the computational resources.

또한, 본 발명에 의하면, 사용자의 눈동자의 위치 또는 방향이 변하는 경우에도 둘 이상의 시축 사이의 공통점에 기초하여 결정되는 시야 기준점에 맞추어 하나의 영상만을 제공하면 충분하므로, 실시간 영상 처리로 인한 시간 지연이 발생하는 것을 방지할 수 있을 뿐만 아니라, 영상이 표시되는 위치 또는 방향이 실시간으로 변화됨으로 인해 사용자가 느낄 수 있는 혼란이나 피로감을 획기적으로 줄일 수 있게 되는 효과가 달성된다.According to the present invention, even when the position or direction of the user's pupils changes, it is sufficient to provide only one image in accordance with a visual reference point determined based on a common point between two or more time axes. Therefore, It is possible to remarkably reduce the confusion and fatigue that the user can feel due to the change of the position or direction of the displayed image in real time.

또한, 본 발명에 의하면, 사용자의 눈동자의 위치 또는 방향이 변하는 경우에도 사용자로부터 입력되는 조작의 기준점(예를 들면, 포인터(pointer), 커서(cursor) 등)의 위치를 변화시킬 필요가 없으므로, 조작을 입력하는 사용자의 편의를 향상시킬 수 있게 되는 효과가 달성된다.According to the present invention, there is no need to change the position of a reference point (for example, a pointer, a cursor, etc.) of an operation input from the user even when the position or direction of the user's pupil changes. It is possible to improve the convenience of the user who inputs the operation.

또한, 본 발명에 의하면, 사용자의 시야를 가리거나 방해할 수 있는 디스플레이 디바이스를 이용하지 않고도, 사용자의 시야 기준점을 정확하게 특정할 수 있게 되는 효과가 달성된다.Further, according to the present invention, an effect that the visual reference point of the user can be accurately specified can be achieved without using a display device that can obscure or interfere with the visual field of the user.

또한, 본 발명에 의하면, 사용자가 실세계에 존재하는 실물 객체를 편리하고도 정확하게 특정(지시)할 수 있게 되는 효과가 달성된다.In addition, according to the present invention, an effect that a user can conveniently (and accurately) specify (indicate) a physical object existing in a real world is achieved.

도 1은 본 발명의 일 실시예에 따라 디스플레이 시스템의 외부 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 디스플레이 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3은 종래 기술에 따른 시야 기준점 결정 방법과 본 발명에 따른 시야 기준점 결정 방법을 비교하여 나타내는 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따라 둘 이상의 시축 사이의 공통점이 복수인 경우에 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따라 시야 기준점을 기준으로 하여 영상의 표시 상태를 결정하는 구성을 예시적으로 나타내는 도면이다.
도 10 및 도 11은 본 발명의 다른 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 12는 본 발명의 다른 실시예에 따라 시야 기준점을 보정하는 구성을 예시적으로 나타내는 도면이다.
도 13은 본 발명의 또 다른 실시예에 따라 사용자의 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 14는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성을 예시적으로 나타내는 도면이다.
도 15는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성이 활용될 수 있는 다양한 예시를 나타내는 도면이다.1 is a diagram schematically showing an external configuration of a display system according to an embodiment of the present invention.
2 is a diagram illustrating an exemplary internal configuration of a display system according to an embodiment of the present invention.
3 is a view showing a comparison of a method of determining a visual reference point according to the prior art and a method of determining a visual reference point according to the present invention.
FIG. 4 and FIG. 5 illustrate a configuration for determining a visual reference point according to an embodiment of the present invention.
6 to 8 are views illustrating a configuration for determining a visual reference point when there are a plurality of common points between two or more time axes according to an embodiment of the present invention.
9 is a diagram illustrating an exemplary configuration for determining a display state of an image based on a visual reference point according to an exemplary embodiment of the present invention.
Figs. 10 and 11 are diagrams illustrating a configuration for determining a visual reference point according to another embodiment of the present invention. Fig.
12 is a diagram exemplarily showing a configuration for correcting a visual reference point according to another embodiment of the present invention.
13 is a diagram illustrating an exemplary configuration for determining a visual reference point of a user according to another embodiment of the present invention.
FIG. 14 is an exemplary diagram illustrating a configuration for determining a target object pointed by a user using a visual reference point according to another embodiment of the present invention.
FIG. 15 is a diagram illustrating various examples in which a configuration for determining a target object indicated by a user using a visual reference point according to another embodiment of the present invention can be utilized.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.

메인 시스템의 구성Configuration of main system

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 메인 시스템(200) 및 디스플레이 디바이스(100)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the main system 200 and the display device 100, which perform important functions for the realization of the present invention, and the functions of the respective components will be described.

도 1은 본 발명의 일 실시예에 따라 디스플레이 디바이스의 외부 구성을 개략적으로 나타내는 도면이다. 참고로, 본 발명에 따른 디스플레이 디바이스(100)의 외부 구성이 반드시 도 1에 도시된 바에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram schematically showing an external configuration of a display device according to an embodiment of the present invention. Fig. It should be noted that the external configuration of the display device 100 according to the present invention is not limited to that shown in FIG. 1, but may be changed within a range that can achieve the object of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 디바이스(100)는, 증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)을 구현할 수 있는 헤드 마운트 디스플레이(HMD; Head Mounted Display) 또는 니어 아이 디스플레이(Near Eye Display)로서, 디스플레이 화면 너머의 실세계가 보이는 씨 쓰루 디스플레이(See Through Display) 디바이스(도 1의 (a) 참조)이거나 디스플레이 화면 너머의 실세계가 보이지 않는 디스플레이 디바이스(도 1의 (b) 참조)일 수 있다.1, a display device 100 according to an embodiment of the present invention includes a head mounted display (HMD) capable of implementing an Augmented Reality (AR) or a virtual reality (VR) (See Fig. 1 (a)) in which a real world beyond the display screen can be seen, or a display device (see Fig. 1 (See Fig. 1 (b)).

구체적으로, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)는 사용자의 눈 주변에 고정적으로 배치될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)에 의하여 제공되는 디스플레이 화면은 사용자의 눈에 대한 상대적인 위치가 고정되어 있을 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)를 통하여 표시되는 영상의 표시 상태(위치, 방향 등)는, 디스플레이 디바이스(100)를 착용하고 있는 사용자의 머리 등의 신체 부위의 위치, 자세 또는 움직임에 의하여 영향을 받지는 않지만, 디스플레이 디바이스(100)를 착용하고 있는 사용자의 눈동자의 위치, 방향 또는 움직임에 의하여 영향을 받을 수 있다.Specifically, according to one embodiment of the present invention, the display device 100 may be fixedly disposed around the user's eyes. That is, according to an embodiment of the present invention, the display screen provided by the display device 100 may have a fixed position relative to the user's eyes. Therefore, according to one embodiment of the present invention, the display state (position, direction, etc.) of an image displayed through the display device 100 is determined by a position of a body part such as a head of a user wearing the display device 100 , Or posture, but may be affected by the position, direction, or motion of the user's pupil wearing the display device 100. [

한편, 후술할 바와 같이, 본 발명의 일 실시예에 따르면, 메인 시스템(200)은, 디스플레이 디바이스(100)가 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상의 표시 상태를 변경하지 않고도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있도록 하는 기능을 수행할 수 있다. 이를 위하여, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)는, 사용자의 시야 기준점을 결정하기 위해 필요한 실물 객체(예를 들면, 사용자의 손가락 끝, 사용자의 눈동자의 중심 등)의 위치를 인식하기 위한 소정의 센싱 모듈(미도시됨)을 포함할 수도 있다.Meanwhile, as will be described later, according to an embodiment of the present invention, the main system 200 is configured such that the display device 100 tracks the position, direction, or movement of the user's pupil in real time, It is possible to perform a function of accurately providing an image corresponding to the user's viewpoint without changing the display state of the image every time the user changes the display state. To this end, according to an embodiment of the present invention, the display device 100 displays a position of a physical object (for example, a user's fingertip, the center of the user's eyes, etc.) necessary for determining a visual reference point of the user A predetermined sensing module (not shown) may be included.

도 2는 본 발명의 일 실시예에 따른 메인 시스템의 내부 구성을 예시적으로 나타내는 도면이다.2 is a diagram illustrating an internal configuration of a main system according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 메인 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 메인 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.2, the main system 200 includes an object detection unit 210, a visual reference point determination unit 220, a display management unit 230, a database 240, a communication unit 250 And a control unit 260. [0031] According to an embodiment of the present invention, at least a part of the object sensing unit 210, the visual reference point determining unit 220, the display managing unit 230, the database 240, the communication unit 250, And program modules that communicate with external systems (not shown). These program modules may be included in the main system 200 in the form of an operating system, an application program module, and other program modules, and may be physically stored on various well-known storage devices. These program modules may also be stored in a remote storage device capable of communicating with the main system 200. [ These program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types as described below in accordance with the present invention.

한편, 메인 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 메인 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자의 머리(또는 눈) 부위에 착용되는 휴대용 디바이스인 디스플레이 디바이스(100) 내에서 실현되거나 디스플레이 디바이스(100) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 메인 시스템(200)의 모든 기능과 모든 구성요소가 디스플레이 디바이스(100) 내에서 전부 실행되거나 디스플레이 디바이스(100) 내에 전부 포함될 수도 있다.Although described above with respect to the main system 200, the description is exemplary and at least some of the components or functions of the main system 200 may be portable It will be apparent to those skilled in the art that the device may be realized within the display device 100 or included within the display device 100. In some cases, all of the functions and all of the components of the main system 200 may be entirely implemented within the display device 100 or entirely within the display device 100. [

먼저, 본 발명의 일 실시예에 따르면, 객체 감지부(210)는, 디스플레이 디바이스(100)를 통하여 표시되는 가상 객체의 위치를 인식하고, 사용자가 가상 객체를 주시할 때 사용자의 시점에서 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 실물 객체의 위치를 인식하는 기능을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 객체 감지부(210)는, 가상 객체의 위치 및 실물 객체의 위치를 직접 인식하지 않고, 디스플레이 디바이스(100) 또는 외부 시스템(미도시됨)에 의하여 인식되는 가상 객체 및 실물 객체의 위치에 관한 정보를 획득하는 기능을 수행할 수도 있다.First, according to an embodiment of the present invention, the object detection unit 210 recognizes the position of a virtual object displayed through the display device 100, and when the user watches the virtual object, (I. E., Overlapped) with the real object. In addition, according to an embodiment of the present invention, the object detection unit 210 may recognize the position of the virtual object and the position of the real object without recognizing the position of the virtual object directly by the display device 100 or the external system (not shown) And acquire information on the position of the virtual object and the real object.

여기서, 본 발명의 일 실시예에 따르면, 가상 객체는, 디스플레이 디바이스(100)의 씨 쓰루(see through) 디스플레이 화면 상에 표시되는 객체로서, 사용자에 의해 시각적으로 인지될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 가상 객체는, 디스플레이 디바이스(100)의 씨 쓰루(see through) 디스플레이 화면 상에 소정의 크기와 색상을 가지는 점(point)으로서 표시될 수 있다.According to an embodiment of the present invention, a virtual object is an object displayed on a see through display screen of the display device 100, and can be visually recognized by a user. For example, the virtual object according to an exemplary embodiment of the present invention may be displayed as a point having a predetermined size and color on a see through display screen of the display device 100.

여기서, 본 발명의 일 실시예에 따르면, 실물 객체는, 사용자의 시점에서 볼 때 디스플레이 디바이스(100)의 씨 쓰루 디스플레이 화면 너머에 실제로 존재하는 객체로서, 사용자에 의하여 시각적으로 인지될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 실물 객체는, 사용자가 자신의 의지에 따라 움직일 수 있는 신체 부위(예를 들면, 손가락 끝 부위 등)이거나 실세계에 존재하는 물건일 수 있다.Here, according to an embodiment of the present invention, the physical object may be visually recognized by the user as an object actually present beyond the view through screen of the display device 100 when viewed from the user's point of view. For example, the physical object according to an embodiment of the present invention may be a body part (for example, a fingertip part) that the user can move according to his or her will or a real-world object.

또한, 본 발명의 일 실시예에 따르면, 객체 감지부(210)는, 후술할 바와 같이 가상 객체의 위치와 실물 객체의 위치가 직접적으로 연관 지어질 수 있도록 하기 위하여, 실물 객체의 위치를 특정할 수 있는 실물 좌표계(또는 실세계 좌표계)에서 가상 객체의 위치를 특정할 수 있다.In addition, according to an embodiment of the present invention, the object detection unit 210 may specify a position of a physical object so that the position of the virtual object and the position of the physical object may be directly related, The virtual object position can be specified in the real world coordinate system (or the real world coordinate system).

다음으로, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 디스플레이 디바이스(100)를 통하여 표시되는 둘 이상의 가상 객체의 위치 및 사용자가 위의 둘 이상의 가상 객체를 각각 주시할 때 해당 사용자의 시점에서 위의 둘 이상의 가상 객체와 각각 대응되어(즉, 겹쳐져) 보여지는 둘 이상의 실물 객체의 위치를 참조로 하여, 둘 이상의 시축(visual axis)를 각각 특정하는 기능을 수행할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 제1 가상 객체의 위치 및 사용자의 시점에서 제1 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 제1 실물 객체의 위치를 잇는 직선을 제1 시축으로서 특정할 수 있고, 제2 가상 객체의 위치 및 사용자의 시점에서 제2 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 제2 실물 객체의 위치를 잇는 직선을 제2 시축으로서 특정할 수 있다.Next, in accordance with an embodiment of the present invention, the visual field reference point determination unit 220 determines the position of two or more virtual objects displayed through the display device 100 and when the user watches each of the two or more virtual objects The user can perform a function of specifying two or more visual axes by referring to the positions of two or more physical objects respectively corresponding to (or overlapping with) two or more virtual objects at the time of the user . Specifically, in accordance with an embodiment of the present invention, the visual reference point determination unit 220 determines the visual reference point determination unit 220 based on the position of the first virtual object and the first virtual object, which is shown in correspondence with (i.e., overlapped with) And a straight line connecting the position of the second virtual object and the position of the second virtual object shown in correspondence with (i.e., overlapped with) the second virtual object at the user's point of view Can be specified as the second time axis.

또한, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 위와 같이 특정되는 제1 시축 및 제2 시축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정하는 기능을 수행할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제1 시축 및 제2 시축 사이의 공통점은, 제1 시축 및 제2 시축이 교차하는 경우에 제1 시축 및 제2 시축 사이의 교차점일 수 있고, 제1 시축 및 제2 시축이 교차하지 않는 경우에 제1 시축 및 제2 시축을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다.According to an embodiment of the present invention, the visual reference point determining unit 220 determines a visual reference point applied to the user with reference to the common point between the first and second time axes specified as described above can do. According to an embodiment of the present invention, the common point between the first time axis and the second time axis may be an intersection point between the first time axis and the second time axis when the first time axis and the second time axis intersect, And may be an intermediate point of an imaginary line segment connecting the first time axis and the second time axis at the shortest distance when the first time axis and the second time axis do not intersect.

예를 들면, 본 발명의 일 실시예에 따른 시야 기준점 결정부(220)는, 위와 같이 특정되는 둘 이상의 시축 사이의 공통점을 사용자의 안구의 회전 중심에 해당하는 점으로서 인식할 수 있고, 이에 따라 그 공통점이 사용자의 시야 기준점인 것으로 결정할 수 있다.For example, the visual field reference point determining unit 220 according to an embodiment of the present invention can recognize the common point between two or more axes specified as above as a point corresponding to the center of rotation of the user's eyeball, It can be determined that the common point is the visual reference point of the user.

즉, 본 발명의 일 실시예에 따르면, 사용자는 자신이 착용하고 있는 디스플레이 디바이스(100)의 디스플레이 화면 상에 표시되는 가상 객체를 디스플레이 화면 너머에 존재하는 실물 객체와 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 서로 다른 두 쌍의 가상 객체 및 실물 객체에 대하여 각각 수행하는 것만으로, 해당 사용자에게 적용되는 시야 기준점이 정확하게 결정될 수 있게 된다. 예를 들면, 사용자는 자신의 시점에서 볼 때 디스플레이 화면 너머에 존재하는 자신의 손가락 끝이 디스플레이 화면 상에 표시되는 점에 겹쳐져 보이도록 자신의 손가락을 허공에 위치시키는 동작을 서로 다른 점에 대하여 두 번 이상 행하는 것만으로, 자신의 시점에 정확하게 맞춤화된 영상을 제공 받을 수 있게 된다.That is, according to one embodiment of the present invention, the user can make the virtual objects displayed on the display screen of the display device 100 worn by him / herself correspond to the physical objects existing over the display screen (i.e., ) Operation is performed for each of two different pairs of virtual objects and real objects, the visual reference point applied to the user can be accurately determined. For example, when the user looks at his / her own point of view, his or her fingertip located on the display screen overlaps the point displayed on the display screen. It is possible to receive a personalized image precisely at its own point of view only by performing it more than once.

또한, 본 발명의 일 실시예에 따르면, 위와 같이 한번 결정된 시야 기준점은 사용자의 눈동자의 위치 또는 방향이 변경되더라도(즉, 사용자의 안구가 회전하더라도) 유효하게 유지되므로, 일반적인 사용 환경에서 사용자의 눈동자의 위치 또는 방향이 변경되더라도 그에 맞추어 시야 기준점을 다시 산출할 필요가 없게 된다.In addition, according to the embodiment of the present invention, since the visual reference point determined once is effective even if the position or direction of the user's pupil is changed (i.e., the user's eyeball rotates), the user's eyes It is not necessary to calculate the visual reference point again according to the change of the position or direction of the visual reference point.

구체적으로, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)를 통해 표시되는 영상이 2차원(2D) 영상인 경우에 시야 기준점 결정부(220)는 사용자의 왼쪽 눈 및 오른쪽 눈 중 어느 한쪽 눈에 대하여만 시야 기준점을 결정할 수 있고, 디스플레이 디바이스(100)를 통해 표시되는 영상이 3차원(3D) 영상인 경우에는, 사용자의 두 눈 사이의 시차(視差)를 이용하여 입체감을 구현해야 하므로, 시야 기준점 결정부(220)는 사용자의 왼쪽 눈 및 오른쪽 눈 모두에 대하여 시야 기준점을 결정할 수 있다.According to an embodiment of the present invention, when the image displayed through the display device 100 is a two-dimensional (2D) image, the visual field reference point determination unit 220 determines When the image displayed through the display device 100 is a three-dimensional (3D) image, the stereoscopic effect must be realized by using a parallax between two eyes of the user , The visual field reference point determination unit 220 can determine the visual reference point for both the left eye and the right eye of the user.

한편, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 둘 이상의 시축 사이의 공통점이 복수인 경우에, 디스플레이 디바이스(100)를 통해 표시되는 영상의 표시 상태 등을 참조로 하여, 복수의 공통점 중 어느 하나를 시야 기준점으로서 결정하거나 복수의 공통점으로부터 도출되는 새로운 점을 시야 기준점으로서 결정할 수 있다. 본 발명의 일 실시예에 따라 시축 공통점이 복수인 경우에 시야 기준점을 결정하는 구성에 관한 자세한 설명은, 도 6 내지 도 8을 참조로 하여 후술하기로 한다.According to an embodiment of the present invention, when a plurality of common points exist between two or more time axes, the visual field reference point determination unit 220 determines a visual reference point based on a display state of an image displayed through the display device 100 , It is possible to determine any one of a plurality of common points as a visual reference point or a new point derived from a plurality of common points as a visual reference point. A detailed description of a structure for determining a visual reference point in a case where there are a plurality of common axis common points according to an embodiment of the present invention will be described later with reference to Figs. 6 to 8. Fig.

한편, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 디스플레이 디바이스(100)에 의하여 제공되는 디스플레이 화면과 사용자의 눈 사이의 상대적인 위치 관계에 변화가 발생하는 경우에(예를 들면, 사용자가 디스플레이 디바이스를 벗었다가 다시 쓰거나 고쳐 씀에 따라 사용자의 눈과 디스플레이 화면 사이의 위치 관계가 달라지는 경우에), 새로 인식되는 가상 객체의 위치 및 실물 객체의 위치를 참조로 하여 둘 이상의 시축을 새로 특정하고, 그 새로 특정되는 둘 이상의 시야 기준점 사이의 공통점을 참조로 하여 사용자의 눈에 적용될 시야 기준점을 새로 결정할 수 있다.According to an embodiment of the present invention, when a change occurs in a relative positional relationship between a display screen provided by the display device 100 and a user's eye (for example, The positional relationship between the user's eyes and the display screen changes as the user removes the display device and rewrites or rewrites the display device), the position of the virtual object newly recognized and the position of the real object are referred to, And a visual reference point to be applied to the user's eyes can be newly determined with reference to the common point between the two or more visual reference points newly specified.

다음으로, 본 발명의 일 실시예에 따르면, 디스플레이 관리부(230)는, 위와 같이 결정되는 시야 기준점을 참조로 하여, 디스플레이 디바이스(100)를 통하여 사용자에게 제공될 영상의 표시 상태를 제어하는 기능을 수행할 수 있다.Next, according to an embodiment of the present invention, the display management unit 230 controls the display state of the image to be provided to the user through the display device 100, with reference to the visual reference point determined as described above Can be performed.

구체적으로, 본 발명의 일 실시예에 따른 디스플레이 관리부(230)는, 디스플레이 디바이스(100)를 착용하고 있는 사용자에게 적용되는 시야 기준점을 기준으로 하여, 디스플레이 디바이스(100)의 디스플레이 화면 상에 표시되는 영상의 표시 좌표를 제어할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 디스플레이 화면은 가상의 평면 또는 가상의 곡면에 의하여 정의될 수 있다.Specifically, the display management unit 230 according to an exemplary embodiment of the present invention displays on the display screen of the display device 100, based on a visual reference point applied to a user wearing the display device 100 The display coordinates of the image can be controlled. Here, according to an embodiment of the present invention, the display screen may be defined by a virtual plane or a virtual curved surface.

다음으로, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는, 디스플레이 디바이스(100)의 디스플레이 화면 상에 표시되는 가상 객체의 위치에 관한 정보, 디스플레이 디바이스(100)의 디스플레이 화면 너머에 존재하는 실물 객체의 위치에 관한 정보, 사용자의 눈동자의 위치 또는 방향에 관한 정보, 디스플레이 디바이스(100)를 통하여 표시되는 영상에 관한 정보 등의 다양한 정보가 저장될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는 본 발명에 따라 수행되는 시야 기준점 결정 및 영상 표시를 위해 필요한 다양한 정보가 더 저장될 수 있다. 비록 도 2에서 데이터베이스(240)가 메인 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(240)는 메인 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(240)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(240)가 될 수 있다.Next, according to one embodiment of the present invention, the database 240 stores information on the position of the virtual object displayed on the display screen of the display device 100, information on the position of the virtual object displayed on the display screen of the display device 100 Information on the position of the physical object, information on the position or direction of the user's pupil, information on the image displayed through the display device 100, and the like. In addition, according to an embodiment of the present invention, the database 240 may further store various information necessary for determination of a visual reference point and image display performed according to the present invention. Although the database 240 is shown as being comprised in the main system 200 in FIG. 2, the database 240 may be configured separately from the main system 200, according to the needs of those skilled in the art implementing the present invention. It is possible. On the other hand, the database 240 in the present invention is a concept including a computer-readable recording medium, and may be a broad database including not only a consultation database but also a data record based on a file system, Even if the set can retrieve the data and extract the data, it can be the database 240 in the present invention.

다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 메인 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.Next, the communication unit 250 according to an embodiment of the present invention performs a function of allowing the main system 200 to communicate with an external device.

마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(260)는 외부로부터의 또는 메인 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어한다.The control unit 260 according to an exemplary embodiment of the present invention may control the flow of data between the object sensing unit 210, the visual reference point determining unit 220, the display managing unit 230, the database 240, As shown in FIG. That is, the control unit 260 controls the flow of data between the components of the main system 200 or from outside, thereby controlling the object sensing unit 210, the visual reference point determining unit 220, the display managing unit 230, (240) and the communication unit (250), respectively.

한편, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)은, 디스플레이 디바이스(100)를 통하여 표시되는 둘 이상의 가상 객체의 위치 및 둘 이상의 가상 객체를 각각 주시하는 사용자의 눈동자의 중심의 위치를 참조로 하여 둘 이상의 기준축을 각각 특정하고, 위와 같이 특정되는 둘 이상의 기준축 사이의 공통점을 참조로 하여 해당 사용자에게 적용되는 시야 기준점을 결정함으로써, 사용자의 입장에서 디스플레이 화면 너머의 실세계가 보이지 않는 가상 현실(VR) 타입의 디스플레이 디바이스(100)의 경우에도 사용자의 시점에 부합하는 영상이 정확하게 제공되도록 하는 기능을 수행할 수 있다.Meanwhile, according to another exemplary embodiment of the present invention, the main system 200 may display a position of two or more virtual objects displayed through the display device 100 and a position of the center of the user's pupil, A virtual reference point to be applied to the user is determined by referring to common points between two or more reference axes specified as described above, thereby determining a virtual reference point to which a virtual world beyond the display screen is not visible In the case of the display device 100 of the real (VR) type, it is also possible to perform a function of accurately providing an image matching the user's viewpoint.

먼저, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 객체 감지부(210)는, 디스플레이 디바이스(100)를 통하여 표시되는 가상 객체의 위치를 인식하고, 사용자가 가상 객체를 주시할 때 사용자의 눈동자의 중심의 위치를 인식할 수 있다.According to another embodiment of the present invention, the object detection unit 210 of the main system 200 recognizes the position of the virtual object displayed through the display device 100, and when the user watches the virtual object The position of the center of the user's pupil can be recognized.

다음으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 시야 기준점 결정부(220)는, 제1 가상 객체의 위치 및 제1 가상 객체를 주시하는 사용자의 눈동자의 중심의 위치를 잇는 직선을 제1 기준축으로서 특정하고, 제2 가상 객체의 위치 및 제2 가상 객체를 주시하는 사용자의 눈동자의 중심의 위치를 잇는 직선을 제2 기준축으로서 특정할 수 있다.Next, in accordance with another embodiment of the present invention, the visual field reference point determination unit 220 of the main system 200 determines the visual reference point determination unit 220 of the main system 200 based on the position of the first virtual object and the position of the center of the user ' The straight line may be specified as the first reference axis and a straight line connecting the position of the second virtual object and the center of the pupil of the user who views the second virtual object may be specified as the second reference axis.

보다 구체적으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 시야 기준점 결정부(220)는, 위의 제1 기준축을 제1 가상 객체를 주시하는 사용자의 제1 시축으로 대체하고, 위의 제2 기준축을 제2 가상 객체를 주시하는 사용자의 제2 시축으로 대체함으로써, 사용자에게 적용되는 시야 기준점이 보다 정확하게 결정되도록 할 수 있다. 여기서, 본 발명의 다른 실시예에 따르면, 기준축을 대체하기 위한 시축은, 위의 본 발명의 일 실시예에서 설명된 바와 같이, 디스플레이 디바이스(100)를 통해 표시되는 가상 객체와 사용자가 그 가상 객체에 대응하여 행하는 제스쳐에 기초하여 특정될 수 있을 것이다.More specifically, according to another embodiment of the present invention, the field of view reference point determination unit 220 of the main system 200 replaces the first reference axis with the first reference axis of the user watching the first virtual object, By replacing the above second reference axis with the second time axis of the user who is watching the second virtual object, the visual reference point applied to the user can be determined more accurately. Here, according to another embodiment of the present invention, the time axis for replacing the reference axis can be determined by comparing the virtual object displayed through the display device 100 with the virtual object displayed through the display device 100, as described in the above embodiment of the present invention. Based on the gesture performed in response to the gesture.

다음으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 시야 기준점 결정부(220)는, 위와 같이 특정되는 둘 이상의 기준축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제1 기준축 및 제2 기준축 사이의 공통점은, 제1 기준축 및 제2 기준축이 교차하는 경우에 제1 기준축 및 제2 기준축 사이의 교차점일 수 있고, 제1 기준축 및 제2 기준축이 교차하지 않는 경우에 제1 기준축 및 제2 기준축을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다.Next, according to another embodiment of the present invention, the visual field reference point determining unit 220 of the main system 200 determines a visual reference point applied to the user with reference to a common point between two or more reference axes specified as above . According to an embodiment of the present invention, a common point between the first reference axis and the second reference axis is a point between the first reference axis and the second reference axis when the first reference axis and the second reference axis intersect, And may be an intermediate point of a virtual line segment connecting the first reference axis and the second reference axis at the shortest distance when the first reference axis and the second reference axis do not intersect with each other.

다음으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 디스플레이 관리부(230)는 위와 같이 결정되는 시야 기준점을 참조로 하여 사용자에게 제공되는 디스플레이 디바이스(100)를 통하여 사용자에게 제공될 영상의 표시 상태를 제어하는 기능을 수행할 수 있다.Next, in accordance with another embodiment of the present invention, the display management unit 230 of the main system 200 displays the video to be provided to the user through the display device 100 provided to the user with reference to the visual reference point determined as described above And the display state of the display device.

이상에서 살펴본 바와 같이, 본 발명의 다른 실시예에 따르면, 시야 기준점을 결정하기 위하여 사용자의 눈동자의 위치를 인식하기는 하지만, 이와 같이 사용자의 눈동자의 위치를 인식하는 것은 디스플레이 디바이스(100)의 구동 초기에 시야 기준점을 결정하고 영상의 표시 상태를 조정하는 캘리브레이션(calibration) 과정에서만 요구되는 것이며, 일단 시야 기준점이 정상적으로 결정된 이후에는 사용자의 눈동자의 위치를 실시간으로 인식하거나 추적할 필요가 없음을 밝혀 둔다.As described above, according to another embodiment of the present invention, the position of the user's pupil is determined in order to determine the visual reference point. However, It is necessary only in the calibration process of initially determining the visual reference point and adjusting the display state of the image and once the visual reference point is normally determined, it is not necessary to recognize or track the position of the user's pupil in real time .

실시예들Examples

아래에서는, 본 발명에 따른 메인 시스템(200)가 여러 실시예에 따라 디스플레이 디바이스(100)를 통하여 표시되는 영상을 제공 받는 사용자의 시야 기준점을 결정하는 구체적인 예에 관하여 자세하게 살펴보기로 한다.Hereinafter, a detailed example in which the main system 200 according to the present invention determines a visual reference point of a user to receive an image displayed through the display device 100 according to various embodiments will be described in detail.

도 3은 종래 기술에 따른 시야 기준점 결정 방법과 본 발명에 따른 시야 기준점 결정 방법을 비교하여 나타내는 도면이다.3 is a view showing a comparison of a method of determining a visual reference point according to the prior art and a method of determining a visual reference point according to the present invention.

먼저, 도 3의 (a)를 참조하면, 사용자의 눈동자(310A, 310B, 310C)를 실시간으로 추적하고 그 추적된 눈동자의 위치를 시야 기준점(310A, 310B, 310C)을 삼아 영상의 표시 상태를 실시간으로 조절하는 종래 기술에 따를 경우에, 디스플레이 화면(304) 상에 표시되는 가상 객체(321A 내지 323A, 321B 내지 323B, 321B 내지 323B)의 표시 상태(주로는, 표시 위치 또는 방향)가 위의 실시간으로 변경되는 시야 기준점(310A, 310B, 310C)에 맞추어 실시간으로 변경되어야 함을 확인할 수 있다. 예를 들면, 시야 기준점이 310A인 경우에 실물 객체(301, 302, 303)에 각각 대응하여 표시되는 가상 객체의 표시 위치는 321A, 322A, 323A가 될 수 있고, 시야 기준점이 310B인 경우에 실물 객체에 각각 대응하여 표시되는 가상 객체의 표시 위치는 321B, 322B, 323B가 될 수 있으며, 시야 기준점이 310C인 경우에 실물 객체(301, 302, 303)에 각각 대응하여 표시되는 가상 객체의 표시 위치는 321C, 322C, 323C가 될 수 있다.3 (a), the user's eyes 310A, 310B, and 310C are tracked in real time, and the position of the tracked pupil is used as viewing reference points 310A, 310B, and 310C to display the display state of the image The display state (mainly display position or direction) of the virtual objects 321A to 323A, 321B to 323B, and 321B to 323B displayed on the display screen 304 is changed to the above It can be confirmed that it should be changed in real time according to the visual reference points 310A, 310B, and 310C that are changed in real time. For example, in the case where the visual reference point is 310A, the display positions of virtual objects displayed corresponding to the physical objects 301, 302, and 303 may be 321A, 322A, and 323A, The display positions of the virtual objects displayed corresponding to the objects may be 321B, 322B, and 323B. In the case where the visual reference point is 310C, the display positions of the virtual objects displayed corresponding to the physical objects 301, May be 321C, 322C, and 323C.

다음으로, 도 3의 (b)를 참조하면, 둘 이상의 시축 사이의 공통점을 참조로 하여 사용자의 안구의 회전 중심에 해당하는 시야 기준점(330)을 결정하는 본 발명에 따를 경우에는, 시야 기준점(330)이 사용자의 눈(305) 또는 눈동자(331 내지 333)의 움직임과 관계 없이 일정하게 유지될 수 있으므로, 디스플레이 화면(304) 상에 표시되는 가상 객체(341 내지 343)의 표시 상태(주로는, 표시 위치 또는 방향) 역시 사용자의 눈(305) 또는 눈동자(331 내지 333)의 움직임에 따라 변경될 필요 없이 일정하게 유지될 수 있음을 확인할 수 있다. 예를 들면, 시야 기준점이 330으로서 일정하게 유지되는 경우에 사용자의 눈동자의 위치(331, 332, 333)가 변경되어도 실물 객체(301, 302, 303)에 각각 대응하여 표시되는 가상 객체의 표시 위치는 341, 342, 343으로서 일정하게 유지될 수 있다.Next, referring to FIG. 3B, in accordance with the present invention, in which a visual reference point 330 corresponding to the center of rotation of the user's eye is determined with reference to a common point between two or more visual axes, The display state of the virtual objects 341 to 343 displayed on the display screen 304 (mainly the display state of the virtual objects 341 to 343) can be kept constant regardless of the movement of the user's eyes 305 or the pupils 331 to 333 , The display position or the direction) can be kept constant without being changed according to the movement of the user's eyes 305 or the pupils 331 to 333. For example, even if the positions 331, 332, and 333 of the user's pupils are changed when the visual reference point is kept constant at 330, the display positions of the virtual objects displayed corresponding to the physical objects 301, Can be kept constant as 341, 342, 343.

도 4 및 도 5는 본 발명의 일 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다. 도 4는 2차원 영상을 표시하는 경우에 적용될 수 실시예에 관한 것이고, 도 5는 3차원 영상을 표시하는 경우에 적용될 수 있는 실시예에 관한 것이다.FIG. 4 and FIG. 5 illustrate a configuration for determining a visual reference point according to an embodiment of the present invention. FIG. 4 relates to an embodiment applicable to displaying a two-dimensional image, and FIG. 5 relates to an embodiment applicable to a case of displaying a three-dimensional image.

먼저, 도 4를 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 고개를 돌리거나 손가락 끝(401)을 이동시켜서 디스플레이 화면(403) 상의 제1 가상 객체(421)와 디스플레이 화면(403) 너머의 손가락 끝(401)이 사용자의 시점에서 서로 겹쳐져 보이도록 함으로써, 제1 가상 객체(421)의 위치와 손가락 끝(401)의 위치를 잇는 제1 시축(431)이 특정되도록 할 수 있다.4, a user wearing a display device 100 on a head or an eye part rotates a head or moves a fingertip 401 to move a first virtual object 421 on a display screen 403 The first time axis 431 connecting the position of the first virtual object 421 and the position of the fingertip 401 is determined to be the same as that of the first virtual object 421 by making the fingertips 401 beyond the display screen 403 overlap each other .

계속하여, 도 4를 참조하면, 사용자가 고개를 돌리거나 상자를 이동시켜서 디스플레이 화면(403) 상의 제2 가상 객체(422)와 디스플레이 화면(403) 너머의 상자의 꼭지점(402)이 사용자의 시점에서 서로 겹쳐져 보이도록 함으로써 제2 가상 객체(422)의 위치와 상자의 꼭지점(402)의 위치를 잇는 제2 시축(432)이 특정되도록 할 수 있다.4, when the user turns his or her head or moves the box, the second virtual object 422 on the display screen 403 and the vertex 402 of the box over the display screen 403 are moved to the user's viewpoint So that the second time axis 432 connecting the position of the second virtual object 422 to the position of the vertex 402 of the box can be specified.

계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 시축 및 제2 시축의 사이의 공통점을 사용자에게 적용되는 시야 기준점(410)인 것으로 결정할 수 있고, 이와 같이 결정되는 시야 기준점(410)을 기준으로 하여 디스플레이 화면(403) 상에 표시되는 2차원 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다.Referring to FIG. 4, the main system 200 according to an embodiment of the present invention determines a common point between the first time axis and the second time axis, which are specified as described above, Dimensional image displayed on the display screen 403 on the basis of the visual reference point 410 determined as described above. [0154] In addition, the display state of the two-dimensional image displayed on the display screen 403 can be controlled.

다음으로, 도 5를 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 고개를 돌리거나 손가락 끝(501)을 이동시켜서 왼쪽 눈(504A)에 대한 디스플레이 화면(503A) 상의 제1 가상 객체(511A)와 디스플레이 화면(503A) 너머의 손가락 끝(501)이 사용자의 왼쪽 눈의 시점에서 서로 겹쳐져 보이도록 함으로써 제1 가상 객체(511A)의 위치와 손가락 끝(501)의 위치를 잇는 제1 좌 시축(521A)이 특정되도록 할 수 있다. 또한, 사용자가 고개를 돌리거나 상자를 이동시켜서 왼쪽 눈에 대한 디스플레이 화면(503A) 상의 제2 가상 객체(512A)와 디스플레이 화면(503A) 너머의 상자의 꼭지점(502)이 사용자의 왼쪽 눈의 시점에서 서로 겹쳐져 보이도록 함으로써 제2 가상 객체(512A)의 위치와 상자의 꼭지점(502)의 위치를 잇는 제2 좌 시축(522A)이 특정되도록 할 수 있다.5, a user wearing the display device 100 on the head or the eye may turn his / her head or move the fingertip 501 to move the fingertip 501 on the display screen 503A with respect to the left eye 504A The first virtual object 511A and the fingertips 501 beyond the display screen 503A are overlapped at the viewpoint of the left eye of the user so that the position of the first virtual object 511A and the position of the fingertip 501 So that the first left time axis 521A connecting the first left time axis 521A and the second left time axis 521A can be specified. The second virtual object 512A on the display screen 503A and the vertex 502 of the box beyond the display screen 503A on the left eye are displayed on the left eye So that the second left observer 522A connecting the position of the second virtual object 512A with the position of the box vertex 502 can be specified.

계속하여, 도 5를 참조하면, 사용자의 왼쪽 눈(504A)에 대하여 제1 좌 시축(521A) 및 제2 좌 시축(522A)을 특정한 것과 같은 방법으로, 사용자의 오른쪽 눈(504B)에 대하여 제1 우 시축(521B) 및 제2 우 시축(522B)을 특정할 수 있다.Referring to FIG. 5, a method is described in which the first left time axis 521A and the second left time axis 522A are specified with respect to the user's left eye 504A, 1 right axis 521B and the second right axis 522B can be specified.

계속하여, 도 5를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 좌 시축(521A) 및 제2 좌 시축(522A)의 사이의 공통점을 사용자의 왼쪽 눈에게 적용되는 좌 시야 기준점(530A)인 것으로 결정할 수 있고, 이와 같이 결정되는 좌 시야 기준점(530A)을 기준으로 하여 왼쪽 눈에 대한 디스플레이 화면(503A) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 결정할 수 있다. 또한, 도 5를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 우 시축(521B) 및 제2 우 시축(522B)의 사이의 공통점을 사용자의 오른쪽 눈에게 적용되는 우 시야 기준점(530B)인 것으로 결정할 수 있고, 이와 같이 결정되는 우 시야 기준점(530B)을 기준으로 하여 오른쪽 눈에 대한 디스플레이 화면(503B) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 결정할 수 있다.5, the main system 200 according to an exemplary embodiment of the present invention may be configured such that a common point between the first left-hand time axis 521A and the second left-hand time axis 522A, It can be determined that the left visual field reference point 530A is applied to the left eye and the display state of the image displayed on the display screen 503A with respect to the left eye based on the left visual field reference point 530A thus determined , Display position or direction) can be determined. 5, the main system 200 according to an embodiment of the present invention may have a common point between the first right-hand axis 521B and the second right-hand axis 522B, The display state of the image displayed on the display screen 503B with respect to the right eye (that is, the display state of the image displayed on the display screen 503B with respect to the right eye based on the thus determined right eye reference point 530B) Display position or direction) can be determined.

따라서, 본 발명의 일 실시예에 따르면, 좌 시야 기준점 및 우 시야 기준점을 각각 기준으로 하여 왼쪽 눈에 대한 디스플레이 화면(503A) 및 오른쪽 눈에 대한 디스플레이 화면(503B) 상에 각각 표시되는 영상의 표시 상태를 각각 결정함으로써 사용자의 시점에 부합하는 3차원 영상을 제공할 수 있게 된다.Therefore, according to an embodiment of the present invention, the display of the image displayed on the display screen 503A for the left eye and the display screen 503B for the right eye, respectively, on the basis of the left visual reference point and the right visual reference point, Dimensional image corresponding to the viewpoint of the user can be provided.

도 6 내지 도 8은 본 발명의 일 실시예에 따라 둘 이상의 시축 사이의 공통점이 복수인 경우에 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.6 to 8 are views illustrating a configuration for determining a visual reference point when there are a plurality of common points between two or more time axes according to an embodiment of the present invention.

먼저, 도 6을 참조하면, 사용자가 자신의 시야각 범위(2φ) 내에서 서로 다른 3개의 실물 객체를 주시함에 따라 3개의 시축이 각각 특정되고, 3개의 시축 중 서로 인접하는 두 시축 사이에 2개의 공통점이 각각 특정되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따르면, 제1 시축(611) 및 제2 시축(612) 사이의 공통점(631)과 제2 시축(612) 및 제3 시축(613) 사이의 공통점(632)을 연결하는 가상의 선분의 중간점이 해당 사용자에게 적용되는 시야 기준점(640)인 것으로 결정될 수 있다.Referring to FIG. 6, three time axes are identified as the user observes three different physical objects within his viewing angle range (2φ), and two time axes among the three time axes, And the common points are respectively specified. The common point 631 between the first time axis 611 and the second time axis 612 and the common point 631 between the second time axis 612 and the third time axis 613 632 may be determined to be the visual reference point 640 applied to the user.

한편, 도 6을 참조하면, 본 발명의 일 실시예에 따라 특정되는 복수의 시축(611, 612, 613) 사이의 공통점(631, 632) 각각 또는 그 공통점 사이의 중간점(640)은 사용자의 안구의 회전 중심으로 인정될 수 있을 정도로 사용자의 안구의 실제 회전 중심과의 차이가 크지 않으므로, 복수의 시축(611, 612, 613) 사이의 공통점을 기준으로 하여 사용자의 시야 기준점(640)을 정확하게 결정할 수 있게 된다. 나아가, 본 발명의 일 실시예에 다르면, 위와 같이 결정되는 시야 기준점(640)을 기준으로 하여 표시되는 영상을 제공 받는 사용자는 별다른 위화감이나 어색함 없이 영상을 시청할 수 있게 된다.6, the common points 631 and 632 between the plurality of time axes 611, 612, and 613 specified in accordance with an embodiment of the present invention, or the midpoint 640 between the common points 631 and 632, The visual reference point 640 of the user can be precisely positioned on the basis of the common point between the plurality of time axes 611, 612, 613 because the difference between the actual center of rotation of the user's eye and the actual center of rotation of the eyeball is not large enough to be recognized as the center of rotation of the eyeball. It becomes possible to decide. In addition, according to an embodiment of the present invention, a user who receives an image displayed based on the visual reference point 640 determined as described above can view an image without any discomfort or awkwardness.

다음으로, 도 7을 참조하면, 사용자가 기설정된 각도 범위(60도) 내에서 서로 다른 5개의 실물 객체를 주시함에 따라 5개의 시축(711 내지 715)이 각각 특정되고, 5개의 시축 중 서로 인접하는 두 시축 사이에 4개의 공통점(731 내지 734)이 각각 특정되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따르면, 디스플레이 화면(미도시됨) 상에 표시되는 영상의 각도 범위에 따라, 위의 4개의 공통점(731 내지 734) 각각을 시야 기준점인 것으로 결정할 수 있다.Next, referring to FIG. 7, five time axes 711 to 715 are respectively specified as the user watches five different physical objects within a predetermined angle range (60 degrees), and among the five time axes It is assumed that four common points 731 to 734 are specified between the two time axes. In this case, according to one embodiment of the present invention, it is possible to determine that each of the above four common points 731 to 734 is a visual reference point, according to the angular range of the image displayed on the display screen (not shown) .

구체적으로, 도 7을 참조하면, 사용자의 안구(707)를 중심으로 하여 -30도 내지 -15도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제1 시축(711) 및 제2 시축(712) 사이의 공통점(731)이 시야 기준점인 것으로 결정될 수 있고, 사용자의 안구(707)를 중심으로 하여 -15도 내지 0도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제2 시축(712) 및 제3 시축(713) 사이의 공통점(732)이 시야 기준점인 것으로 결정될 수 있고, 사용자의 안구(707)를 중심으로 하여 0도 내지 15도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제3 시축(713) 및 제4 시축(714) 사이의 공통점(733)이 시야 기준점인 것으로 결정될 수 있고, 사용자의 안구(707)를 중심으로 하여 15도 내지 30도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제4 시축(714) 및 제5 시축(715) 사이의 공통점(734)이 시야 기준점인 것으로 결정될 수 있다.7, a first time axis 711 for specifying an angular range for an image displayed in an angular range corresponding to -30 degrees to -15 degrees with respect to the user's eyeball 707, The common point 731 between the second time axes 712 can be determined to be the visual reference point and for the image displayed in the angular range corresponding to -15 degrees to 0 degrees with respect to the eye 707 of the user, It can be determined that the common point 732 between the second time axis 712 and the third time axis 713 that specify the range is the viewing reference point and the center of gravity of the eye 707 corresponding to 0 to 15 degrees It can be determined that the common point 733 between the third time axis 713 and the fourth time axis 714 that specifies the angular range for the image displayed in the angular range is the visual reference point and the eye 707 of the user is centered The angle corresponding to 15 to 30 degrees It can be determined that the common point 734 between the fourth time axis 714 and the fifth time axis 715 that specify the angular range is the viewing reference point.

다음으로, 도 8을 참조하면, 가상의 평면 또는 가상의 곡면 상에서 정의되는 디스플레이 화면(805)을 구성하는 복수의 영역에 대응하는 복수의 시야 기준점이 존재하는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따르면, 디스플레이 화면(805) 상에 표시되는 영상(또는 가상 객체)(811 내지 814)의 위치(또는 그 위치가 속하는 영역)를 참조로 하여, 해당 영상(또는 가상 객체)(811 내지 814)에 대하여 적용되는 시야 기준점(831 내지 834)이 적응적으로 결정될 수 있다. 따라서, 본 발명에 의하면, 디스플레이 화면(805)의 넓은 영역에 걸쳐서 다양한 위치에 다양한 영상(또는 가상 객체)(811 내지 814)을 표시함에 있어서, 다양한 표시 위치 각각에 대하여 그에 부합하는 시야 기준점(831 내지 834)을 적응적으로 결정할 수 있고, 이에 따라 영상(또는 가상 객체)(811 내지 814)를 그 표시 위치에 부합하는 시야 기준점(831 내지 834)을 기준으로 하여 보다 정확하게 표시할 수 있게 된다.Next, referring to FIG. 8, it is assumed that there are a plurality of visual reference points corresponding to a plurality of areas constituting the display screen 805 defined on a virtual plane or a virtual curved surface. In this case, with reference to the position (or the area to which the image belongs) of the image (or virtual objects) 811 to 814 displayed on the display screen 805 according to an embodiment of the present invention, (Or virtual objects) 811 to 814 can be adaptively determined. Accordingly, in displaying various images (or virtual objects) 811 to 814 at various positions over a wide area of the display screen 805, a visual reference point 831 To 834 can be adaptively determined so that it is possible to more accurately display the images (or virtual objects) 811 to 814 based on the visual reference points 831 to 834 matching the display positions.

구체적으로, 도 8을 참조하면, 제1 실물 객체(801)에 대응하여 디스플레이 화면(805) 상에 제1 그래픽 객체(811)가 표시되어야 하는 경우에, 디스플레이 화면(805) 중 제1 가상 객체(811)가 속하는 제1 영역(841)에 대응하는 제1 시야 기준점(831)을 기준으로 하여 제1 가상 객체(811)의 표시 상태가 결정될 수 있다. 계속하여 도 8을 참조하면, 제2 실물 객체(802)에 대응하여 디스플레이 화면(805) 상에 제2 그래픽 객체(812)가 표시되어야 하는 경우에, 디스플레이 화면(805) 중 제2 가상 객체(812)가 속하는 제2 영역(842)에 대응하는 제2 시야 기준점(832)을 기준으로 하여 제2 가상 객체(812)의 표시 상태가 결정될 수 있다.8, when the first graphic object 811 is to be displayed on the display screen 805 corresponding to the first physical object 801, the first virtual object 801 of the display screen 805 is displayed, The display state of the first virtual object 811 can be determined based on the first visual reference point 831 corresponding to the first area 841 to which the first virtual object 811 belongs. 8, when a second graphic object 812 is to be displayed on the display screen 805 corresponding to the second physical object 802, the second virtual object 812 of the display screen 805 The display state of the second virtual object 812 can be determined based on the second visual reference point 832 corresponding to the second area 842 to which the second virtual object 812 belongs.

도 9는 본 발명의 일 실시예에 따라 시야 기준점을 기준으로 하여 영상의 표시 상태를 결정하는 구성을 예시적으로 나타내는 도면이다.9 is a diagram illustrating an exemplary configuration for determining a display state of an image based on a visual reference point according to an exemplary embodiment of the present invention.

도 9를 참조하면, 앞선 다양한 실시예에 따라 특정되는 복수의 시축(921, 922, 923)을 참조로 하여 결정되는 시야 기준점(930)을 기준으로 하여 디스플레이 디바이스(100)의 디스플레이 화면(904) 상에 표시되는 영상(911 내지 913)의 표시 위치를 제어할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 디스플레이 화면(904) 너머의 실물 객체(901 내지 903)와 대응되어 디스플레이 화면(904) 상에 표시되는 그래픽 객체(911 내지 913)의 표시 위치는 시야 기준점(930)을 기준으로 하여 결정될 수 있고, 이렇게 결정된 그래픽 객체의 표시 위치(911, 912, 913)는 사용자의 눈동자가 움직이더라도 시야 기준점(930)이 바뀌지 않는 한 변함 없이 유지될 수 있다.9, a display screen 904 of the display device 100 is displayed on the basis of a visual reference point 930 determined with reference to a plurality of time axes 921, 922, and 923 specified according to various embodiments described above. It is possible to control the display positions of the images 911 to 913 displayed on the screen. The display positions of the graphic objects 911 to 913 displayed on the display screen 904 in correspondence with the physical objects 901 to 903 over the display screen 904 are displayed on the display screen 904. [ The display positions 911, 912 and 913 of the graphic object thus determined can be maintained unchanged as long as the visual reference point 930 does not change even if the user's eyes move.

도 10 및 도 11은 본 발명의 다른 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다. 도 10은 2차원 영상을 표시하는 경우에 적용될 수 있는 실시예에 관한 것이고, 도 11은 3차원 영상을 표시하는 경우에 적용될 수 있는 실시예에 관한 것이다.Figs. 10 and 11 are diagrams illustrating a configuration for determining a visual reference point according to another embodiment of the present invention. Fig. FIG. 10 relates to an embodiment that can be applied to displaying a two-dimensional image, and FIG. 11 relates to an embodiment that can be applied when displaying a three-dimensional image.

먼저, 도 10을 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 가상의 평면 또는 가상의 곡면에 의하여 정의되는 디스플레이 화면(1003)에 표시되는 제1 가상 객체(1011)를 주시함으로써 제1 가상 객체(1011)의 위치와 제1 가상 객체(1011)를 주시하는 사용자의 눈동자의 중심(1021)의 위치를 잇는 제1 기준축(1031)이 특정되도록 할 수 있다.10, a first virtual object 1011 displayed on a display screen 1003 in which a user wearing a display device 100 on a head or an eye part is defined by a virtual plane or a virtual curved surface, The first reference axis 1031 connecting the position of the first virtual object 1011 with the position of the center 1021 of the user's pupil watching the first virtual object 1011 can be specified.

계속하여, 도 10을 참조하면, 사용자가 가상의 평면 또는 가상의 곡면에 의하여 정의되는 디스플레이 화면(1003)에 표시되는 제2 가상 객체(1012)를 주시함으로써 제2 가상 객체(1012)의 위치와 제2 가상 객체(1012)를 주시하는 사용자의 눈동자의 중심(1022)의 위치를 잇는 제2 기준축(1032)이 특정되도록 할 수 있다.10, when the user views the second virtual object 1012 displayed on the display screen 1003 defined by a virtual plane or a virtual curved surface, the position of the second virtual object 1012 The second reference axis 1032 connecting the position of the center 1022 of the user's pupil watching the second virtual object 1012 can be specified.

계속하여, 도 10을 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 기준축(1031) 및 제2 기준축(1032)의 사이의 공통점을 사용자에게 적용되는 시야 기준점(1040)인 것으로 결정할 수 있고, 이와 같이 결정되는 시야 기준점(1040)을 기준으로 하여 디스플레이 화면(1003) 상에 표시되는 2차원 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다.10, the main system 200 according to another exemplary embodiment of the present invention may provide a common point between the first reference axis 1031 and the second reference axis 1032, The display state of the two-dimensional image displayed on the display screen 1003 (i.e., the display position or the direction) can be determined based on the visual field reference point 1040 determined as described above, Can be controlled.

다음으로, 도 11을 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 왼쪽 눈에 대한 디스플레이 화면(1103A) 및 오른 쪽 눈에 대한 디스플레이 화면(1103B) 상에 각각 표시되는 제1 가상 객체(1111A, 1111B)를 주시할 때, 사용자의 왼쪽 눈에 대한 디스플레이 화면(1103A) 상에 표시되는 제1 가상 객체(1111A)의 위치와 제1 가상 객체(1111A)를 주시하는 사용자의 왼쪽 눈의 눈동자의 중심(1121A)의 위치를 잇는 제1 좌 기준축(1131A)이 특정되도록 할 수 있고, 사용자의 오른쪽 눈에 대한 디스플레이 화면(1103B) 상에 표시되는 제1 가상 객체(1111B)의 위치와 제1 가상 객체(1111B)를 주시하는 사용자의 오른쪽 눈의 눈동자의 중심(1121B)의 위치를 잇는 제1 우 기준축(1131B)이 특정되도록 할 수 있다.Next, referring to FIG. 11, a user wearing the display device 100 on the head or the eye is displayed on the display screen 1103A for the left eye and the display screen 1103B for the right eye, respectively When viewing the first virtual objects 1111A and 1111B, the position of the first virtual object 1111A displayed on the display screen 1103A for the left eye of the user and the position of the first virtual object 1111A The first left reference axis 1131A connecting the position of the center 1121A of the left eye of the user can be specified and the first virtual object 1111B displayed on the display screen 1103B for the right eye of the user And the first right reference axis 1131B connecting the position of the center 1121B of the right eye of the user who watches the first virtual object 1111B.

계속하여, 도 11을 참조하면, 제1 가상 객체(1111A, 1111B)에 대하여 제1 좌 기준축(1131A) 및 제1 우 기준축(1131B)을 특정한 것과 같은 방법으로, 제2 가상 객체(1112A, 1112B)에 대하여 제2 좌 기준축(1132A) 및 제2 우 기준축(1132B)을 특정할 수 있다.11, the first virtual object 1112A and the second virtual reference object 1112B are selected in such a manner that the first left reference axis 1131A and the first right reference axis 1131B are specified for the first virtual objects 1111A and 1111B, , 1112B can be specified for the second left reference axis 1132A and the second right reference axis 1132B.

계속하여, 도 11을 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 좌 기준축(1131A) 및 제2 좌 기준축(1132A)의 사이의 공통점을 사용자의 왼쪽 눈에게 적용되는 좌 시야 기준점(1140A)인 것으로 결정할 수 있고, 이와 같이 결정되는 좌 시야 기준점(1140A)을 기준으로 하여 왼쪽 눈에 대한 디스플레이 화면(1103A) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다. 또한, 도 11을 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 우 기준축(1131B) 및 제2 우 기준축(1132B)의 사이의 공통점을 사용자의 오른쪽 눈에게 적용되는 우 시야 기준점(1140B)인 것으로 결정할 수 있고, 이와 같이 결정되는 우 시야 기준점(1140B)을 기준으로 하여 오른쪽 눈에 대한 디스플레이 화면(1103B) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다.11, the main system 200 according to another embodiment of the present invention has a common point between the first left reference axis 1131A and the second left reference axis 1132A specified as above It can be determined that the left visual field reference point 1140A is the left visual reference point 1140A applied to the user's left eye and the display state of the image displayed on the display screen 1103A with respect to the left eye, (I.e., display position or direction). 11, the main system 200 according to another embodiment of the present invention may share the common point between the first right reference axis 1131B and the second right reference axis 1132B specified as above, And the display state of the image displayed on the display screen 1103B with respect to the right eye based on the thus determined right eye reference point 1140B can be determined based on the right eye reference point 1140B applied to the right eye of the right eye That is, the display position or the direction).

따라서, 본 발명의 다른 실시예에 따르면, 사용자의 입장에서 디스플레이 화면 너머의 실세계가 보이지 않는 가상 현실(VR) 타입의 디스플레이 디바이스(100)의 경우에도, 왼쪽 눈에 대한 디스플레이 화면(1103A) 및 오른쪽 눈에 대한 디스플레이 화면(1103B) 상에 각각 표시되는 영상의 표시 상태를 각각 제어함으로써 사용자의 시점에 부합하는 3차원 영상을 제공할 수 있게 된다.Therefore, according to another embodiment of the present invention, even in the case of the virtual reality (VR) type display device 100 in which the real world beyond the display screen is not seen from the viewpoint of the user, the display screen 1103A for the left eye and the right It is possible to provide a three-dimensional image corresponding to the viewpoint of the user by controlling the display states of the images respectively displayed on the display screen 1103B for the eyes.

도 12는 본 발명의 다른 실시예에 따라 시야 기준점을 보정하는 구성을 예시적으로 나타내는 도면이다.12 is a diagram exemplarily showing a configuration for correcting a visual reference point according to another embodiment of the present invention.

도 12를 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 가상 객체의 위치와 해당 가상 객체를 주시하는 사용자의 눈동자의 중심을 위치를 잇는 기준축(1211 내지 1213) 대신에 해당 가상 객체를 주시하는 사용자의 시축(visual axis)(1221 내지 1223)을 참조로 하여 시야 기준점을 결정함으로써, 시야 기준점을 보다 정확하게 결정할 수 있다. 여기서, 본 발명의 다른 실시예에 따르면, 기준축(1211 내지 1213)을 대체하기 위한 시축(1221 내지 1223)은, 위의 본 발명의 일 실시예에서 설명된 바와 같이, 디스플레이 디바이스(100)를 통해 표시되는 가상 객체와 사용자가 그 가상 객체에 대응하여 행하는 제스쳐에 기초하여 특정될 수 있을 것이다.12, the main system 200 according to another exemplary embodiment of the present invention may be configured such that the position of the virtual object and the reference axes 1211 to 1213 connecting the centers of the eyes of the user, The visual reference point can be more accurately determined by determining the visual reference point with reference to the visual axis 1221 to 1223 of the user watching the virtual object. Here, according to another embodiment of the present invention, the time axes 1221 to 1223 for replacing the reference axes 1211 to 1213 are formed by connecting the display device 100 as described in the above embodiment of the present invention And the gesture performed by the user in correspondence with the virtual object.

실물 객체만을 이용하는 실시예Examples using only physical objects

한편, 도 13은 본 발명의 또 다른 실시예에 따라 사용자의 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.13 is a diagram illustrating an exemplary configuration for determining a visual reference point of a user according to another embodiment of the present invention.

도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 메인 시스템(미도시됨)은, 제1 실물 객체(1310)의 위치 및 사용자가 제1 실물 객체(1310)를 주시하는 경우에 사용자의 시점에서 제1 실물 객체(1310)와 대응되어(즉, 겹쳐져) 보여지는 제2 실물 객체(1320)의 위치를 참조로 하여 제1 시축(visual axis)(1360)을 특정하고, 제3 실물 객체(1330)의 위치 및 사용자가 제3 실물 객체(1330)를 주시하는 경우에 사용자의 시점에서 제3 실물 객체(1330)와 대응되어 보여지는 제4 실물 객체(1340)의 위치를 참조로 하여 제2 시축(1370)을 특정할 수 있고, 위와 같이 특정되는 제1 시축(1360) 및 제2 시축(1370) 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점(1350)을 결정할 수 있다.Referring to FIG. 13, a main system (not shown) according to another embodiment of the present invention may include a first physical object 1310 and a second physical object 1310, A first visual axis 1360 is specified with reference to the position of the second physical object 1320 that is displayed corresponding to (i.e., overlapped with) the first physical object 1310 at the time point, The position of the fourth physical object 1340 corresponding to the position of the third physical object 1330 at the user's point of view when the user watches the third physical object 1330, The second visual axis 1370 can be identified and the visual reference point 1350 applied to the user can be determined with reference to the common point between the first visual axis 1360 and the second visual axis 1370 as described above.

즉, 본 발명의 또 다른 실시예에 따르면, 사용자는 자신의 신체 부위나 자신의 주변에 존재하는 물건과 같이 자신의 주변에 존재하는 실물 객체 중 어느 두 실물 객체를 자신의 시점을 기준으로 하여 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 서로 다른 두 쌍의 실물 객체(1310:1320 및 1330:1340)에 대하여 각각 수행하는 것만으로, 해당 사용자에게 적용되는 시야 기준점(1350)이 정확하게 결정될 수 있게 된다.In other words, according to another embodiment of the present invention, a user can select any two or more physical objects existing in his / her surroundings, such as a body part of the user's own body or a surrounding object, The visual reference point 1350 applied to the user can be accurately determined only by performing an operation (i.e., overlapping) on the two pairs of physical objects 1310: 1320 and 1330: 1340, respectively .

또한, 본 발명의 또 다른 실시예에 따르면, 앞서 설명된 실시예와는 달리, 디스플레이 디바이스 또는 디스플레이 화면에 의하여 표시되는 가상 객체를 이용하지 않고도 사용자에게 적용되는 시야 기준점(1350)을 결정할 수 있게 된다.According to another embodiment of the present invention, unlike the above-described embodiment, it is possible to determine a visual reference point 1350 applied to a user without using a virtual object displayed by a display device or a display screen .

아래에서는, 본 발명의 또 다른 실시예에 따른 메인 시스템의 내부 구성에 대하여 보다 자세하게 설명하기로 한다.Hereinafter, the internal configuration of the main system according to another embodiment of the present invention will be described in more detail.

본 발명의 또 다른 실시예에 따른 메인 시스템은, 객체 감지부(미도시됨), 시야 기준점 결정부(미도시됨), 사용자 인터페이스 제공부(미도시됨), 데이터베이스(미도시됨), 통신부(미도시됨) 및 제어부(미도시됨)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 감지부, 시야 기준점 결정부, 사용자 인터페이스 제공부, 데이터베이스, 통신부 및 제어부는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 메인 시스템에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 메인 시스템과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.The main system according to another embodiment of the present invention includes an object sensing unit (not shown), a visual reference point determining unit (not shown), a user interface providing unit (not shown), a database (not shown) (Not shown) and a control unit (not shown). According to an embodiment of the present invention, the object sensing unit, the visual reference point determining unit, the user interface providing unit, the database, the communication unit, and the control unit may be program modules in which at least a part thereof communicates with an external system (not shown). Such program modules may be included in the main system in the form of an operating system, an application program module, and other program modules, and may be physically stored in various well-known storage devices. These program modules may also be stored in a remote storage device capable of communicating with the main system. These program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types as described below in accordance with the present invention.

한편, 메인 시스템에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 메인 시스템의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자의 머리(또는 눈) 부위에 고정적으로 착용되는 센싱 디바이스(예를 들면, 3차원 카메라 디바이스 등)(1301, 1401, 1501) 내에서 실현되거나 센싱 디바이스(1301) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 메인 시스템의 모든 기능과 모든 구성요소가 센싱 디바이스(1301, 1401, 1501) 내에서 전부 실행되거나 센싱 디바이스(1301) 내에 전부 포함될 수도 있다.Although described above with respect to the main system, this description is exemplary only, and at least some of the components or functions of the main system may include a sensing device (e.g., (E.g., a three-dimensional camera device, etc.) (1301, 1401, 1501) or may be included in the sensing device 1301. In some cases, all the functions and all the components of the main system may be entirely executed in the sensing devices 1301, 1401, and 1501 or entirely included in the sensing device 1301. [

먼저, 본 발명의 또 다른 실시예에 따른 메인 시스템의 객체 인식부는, 제1 실물 객체(1310)의 위치, 제2 실물 객체(1320)의 위치, 제3 실물 객체(1330)의 위치 및 제4 실물 객체(1340)의 위치를 직접 인식하거나 그 인식 결과에 관한 정보를 외부 시스템(미도시됨)으로부터 획득하는 기능을 수행할 수 있다.First, the object recognition unit of the main system according to another embodiment of the present invention includes a location of a first physical object 1310, a location of a second physical object 1320, a location of a third physical object 1330, It is possible to directly recognize the position of the physical object 1340 or acquire information about the recognition result from an external system (not shown).

여기서, 본 발명의 일 실시예에 따르면, 제1 실물 객체(1310) 내지 제4 실물 객체(1340)에는, 사용자가 자신의 의지에 따라 움직일 수 있는 자신의 신체 부위(예를 들면, 손가락 등), 가전 디바이스(예를 들면, TV, 에어컨, 냉장고 등), 각종 지시 도구(예를 들면, 펜, 자 등), 사용자의 눈 주변에 고정적으로 표시되는 특징점 등이 포함될 수 있고, 제1 실물 객체(1310) 내지 제4 실물 객체(1340)의 위치는 해당 실물 객체의 끝, 팁, 모서리, 꼭지점 등의 특징점에 의하여 특정될 수 있다.According to an embodiment of the present invention, the first to fourth physical objects 1310 to 1340 may include a body part (e.g., a finger or the like) of the user, which the user can move according to his or her will, (E.g., a pen, a ruler, etc.), feature points fixedly displayed around the user's eyes, and the like may be included, and the first physical object The position of the fourth object 1310 to the fourth object 1340 can be specified by the feature points of the end, tip, corner, and vertex of the corresponding object.

다음으로, 본 발명의 또 다른 실시예에 따른 메인 시스템의 시야 기준점 결정부는, 제1 실물 객체(1310)의 위치 및 제2 실물 객체(1320)의 위치를 잇는 직선을 제1 시축(1360)으로서 특정할 수 있고, 제3 실물 객체(1330)의 위치 및 제4 실물 객체(1340)의 위치를 잇는 직선을 제2 시축(1370)으로서 특정할 수 있고, 제1 시축(1360) 및 제2 시축(1370) 사이의 공통점을 시야 기준점으로서 결정할 수 있다.The visual field reference point determination unit of the main system according to another embodiment of the present invention may further include a line connecting the position of the first physical object 1310 and the position of the second physical object 1320 to the first visual axis 1360 And can specify a straight line connecting the position of the third physical object 1330 and the position of the fourth physical object 1340 as the second time axis 1370 and the first time axis 1360 and the second time axis 1340, (1370) can be determined as a visual reference point.

여기서, 본 발명의 또 다른 실시예에 따르면, 제1 시축(1360) 및 제2 시축(1370) 사이의 공통점은, 제1 시축(1360) 및 제2 시축(1370) 사이의 교차점 또는 제1 시축(1360) 및 제2 시축(1370)을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다. 또한, 본 발명의 또 다른 실시예에 따르면, 위와 같이 결정되는 시야 기준점의 위치는, 사용자의 눈에 대한 상대적인 위치가 고정되는 센싱 디바이스(1301, 1401, 1501)의 위치를 기준으로 하여 특정될 수 있다.Here, according to another embodiment of the present invention, the common point between the first time axis 1360 and the second time axis 1370 is the point of intersection between the first time axis 1360 and the second time axis 1370, The second time axis 1370 and the second time axis 1370 at the shortest distance. In addition, according to another embodiment of the present invention, the position of the visual reference point determined as described above may be specified based on the position of the sensing devices 1301, 1401, and 1501 in which the position relative to the user's eyes is fixed have.

도 14는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성을 예시적으로 나타내는 도면이다.FIG. 14 is an exemplary diagram illustrating a configuration for determining a target object pointed by a user using a visual reference point according to another embodiment of the present invention.

도 14를 참조하면, 본 발명의 또 다른 실시예에 따른 메인 시스템의 사용자 인터페이스 제공부는, 사용자에 의한 지시 수단으로서의 기능을 수행하는 제5 실물 객체(1420)의 위치 및 시야 기준점(1410)을 잇는 직선(1440)과 연관되는 객체(1430)를 해당 사용자가 지시하는 대상 객체인 것으로 결정하는 기능을 수행할 수 있다. 여기서, 본 발명의 또 다른 실시예에 따르면, 대상 객체(1430)에는, 위의 직선(1440)과 교차하는 객체, 위의 직선(1440)과 접하는 객체, 위의 직선(1440)에 인접하는 객체 등이 포함될 수 있다.14, the user interface providing unit of the main system according to another embodiment of the present invention may include a user interface providing unit for connecting a position of a fifth physical object 1420 and a visual reference point 1410, And determine that the object 1430 associated with the straight line 1440 is a target object indicated by the user. According to another embodiment of the present invention, the target object 1430 includes an object intersecting the straight line 1440, an object contacting the straight line 1440, an object adjacent to the straight line 1440, And the like.

즉, 본 발명의 또 다른 실시예에 따르면, 사용자가, 사용자의 시야 기준점(1410)의 위치를 특정할 수 있는 센싱 디바이스(1401)(예를 들면, 3차원 카메라)를 머리 부위에 착용한 상태에서 사물이나 가전제품(1430)을 바라보면서 자신의 손가락(1420) 등을 사물이나 가전제품(1430)에 대응시키는 제스쳐를 취함으로써, 센싱 디바이스(1401)의 시야(1402)에 포함되는(즉, 센싱 디바이스(1401)에 의하여 인식될 수 있는) 사물이나 가전제품(1430)을 편리하고도 정확하게 특정(또는 지시)할 수 있게 된다.That is, according to another embodiment of the present invention, when the user wears a sensing device 1401 (for example, a three-dimensional camera) capable of specifying the position of the user's visual reference point 1410 on the head In the view 1402 of the sensing device 1401 by taking a gesture that corresponds to the object or the household appliance 1430 while viewing his or her finger 1420 or the like while looking at the object or the appliance 1430, It is possible to conveniently and accurately specify (or instruct) the object or the household appliance 1430 (which can be recognized by the sensing device 1401).

도 15는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성이 활용될 수 있는 다양한 예시를 나타내는 도면이다.FIG. 15 is a diagram illustrating various examples in which a configuration for determining a target object indicated by a user using a visual reference point according to another embodiment of the present invention can be utilized.

도 15를 참조하면, 사용자는, 머리 부위의 센싱 디바이스(1501)를 착용한 상태에서 자신의 주변에 존재하는 시계(1520), TV(1530), 조명장치(1540) 등의 가전제품을 바라보면서 각 가전제품에 대하여 자신의 손가락(도 14의 제5 실물 객체(1420)에 해당함)을 대응시키는 동작을 행함으로써 각 가전제품을 대상 객체로서 특정할 수 있고(1525, 1535, 1545), 그 특정된 가전제품에 대하여 소정의 명령 또는 제어 정보(예를 들면, 전원 제어, 해상도 제어, 밝기 제어 등)를 전달할 수 있다.Referring to FIG. 15, a user looks at a household appliance such as a watch 1520, a TV 1530, and a lighting device 1540 existing in the vicinity of the user while wearing a head sensing device 1501 (1525, 1535, 1545) of each household appliance by performing an operation of associating each of the household appliances with a finger (corresponding to the fifth physical object 1420 in Fig. 14) (For example, power control, resolution control, brightness control, and the like) to the home appliances.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a non-transitory computer readable recording medium. The non-transitory computer readable medium may include program instructions, data files, data structures, etc., either alone or in combination. The program instructions recorded on the non-transitory computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software arts. Examples of non-transitory computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magneto-optical media such as floppy disks magneto-optical media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

100: 디스플레이 디바이스
200: 메인 시스템
210: 객체 감지부
220: 시야 기준점 결정부
230: 디스플레이 관리부
240: 데이터베이스
250: 통신부
260: 제어부100: Display device
200: Main system
210: Object detection unit
220: field of view reference point determination unit
230:
240: Database
250:
260:

Claims

A method for determining a user's visual reference point,
A first virtual object that is displayed in correspondence with the first virtual object at a time point of the user when a user wearing the display device watches the first virtual object, The visual axis is specified with reference to the position of the first virtual object, the position of the second virtual object displayed through the display device, and the position of the second virtual object when the user watches the second virtual object, Identifying a second time axis with reference to a position of a second virtual object corresponding to the second virtual object, and
Determining a visual reference point applied to the user with reference to a common point between the first time axis and the second time axis;
&Lt; / RTI >

The method according to claim 1,
Wherein the first virtual object and the second virtual object are displayed on a display screen where a position relative to the user's eyes is fixed.

The method according to claim 1,
In this specific step,
A line connecting the position of the first virtual object and the position of the first virtual object is specified as a first time axis and a straight line connecting the position of the second virtual object and the position of the second virtual object is specified as a second time axis How to.

The method according to claim 1,
Wherein the first physical object or the second physical object is a body part of the user.

The method according to claim 1,
Wherein a common point between the first time axis and the second time axis is a midpoint between an intersection point between the first time axis and the second time axis or an imaginary line segment connecting the first time axis and the second time axis at the shortest distance .

The method according to claim 1,
In this specific step,
The first right and left second time axes are respectively specified for the left eye of the user and the first right first axis and the second right first axis are respectively specified for the right eye of the user,
In the visual reference point determination step,
Determining a left visual reference point applied to the left eye of the user with reference to a common point between the first left time axis and the second left time axis and referring to a common point between the first right time axis and the second right time axis To determine a right visual reference point to be applied to the right eye of the user.

The method according to claim 1,
And a common point between the first time axis and the second time axis is determined as the visual field reference point.

The method according to claim 1,
In this specific step,
Wherein each of the three or more virtual objects is defined by reference to a position of at least three virtual objects and at least three physical objects corresponding to the at least three virtual objects,
In the visual reference point determination step,
Determining at least one common point among a plurality of common points between the three or more time axes as the visual field reference point with reference to information about a display state of an image displayed through the display device, Is determined as the visual field reference point.

The method according to claim 1,
Controlling a display state of an image provided to the user through the display device on the basis of the visual reference point,
&Lt; / RTI >

A method for determining a user's visual reference point,
A first reference axis is specified with reference to a position of a first virtual object displayed through a display device and a position of a pupil of a user watching the first virtual object, and a position of a second virtual object displayed through the display device And specifying a second reference axis with reference to the position of the pupil of the user looking at the second virtual object, and
Determining a visual reference point applied to the user with reference to a common point between the first reference axis and the second reference axis
&Lt; / RTI >

11. The method of claim 10,
In this specific step,
The first virtual object and the second virtual object, the first virtual object, and the first virtual object, and a straight line connecting the position of the first virtual object and the pupil of the user watching the first virtual object as a first reference axis, And the straight line connecting the pupil position of the pupil is specified as the second reference axis.

11. The method of claim 10,
Wherein a common point between the first reference axis and the second reference axis is a point at which an intersection between the first reference axis and the second reference axis or a virtual line segment connecting the first reference axis and the second reference axis at the shortest distance Lt; / RTI >

A method for determining a user's visual reference point,
A position of the first physical object and a position of the second physical object corresponding to the first physical object at the user's point of view when the user watches the first physical object, ), Referring to the position of the third physical object and the position of the fourth physical object corresponding to the third physical object at the user's point of view when the user watches the third physical object Identifying a second time axis, and
Determining a visual reference point applied to the user with reference to a common point between the first time axis and the second time axis;
&Lt; / RTI >

14. The method of claim 13,
In this specific step,
A line connecting the position of the first physical object and the position of the second physical object is specified as a first time axis and a line connecting the position of the third physical object and the position of the fourth physical object is specified as a second time axis How to.

14. The method of claim 13,
Wherein a common point between the first time axis and the second time axis is a midpoint between an intersection point between the first time axis and the second time axis or an imaginary line segment connecting the first time axis and the second time axis at the shortest distance .

14. The method of claim 13,
Wherein the position of the visual reference point is specified based on a position of a sensing device whose relative position with respect to the user's eyes is fixed.

14. The method of claim 13,
Determining that the object associated with the straight line connecting the position of the fifth physical object and the visual reference point performing the function as the instruction means by the user is the target object indicated by the user
&Lt; / RTI >

14. A non-transitory computer readable recording medium having recorded thereon a computer program for carrying out the method according to any one of claims 1, 10 and 13.

A system for determining a user's visual reference point,
A first virtual object that is displayed in correspondence with the first virtual object at a time point of the user when a user wearing the display device watches the first virtual object, Which is displayed in correspondence with the second virtual object at the viewpoint of the user when the user watches the second virtual object, recognizes the position of the second virtual object displayed on the display device, An object detection unit for recognizing a position of the physical object or acquiring information about the recognized result, and
A first visual axis is specified with reference to a position of the first virtual object and a position of the first physical object, and a first visual axis is specified with reference to a position of the second virtual object and a position of the second virtual object, And a visual reference point determining unit for determining a visual reference point applied to the user with reference to a common point between the first visual axis and the second visual axis,
/ RTI >

A system for determining a user's visual reference point,
Recognizing a position of a first virtual object displayed through a display device and a position of a pupil of a user watching the first virtual object, recognizing a position of a second virtual object displayed through the display device, An object detection unit for recognizing a position of a pupil of the user to be watched or acquiring information about the recognized result,
Wherein the first virtual object is located on a first virtual object, the first virtual object is located on a first virtual object, the second virtual object is located on a second virtual object, A visual reference point determining unit for determining a visual reference point applied to the user with reference to a common point between the first reference axis and the second reference axis,
/ RTI >

A system for determining a user's visual reference point,
A location of a first physical object, a location of a first physical object, a location of a first physical object, a location of a first physical object, a location of a first physical object, An object detection unit for recognizing a position of a fourth physical object corresponding to the third physical object at a time point of the user and acquiring information about the recognized physical object when the third physical object watches the third physical object,
A first visual axis is specified with reference to a position of the first physical object, a position of the first physical object, and a position of the second physical object, And a visual reference point determining unit for determining a visual reference point applied to the user with reference to a common point between the first visual axis and the second visual axis,
/ RTI >