KR101847577B1 - 3d interaction method for display - Google Patents
3d interaction method for display Download PDFInfo
- Publication number
- KR101847577B1 KR101847577B1 KR1020160126768A KR20160126768A KR101847577B1 KR 101847577 B1 KR101847577 B1 KR 101847577B1 KR 1020160126768 A KR1020160126768 A KR 1020160126768A KR 20160126768 A KR20160126768 A KR 20160126768A KR 101847577 B1 KR101847577 B1 KR 101847577B1
- Authority
- KR
- South Korea
- Prior art keywords
- display device
- coordinate information
- dimensional coordinate
- user
- targets
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
사람의 자연스러운 움직임 특성이 반영된 표시 장치용 3차원 인터랙션 방법을 제공한다. 이 방법은, 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 단계와, 복수의 참가자를 키에 따라 복수의 그룹으로 집단화하는 단계와, 직접 선형 변환법에 의한 수식을 이용하여 손 끝의 3차원 좌표 정보와 복수 타겟의 2차원 좌표 정보를 컨트롤-디스플레이 맵핑하여 집단화 그룹 별로 변환 행렬을 연산 및 저장하는 단계와, 표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬 값을 로딩하는 단계와, 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수식을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산 후 표시 장치에 표시하는 단계를 포함한다.A three-dimensional interaction method for a display device that reflects human natural motion characteristics is provided. The method includes the steps of displaying a plurality of targets on a display device one by one, obtaining three-dimensional coordinate information of a hand end pointing to each of a plurality of targets from a plurality of participants using a motion capture system, A step of performing control-display mapping of three-dimensional coordinate information of a hand end and two-dimensional coordinate information of a plurality of targets using a formula by a direct linear transformation method to calculate and store a transformation matrix for each grouping group The method comprising the steps of: loading a transformation matrix value suitable for a user according to a key of a user located in front of a display device; acquiring three-dimensional coordinate information of a user's hand using the motion capture system; And displaying the two-dimensional coordinate information of the point on the display device after the calculation.
Description
본 발명은 표시 장치용 3차원 인터랙션 방법에 관한 것으로서, 보다 상세하게는 사용자가 보다 쉽게 직관적으로 표시 장치와 상호작용할 수 있는 표시 장치용 3차원 인터랙션 방법에 관한 것이다.BACKGROUND OF THE
최근, 표시 장치와 사용자의 3차원 인터랙션을 제공할 수 있는 3차원 사용자 인터페이스의 중요도가 높아지고 있다. 예를 들어, 사용자가 신체의 움직임을 이용하여 화면에 표시된 특정 메뉴나 특정 영역을 선택할 수 있도록 하는 3차원 사용자 인터페이스 기술이 다양하게 개발되고 있다.In recent years, the importance of a 3D user interface capable of providing a three-dimensional interaction between a display device and a user has increased. For example, a variety of 3D user interface technologies have been developed to enable a user to select a specific menu or a specific area displayed on the screen by using the movement of the user's body.
또한, 최근 대형 표시 장치의 사용이 증가함에 따라, 대형 표시 장치용 3차원 인터랙션 또한 그 사용이 증가하고 있다. 그러나 아직까지는 사용자가 신체의 움직임을 이용하여 특정 메뉴나 특정 영역을 선택함에 있어서 정확도가 낮고, 이로 인해 사용자의 피로도가 높은 한계가 있다.In addition, with the recent increase in the use of large display devices, the use of three-dimensional interactions for large display devices is also increasing. However, up to now, there is a limit in that the accuracy of the user is low in selecting a specific menu or a specific region using the movement of the body, and thus the user's fatigue is high.
본 발명은 사용자의 자연스러운 행동 패턴을 반영하여 사용자가 보다 쉽고 직관적으로 표시 장치와 상호작용할 수 있는 표시 장치용 3차원 인터랙션 방법을 제공하고자 한다.The present invention seeks to provide a three-dimensional interaction method for a display device that allows a user to interact with a display device more easily and intuitively by reflecting a natural behavior pattern of a user.
본 발명의 일 실시예에 따른 표시 장치용 3차원 인터랙션 방법은, 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 단계; 복수의 참가자를 키에 따라 복수의 그룹으로 집단화하는 단계; 직접 선형 변환(Direct Linear Transformation)법에 의한 하기 수식 (1)을 이용하여 손 끝의 3차원 좌표 정보(X3d)와 복수 타겟의 2차원 좌표 정보(X2d)를 컨트롤-디스플레이 맵핑(CD mapping)하여 집단화 그룹 별로 변환 행렬(P)을 연산 및 저장하는 단계;A three-dimensional interaction method for a display device according to an embodiment of the present invention is a method for displaying a plurality of targets on a display device one by one and displaying three-dimensional coordinates of a hand end pointing to each of a plurality of targets from a plurality of participants using a motion capture system Obtaining information; Grouping a plurality of participants into a plurality of groups according to a key; The three-dimensional coordinate information (X 3d ) of the fingertip and the two-dimensional coordinate information ( X2d ) of the plurality of targets are converted into control-display mapping (CD mapping) by using the following equation (1) by the direct linear transformation Computing and storing a transformation matrix P for each grouping;
X2d = P×X3d --- (1)X 2d = P x X 3d --- (1)
표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬(P) 값을 로딩하는 단계; 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수식 (1)을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산 후 표시 장치에 표시하는 단계를 포함한다.Loading a transformation matrix (P) value suitable for a user according to a key of a user located in front of the display device; Acquiring three-dimensional coordinate information of a user's fingertip using the motion capture system, and calculating the two-dimensional coordinate information of the pointing point pointed by the user using Equation (1) and displaying the two-dimensional coordinate information on the display device.
복수의 타겟은 서로간 소정의 거리를 갖도록 설정될 수 있고, 표시 장치의 화면에 복수의 타겟이 하나씩 랜덤하게 표시될 수 있다. The plurality of targets may be set to have a predetermined distance therebetween, and a plurality of targets may be randomly displayed on the screen of the display device.
참가자는 주로 사용하는 손의 팔을 뻗고, 손가락이 타겟을 가리킬 때 클릭 동작을 수행할 수 있다. 모션 캡쳐 시스템은 클릭 시점에서 타겟을 가리키는 참가자 손 끝의 3차원 좌표 정보를 생성할 수 있다.The participant can extend the arm of the hand, which is mainly used, and perform a clicking action when the finger points to the target. The motion capture system can generate three-dimensional coordinate information of a participant's hand pointing to the target at the point of click.
복수의 참가자로부터 손 끝의 3차원 좌표 정보를 얻는 단계는 참가자마다 표시 장치와의 거리를 변화시키며 2회 이상 반복 수행될 수 있다.The step of obtaining the three-dimensional coordinate information of the fingertip from the plurality of participants may be repeated two or more times by varying the distance from the display device to each participant.
수식 (1)에서 변환 행렬 P, 손 끝의 3차원 좌표 정보 X3d, 및 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (2)로 표현될 수 있다.In the equation (1), the transformation matrix P, the three-dimensional coordinate information X 3d of the fingertip, and the two-dimensional coordinate information X 2d of the plurality of targets can be expressed by the following equation (2).
여기서, f는 초점 거리이고, tx와 ty는 주점 오프셋(principal point offset)이다. u'x, u'y, u'z는 하기 수식 (3)으로 표현될 수 있으며, 여기서 ux, uy, uz는 3차원 포인트 전이 오프셋(3D point transition offset)을 나타낸다.Where f is the focal length, and t x and t y are the principal point offsets. u ' x , u' y , u ' z can be expressed by the following equation (3), where u x , u y , and u z denote the 3D point transition offset.
수식 (1)에서 변환 행렬 P, 손 끝의 3차원 좌표 정보 X3d, 및 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (4)를 만족할 수 있다.In the equation (1), the transformation matrix P, the three-dimensional coordinate information X 3d of the fingertip, and the two-dimensional coordinate information X 2d of the plurality of targets may satisfy the following expression (4).
사용자에게 맞는 변환 행렬(P) 값을 로딩하는 단계는, 모션 캡쳐 시스템을 이용하여 표시 장치 앞에 위치한 사용자의 키와 더불어 표시 장치와 사용자 사이의 거리를 측정하고, 측정 데이터로부터 사용자의 키와 거리에 대응하는 변환 행렬(P) 값을 로딩하는 것으로 이루어질 수 있다.The step of loading the transformation matrix P suitable for the user may include measuring the distance between the display device and the user along with the user's key located in front of the display device using the motion capture system, And loading the corresponding transformation matrix (P) value.
모션 캡쳐 시스템을 이용하여 표시 장치와 사용자 사이의 거리를 실시간으로 측정할 수 있고, 표시 장치와 사용자 사이의 거리가 변할 때 변화된 거리에 대응하는 새로운 변환 행렬(P) 값을 로딩하여 포인팅 지점의 2차원 좌표 정보 연산에 사용할 수 있다.A motion capture system can be used to measure the distance between the display device and the user in real time and to load a new transformation matrix P value corresponding to the changed distance when the distance between the display device and the user changes, Can be used for dimensional coordinate information calculation.
본 실시예에 따른 3차원 인터랙션 방법은 사람의 자연스러운 움직임 특성을 반영한 것이므로, 사용자가 표시 장치 앞에서 특정 위치를 손가락으로 가리킬 때 사용자가 의도한 위치에 빠르고 정확하게 포인팅 지점을 표시하거나, 선택 동작을 수행할 수 있다.Since the three-dimensional interaction method according to the present embodiment reflects the natural motion characteristics of a person, when the user is pointing a specific position in front of the display device with his / her finger, the pointing point can be quickly and accurately displayed at a position intended by the user, .
도 1은 본 발명의 일 실시예에 따른 표시 장치용 3차원 인터랙션 방법을 도시한 순서도이다.
도 2는 제1 단계에서 표시 장치에 나타나는 복수의 타겟을 도시한 개략도이다.
도 3은 제1 단계에서 시작점과 특정 타겟을 표시하는 표시 장치와, 특정 타겟을 손가락으로 가리키고 있는 참가자를 보여주는 사진이다.
도 4는 제4 단계와 제5 단계를 설명하기 위해 도시한 개략도이다.1 is a flowchart showing a three-dimensional interaction method for a display device according to an embodiment of the present invention.
Fig. 2 is a schematic view showing a plurality of targets appearing on a display device in a first step. Fig.
Fig. 3 is a photograph showing a display device displaying a starting point and a specific target in the first step, and a participant pointing a specific target with a finger.
4 is a schematic diagram illustrating the fourth and fifth steps.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 도면에 나타난 각 구성의 크기 및 두께 등은 설명의 편의를 위해 임의로 나타낸 것이므로, 본 발명은 도시한 바로 한정되지 않는다.When an element is referred to as "including" an element throughout the specification, it means that the element may further include other elements unless specifically stated otherwise. The sizes and thicknesses of the respective components shown in the drawings are arbitrarily shown for convenience of explanation, and the present invention is not limited to the illustrated ones.
도 1은 본 발명의 일 실시예에 따른 표시 장치용 3차원 인터랙션 방법을 도시한 순서도이다.1 is a flowchart showing a three-dimensional interaction method for a display device according to an embodiment of the present invention.
도 1을 참고하면, 표시 장치용 3차원 인터랙션 방법은 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 획득하는 제1 단계(S10)와, 복수의 참가자를 복수의 그룹으로 집단화(clustering)하는 제2 단계(S20)와, 직접 선형 변환법을 이용하여 집단화 그룹 별로 변환 행렬을 연산하는 제3 단계(S30)와, 사용자에게 맞는 변환 행렬 값을 로딩하는 제4 단계(S40)와, 사용자 손 끝의 3차원 좌표 정보로부터 포인팅 지점의 2차원 좌표를 연산하여 표시 장치에 표시하는 제5 단계(S50)를 포함한다.1, a three-dimensional interaction method for a display device includes a first step (S10) of acquiring three-dimensional coordinate information of a hand end indicating a plurality of targets from a plurality of participants, a step A second step S20 of clustering a transform matrix, a third step S30 of calculating a transformation matrix for each grouping group using a direct linear transformation method, a fourth step S40 of loading a transformation matrix value suitable for a user, And a fifth step (S50) of calculating the two-dimensional coordinates of the pointing point from the three-dimensional coordinate information of the user's hand and displaying the two-dimensional coordinates on the display device.
제1 단계(S10)는 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 과정으로 이루어진다.In the first step S10, a plurality of targets are displayed one by one on a display device, and three-dimensional coordinate information of a hand end indicating a plurality of targets from a plurality of participants is obtained using a motion capture system.
표시 장치는 벽걸이 텔레비전, 또는 프로젝터 스크린과 같은 대형 표시 장치일 수 있으며, 모션 캡쳐 시스템은 통상의 깊이 카메라일 수 있다. 복수의 참가자는 여성 참가자들과 남성 참가자들을 포함할 수 있고, 이들은 다양한 키를 가질 수 있다.The display may be a large display such as a wall-hung television, or a projector screen, and the motion capture system may be a conventional depth camera. The plurality of participants may include female participants and male participants, and they may have various keys.
도 2는 제1 단계에서 표시 장치에 나타나는 복수 타겟의 일 실시예를 도시한 개략도이다.Figure 2 is a schematic diagram illustrating one embodiment of a plurality of targets present in a display device in a first step.
제1 단계(S10)에서 서로간 소정의 거리를 갖는 복수의 타겟이 설정되고, 표시 장치의 화면에 첫번째 타겟부터 마지막 타겟까지 하나의 타겟이 랜덤하게 표시된다.In the first step S10, a plurality of targets having a predetermined distance are set, and one target is displayed randomly from the first target to the last target on the screen of the display device.
도 2를 참고하면, 제1 단계(S10)에서 표시 장치에는 복수의 타겟, 예를 들어 가로 방향(x)과 세로 방향(y)을 따라 서로간 일정한 거리를 두고 배열된 7×5개, 총 35개의 타겟이 지정될 수 있다. 복수의 타겟은 중앙에 위치하는 시작점(0)과, 시작점(0)을 제외한 나머지 타겟들(제1 타겟 내지 제34 타겟, 1~34)로 구분될 수 있다. 2, in the first step S10, the display device is provided with a plurality of targets, for example, 7 x 5 pieces arranged at a constant distance from each other along the transverse direction (x) and the longitudinal direction (y) 35 targets can be specified. The plurality of targets may be divided into a starting point (0) positioned at the center and a remaining target (first target to 34th target, 1 to 34) excluding the starting point (0).
표시 장치에는 커서가 제공되지 않으며, 시작점은 항상 표시될 수 있다. 그리고 제1 타겟 내지 제34 타겟이 하나씩 랜덤하게 표시될 수 있다. 각각의 참가자는 주로 사용하는 손의 팔을 뻗고, 표시 장치에 표시된 시작점(0), 어느 하나의 타겟, 시작점(0), 다른 하나의 타겟, 시작점(0), 또 다른 하나의 타겟의 순서로 마지막 타겟까지 손가락으로 하나씩 가리킨다.The display device is not provided with a cursor, and the starting point can always be displayed. And the first target through the 34th target may be displayed randomly one by one. Each participant stretches his / her arm of his / her primary hand and uses the starting point (0), one target, the starting point (0), the other target, the starting point (0) Point one finger to the last target.
복수의 타겟을 랜덤하게 표시하는 것은, 타겟 제시 순서에 따른 학습 효과(learning effect)를 상쇄시키기 위한 것이다. The random display of a plurality of targets is intended to offset the learning effect according to the target presentation order.
이때 참가자는 가능한 자연스럽게 타겟을 손가락으로 가리키며, 반대편 손에 클릭 장치를 쥐고 있다가 손가락이 타겟을 가리킬 때 클릭 버튼을 누를 수 있다. 그러면 모션 캡쳐 시스템이 클릭 시점에서 타겟을 가리키는 참가자 손 끝의 3차원 좌표 정보를 생성하고, 이 정보는 제어 장치에 저장된다.At this point, the participant can naturally point the target at his fingertips, hold the clicker in the opposite hand, and click the click button when the finger points to the target. Then, the motion capturing system generates three-dimensional coordinate information of the participant's hand pointing to the target at the point of click, and this information is stored in the control device.
다른 한편으로, 클릭 장치를 사용하지 않고 사용자의 손 끝 동작을 이용하여 클릭 동작을 수행할 수도 있다. 예를 들어, 사용자는 손가락으로 타겟을 가리킨 상태에서 검지를 잠시 구부리거나 검지를 살짝 앞으로 찌르는 동작 등을 이용하여 클릭 동작을 수행할 수 있다.On the other hand, it is also possible to perform a click operation using the user's fingertip operation without using a click device. For example, a user can perform a clicking operation by bending the index finger temporarily while slightly pointing the target with the finger, or slightly pushing the index finger forward.
도 3은 제1 단계(S10)에서 시작점과 특정 타겟을 표시하는 표시 장치와, 특정 타겟을 손가락으로 가리키고 있는 참가자를 보여주는 사진이다. 도 3에서 시작점은 화면 중앙에 위치하는 회색 점이고, 특정 타겟은 적색 점이다.3 is a photograph showing a display device for displaying a starting point and a specific target in a first step S10 and a participant pointing a specific target with a finger. In Fig. 3, the starting point is the gray point located at the center of the screen, and the specific target is the red point.
제1 단계는 참가자마다 표시 장치와의 거리를 변화시키며 2회 이상 진행될 수 있다. 예를 들어, 참가자는 표시 장치로부터 1미터 거리, 2미터 거리, 3미터 거리, 및 4미터 거리에서 전술한 포인팅을 반복 수행할 수 있다. 제1 단계에서는 모션 캡쳐 시스템을 이용하여 복수의 참가자 각각에 대해 표시 장치와의 거리 별로 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 획득한다.The first step may be performed two or more times, varying the distance from the display device to each participant. For example, a participant may repeat the above-described pointing at a distance of one meter, two meters, three meters, and four meters from the display. In the first step, three-dimensional coordinate information of a hand tip indicating each of a plurality of targets is obtained for each of a plurality of participants by a distance to the display device using the motion capture system.
다시 도 1을 참고하면, 제2 단계는 복수의 참가자를 키에 따라 복수의 그룹으로 집단화(clustering) 하는 과정으로 이루어진다. 예를 들어 남자 20명과 여자 10명으로 이루어진 30명의 참가자 집단을 가정하는 경우, 30명의 참가자 집단은 제2 단계에서 아래 표와 같이 세 개의 그룹으로 집단화될 수 있다.Referring again to FIG. 1, the second step consists of clustering a plurality of participants into a plurality of groups according to a key. For example, assuming a group of 30 participants consisting of 20 men and 10 women, the group of 30 participants can be grouped into three groups as shown in the table below.
제3 단계는 직접 선형 변환(Direct Linear Transformation, DLT)법에 의한 하기 수학식 1을 이용하여 손 끝의 3차원 좌표 정보(X3d)와 복수 타겟의 2차원 좌표 정보(X2d)를 맵핑(컨트롤-디스플레이 맵핑, CD mapping)함으로써 집단화 그룹 별로 변환 행렬(P)을 연산 및 저장하는 과정으로 이루어진다.The third step is to map the three-dimensional coordinate information (X 3d ) of the fingertip and the two-dimensional coordinate information (X 2d ) of the plurality of targets using the following
이때, 복수 타겟의 2차원 좌표 정보(X2d)는 제1 단계에서 지정된 복수 타겟 각각의 x축, y축 상의 좌표 정보이고, 손 끝의 3차원 좌표 정보(X3d)는 제1 단계에서 모션 캡쳐 시스템을 이용하여 획득한 손 끝의 x축, y축, z축 상의 좌표 정보이다.At this time, the two-dimensional coordinate information (X 2d ) of the plurality of targets is the coordinate information on the x-axis and y-axis of each of the plurality of targets specified in the first step, and the three-dimensional coordinate information (X 3d ) Coordinate information on the x-axis, y-axis, and z-axis of the fingertip acquired using the capture system.
직접 선형 변환법은 핀홀 카메라 모델에 근거한 것으로서, 3차원 공간으로부터 2차원 공간을 맵핑하는 방법이며, 변환식은 아래 수학식 2와 같다.The direct linear conversion method is based on a pinhole camera model, and is a method of mapping a two-dimensional space from a three-dimensional space.
여기서, Xm은 3차원 대상의 3차원 좌표계로서 동치(homogeneous) 4×1 행렬로 표현될 수 있고, P는 변환 행렬로서 동치 3×4 행렬로 표현될 수 있다. Xprojected는 Xm과 P의 행렬 곱으로 연산되는 2차원 투영 좌표계를 나타낸다.Here, Xm can be expressed as a homogeneous 4 × 1 matrix as a three-dimensional coordinate system of a three-dimensional object, and P can be expressed as an inverse 3 × 4 matrix as a transformation matrix. X projected represents a two-dimensional projection coordinate system computed by the matrix multiplication of X m and P.
전술한 수학식 1과 수학식 2는 실질적으로 같은 의미를 포함하고 있으며, 수학식 1에서 변환 행렬(P)과 손 끝의 3차원 좌표 정보(X3d) 및 복수 타겟의 2차원 좌표 정보(X2d)는 아래 수학식 3의 행렬로 표현될 수 있다.Equations (1) and (2) have substantially the same meaning. In Equation (1), the transformation matrix P, the three-dimensional coordinate information X 3d of the fingertip, and the two- 2d ) can be expressed by a matrix of the following equation (3).
여기서, f는 초점 거리이고, tx와 ty는 주점 오프셋(principal point offset)이다. u'x, u'y, u'z는 아래 수학식 4로 표현되며, 여기서 ux, uy, uz는 3차원 포인트 전이 오프셋(3D point transition offset)을 나타낸다.Where f is the focal length, and t x and t y are the principal point offsets. u ' x , u' y , and u ' z are expressed by the following Equation (4), where u x , u y , and u z represent 3D point transition offsets.
그리고 수학식 1에서 P×X3d는 하기 수학식 5로 표현되며, PX3d과 X2d의 행렬 곱은 하기 수학식 6과 같이 0이 되어야 한다.In the equation (1), P x X 3d is expressed by the following equation (5), and the matrix multiplication of PX 3d and X2 d should be 0 as shown in Equation (6).
하기 표 2와 표 3은 전술한 표 1에 나타낸 세 개의 집단화 그룹에 대하여 전술한 수학식 1 내지 6을 이용하여 연산된 변환 형렬(P)의 예시를 나타낸다. 표 2에 나타낸 변환 행렬(P)은 제1 단계에서 표시 장치와 참가자 사이의 거리가 2미터인 경우이고, 표 3에 나타낸 변환 행렬(P)은 제1 단계에서 표시 장치와 참가자 사이의 거리가 4미터인 경우이다.Tables 2 and 3 below illustrate examples of the transform sequence P computed using
도 4는 제4 단계와 제5 단계를 설명하기 위해 도시한 개략도이다.4 is a schematic diagram illustrating the fourth and fifth steps.
도 4를 참고하면, 제4 단계(S40)는 표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬(P) 값을 로딩하는 과정이다. 구체적으로, 표시 장치(100) 앞에 사용자가 위치하면, 모션 캡쳐 시스템(도시하지 않음)이 사용자의 키와, 표시 장치(100)와 사용자 사이의 거리를 측정하고, 측정 데이터로부터 사용자의 키와 거리에 해당하는 변환 행렬(P) 값을 로딩한다.Referring to FIG. 4, the fourth step S40 is a process of loading a transformation matrix P suitable for a user according to a user's key located in front of the display device. Specifically, when the user is positioned in front of the
제5 단계(S50)는 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수학식 1 내지 6을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산한 다음 표시 장치(100)에 포인팅 지점(200)을 표시하는 과정으로 이루어진다.In the fifth step S50, the three-dimensional coordinate information of the user's hand is obtained using the motion capture system, the two-dimensional coordinate information of the pointing point pointed by the user is calculated using
전술한 수학식 1에서 타겟의 2차원 좌표 정보(X2d)는 변환 행렬 P과 사용자의 손 끝의 3차원 좌표 정보(X3d)의 행렬 곱이다. 따라서 제5 단계(S50)에서는 제3 단계(S30)와 반대로 제어 장치에서 변환 행렬(P)과 사용자 손 끝의 3차원 좌표 행렬의 곱 연산을 수행하여 사용자가 가리킨 포인팅 지점(200)의 2차원 좌표 정보를 생성한다. 생성된 좌표 정보는 표시 장치(100)로 전달되어 화면에 포인팅 지점(200)이 표시된다. Two-dimensional coordinate information (X 2d) of the target in the above-described equation (1) is a matrix product of the (X 3d) 3-dimensional coordinate information of the transformation matrix P and the user's fingertips. Accordingly, in the fifth step S50, contrary to the third step S30, the controller performs a multiplication operation of the transformation matrix P and the three-dimensional coordinate matrix of the user's hand so that the two-dimensional And generates coordinate information. The generated coordinate information is transmitted to the
도 4에서는 포인팅 지점(200)이 커서 모양으로 표시된 경우를 예로 들어 도시하였으나, 포인팅 지점(200)의 시각적 표현은 도시한 예로 한정되지 않으며, 다양하게 변형 가능하다.In FIG. 4, the
제5 단계(S50)에서 사용자가 앞, 뒤로 이동하여도 제어 장치에서 해당 거리에 맞는 변환 행렬 값을 다시 로딩하고, 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 실시간으로 연산하여 표시 장치에 포인팅 지점(200)을 표시할 수 있다.Even if the user moves forward or backward in the fifth step S50, the control device reloads the transformation matrix value corresponding to the distance, calculates the two-dimensional coordinate information of the pointing point pointed by the user in real time, (200) can be displayed.
이와 같이 본 실시예에 따른 3차원 인터랙션 방법은 사람의 자연스러운 움직임 특성을 반영한 것이므로, 사용자가 표시 장치 앞에서 특정 위치를 손가락으로 가리킬 때 사용자가 의도한 위치에 빠르고 정확하게 포인팅 지점(200)을 표시하거나, 선택 동작을 수행할 수 있다.As described above, since the three-dimensional interaction method according to the present embodiment reflects the natural motion characteristics of a person, when the user is pointing a specific position in front of the display device with his or her finger, the
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Of course.
100: 표시 장치 200: 포인팅 지점100: display device 200: pointing point
Claims (8)
상기 복수의 참가자를 키에 따라 복수의 그룹으로 집단화하는 단계;
직접 선형 변환(Direct Linear Transformation)법에 의한 하기 수식 (1)을 이용하여 상기 손 끝의 3차원 좌표 정보(X3d)와 상기 복수 타겟의 2차원 좌표 정보(X2d)를 컨트롤-디스플레이 맵핑(CD mapping)하여 상기 집단화 그룹 별로 변환 행렬(P)을 연산 및 저장하는 단계;
X2d = P×X3d --- (1)
상기 모션 캡쳐 시스템을 이용하여 상기 표시 장치 앞에 위치한 사용자의 키와 더불어 상기 표시 장치와 사용자 사이의 거리를 측정하고, 측정 데이터로부터 사용자의 키와 상기 거리에 대응하는 변환 행렬(P) 값을 로딩하는 단계; 및
상기 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수식 (1)을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산 후 상기 표시 장치에 표시하는 단계를 포함하는 표시 장치용 3차원 인터랙션 방법.A plurality of targets are displayed on the display device with a time difference, and the distance between the display device and the participant is changed at least twice from a plurality of participants using the motion capture system, and three-dimensional coordinates Obtaining information;
Grouping the plurality of participants into a plurality of groups according to a key;
Display mapping ( X3d ) of the three-dimensional coordinate information ( X3d ) of the fingertip and the two-dimensional coordinate information ( X2d ) of the plurality of targets using the following equation (1) by a direct linear transformation CD mapping to calculate and store a transformation matrix P for each grouping group;
X 2d = P x X 3d --- (1)
The distance between the display device and the user is measured along with the key of the user located in front of the display device using the motion capture system and the value of the transformation matrix P corresponding to the user's key and the distance is loaded from the measurement data step; And
Acquiring three-dimensional coordinate information of a user's fingertip using the motion capture system, and calculating the two-dimensional coordinate information of the pointing point pointed by the user using the equation (1) and displaying the two-dimensional coordinate information on the display device A three - dimensional interaction method for a display device.
상기 복수의 타겟은 서로간 소정의 거리를 갖도록 설정되고,
상기 표시 장치의 화면에 복수의 타겟이 하나씩 랜덤하게 표시되는 표시 장치용 3차원 인터랙션 방법.The method according to claim 1,
Wherein the plurality of targets are set to have a predetermined distance therebetween,
Wherein a plurality of targets are randomly displayed one by one on a screen of the display device.
상기 참가자는 주로 사용하는 손의 팔을 뻗고, 손가락이 상기 타겟을 가리킬 때 클릭 동작을 수행하며,
상기 모션 캡쳐 시스템은 상기 클릭 시점에서 상기 타겟을 가리키는 상기 참가자 손 끝의 3차원 좌표 정보를 생성하는 표시 장치용 3차원 인터랙션 방법.3. The method of claim 2,
The participant extends his / her arm of a mainly used hand, performs a clicking operation when a finger indicates the target,
Wherein the motion capture system generates three-dimensional coordinate information of a hand end of the participant pointing to the target at the click point.
상기 수식 (1)에서 상기 변환 행렬 P, 상기 손 끝의 3차원 좌표 정보 X3d, 및 상기 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (2)로 표현되는 표시 장치용 3차원 인터랙션 방법.
여기서, f는 초점 거리이고, tx와 ty는 주점 오프셋(principal point offset)이며, u'x, u'y, u'z는 하기 수식 (3)으로 표현되고, 여기서 ux, uy, uz는 3차원 포인트 전이 오프셋(3D point transition offset)을 나타낸다.
Wherein the transformation matrix P, the three-dimensional coordinate information X 3d of the fingertip, and the two-dimensional coordinate information X 2d of the plurality of targets in the equation (1) are expressed by the following equation (2).
Here, f is the focal length, t x and t y is the pub offset (principal point offset), u 'x, u' y, u 'z are represented by the following formula (3), where u x, u y , u z represents the 3D point transition offset.
상기 수식 (1)에서 상기 변환 행렬 P, 상기 손 끝의 3차원 좌표 정보 X3d, 및 상기 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (4)를 만족하는 표시 장치용 3차원 인터랙션 방법.
Wherein the transformation matrix P, the three-dimensional coordinate information X 3d of the fingertip, and the two-dimensional coordinate information X 2d of the plurality of targets satisfy the following equation (4) in the equation (1).
상기 모션 캡쳐 시스템을 이용하여 상기 표시 장치와 사용자 사이의 거리를 실시간으로 측정하고, 상기 표시 장치와 사용자 사이의 거리가 변할 때 변화된 거리에 대응하는 새로운 변환 행렬(P) 값을 로딩하여 상기 포인팅 지점의 2차원 좌표 정보 연산에 사용하는 표시 장치용 3차원 인터랙션 방법.The method according to claim 1,
Measuring the distance between the display device and the user in real time using the motion capture system and loading a new transformation matrix P value corresponding to the changed distance when the distance between the display device and the user changes, Dimensional coordinate information of the display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160126768A KR101847577B1 (en) | 2016-09-30 | 2016-09-30 | 3d interaction method for display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160126768A KR101847577B1 (en) | 2016-09-30 | 2016-09-30 | 3d interaction method for display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180036327A KR20180036327A (en) | 2018-04-09 |
| KR101847577B1 true KR101847577B1 (en) | 2018-04-10 |
Family
ID=61974963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160126768A KR101847577B1 (en) | 2016-09-30 | 2016-09-30 | 3d interaction method for display |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101847577B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022000149A1 (en) * | 2020-06-28 | 2022-01-06 | 华为技术有限公司 | Interaction method and electronic device |
| CN114327058B (en) * | 2021-12-24 | 2023-11-10 | 海信集团控股股份有限公司 | Display apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008279206A (en) * | 2007-05-14 | 2008-11-20 | Panasonic Electric Works Co Ltd | Exercise assisting apparatus |
| KR101558094B1 (en) * | 2014-06-23 | 2015-10-12 | 세종대학교산학협력단 | Multi-modal system using for intuitive hand motion and control method thereof |
| JP2016062546A (en) * | 2014-09-22 | 2016-04-25 | 京セラドキュメントソリューションズ株式会社 | Electronic device and image forming apparatus |
| JP2016153996A (en) * | 2015-02-13 | 2016-08-25 | 株式会社リコー | Coordinate acquisition system, display device, coordinate acquisition method, and program |
-
2016
- 2016-09-30 KR KR1020160126768A patent/KR101847577B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008279206A (en) * | 2007-05-14 | 2008-11-20 | Panasonic Electric Works Co Ltd | Exercise assisting apparatus |
| KR101558094B1 (en) * | 2014-06-23 | 2015-10-12 | 세종대학교산학협력단 | Multi-modal system using for intuitive hand motion and control method thereof |
| JP2016062546A (en) * | 2014-09-22 | 2016-04-25 | 京セラドキュメントソリューションズ株式会社 | Electronic device and image forming apparatus |
| JP2016153996A (en) * | 2015-02-13 | 2016-08-25 | 株式会社リコー | Coordinate acquisition system, display device, coordinate acquisition method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180036327A (en) | 2018-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105074617B (en) | Three-dimensional user interface device and three-dimensional manipulating processing method | |
| CN107392888B (en) | Distance testing method and system based on Unity engine | |
| US20170140552A1 (en) | Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same | |
| CN106484098B (en) | The real time interactive operation system and method for user interface | |
| US20170193289A1 (en) | Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton | |
| Debarba et al. | Disambiguation canvas: A precise selection technique for virtual environments | |
| US20120206419A1 (en) | Collapsible input device | |
| Park et al. | Design evaluation of information appliances using augmented reality-based tangible interaction | |
| KR20110037053A (en) | The user interface apparatus and method for 3d space-touch using multiple imaging sensors | |
| Andersen et al. | Immersion or diversion: Does virtual reality make data visualisation more effective? | |
| EP3629302A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| Khattak et al. | A real-time reconstructed 3D environment augmented with virtual objects rendered with correct occlusion | |
| KR101847577B1 (en) | 3d interaction method for display | |
| Hernoux et al. | A seamless solution for 3D real-time interaction: design and evaluation | |
| Valentini | Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects | |
| Weller et al. | LenSelect: Object selection in virtual environments by dynamic object scaling | |
| Han et al. | Trampoline: A double-sided elastic touch device for creating reliefs | |
| TW201006527A (en) | Measuring object contour method and measuring object contour apparatus | |
| JP2013092888A (en) | Data processor | |
| Yoo et al. | Mobile augmented reality system for in-situ 3D modeling and authoring | |
| JP6564259B2 (en) | Image processing apparatus and image processing method | |
| Bacim et al. | Understanding touch selection accuracy on flat and hemispherical deformable surfaces | |
| Onishi et al. | Haptic AR dental simulator using Z-buffer for object deformation | |
| Watanabe et al. | A new 2D depth-depth matching algorithm whose translation and rotation freedoms are separated | |
| GarcÍa-PÉrez et al. | A 3-D collision handling algorithm for surgery simulation based on feedback fuzzy logic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |